How can we measure health?

Inhalt • • • • • • • How can we measure health? Clinimetrics & Diagnostic Test Accuracy Kritische Bewertung von diagnostischen Studien Normalität S...
Author: Kathrin Becker
7 downloads 3 Views 8MB Size
Inhalt • • • • • • •

How can we measure health?

Clinimetrics & Diagnostic Test Accuracy

Kritische Bewertung von diagnostischen Studien Normalität Sensitivität Spezifität Vorhersagewerte Likelihood Ratios Vortest- und Nachtest-Wahrscheinlichkeit

1

2

Was ist normal ? Sechs Definitionen

Was ist normal?

• Ein Testergebnis wird mit „normalen“ Werten verglichen? – 1. Gaussverteilung: • der Mittelwert ±2 Standardabweichungen; – 2. Prozentverteilung: • innerhalb einer Spannweite von 5-95% – Annahme: die Verteilung ist normalverteilt und alle abnormale Testergebnisse kommen gleich oft vor 3

4

Was ist normal ? Sechs Definitionen

Was ist normal ? Sechs Definitionen

• 3. Kulturell wünschenswert: „Normal ist was von der Gesellschaft gewünscht wird“. – Lifestyle – „value judgement“ fashion

• 5. Diagnostisch: Testergebnisse, jenseits eine bestimmten Grenze, die das Auftreten einer Krankheit sehr wahrscheinlich werden lassen --> Fokus • 6. Therapeutisch: Spannweite an Ergebnissen innerhalb deren eine Behandlung mehr Verbesserungen als Verschlechterung verursacht – Verändert sich mit dem Fortschritt – Zusammenhang mit 4.

• 4. Risikofaktoren: kein erhöhtes Risiko auf eine Krankheit: – Stigmata: was machen wir, wenn ein Risikofaktor nicht verändert werden kann? (genetische Tests) – Veränderung des Risikofaktors verändert nicht unbedingt die Diagnose

5

Kritische Bewertung von Studien zu diagnostischen Tests

6

Kritische Bewertung von Studien zu diagnostischen Tests

Sind die Ergebnisse der Studie (Evidenz) glaubwürdig und gültig?

Sind die Ergebnisse der Studie (Evidenz) glaubwürdig und gültig?

Zeigt die Evidenz, dass der Test Patienten mit der Zielerkrankung und Patienten ohne diese Zielerkrankung angemessen unterscheiden kann?

Zeigt die Evidenz, dass der Test Patienten mit der Zielerkrankung und Patienten ohne diese Zielerkrankung angemessen unterscheiden kann?

Wie kann ich diesen gültigen Test bei einem bestimmten Patienten anwenden

Wie kann ich diesen gültigen Test bei einem bestimmten Patienten anwenden

7

7

1. Messung „Goldstandard“

Sind die Ergebnisse einer „DTA“ Studie glaubwürdig? • Wenn wir eine Studie gefunden haben, wie können wir sie, auf ihre Glaubwürdigkeit hin, kritisch bewerten?

• Spiegeln die Testergebnisse die „wahren“ Werte wieder? • Ein Test sollte mit einem angemessenen Referenztest verglichen werden • Goldstandard = Test mit der höchsten ausgewiesenen Zuverlässigkeit • Wenn kein Goldstandard gebraucht wurde, dann sind die Ergebnisse mit hoher Wahrscheinlichkeit nicht brauchbar! • Sind die Ergebnisse der beiden Tests unabhängig evaluiert worden? (Blindung) 8

9

2. Repräsentatives Spektrum

Ist der Test „blind“ durchgeführt worden?

• Wurde ein genügend breites Spektrum an Patienten ausgewählt (ähnlich dem in unserer Praxis)? – Praktisch alle Tests können zwischen schwer kranken und gesunden identifizieren! – Wahre diagnostische Wert: Identifikation von Patienten mit unterschiedlichen Ausprägungen!!

10

11

Kritische Bewertung

3. Erhebung des Referenztests ? • Beeinflussen die Ergebnisse, des zu evaluierenden Tests, die Entscheidung, ob der Standardtest angewendet wird? Hohe Wahrscheinlichkeit auf eine Erkrankung

Referenztest

Indextest

Tiefe Wahrscheinlichkeit auf eine Erkrankung

Kein Referenztest

Werden alle drei Punkte erfüllt?

„Verification Bias“, warum? Man will Patienten nicht unnötig invasiven Tests aussetzen!!

Ja --> es geht weiter

Eine Ausweichmöglichkeit: Implementation einer langen „Follow up“ Periode 12

Wenn nicht, gibt es gute nachvollziehbare Gründe? NEIN, neue Suche!!!

Kritische Bewertung von Studien zu diagnostischen Tests

Kritische Bewertung von Studien zu diagnostischen Tests

Sind die Ergebnisse der Studie (Evidenz) glaubwürdig und gültig?

Sind die Ergebnisse der Studie (Evidenz) glaubwürdig und gültig?

Zeigt die Evidenz, dass der Test Patienten mit der Zielerkrankung und Patienten ohne diese Zielerkrankung angemessen unterscheiden kann?

Zeigt die Evidenz, dass der Test Patienten mit der Zielerkrankung und Patienten ohne diese Zielerkrankung angemessen unterscheiden kann?

Wie kann ich diesen gültigen Test bei einem bestimmten Patienten anwenden

Wie kann ich diesen gültigen Test bei einem bestimmten Patienten anwenden

14

13

14

Testgenauigkeit = diagnostic test accuracy

Testgenauigkeit = diagnostic test accuracy

Probability of Disease 15

Testgenauigkeit = diagnostic test accuracy

15

Testgenauigkeit = diagnostic test accuracy

Verdachtsmoment

Verdachtsmoment VortestWahrschein - lichkeit

Probability of Disease

Probability of Disease 15

15

Testgenauigkeit = diagnostic test accuracy

Testgenauigkeit = diagnostic test accuracy

Verdachtsmoment

Treatment Threshold

Verdachtsmoment

VortestWahrschein - lichkeit

NachtestWahrscheinlichkeit

VortestWahrschein - lichkeit

Probability of Disease

NachtestWahrscheinlichkeit

Probability of Disease 15

Die Testqualität hängt von der Sensitivität und Spezifität ab!!

4 Felder für die Testgenauigkeit

Test positiv Test negativ

15

Krankheit vorhanden

Krankheit vorhanden

Krankheit nicht vorhanden

Richtig Positive a

Falsch Positive b

a+b

Falsch Negative c

Richtig Negative d

c+d

a+c

b+d

a+b+c+d

Krankheit nicht vorhanden

Test positiv

Richtig Positive Falsch Positive a b

Test negativ

Falsch Negative Richtig Negative c+d c d a+c

b+d

a+b

a+b+c+d

Sensitivität: Das Verhältnis der richtig positiven Testergebnisse gemessen an allen Patienten mit der gesuchten Zielkrankheit = a/(a+c) x 100% 16

17

S…

S… Positives Testergebnis

Negatives Testergebnis

Positives Testergebnis

! ! !

!

! !

!

Negatives Testergebnis

! ! ! ! ! ! ! ! !

!

SnNout

100% Sensitivität oder 100% Spezifität ????

SnNout 18

S…

100% Sensitivität oder 100% Spezifität ????

18

S… Positives Testergebnis

! " ! ! " " ! " " ! "" ! " ! " !

Negatives Testergebnis

Positives Testergebnis

! ! ! ! ! ! ! ! !

! " ! ! " " ! " " ! "" ! " ! " ! SnNout

100% Sensitivität oder 100% Spezifität ????

Negatives Testergebnis

! ! ! ! ! ! ! ! ! SnNout

18

100% Sensitivität oder 100% Spezifität ????

18

Die Testqualität hängt von der Sensitivität und Spezifität ab!! Krankheit vorhanden

S… Positives Testergebnis

Krankheit nicht vorhanden

Test positiv

Richtig Positive Falsch Positive a b

Test negativ

Falsch Negative Richtig Negative c+d c d a+c

Negatives Testergebnis

b+d

a+b

a+b+c+d

Spezifität: Das Verhältnis der richtig negativen Testergebnisse gemessen an allen Patienten ohne die gesuchte Zielkrankheit = d/(b+d) x 100%

SpPin 100% Sensitivität oder 100% Spezifität ???? 19

S…

20

S… Positives Testergebnis

" " " SpPin

"

Negatives Testergebnis

"

"

" " " "

Positives Testergebnis

"

"

" "

"

"

"

"

SpPin

100% Sensitivität oder 100% Spezifität ????

"

" " " " "

"

Negatives Testergebnis

! ! ! " ! ! ! " ! "! ! ! " ! !! ! ! " ! !

100% Sensitivität oder 100% Spezifität ???? 20

20

S…

„Overall Accuracy“ Positives Testergebnis

" " "

"

" " " " "

"

SpPin

Negatives Testergebnis

Krankheit vorhanden

! ! ! " ! ! ! " ! "! ! ! " ! !! ! ! " ! !

Krankheit nicht vorhanden

Test positiv

Richtig Positive Falsch Positive a b

Test negativ

Falsch Negative Richtig Negative c+d c d a+c

b+d

a+b

a+b+c+d

• Prozentanteil an korrekt klassifizierten Patienten • Overall Accuracy = (a+d)/(a+b+c+d) x 100%

100% Sensitivität oder 100% Spezifität ???? 20

A new test for spasticity (Martin‘s Test)

21

Positive prädiktiver Wert (PPW)

Spastizität vorhanden

Spastizität nicht vorhanden

Krankheit vorhanden

Krankheit nicht vorhanden

Test positiv

29

10

a+b

Test positiv

Richtig Positive Falsch Positive a b

Test negativ

12

49

c+d

Test negativ

Falsch Negative Richtig Negative c+d c d

a+c

b+d

a+b+c+d

a+b

PPW=74%

a+c

b+d

a+b+c+d

Positive prädiktive Wert: Wie gross ist die Wahrscheinlichkeit, dass bei diesem positiven Testergebnis die Krankheit vorliegt?

Wie ist die Testgenauigkeit? Sensitivität, Spezifität und „overall accuracy“ 22

Rate der richtig positiven Testergebnisse: a/(a+b)

23

Positive prädiktiver Wert (PPW) Krankheit vorhanden

PPW=74%

Negativer prädiktiver Wert (NPW)

Krankheit nicht vorhanden

Krankheit vorhanden

Test positiv

Richtig Positive Falsch Positive a b

Test negativ

Falsch Negative Richtig Negative c+d c d a+c

b+d

a+b

Krankheit nicht vorhanden

Test positiv

Richtig Positive Falsch Positive a b NPW=80%

Test negativ

Falsch Negative Richtig Negative c+d c d

a+b+c+d

a+c

b+d

a+b

a+b+c+d

Positive prädiktive Wert: Wie gross ist die Wahrscheinlichkeit, dass bei diesem positiven Testergebnis die Krankheit vorliegt?

Das Wahrscheinlichkeitsverhältnis für ein negatives Testergebnis: Rate der richtig negativen Testergebnisse:

Rate der richtig positiven Testergebnisse: a/(a+b)

d/(c+d)

Negativer prädiktiver Wert (NPW) Krankheit vorhanden

NPW=80%

Richtig Positive Falsch Positive a b

Test negativ

Falsch Negative Richtig Negative c+d c d b+d

a+b

a+b+c+d

Das Wahrscheinlichkeitsverhältnis für ein negatives Testergebnis: Rate der richtig negativen Testergebnisse: d/(c+d)

24

A new test for spasticity (Martin‘s Test)

Krankheit nicht vorhanden

Test positiv

a+c

23

Spastizität vorhanden

Spastizität nicht vorhanden

Test positiv

29

10

a+b

Test negativ

12

49

c+d

a+c

b+d

a+b+c+d

Und jetzt PPW, NPW berechnen 24

25

Likelihoodratio‘s

Likelihood-Ratios • Wie viel mal häufiger tritt ein positiver Test bei einer Person mit der Krankheit auf, als bei einer Person ohne diese Erkrankung.

Krankheit vorhanden Test positiv

Richtig Positive Falsch Positive a b

Test negativ

Falsch Negative Richtig Negative c+d c d a+c



Krankheit nicht vorhanden

b+d

a+b

a+b+c+d

Die Likelihood Ratio für ein positives Testresultat (LR+): Wie viel mal häufiger tritt ein positives Testresultat bei einem Menschen mit der „Erkrankung“ auf, als bei einem Menschen ohne diese „Erkrankung“. – LR+ = Sensitivität/(1-Spezifität)

26

Likelihoodratio‘s Krankheit vorhanden



Likelihoodratio‘s Krankheit nicht vorhanden

Krankheit vorhanden

Test positiv

Richtig Positive Falsch Positive Sensitivität a/(a+c) a b

Test negativ

Falsch Negative Richtig Negative c+d c d a+c

27

b+d

a+b

a+b+c+d

Test positiv

Richtig Positive Falsch Positive Sensitivität 1-Spezifität a/(a+c) 1-[d/(b+d)] a b

Test negativ

Falsch Negative Richtig Negative c+d c d a+c

Die Likelihood Ratio für ein positives Testresultat (LR+): Wie viel mal häufiger tritt ein positives Testresultat bei einem Menschen mit der „Erkrankung“ auf, als bei einem Menschen ohne diese „Erkrankung“. – LR+ = Sensitivität/(1-Spezifität)



27

Krankheit nicht vorhanden

b+d

a+b

a+b+c+d

Die Likelihood Ratio für ein positives Testresultat (LR+): Wie viel mal häufiger tritt ein positives Testresultat bei einem Menschen mit der „Erkrankung“ auf, als bei einem Menschen ohne diese „Erkrankung“. – LR+ = Sensitivität/(1-Spezifität) 27

Likelihoodratio‘s Krankheit vorhanden

Krankheit nicht vorhanden

Krankheit vorhanden

Test positiv

Richtig Positive Falsch Positive a b

Test negativ

Falsch Negative Richtig Negative c+d c d a+c



Likelihoodratio‘s

b+d

a+b

Test positiv

Richtig Positive Falsch Positive a b

Test negativ

Falsch Negative Richtig Negative c+d 1- Sensitivität 1[a/(a+c)] c d

a+b+c+d

a+c

Die Likelihood Ratio für ein negatives Testresultat (LR-): Wie viel mal häufiger tritt ein negatives Testresultat bei einer Person mit der Erkrankung auf, als bei einer Person ohne Erkrankung. – LR - = (1-Sensitivität)/Spezifität LR+ = Sensitivität/(1-Spezifität)

Krankheit nicht vorhanden



b+d

a+b

a+b+c+d

Die Likelihood Ratio für ein negatives Testresultat (LR-): Wie viel mal häufiger tritt ein negatives Testresultat bei einer Person mit der Erkrankung auf, als bei einer Person ohne Erkrankung. – LR - = (1-Sensitivität)/Spezifität LR+ = Sensitivität/(1-Spezifität)

28

Wie kann ich LR‘s interpretieren

Likelihoodratio‘s Krankheit vorhanden



Krankheit nicht vorhanden

Positive LR Negative LR Interpretation Ratio

Test positiv

Richtig Positive Falsch Positive a b

Test negativ

Falsch Negative Richtig Negative c+d 1- Sensitivität Spezifität 1[a/(a+c)] d/(b+d) c d a+c

28

b+d

a+b

a+b+c+d

Die Likelihood Ratio für ein negatives Testresultat (LR-): Wie viel mal häufiger tritt ein negatives Testresultat bei einer Person mit der Erkrankung auf, als bei einer Person ohne Erkrankung. – LR - = (1-Sensitivität)/Spezifität LR+ = Sensitivität/(1-Spezifität) 28

>10