Inhalt • • • • • • •
How can we measure health?
Clinimetrics & Diagnostic Test Accuracy
Kritische Bewertung von diagnostischen Studien Normalität Sensitivität Spezifität Vorhersagewerte Likelihood Ratios Vortest- und Nachtest-Wahrscheinlichkeit
1
2
Was ist normal ? Sechs Definitionen
Was ist normal?
• Ein Testergebnis wird mit „normalen“ Werten verglichen? – 1. Gaussverteilung: • der Mittelwert ±2 Standardabweichungen; – 2. Prozentverteilung: • innerhalb einer Spannweite von 5-95% – Annahme: die Verteilung ist normalverteilt und alle abnormale Testergebnisse kommen gleich oft vor 3
4
Was ist normal ? Sechs Definitionen
Was ist normal ? Sechs Definitionen
• 3. Kulturell wünschenswert: „Normal ist was von der Gesellschaft gewünscht wird“. – Lifestyle – „value judgement“ fashion
• 5. Diagnostisch: Testergebnisse, jenseits eine bestimmten Grenze, die das Auftreten einer Krankheit sehr wahrscheinlich werden lassen --> Fokus • 6. Therapeutisch: Spannweite an Ergebnissen innerhalb deren eine Behandlung mehr Verbesserungen als Verschlechterung verursacht – Verändert sich mit dem Fortschritt – Zusammenhang mit 4.
• 4. Risikofaktoren: kein erhöhtes Risiko auf eine Krankheit: – Stigmata: was machen wir, wenn ein Risikofaktor nicht verändert werden kann? (genetische Tests) – Veränderung des Risikofaktors verändert nicht unbedingt die Diagnose
5
Kritische Bewertung von Studien zu diagnostischen Tests
6
Kritische Bewertung von Studien zu diagnostischen Tests
Sind die Ergebnisse der Studie (Evidenz) glaubwürdig und gültig?
Sind die Ergebnisse der Studie (Evidenz) glaubwürdig und gültig?
Zeigt die Evidenz, dass der Test Patienten mit der Zielerkrankung und Patienten ohne diese Zielerkrankung angemessen unterscheiden kann?
Zeigt die Evidenz, dass der Test Patienten mit der Zielerkrankung und Patienten ohne diese Zielerkrankung angemessen unterscheiden kann?
Wie kann ich diesen gültigen Test bei einem bestimmten Patienten anwenden
Wie kann ich diesen gültigen Test bei einem bestimmten Patienten anwenden
7
7
1. Messung „Goldstandard“
Sind die Ergebnisse einer „DTA“ Studie glaubwürdig? • Wenn wir eine Studie gefunden haben, wie können wir sie, auf ihre Glaubwürdigkeit hin, kritisch bewerten?
• Spiegeln die Testergebnisse die „wahren“ Werte wieder? • Ein Test sollte mit einem angemessenen Referenztest verglichen werden • Goldstandard = Test mit der höchsten ausgewiesenen Zuverlässigkeit • Wenn kein Goldstandard gebraucht wurde, dann sind die Ergebnisse mit hoher Wahrscheinlichkeit nicht brauchbar! • Sind die Ergebnisse der beiden Tests unabhängig evaluiert worden? (Blindung) 8
9
2. Repräsentatives Spektrum
Ist der Test „blind“ durchgeführt worden?
• Wurde ein genügend breites Spektrum an Patienten ausgewählt (ähnlich dem in unserer Praxis)? – Praktisch alle Tests können zwischen schwer kranken und gesunden identifizieren! – Wahre diagnostische Wert: Identifikation von Patienten mit unterschiedlichen Ausprägungen!!
10
11
Kritische Bewertung
3. Erhebung des Referenztests ? • Beeinflussen die Ergebnisse, des zu evaluierenden Tests, die Entscheidung, ob der Standardtest angewendet wird? Hohe Wahrscheinlichkeit auf eine Erkrankung
Referenztest
Indextest
Tiefe Wahrscheinlichkeit auf eine Erkrankung
Kein Referenztest
Werden alle drei Punkte erfüllt?
„Verification Bias“, warum? Man will Patienten nicht unnötig invasiven Tests aussetzen!!
Ja --> es geht weiter
Eine Ausweichmöglichkeit: Implementation einer langen „Follow up“ Periode 12
Wenn nicht, gibt es gute nachvollziehbare Gründe? NEIN, neue Suche!!!
Kritische Bewertung von Studien zu diagnostischen Tests
Kritische Bewertung von Studien zu diagnostischen Tests
Sind die Ergebnisse der Studie (Evidenz) glaubwürdig und gültig?
Sind die Ergebnisse der Studie (Evidenz) glaubwürdig und gültig?
Zeigt die Evidenz, dass der Test Patienten mit der Zielerkrankung und Patienten ohne diese Zielerkrankung angemessen unterscheiden kann?
Zeigt die Evidenz, dass der Test Patienten mit der Zielerkrankung und Patienten ohne diese Zielerkrankung angemessen unterscheiden kann?
Wie kann ich diesen gültigen Test bei einem bestimmten Patienten anwenden
Wie kann ich diesen gültigen Test bei einem bestimmten Patienten anwenden
14
13
14
Testgenauigkeit = diagnostic test accuracy
Testgenauigkeit = diagnostic test accuracy
Probability of Disease 15
Testgenauigkeit = diagnostic test accuracy
15
Testgenauigkeit = diagnostic test accuracy
Verdachtsmoment
Verdachtsmoment VortestWahrschein - lichkeit
Probability of Disease
Probability of Disease 15
15
Testgenauigkeit = diagnostic test accuracy
Testgenauigkeit = diagnostic test accuracy
Verdachtsmoment
Treatment Threshold
Verdachtsmoment
VortestWahrschein - lichkeit
NachtestWahrscheinlichkeit
VortestWahrschein - lichkeit
Probability of Disease
NachtestWahrscheinlichkeit
Probability of Disease 15
Die Testqualität hängt von der Sensitivität und Spezifität ab!!
4 Felder für die Testgenauigkeit
Test positiv Test negativ
15
Krankheit vorhanden
Krankheit vorhanden
Krankheit nicht vorhanden
Richtig Positive a
Falsch Positive b
a+b
Falsch Negative c
Richtig Negative d
c+d
a+c
b+d
a+b+c+d
Krankheit nicht vorhanden
Test positiv
Richtig Positive Falsch Positive a b
Test negativ
Falsch Negative Richtig Negative c+d c d a+c
b+d
a+b
a+b+c+d
Sensitivität: Das Verhältnis der richtig positiven Testergebnisse gemessen an allen Patienten mit der gesuchten Zielkrankheit = a/(a+c) x 100% 16
17
S…
S… Positives Testergebnis
Negatives Testergebnis
Positives Testergebnis
! ! !
!
! !
!
Negatives Testergebnis
! ! ! ! ! ! ! ! !
!
SnNout
100% Sensitivität oder 100% Spezifität ????
SnNout 18
S…
100% Sensitivität oder 100% Spezifität ????
18
S… Positives Testergebnis
! " ! ! " " ! " " ! "" ! " ! " !
Negatives Testergebnis
Positives Testergebnis
! ! ! ! ! ! ! ! !
! " ! ! " " ! " " ! "" ! " ! " ! SnNout
100% Sensitivität oder 100% Spezifität ????
Negatives Testergebnis
! ! ! ! ! ! ! ! ! SnNout
18
100% Sensitivität oder 100% Spezifität ????
18
Die Testqualität hängt von der Sensitivität und Spezifität ab!! Krankheit vorhanden
S… Positives Testergebnis
Krankheit nicht vorhanden
Test positiv
Richtig Positive Falsch Positive a b
Test negativ
Falsch Negative Richtig Negative c+d c d a+c
Negatives Testergebnis
b+d
a+b
a+b+c+d
Spezifität: Das Verhältnis der richtig negativen Testergebnisse gemessen an allen Patienten ohne die gesuchte Zielkrankheit = d/(b+d) x 100%
SpPin 100% Sensitivität oder 100% Spezifität ???? 19
S…
20
S… Positives Testergebnis
" " " SpPin
"
Negatives Testergebnis
"
"
" " " "
Positives Testergebnis
"
"
" "
"
"
"
"
SpPin
100% Sensitivität oder 100% Spezifität ????
"
" " " " "
"
Negatives Testergebnis
! ! ! " ! ! ! " ! "! ! ! " ! !! ! ! " ! !
100% Sensitivität oder 100% Spezifität ???? 20
20
S…
„Overall Accuracy“ Positives Testergebnis
" " "
"
" " " " "
"
SpPin
Negatives Testergebnis
Krankheit vorhanden
! ! ! " ! ! ! " ! "! ! ! " ! !! ! ! " ! !
Krankheit nicht vorhanden
Test positiv
Richtig Positive Falsch Positive a b
Test negativ
Falsch Negative Richtig Negative c+d c d a+c
b+d
a+b
a+b+c+d
• Prozentanteil an korrekt klassifizierten Patienten • Overall Accuracy = (a+d)/(a+b+c+d) x 100%
100% Sensitivität oder 100% Spezifität ???? 20
A new test for spasticity (Martin‘s Test)
21
Positive prädiktiver Wert (PPW)
Spastizität vorhanden
Spastizität nicht vorhanden
Krankheit vorhanden
Krankheit nicht vorhanden
Test positiv
29
10
a+b
Test positiv
Richtig Positive Falsch Positive a b
Test negativ
12
49
c+d
Test negativ
Falsch Negative Richtig Negative c+d c d
a+c
b+d
a+b+c+d
a+b
PPW=74%
a+c
b+d
a+b+c+d
Positive prädiktive Wert: Wie gross ist die Wahrscheinlichkeit, dass bei diesem positiven Testergebnis die Krankheit vorliegt?
Wie ist die Testgenauigkeit? Sensitivität, Spezifität und „overall accuracy“ 22
Rate der richtig positiven Testergebnisse: a/(a+b)
23
Positive prädiktiver Wert (PPW) Krankheit vorhanden
PPW=74%
Negativer prädiktiver Wert (NPW)
Krankheit nicht vorhanden
Krankheit vorhanden
Test positiv
Richtig Positive Falsch Positive a b
Test negativ
Falsch Negative Richtig Negative c+d c d a+c
b+d
a+b
Krankheit nicht vorhanden
Test positiv
Richtig Positive Falsch Positive a b NPW=80%
Test negativ
Falsch Negative Richtig Negative c+d c d
a+b+c+d
a+c
b+d
a+b
a+b+c+d
Positive prädiktive Wert: Wie gross ist die Wahrscheinlichkeit, dass bei diesem positiven Testergebnis die Krankheit vorliegt?
Das Wahrscheinlichkeitsverhältnis für ein negatives Testergebnis: Rate der richtig negativen Testergebnisse:
Rate der richtig positiven Testergebnisse: a/(a+b)
d/(c+d)
Negativer prädiktiver Wert (NPW) Krankheit vorhanden
NPW=80%
Richtig Positive Falsch Positive a b
Test negativ
Falsch Negative Richtig Negative c+d c d b+d
a+b
a+b+c+d
Das Wahrscheinlichkeitsverhältnis für ein negatives Testergebnis: Rate der richtig negativen Testergebnisse: d/(c+d)
24
A new test for spasticity (Martin‘s Test)
Krankheit nicht vorhanden
Test positiv
a+c
23
Spastizität vorhanden
Spastizität nicht vorhanden
Test positiv
29
10
a+b
Test negativ
12
49
c+d
a+c
b+d
a+b+c+d
Und jetzt PPW, NPW berechnen 24
25
Likelihoodratio‘s
Likelihood-Ratios • Wie viel mal häufiger tritt ein positiver Test bei einer Person mit der Krankheit auf, als bei einer Person ohne diese Erkrankung.
Krankheit vorhanden Test positiv
Richtig Positive Falsch Positive a b
Test negativ
Falsch Negative Richtig Negative c+d c d a+c
•
Krankheit nicht vorhanden
b+d
a+b
a+b+c+d
Die Likelihood Ratio für ein positives Testresultat (LR+): Wie viel mal häufiger tritt ein positives Testresultat bei einem Menschen mit der „Erkrankung“ auf, als bei einem Menschen ohne diese „Erkrankung“. – LR+ = Sensitivität/(1-Spezifität)
26
Likelihoodratio‘s Krankheit vorhanden
•
Likelihoodratio‘s Krankheit nicht vorhanden
Krankheit vorhanden
Test positiv
Richtig Positive Falsch Positive Sensitivität a/(a+c) a b
Test negativ
Falsch Negative Richtig Negative c+d c d a+c
27
b+d
a+b
a+b+c+d
Test positiv
Richtig Positive Falsch Positive Sensitivität 1-Spezifität a/(a+c) 1-[d/(b+d)] a b
Test negativ
Falsch Negative Richtig Negative c+d c d a+c
Die Likelihood Ratio für ein positives Testresultat (LR+): Wie viel mal häufiger tritt ein positives Testresultat bei einem Menschen mit der „Erkrankung“ auf, als bei einem Menschen ohne diese „Erkrankung“. – LR+ = Sensitivität/(1-Spezifität)
•
27
Krankheit nicht vorhanden
b+d
a+b
a+b+c+d
Die Likelihood Ratio für ein positives Testresultat (LR+): Wie viel mal häufiger tritt ein positives Testresultat bei einem Menschen mit der „Erkrankung“ auf, als bei einem Menschen ohne diese „Erkrankung“. – LR+ = Sensitivität/(1-Spezifität) 27
Likelihoodratio‘s Krankheit vorhanden
Krankheit nicht vorhanden
Krankheit vorhanden
Test positiv
Richtig Positive Falsch Positive a b
Test negativ
Falsch Negative Richtig Negative c+d c d a+c
•
Likelihoodratio‘s
b+d
a+b
Test positiv
Richtig Positive Falsch Positive a b
Test negativ
Falsch Negative Richtig Negative c+d 1- Sensitivität 1[a/(a+c)] c d
a+b+c+d
a+c
Die Likelihood Ratio für ein negatives Testresultat (LR-): Wie viel mal häufiger tritt ein negatives Testresultat bei einer Person mit der Erkrankung auf, als bei einer Person ohne Erkrankung. – LR - = (1-Sensitivität)/Spezifität LR+ = Sensitivität/(1-Spezifität)
Krankheit nicht vorhanden
•
b+d
a+b
a+b+c+d
Die Likelihood Ratio für ein negatives Testresultat (LR-): Wie viel mal häufiger tritt ein negatives Testresultat bei einer Person mit der Erkrankung auf, als bei einer Person ohne Erkrankung. – LR - = (1-Sensitivität)/Spezifität LR+ = Sensitivität/(1-Spezifität)
28
Wie kann ich LR‘s interpretieren
Likelihoodratio‘s Krankheit vorhanden
•
Krankheit nicht vorhanden
Positive LR Negative LR Interpretation Ratio
Test positiv
Richtig Positive Falsch Positive a b
Test negativ
Falsch Negative Richtig Negative c+d 1- Sensitivität Spezifität 1[a/(a+c)] d/(b+d) c d a+c
28
b+d
a+b
a+b+c+d
Die Likelihood Ratio für ein negatives Testresultat (LR-): Wie viel mal häufiger tritt ein negatives Testresultat bei einer Person mit der Erkrankung auf, als bei einer Person ohne Erkrankung. – LR - = (1-Sensitivität)/Spezifität LR+ = Sensitivität/(1-Spezifität) 28
>10