Lehreinheit Quantitative Forschung II Zertifikatskurs Wissenschaft und Forschung
Aisha Boettch er14.8.2014
Was braucht es um den Nutzen einer Studie zu bewerten?
Einleitung
• Identifikation der statistischen Verfahren • Verfahren adäquat für Hypothese und Daten? • Verständnis der statistischen Ergebnisse • Interpretation angemessen? • Klinische Signifikanz beurteilen (Burns & Grove 2005)
Einleitung
Wie verhalte ich mich wenn bei n=12.537 und CI von 95% die statistische Signifikanz für den MW=1,3 (0,5 – 5,7) mit p > 0,06 angegeben ist???
Einleitung
Möglichkeit A: Ich renne schreiend weg! Möglichkeit B: Ich rufe den Arzt meines Vertrauens an! Möglichkeit C: Ich rufe den Nerd meines Vertrauens an! Möglichkeit D: Ich wähle Mathe ab und lese von nun an nur noch philosophische Texte!
• Bewertung von Stichproben • Bewertung von Daten • Bewertung statistischer Analysen Experiment
• Studien verstehen
Aufbau
•
Begriffserklärung Repräsentativität Rekrutierung Möglichkeiten Einfluss der Stichprobengröße auf die Analyse
Stichproben
• • • • •
Bewertung von Stichproben I Begriffserklärung
• Populationsbasiert alle relevanten Personen (z.b. Vereinsmitglieder)
• Stichprobe Begrenzter Teil der Population
• Repräsentative Stichprobe Stichprobe welche die Population hinsichtlich relevanter Merkmale repräsentiert
• Randomisierung/Zufallsauswahl Methode zur Ziehung einer repräsentativen Stichprobe
Bewertung von Stichproben II Repräsentativität
• Welche Merkmale werden gemessen/untersucht? • Vergleichbar im Hinblick auf…(Burns, Grove 2005) • • • • • •
Alter Geschlecht und/oder Gender Ethnische Zugehörigkeit Einkommen Ausbildung Gesundheitsstatus
• Rekrutierung Selektions-Bias
Bewertung von Stichproben III Möglichkeiten
• Confounder • •
Bekannt oder unbekannt Einer oder mehrere
• Restriktion Bei bekannten Einflussfaktoren (Confounder) kann die Studienteilnahme von dessen Ausprägung abhängig gemacht werden (Reintjes, Popp 2009)
• Matching Für Fallpersonen werden Kontrollpersonen mit in einem oder mehreren identischen Merkmalen ausgewählt (Reintjes, Popp 2009)
Bewertung von Stichproben IV Einfluss auf die Analyse
• Große Stichproben erzeugen leichter Signifikanzen Siehe auch weitere Analyseverfahren
• Bei kleinen Stichproben werden die Streuungsmaße schnell beeinflusst Siehe auch Deskriptive Analyse
• Stichproben unter 30 sind nicht für jede Analyse geeignet • N Gesamtstichprobe, n alle in dieser Analyse
Datenakquise Aufbereitung Quantifizierung Sekundärdaten Datenniveau •
Nominal-Daten, Ordinal-Daten, Skala
Daten
• • • • •
Bewertung von Daten I Datenakquise
• Umstände der Datensammlung • Individualdaten Parameter einzelner Personen, z.B. Größe in cm • Aggregatdaten Zusammengefasste Daten, z.B. Durchschnittsgröße einer Gruppe Basketballspieler
• Sekundärdaten
Bewertung von Daten II Aufbereitung
• • • • •
Eingabe in den PC Quantifizierung von qualitativen Daten Extremwerte Fehlende Werte und der Umgang damit Anpassung/Adjustment
Bewertung von Daten III Datenniveau
• Nominal Gleichwertige Charakteristik, z.B. Haarfarbe
• Ordinal Nicht gleichwertig, in Ränken oder anderen Ordnungen, z.B. allg. Zustand
• Diskrete Skala Nur ganze Zahlen, z.B. Anzahl von Kindern
• Kontinuierliche Skala Auch Zwischenwerte, z.B. Gewicht
Bewertung von Daten III Datenniveau
Def.= eine Variable ist ganz allgemein ein „veränderliches“ Merkmal (Micheel 2010, 24)
Unabhängige Variable= Einflussgröße, erklärt die abhängige Variable bzw. bestimmt diese; sprich beeinflusst eine Situation, einen Zustand oder ein Verhalten
Abhängige Variable= Zielgröße
Bsp. Hypothese - Variable
Unabhängige Variable Hüftprotektoren
Unabhängige Variable Dehnen vor oder nach dem Sport
Hypothese Der Einsatz von Hüftprotektoren senkt die Anzahl sturzbedingter Oberschenkelhalsfrakturen bei älteren Menschen
Hypothese Dehnen vor oder nach dem Sport vermeidet Muskelkater
Abhängige Variable Sturzbedingte Oberschenkelhalsfraktur
Abhängige Variable Muskelkater
Bewertung von Daten III Datenniveau
Variable
QUANTITÄT
KATEGORIE
Nominal
Binär
Geordnet
Diskret
Ordinal
Ränke
kontinuierlich
„Ich traue keiner Statistik, die ich nicht selbst gefälscht habe.“
Zitat
verm. Winston Churchill (1874-1965)
• Fazit
Statistische Analysen
• Begriffserklärung • Streuungsmaße • Outcomemaße Wahrscheinlichkeitsmaße • Signifikanz
Bewertung statistischer Analysen I Begriffserklärung •
Deskriptive/Beschreibende Analyse Beschreibt die Stichprobe im Hinblick auf ihre Merkmale, siehe auch Streuungsmaße (%, MW, Gesamtzahlen)
•
Analyse von Beziehungen Prüft Zusammenhänge spezieller Merkmale, einseitig oder wechselseitig? (Korrelationen, Assoziationen)
•
Analyse von Voraussagen Prüft den Einfluss von Faktoren auf die Outcome-Merkmale (Regressionen)
•
Analyse von Kausalitäten Prüft kausale Effekte, signifikante Unterschiede zwischen Gruppen (Signifikanzen, RCT)
Bewertung statistischer Analysen I Begriffserklärung • Korrelation • • •
T-Test Pearsons Chi-Quadrat Fishers exakter Test
• ANOVA • •
Bivariat Multivariat
• Regression • • •
Logistisch Ordinäre Multilevel
Bewertung statistischer Analysen II Streuungsmaße • Mittelwert (MW, M) Summe aller Werte durch Anzahl der Werte Bei Skalen anwendbar und abhängig von Extremwerten
• Median (Med, M) Mittlere Position der Werte Repräsentiert den Durchschnitt
• Modus (Mod, M) Der meistvorhandene Wert
• Standardabweichung (SD)
durchschnittliche Differenz zum Mittelwert • Range / Streuung (x - y)
Bewertung statistischer Analysen II Streuungsmaße
Modus
Median
Bewertung statistischer Analysen II Streuungsmaße
• Normalverteilung Mathematische Voraussetzung der meisten gängigen Analysen
Bewertung statistischer Analysen III Outcomemaße • •
Deskriptive Maße (MW, %) Absolutes Risiko (AR) Risiko einer Erkrankung
•
Relatives Risiko (RR) Risiko/Wahrscheinlichkeit einer Erkrankung im Bezug auf einen bestimmten Faktor
•
Odds Ratio / Chancen- /Quotenverhältnis (OR) Quote des Risikofaktors bei Erkrankung
•
Korrelationskoeffizient (r) Effektstärke der Korrelation, bzw. Stärke des Zusammenhangs
•
X2 (Chi-Quadrat, exakter Test nach Fisher, Mantel-Haenszel) Abhängigkeitsparameter
Tauschen Sie das Aufgeschriebene mit Ihren Nachbarn zu beiden Seiten aus und notieren Sie anschließend Ihre dringlichste Frage zum Thema.
Experiment
Bitte notieren Sie die folgenden Dinge zum Thema Signifikanz: • Was ist Signifikanz? • Welche Aussagekraft hat sie? • Welche Emotionen verbinden Sie mit dem Signifikanzbegriff?
Bewertung statistischer Analysen IV Wahrscheinlichkeitsmaße
• Wahrscheinlichkeitstheorie • H0 Hypothese wird getestet • Konfidenzintervall KI/CI Bereich in dem der Wert vermutet wird Auch Vertrauens-/ Erwartungsbereich
• P-Wert / statistische Signifikanz
CI 95%
Bewertung statistischer Analysen V Signifikanz
• Fischers Tee-Experiment (1935) • Einseitige oder zweiseitige Hypothesen • Statistische Signifikanz p < 0,05 bzw. p < 0,01
• Klinische Signifikanz Relevanz der Ergebnisse in der klinischen Realität
Experiment II
Alle Klarheiten beseitigt???
Bewertung statistischer Analysen VI Fehler Imagination von Schokolade führt nicht zu verändertem Konsum
Imagination von Schokolade führt zu verändertem Konsum
Imagination von Schokolade führt nicht zu verändertem Konsum
Korrekte Entscheidung
Typ II Fehler
Imagination von Schokolade führt zu verändertem Konsum
Typ I Fehler (α-Fehler)
Realität Stichprobe
Wir sehen den Effekt nicht
Wir haben den Effekt kreiert
Korrekte Entscheidung
• Die Stichprobe und deren Beschreibung sind essentiell zur Bewertung von Studien • Eine gute, bzw. transparente Datenqualität ist die Voraussetzung guter Ergebnisse
• Zitat Churchill Es geht nicht darum Fälschungen aufzudecken, wohl aber darum was und was nicht beschrieben wurde und warum dies so geschehen ist (Limitationen/Diskussion?)
Fazit I
• Statistisch signifikante Ergebnisse deuten nicht zwingend auf eine klinische Signifikanz hin
Alle Klarheiten beseitigt???
Fazit I
Literatur Baarda DB, de Goede MPM. Basisboek Methoden en Technieken – Handleiding voor het opzetten van onderzoek. Groningen: Stenfert Kroese; 2001. Burns N, Grove S. Pflegeforschung verstehen und anwenden. München: Elsevier; 2005. Fields A. Discovering statistics using IBM SPSS Statistics. London: Sage Publications; 2013. Kvas E. Basics in Statistik - Teil 1: Kennzahlen der Epidemiologie – Relatives Risiko und Chancenverhältnis (= Odds Ratio). Austrian Journal of Cardiology. 12 (7-8), 186-187. Reintjes R, Popp J. Methoden für den ÖGD: Strategie zur Auswertung epidemiologischer Fall-Kontroll-Studien. Gesundheitswesen. 2009; 71: 313-322.