VIII Experimentelle und quasi-experimentelle Designs Varianzkontrolle für die abhängige Variable Bestimmung von Vergleichsgruppen Modus für die Aufteilung der Versuchspersonen Vergleichsgruppen bestimmen durch die unabhängige Variable

Aufteilung

vor

Erhebung

nach

Experimentelles Design - Survey

1

Zufall ex post factum

1

Vorexperimentelle Designs

Bsp: Klatscht fortwährend in die Hände „Ich vertreibe die Elefanten“ „Es sind doch keine da“ „Eben!“

Fehlende Kontrollgruppe XO Beobachtung nur für X - ohne Kontrollgruppe X O

experimenteller Stimulus Observation - abhängige Variable

Frage der Wirksamkeit des Stimulus nicht beantwortbar

Bsp.: Skiunfälle - Churer Zeitung: „Deutsche Skifahrer rasen, sie sind zu 55% an den Unfällen beteiligt - so die Statistik des Kantonsspitals“ Fiktiv Skiunfall ja nein

D

FL

andere

Summe

4950

40

3960

8950

550

10

440

1000

5500

50

4440

9950

Die Tabelle erklärt, wie die Daten vollständig aussehen könnten Zusätzliches Problem: Selektionsfehler 2

Etwa könnten deutsche Risikofahrer besonders gerne nach F fahren. Design falscher Vergleichswerte Bsp: Tempolimit verringert Unfallgefährdung? Unfälle

Tempo 100

Tempo 200

nein

?

?

ja

100

10

Vergleich mit der Manchester-Diskussion: Zusammenhang Bildung und Kriminalität XO Varianz der unabhängigen Variable = 0 falsche Vergleichswerte .... der abhängigen Variablen = 0

3

Vorher-Nachher-Design 0 1 X 02 In der Physik gut in SoWi: Reifungsprozesse! Wie hätte sich die untersuchte Gruppe ohne X „entwickelt“ Bsp: 01 Leistung vor einem Programm 02 nachher dazwischen Stimulus X Etwa: Spezielles Förderprogramm für schwächer Begabte im Alter von 5; zweite Messung im Alter von 6 Reifungsprozeß: Das Kind hätte sich vielleicht sowieso entwickelt

4

2

Experimentelle Designs

Eigenschaften Mindestens 2 experimentelle Gruppen Vp nach Zufall zugeteilt Unabhängige Variable vom Forscher festgelegt (Stimulus) Design mit Randomisierung R R R

| X 01 | 02

VG KG

Blind - doppelblind Manchmal: KG = andere Behandlung Denkmuster: Unterschied 01 - 02 ist Meßkriterium für Erfolg „signifikant“: dieser Unterschied liegt über der Schwelle der Zufallsschwankungen Randomisieren der Vpn neutralisiert Drittvariablen Insgesamt: Der beobachtete Unterschied kann durch Zufall nicht erklärt werden kann durch Drittvariable nicht erklärt werden ist auf die Behandlung - die unabhängige Variable - zurückzuführen.

5

Bsp: Effekt eines Berufsfortbildungsprogramms auf die Beschäftigungschance von Arbeitslosen Ohne R X

01 02

VG (Kurs) KG

Höhere Wiederbeschäftigung 01 in VG zeigt Erfolg des Programms? Selektionsfaktoren Z! Etwa: Motivation etc. X + Z

Korrelation (X, O) groß! + O

Mit R - Randomisierung zur Kontrolle von Drittvariablen R R

|X |

01 02

VG KG

Bsp: 80 Anmeldungen für den Kurs, zufällige Auswahl für die 50 vorhandenen Plätze

6

Fehlerquellen - durch Randomisierung nicht beseitigbar

1)

Mit Kurs X eine Variable Y konfundiert, die nicht durch R neutralisierbar Bsp: Y die Regelmäßigkeit des Tagesablaufs, die durch X bestimmt wird

2) 3) Reaktivität der Auswahl bzw. der Messung Bewußtsein „ausgewählt“, „wiss. Erforscht“ Entmutigt durch Nicht-Auswahl 4)

Schlechte Aufteilung durch Zufall Zufall spielt auch verrückt

7

Vermeidung spezieller Fehlerquellen

R R

| 01 | 03

X

02 04

vorher-nachher; VG KG

Lerneffekte durch Vorher-Messung? Design nach Solomon: R R R R

| 01 | 03 | |

X X

02 04 05 06

bei positivem kausalem Einfluß: zu erwarten: 02 >01 02 >04 05 >06 05 >03

8

Simultane Wirkung mehrerer Faktoren Bsp: Frontalunterricht gegen Gruppenunterricht; bei 3 verschiedenen Klassengrößen 2x3

Versuchsgruppen Gibt es Unterschiede in der Art des Unterrichts Gibt es Zusammenhänge: Etwa wirkt Gruppenunterricht nur in kleinen Klassen?

k x l - faktorielles Design Untersuchung der Wirkung verschiedener Programme Interaktionen

9

Vor- und Nachteile experimenteller Designs Vorteile: Stimulus wird VOR Wirkung produziert Randomisierung neutralisiert Drittvariable Nachteile: Generalisierbarkeit experimenteller Effekte Labor - soziales Leben? Reaktivität Aufwand Leistung von experim. Designs: Kontrolle von Störfaktoren

10

4

Quasi-Experimente und Evaluationsforschung

Quasi-Experimente . Experimente ohne Randomisierung Bei Evaluation von sozialen Maßnahmen oft Zufallsaufteilung nicht möglich Drittvariablen daher nicht neutralisiert Typen: Designs mit nicht gleichartiger KG Zeitreihenexperimente

11

Quasi-Experimente mit nicht gleichartiger KG 01 03

X

02 04

Maßnahmengruppe KG

Kriterium Im R-Design: hier:

02 gegen 04 0 2 - 01 gegen 04 - 03

Kontrolliert: Reifungseffekte zwischenzeitliches Geschehen Größerer Zuwachs in VG deutet auf Erfolg des Programms?

Bsp: Einfluß schulischen Förderprogramms Leistungszuwachs 0 2 - 01 VG 0 4 - 03 KG (Reifung etc.)

12

Probleme Nicht-Vergleichbarkeit der Gruppen etwa Selbstselektion Systematischer Ausfall von Probanden Bsp: es melden sich motivierte Kinder eher für das Förderprogramm Leistungsschwächere in VG brechen das Programm eher ab verzerren 02 nach oben

Abhilfe Matching (gruppen- oder paarweise) Kontrolle von Drittvariablen nachher durch statistische Verfahren Einflußvariablen durch Design oder durch Rechnung gleich gesetzt Herstellen von vergleichbaren „Zwillingen“

Keine Hilfe: für Variable, die beim Matching Bei der Datenerhebung nicht erfaßt Bsp: Matching nach Geschlecht, Leistung und Sozialstatus Was ist mit „Motivation“?

13

Regressionseffekt Vorher-Messungen: 01 < 03 starke Unterschiede dann ist ein Regressionseffekt zu erwarten: VG 0 geht hinauf KG 0 geht hinunter Regression zur Mitte

Bsp: Schulische Fördermaßnahme X Schüler

vorher

Programm

nachher

VG

schlechtesten

5

X

5,4,3

KG

besten

1

1,2,3

Es kann nur besser bzw. schlechter werden! 0 2 - 01 0 4 - 03

< Null > Null

Verbesserung Verschlechterung

Kontrolle von Regressionseffekten mit Zeitreihendesign 01 02 03 04

X

05 0 6

07 08

orientiert über Trend und Fluktuation vor und nach Behandlung kontrolliert Regressionseffekt und Reifung

14

Zeitreihen-Experimente 01 02 03 04

X

05 0 6

07 08

Problem: Trennen von langfristigem Trend und kurzfristigem Effekt von Maßnahmen

Bsp: Schwarzfahren in Hamburg Maßnahme „Erhöhung des Bußgeldes von DM 20 auf DM 40" 4/97

März 98 X

1,12

4/98 0,84

% Schwarzfahrer

Rückgang von 0,28%-Punkten bedeutet bei 400 Mio Beförderungen eine Verringerung von 1,12 Mio. Maßnahme erfolgreich?

Aber: 75

76

77

78

79

0,96

0,88

1,12

0,84

0,96

Im Peak der natürlichen Fluktuation wäre vielleicht jede andere Maßnahme genauso wirksam gewesen. Abhilfe: KG 15