Moderne Methoden der Kausalanalyse Prof. Dr. Josef Brüderl LMU München Oktober 2013

Inhalt 1. 2. 3. 4. 5. 6. 7. 8.

Einführung: Das kontrafaktische Kausalmodell Einführung: Graphische Kausalmodelle Überblick über grundlegende Methoden Vertiefung: Das Experiment Vertiefung: Das Back-Door Kriterium Vertiefung: Die Collider Problematik Vertiefung: Regression und Matching Vertiefung: Die Instrumentalvariablen Methode Literatur

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

03 13 16 31 33 39 50 61 86

2

Kapitel 1 Einführung: Das kontrafaktische Kausalmodell

Josef Brüderl Kausalanalyse

Kausalanalyse • Das Ziel der erklärenden Sozialwissenschaften – Die kausale Erklärung von Ereignissen und sozialen Strukturen – Theoretisch begründete Kausalhypothesen werden anhand von Daten Falsifikationsversuchen unterworfen

• Beispiele (Morgan/Winship, 1.3.1) – Soziale oder genetisch bedingte Bildungsungleichheit? - Kausaleffekte von sozialer Herkunft und Intelligenz auf Bildungserfolg

– Humankapitaleffekte oder Ability Bias? - Kausaleffekte von Bildung und Intelligenz auf Einkommen

– Ist die Schulumgebung wichtig? - Privatschule vs. öffentliche Schule und Lernerfolg - Klassengröße und Lernerfolg

– Lohnt Weiterbildung? - Kausaleffekt von Weiterbildung auf Einkommen

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

4

Kontrafaktische Kausalität • Die Grundidee findet sich bereits bei John Stuart Mill (1806-1873) – “Thus, if a person eats of a particular dish, and dies in consequence, that is, would not have died if he had not eaten of it, people would be apt to say that eating of that dish was the cause of his death.” - Quelle: John Stuart Mill (2002). A System of Logic. Reprinted from the 1981 edition (first published 1843). Honolulu: UP of the Pacific. S. 214.

• Synonyme Bezeichnungen für das Modell – Counterfactual Model of Causal Inference – Rubin Causal Model – Potential Outcomes Model of Causal Inference

Quelle: Ben Jann (2010) Skript „Kausalanalyse“

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

5

Was kann eine Ursache sein? • Ursachen (Treatments) sind immer Ereignisse – Was wäre, wenn das Ereignis nicht passiert wäre? – Ursachen sollten klar abgegrenzte Ereignisse sein - Damit keine „ceteris paribus“ Annahmen nötig sind

• Können auch Attribute Ursachen sein? – Geschlecht, Alter, Herkunft, … – Da nicht manipulierbar eigentlich nicht – In einem „Mechanismus-Kausalmodell“ schon, da Attribute bestimmte Mechanismen auslösen, die Effekte erzeugen

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

6

Das kontrafaktische Kausalmodell •

: Treatment Variable

1 falls Treatment Treatmentgruppe 0 sonst Kontrollgruppe

• Potentielle Ergebnisse –

1:

das potentielle Ergebnis (Outcome) mit Treatment

–

0:

das potentielle Ergebnis (Outcome) ohne Treatment

• Realisierungen der Variablen für Individuum werden mit Kleinbuchstaben symbolisiert: , 1, 0 • Der kausale Effekt des Treatments für Individuum ist dann definiert als (individueller Kausaleffekt)

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

7

Fundamentalproblem der kausalen Inferenz • Beobachten kann man immer nur ein Ergebnis falls falls oder:

1 0 1

0,

1: potentielle Ergebnisse : realisiertes Ergebnis

• Ein Ergebnis wird realisiert, das andere ist kontrafaktisch – Man kann ein Individuum zum selben Zeitpunkt nur in einem Zustand beobachten

• Folge ist das Fundamentalproblem der kausalen Inferenz – Der individuelle Kausaleffekt lässt sich nicht bestimmen, da man nur die Hälfte der nötigen Information hat Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

8

Lösungsansätze für das Fundamentalproblem • Wie kann man trotzdem Kausalschlüsse ziehen? – Die fehlende Information muss durch Annahmen ersetzt werden

• Zuerst: Nicht der individuelle sondern der durchschnittliche Kausaleffekt wird berechnet – Average Treatment Effect (ATE)

ATE • Lösung I: Querschnitt – Man vergleicht verschiedene Individuen zu demselben Zeitpunkt - ATE = Differenz der Gruppenmittelwerte

– Zentrale Annahme: Homogenität der Individuen (compare like with like)

• Lösung II: Längsschnitt – Man vergleicht die selben Individuen zu verschiedenen Zeitpunkten - ATE = Mittelwert der Vorher/Nachher Differenzen

– Zentrale Annahme: Stabilität von

0

über die Zeit

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

9

Definition verschiedener Kausaleffekte • Average Treatment Effect (ATE) ATE • Average Treatment Effect on the Treated (ATT) ATT

|

1

|

1

|

1

|

1

• Average Treatment Effect on the Untreated (Control) (ATC) ATC

|

0

|

0

|

0

|

0

• Naive Average Treatment Effect (NATE) NATE

|

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

1

|

0

10

Beispiel

Quelle: Ben Jann (2010) Skript „Kausalanalyse“ Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

11

Eine wichtige Annahme: SUTVA • Stable Unit Treatment Value Assumption – Der Effekt des Treatments darf nicht davon abhängen, wer sonst noch das Treatment erhält (der Effekt muss stabil sein). – D.h. es darf zu keinen Aggregations-Effekten (Makro-Effekten) kommen!

• Bsp.: Weiterbildungseffekt auf Einkommen – Wenn sich ein Beschäftigter weiterbildet, dann erzeugt das (i) einen Produktivitätszuwachs und/oder (ii) einen Vorteil im Aufstiegsturnier - Beides hat einen höheren Lohn zur Folge (Kausaleffekt)

– Was passiert aber, wenn sich alle weiterbilden? - (i): die Produktivität steigt und es kommt eventuell zu Entlassungen - (ii): wenn sich alle weitergebildet haben, dann verschafft Weiterbildung im Turnier um höhere Löhne keinen Vorteil mehr („rat race“)

• Lösung, falls SUTVA verletzt – Kausaleffekte nur „marginal“ („lokal“) interpretieren – Das Kausalmodell muss komplexer werden und den AggregationsMechanismus explizieren Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

12

Kapitel 2 Einführung: Graphische Kausalmodelle

Josef Brüderl Kausalanalyse

Gerichtete Azyklische Graphen (DAGs) • Weiterentwicklung der klassischen Pfadmodelle – Judea Pearl (2000) Causality: Models, Reasoning, and Inference

• DAGs bieten einige Vorteile – Von den Pfadmodellen gewohnte Struktur - Aber formalisierte Basis - Aber mit dem kontrafaktischen Ansatz kompatibel

– Vereinfachte Darstellung bei komplexen Modellen, die im kontrafaktischen Ansatz sehr unübersichtlich wären – Vereinheitlichte Darstellung der drei prinzipiell möglichen Identifizierungsstrategien bei nicht-experimentellen Daten - Einige bisher unbeachtete Probleme bekannter Identifizierungsstrategien werden deutlich - Einige bisher wenig genutzte Identifizierungsstrategien werden deutlich

• Eine fundierte Einführung gibt Elwert (2013) Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

14

Elemente von DAGs Knoten: beobachtete Variable Offener Knoten: latente Variable Gerichtete Kante: Kausalbeziehung Bidirektionale Kante: Assoziation durch gemeinsame latente Ursache (confounder) – DAGs dürfen keine Zyklen enthalten

Y V

– – – –

U A

- Das macht im kontrafaktischen Ansatz keinen Sinn

– Die drei grundlegenden Muster der Kausalbeziehung dreier Variablen - Intervenierende Variable - Konfundierende Variable

B

A

B

C Front-Door Pfad

A

C

B Back-Door Pfad

A

C

B

- Collider Variable

A

B

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

Kapitel 3 Überblick über grundlegende Methoden

Josef Brüderl Kausalanalyse

15

Methoden der Kausalanalyse • Abhängig vom Mechanismus der Treatment-Zuordnung, benötigt man unterschiedliche Annahmen, um die fehlende kontrafaktische Information zu ersetzen Z X – Das strukturelle Modell

D

W

, , ,

- Outcome: - Treatment:

Y

U

V

• Überblick über grundlegende Identifizierungsstrategien – Randomized assignment (Experiment) - NATE

– „Selection on Observables“ ( : beobachtete Heterogenität) - Konditionaler NATE (Kontrolle von )

– „Selection on Unobservables“ ( , : unbeobachtete Heterogenität) - Strukturgleichungsmodelle (schätze das strukturelle Modell) - Exogene Variation (benutze nur die von induzierte Variation) - Mechanismus basierte Kausalanalyse (intervenierende Mechanismen) Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

17

Randomized Assignment • Typischerweise im Experiment – Zentrales Merkmal: Randomisierung - Implizit: Versuchs- und Kontrollgruppe - Implizit: kontrollierte Stimulussetzung durch Versuchsleiter

– Deshalb ist das Treatment-Assignment exogen - Randomisierung heißt, dass unabhängig von Deshalb gilt die Unabhängigkeitsannahme

0

und

1

zugewiesen wird.

X

Z D U

Y V

– Identifikations-Annahme: Unabhängigkeit

,

| |

1 1

- Keine Baseline-Heterogenität: - Keine Treatmenteffekt-Heterogenität:

| |

0 0

– Damit liefert der NATE einen unverzerrten Schätzer des ATE - Beweis s. folgende Folie Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

18

Beweis π = E(D)

hier sind zwei Werte unbekannt (rot)

da:

Quelle: Ben Jann (2010) Skript „Kausalanalyse“

Außerdem: ATE = ATT = ATC Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

19

Selection on Observables • Mit nicht-experimentellen Daten (ex-post-facto) – Treatment-Zuordnung nach beobachteter Drittvariable Z

X

Z D

W

Y V

U

– Identifikations-Annahme: konditionale Unabhängigkeit (CIA) , | - Synonym: Exogenität, „Strong Ignorability“

– Der konditionale NATE ist damit ein unverzerrter Schätzer des ATE - Intuition: nach Kontrolle von

ist die Variation in

so gut wie zufällig

– Identifikationsstrategien - Kontrolle durch Stratifizierung (Subgruppenanalyse) - Herauspartialisieren (Regression) - Balancieren (Matching) Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

20

Identifikation bei Selection on Observables • Die beiden identifizierenden Annahmen – Konditionale Unabhängigkeit (CIA) - Konditionale Baseline-Homogenität: - Konditionale Treatmenteffekt-Homogenität:

| |

1, 1,

| |

0, 0,

– Überlappung des Wertebereichs - Alle Ausprägungen von Z sind für beide Gruppen möglich: 0 1| 1, für alle z

• Damit sind die üblichen Kausaleffekte schätzbar – Z.B. der ATT |

1,

| |

1, 1,

| |

– Analog der ATC

1, 0,

Dieser Abschnitt ist inspiriert von einem Vortrag von Ben Jann

- Es gilt ATT = ATC = ATE Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

21

Identifikation bei nur teilweise gültigen Annahmen • Keine vollständige Überlappung – Dann ist der ATE nur für den überlappenden Bereich („common support“) bestimmt. Ist der klein, dann macht es wenig Sinn!

• Die konditionale Unabhängigkeit gilt nur einseitig – Es gilt nur die Baseline- bzw. die Treatmenteffekt Homogenität – Bsp: Katholische Schulen (M/W) - Schüler, die besonders von einer katholischen Schule profitieren, gehen dahin. Es besteht also Treatmenteffekt Heterogenität: | 1, | 0, - Aber bzgl. der Baseline unterscheiden sich die beiden Gruppen (konditional) nicht: | 1, | 0, - Damit kann immerhin der ATT berechnet werden |

1,

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

| |

1, 1,

| |

1, 0, 22

Identifikation durch Stratifizierung • Durch Stratifizierung (konstant halten) kann der ATE geschätzt werden – Bei Gültigkeit der CIA und der Überlappungsannahme kann der ATE einfach durch „perfekte Stratifizierung“ ermittelt werden - Für jede Ausprägung von Z berechne die Differenz der Mittelwerte der Treatment- und Kontrollgruppe - Geht offensichtlich nur bei Überlappung - Der Gesamteffekt ergibt sich als das mit den Schichtanteilen gewichtete Mittel

|

1,

|

0,

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

23

Selection on Unobservables • Mit nicht-experimentellen Daten (ex-post-facto) – Treatment-Zuordnung nach beobachteter Drittvariable Z und zusätzlich nach unbeobachteten Variablen

X

Z D

W U

Y V

– Konditionale Unabhängigkeit nicht gegeben! - Endogenität auch nach Kontrolle von Z

– Auch der konditional NATE liefert einen verzerrten Schätzer - Intuition: Die Variation von D und Y ist gemeinsam von Unobservables induziert (die Unobservables erzeugen Kovariation) - Beweis s. folgende Folie (für unkonditionalen NATE) Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

24

Selektions-Bias • Erfolgt die Treatment-Zuweisung nicht durch Zufall, sondern durch Unobservables (Selbstselektion), so ist der NATE verzerrt

Quelle: Ben Jann (2010) Skript „Kausalanalyse“ Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

25

Selbstselektion • Selbstselektion ist das zentrale Problem der nichtexperimentellen Sozialforschung! – Selbstselektion erzeugt Baseline-Heterogenität |

1

|

0

(Heterogenität)

– Selbstselektion erzeugt Treatmenteffekt-Heterogenität |

1

|

0

(Endogenität)

– Dadurch kommt es zum Selektions-Bias – Erfolgt die Selbstselektion durch Observables, so kann man den Selektions-Bias durch Konditionieren beseitigen – Erfolgt die Selbstselektion durch Unobservables, so kann man den Selektions-Bias beseitigen durch - Strukturgleichungsmodelle - Exogene Variation - Intervenierende Mechanismen Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

26

Identifikation: Strukturgleichungsmodelle • Annahmen über f, g und die gemeinsame Verteilung von U und V – Spezialfall: „Control Function Models“ (Heckman, 1978)

• Die Annahmen sind nicht überprüfbar und auch kaum plausibel zu begründen. Sind sie falsch, so sind die Schätzer verzerrt. • Deshalb sind diese Verfahren nicht hilfreich und haben in der Sozialforschung zu einem großen Durcheinander geführt!

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

27

Identifikation: Exogene Variation • Available approaches under selection on unobservables – Instrumental variables (IV) approach - Search for an IV (W) that is correlated with D, but not with Y - Then the variation in D that is produced by W (compliers) is exogenous - By comparing the treatment and control compliers, we can identify the causal effect

– Regression discontinuity (RD) approach - Look for an exogenous threshold were similar units are selected into treatment and control - By comparing the treatment and control units close to the threshold, we can identify the causal effect

– Fixed-effects (FE) approach - Look for within variation induced by an exogenous treatment - By comparing the within variation only, we can identify the causal effect

• Causal effects are identified by the exogenous variation only – All these approaches use only part of the variation that is available - IV and RD use only part of the sample (LATE) - FE uses only those units that are treated (ATT)

– The endogenous (“contaminated”) part of the variation is discarded Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

28

Identifikation: Front-Door Conditioning • Intervening mechanism through M and N – We can identify the causal effect by a two step procedure ‐ → and → are identified, because Y is a collider ‐ → and N → are identified, by conditioning on D - Piecing the two steps together gives the total causal effect

– Main Assumptions - The mechanism is exhaustive - There is not a third intervening variable - The mechanism is isolated U - M and N are not affected by U

M D

Y N

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

29

Eine neue Art der Sozialforschung? • In nicht-experimentellen Daten fast immer „Selection on Unobservables“ – Die Regressionseffekte werden konfundiert sein – Die übliche Praxis im Theorieteil verschiedene Ursachen von Y zu listen und die dann blockweise in die Regression zu geben, ist wenig überzeugend – Ergebnisse von Regressionen sind prinzipiell mit Skepsis zu betrachten – Das Ende des „Zeitalters der Regression“?

• Grundprinzip der Lösung – Versuche exogene Treatment-Variation zu identifizieren und verwende zur Schätzung nur diese exogene Variation – Da die „kontaminierte“ Variation nicht verwendet wird, sind die Schätzer nur LATE bzw. ATT

• Deshalb sollten Sozialforscher nicht nach möglichst hohem 2 streben ( 2-Zentrierung), sondern die Schätzung des Kausaleffekts einzelner X-Variablen absichern (X-Zentrierung) – Detaillierte Analyse des Selektionsmechanismus - Wie läuft das Assignment? - Ist ein Teil des Assignments tatsächlich exogen? - Wo ist die exogene Variation, die den Kausaleffekt identifiziert?

– „Shoe Leather“ - Nicht in komplexe statistische Modellierung investieren, sondern in besseres Design - Benutz Deine Füße, um für Deine Forschungsfrage optimale Daten zu bekommen

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

30

Kapitel 4 Vertiefung: Das Experiment

Josef Brüderl Kausalanalyse

Anmerkungen zum Experiment • Obwohl die Mittelwertsdifferenz ein unverzerrter Schätzer des kausalen Effekts ist, kann die Kontrolle von Kovariaten auch in Experimenten Sinn machen, um eine präzisere Schätzung zu erreichen (s. Angrist/Pischke, Kap. 2) • Probleme des Experiments – Experimente sind nicht immer durchführbar – Interne Validität – Externe Validität

• Das Experiment als „Benchmark“ – Auch wenn es unmöglich ist, ein Experiment durchzuführen, so ist es hilfreich sich vorzustellen, wie ein ideales Experiment aussehen würde – Damit gelingt es oft die Forschungsfrage bzw. das Schätzproblem zu präzisieren Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

32

Kapitel 5 Vertiefung: Das Back-Door Kriterium

Josef Brüderl Kausalanalyse

Back-Door Conditioning →

• Es interessiert der Kausaleffekt

– Ein Pfad, bei dem der erste Pfeil auf D zeigt, heißt „Back-Door Pfad“ ← →

Z Y

D

– Problem: Ein Back-Door Pfad erzeugt Scheinkorrelation - Die Assoziation von und ist konfundiert durch den Back-Door Pfad und identifiziert damit den Kausaleffekt nicht

– Lösung: Blockiere den Back-Door Pfad durch Kontrolle von - Stratifizieren: - Herauspartialisieren: - Balancieren:

Subgruppenanalyse Regression Matching

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

nicht-parametrisch parametrisch semi-parametrisch 34

Regeln für Back-Door Conditioning • Für komplexere DAGs gibt es einige Regeln – R1: Ein Pfad ist blockiert, falls mindestens ein Nicht-Collider auf dem Pfad kontrolliert wird (übliche Drittvariablenkontrolle) - Der Back-Door Pfad wird durch Kontrolle von Z (oder F) blockiert

Z

F

: Kontrolle

Y

D E

G

Dieser Abschnitt ist inspiriert von einem Vortrag von Felix Elwert

– R2: Ein Pfad ist blockiert, falls auf ihm ein Collider liegt, für den nicht kontrolliert wird (natürliche Blockierung) - G ist eine natürliche Blockierung des unteren Pfades Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

35

Regeln für Back-Door Conditioning – R3: Kontrolliert man für einen Collider, so wird der Pfad geöffnet - Durch die Kontrolle von G entsteht eine Assoziation von D und E, wodurch ein Back-Door Pfad geöffnet wird

Z

F Y

D E

G

- Noch schlimmer: das gilt selbst für vom Collider verursachte Variablen, die nicht auf dem Pfad liegen Z

F

Y

D H G Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

E 36

Regeln für Back-Door Conditioning – Zu R3: Unbedachtes Mitkontrollieren eines Colliders kann also die Kausalanalyse ruinieren! - Bei der in Regressionsanalysen üblichen „Kontrolliere Alles auf Verdacht“ Strategie, passiert dies schnell

– R4: Für Variablen auf dem Kausalen Pfad (intervenierende Variablen) sollte man nicht kontrollieren - Kontrolliert man hier für M, so wird der über M laufende (indirekte) Effekt „wegkontrolliert“. Es bleibt nur der direkte Effekt über. - Im kontrafaktischen Ansatz machen direkte und indirekte Kausaleffekte keinen Sinn. Der ATE ist immer ein Gesamteffekt. - Bei der „Kontrolliere Alles auf Verdacht“ Strategie, passiert dies schnell

M

Deshalb: • Kein „Kontrolliere Alles auf Verdacht“ Y • Sondern zeichne zuerst ein DAG, in dem alle Variablen verortet sind, und kontrolliere dann nur für die Variablen, die weder Collider noch Intervention sind!

D G

E

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

37

The Three Sources of Bias Marginal Association

intervening variable

A

B

causal effect identified

A

B

confounding bias

A

B

overcontrol bias

C

A

B

causal effect identified

C collider

C

A

|

C confounder

Conditional Association |

C

Source: Elwert, 2013

C B

causal effect identified Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

A

B

endogenous selection bias 38

Kapitel 6 Vertiefung: Die Collider Problematik

Josef Brüderl Kausalanalyse

Collider Beispiel: College Zulassung • Simulationsbeispiel bei Morgan/Winship, S. 66f – „SAT-Score“ + „Punkte im Motivationsinterview“ bestimmt die „College Zulassung“ (oberen 15%) – Nun könnte man auf die Idee kommen, mit diesen Daten zu untersuchen, ob die SATScores einen Effekt auf die Motivation haben

Zulassung

SAT

Motivation

- Hier: kein Effekt von „SAT-Scores“ auf „Motivation“ ‐ , 0.035 - „Zulassung“ ist aber ein Collider: Kontrolliert man nun für „Zulassung“, so findet man einen stark negativen Zusammenhang! ‐ , | 0.232 ‐

, |

0.641

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

40

Collider sind überall! • Die Collider-Problematik beschränkt sich nicht nur auf einige spitzfindige Anwendungen, sondern man findet sie in vielen Bereichen der Sozialforschung – Viele bisher eher disparat behandelten Verzerrungen sind spezielle Collider-Probleme – Elwert (2013): endogenous selection bias

• Collider können zeitlich überall auftreten – Vor D, zwischen D und Y, und nach Y

• Im folgenden zwei Klassen von endogenous selection bias – Sample selection bias – Lagged dependent variable (LDV)

Der folgende Abschnitt ist inspiriert von Elwert (2013) Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

41

Sample Selection Bias • Verschiedene Varianten – Stichprobenselektion nach der abhängigen Variable - Eigentlich ein unproblematisches Modell - Wenn aber nun nur ein Teil des Wertebereichs von Y in die Stichprobe gelangen kann, dann öffnet sich ein Back-Door Pfad - Bsp.: Trunkierung des Einkommens (keine „Besserverdiener“ in der Stichprobe)

U D

Y

– Survey Non-Response - Survey Non-Response kann einen scheinbaren Zusammenhang produzieren, wenn sowohl D wie auch Y den Response beeinflussen - Denn dann ist der Response ein Collider, von dem nur eine Gruppe (die Respondenten) in der Analyse sind - Bsp.: Bildung und Einkommen Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

Response

D

Y

42

Sample Selection Bias – Klassische Stichprobenselektion (Heckman)

- Bildung beeinflusst den Reservationslohn (latent) Arbeitsmarktbet. und der wiederum den beobachteten Lohn - Beide Löhne beeinflussen die Lohn Bildung Arbeitsmarktbeteiligung (Collider) Res.Lohn - Kommen nun nur die Personen in die Analyse, die im Arbeitsmarkt sind, so wird eine Assoziation von Bildung und Lohn induziert

– Panel Attrition - D beeinflusst die Attrition. Unobservables beeinflussen Attrition und das Outcome. - Beschränkt sich die Analyse dann auf die Personen, die im Panel bleiben, so öffnet man einen Back-Door Pfad. - Bsp.: D Familienstand, Y Fertilität, U Gesundheit

U Attrition

Y

D

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

43

Simulation: Survey-Nonresponse Response

• Wie stark wird die Schätzung der Bildungsrendite verzerrt, wenn der Response von Bildung und dem Lohn abhängt? – Bildungsrendite: 0,7 € pro Bildungsjahr – 50% Response Der folgende Abschnitt basiert

0,7

Educ

Wage

auf eigenen Berechnungen set obs 1000 * A qui qui qui

perfect world: return on education is 0.7 EUR gen Educ = 9 + int((19-9)*uniform()) //years of schooling (uniformly summ Educ // distributed): 9, ... , 18 gen EM = r(mean)

qui qui qui qui

drawnorm U gen Wage = 15 + 0.7*Educ + 2*U summ Wage gen WM = r(mean)

//a random error term N(0,1) //hourly wage (EUR)

* Now the real world: we have data only for those who respond to the survey. * Response is a function of both education and wage (Resp is a collider) qui drawnorm V qui gen RespL = 0.5*(Educ-EM) + 0.5*(Wage-WM) + V //the latent response variable qui gen Resp = RespL >= 0 //observed response is 50% Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

44

Simulation: Survey-Nonresponse . * These are the consequences: estimates that use only the survey data . * are biased downwards (because we condition on the collider "Response") . regr Wage Educ

//true regression

Number of obs = R-squared =

1000 0.4825

-----------------------------------------------------------------------------Wage | Coef. Std. Err. t P>|t| [95% Conf. Interval] -------------+---------------------------------------------------------------Educ | 0.6721 0.0220 30.50 0.000 0.6288 0.7153 _cons | 15.3352 0.3028 50.64 0.000 14.7409 15.9294 -----------------------------------------------------------------------------. regr Wage Educ if Resp==1 Number of obs = R-squared =

//survey regression

502 0.1544

-----------------------------------------------------------------------------Wage | Coef. Std. Err. t P>|t| [95% Conf. Interval] -------------+---------------------------------------------------------------Educ | 0.4206 0.0440 9.55 0.000 0.3341 0.5071 _cons | 19.6859 0.6930 28.41 0.000 18.3244 21.0474 ------------------------------------------------------------------------------

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

45

35

Simulation: Survey-Nonresponse Respondent True regression

15

20

hourly wage 25

30

Nonrespondent Survey regression

8

10

12

14

16

18

education Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

46

Modelle mit verzögert endogener Variable • LDV als Kontrolle für Unobservables – Oft wird argumentiert, dass eine LDV eine gute Proxy für die Unobservables ist, und man deshalb mit einer LDV das Problem unbeobachteter Variablen in den Griff bekommt - Dies sind sogenannte „dynamische Panelmodelle“, die bis vor Kurzem das Standardmodell der Panelanalyse waren

U Yt‐1 Yt

D ‐

blockiert in diesem Modell den Back-Door Pfad, weshalb identifiziert ist

→



Dieser Abschnitt ist inspiriert von einem Vortrag von Felix Elwert Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

47

Modelle mit verzögert endogener Variable – Die Annahme, dass alle Unobservables nur nicht aber beeinflussen, ist unrealistisch. Realistischer ist, dass die (meisten) Unobservables Y zu beiden Zeitpunkten beeinflussen.

V

U

Yt‐1 D

Yt

ein Collider! Kontrolliert man für ihn, so öffnet man – Damit ist einen Back-Door Pfad ← ↔ → , wodurch der Schätzer von → verzerrt wird. – Folgerung: Dynamische Panelmodelle sind keine Lösung des Problems unbeobachteter Heterogenität. Unter plausiblen Annahmen liefern sie verzerrte Schätzer des Kausaleffektes. Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

48

Ein unlösbares Dilemma • Ein Beispiel, in dem der Kausaleffekt nicht identifizierbar ist V

– Es existiert ein Back-Door Pfad, der → verzerrt. Ohne Kontrolle von W ist das nicht zu vermeiden.

W

D

Y

D

Y

U V

– Kontrolliert man allerdings für W, so geht ein neuer Back-Door Pfad auf (da W ein Collider ist). Deshalb ist auch mit Kontrolle von W → verzerrt

W U

Nach: James M. Robins Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

Kapitel 7 Vertiefung: Regression und Matching

Josef Brüderl Kausalanalyse

49

Matching • Grundidee – Zu jedem Fall in der Treatment-Gruppe, sucht man einen KontrollFall, der den gleichen Z-Wert hat - Damit ist Z in den beiden Gruppen „balanciert“ - Der Kontroll-Fall ist somit der „imputierte“ kontrafaktische Wert - Dies funktioniert nur bei Überlappung

– Gilt die CIA, so ist die mittlere Differenz der Y-Werte in beiden Gruppen der ATE Es werden eine/mehrere Personen gematcht. N1 ist die Fallzahl in der Treatmentgruppe. N0 ist die Fallzahl in der Kontrollgruppe. wij sind skalierte Gewichte.

• Allgemein 1

i: Index in D=1, j: Index in D=0 1 i: Index in D=0, j: Index in D=1 Meist wird nur der ATT geschätzt! Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

51

Exaktes Matching • Es werden alle Fälle mit identischem Z gematcht 1⁄ , 0,

falls sonst

– Wobei k jeweils die Zahl der Kontroll-Fälle ist, die einen TreatmentFall exakt matchen – Alle Kontroll-Fälle mit dem gleichen Z-Wert werden gematcht – „Curse of Dimensionality“ - Wenn Z mehrere Variablen enthält wird man in endlichen Datensätzen für viele Fälle kein exaktes Match finden - Coarsened exact matching: Deshalb werden die Variablen in Z zuerst vergröbert (gruppiert)

• Exaktes Matching entspricht der „perfekten Stratifizierung“ Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

52

Das Propensity-Score Theorem 1|

• Der Propensity-Score (PS):

– Der Propensity-Score gibt für jede Person anhand ihres Z-Wertes die Wahrscheinlichkeit an, dass die Person in der Treatmentgruppe ist – Enthält Z mehrere Variablen, so wird dadurch die mehrdimensionale Information auf nur eine Dimension reduziert

• Propensity-Score Theorem (Rosenbaum/Rubin 1983) – Gilt die CIA ,

|

– so gilt auch ,

|

– Intuition: Der PS enthält alle Information aus Z, die für die Bestimmung des Treatment Assignments notwendig ist. In Z ist keine weitere Information vorhanden, die dafür ausgenutzt werden könnte.

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

53

Propensity-Score Matching • 1. Schritt: Schätzen des PS – Schätze

(z.B. anhand eines Logit-Modells)

- Zentrale Annahme: das Assignment Modell ist korrekt spezifiziert

• 2. Schritt: Matching – Matche nun anhand von

(anstatt von Z)

- Nearest-Neighbor-Matching: Die Person aus der Kontrollgruppe mit dem nächsten PS wird gematcht (meist mit Zurücklegen) - Calliper-Matching: Von den k nächsten Nachbarn werden nur die gematcht, die eine vorgegebene Maximaldistanz nicht überschreiten - Radius-Matching: Alle Personen aus der Kontrollgruppe innerhalb eines definierten Radius um den PS werden gematcht - Kernel-Matching: Entweder Radius-Matching oder man matcht gar alle Fälle. Aber die gematchten Fälle werden mit einer Kernelfunktion gewichtet (je weiter der PS weg liegt, um so kleiner wird das Gewicht)

• 3. Schritt: Überprüfen der Annahmen – Balancing: ist Z in den beiden Gruppen gleich verteilt? – Common Support: wie groß ist die Überlappung der PS? Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

54

Vorteile des Matching • Konzeptionell sehr nah am kontrafaktischen Ansatz – Intuitiv ist das Verfahren sehr eingängig – Explizite Modellierung des Treatment Assignment (PS-Modell) nötig – Die fehlende kontrafaktische Information wird durch „passende“ Vergleichsfälle ersetzt – Der Kausaleffekt ist eine einfache Mittelwertsdifferenz

• Keine Annahme über funktionale Form nötig – Man muss im Outcome-Modell keine Annahme über die funktionale Form des Zusammenhangs machen – Allerdings schon im PS-Modell (Logit, Probit, etc.)

• Der „Common Support“ wird expliziert – In der Regression fällt ein zu kleiner Common Support gar nicht auf, weil einfach jenseits des Wertebereichs der Daten extrapoliert wird

• Mit Regression leicht kombinierbar – Man hat damit zwei Versuche („doppelt genäht, hält besser“) Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

55

Probleme des Matching • Konstruktion des gematchen Samples nicht standardisiert – Verschiedene Verfahren zur Berechnung der PS sind möglich – Verschiedene Matching-Verfahren sind möglich – Je nach gewählter Kombination, können durchaus unterschiedliche Ergebnisse resultieren – Die Ergebnisse sind selbst von der verwendeten Software abhängig (s. M/W, 110ff)!

• Berechnung der S.E. schwierig und nicht standardisiert – In der Praxis wird deshalb meist der Bootstrap verwendet

• Schwer zu Handhaben bei Treatments mit vielen Werten – Hat D mehr als zwei Werte, kann man paarweisen Vergleich machen

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

56

Regression • Kontrolle von Z mittels einer multiplen Regression

– Gilt die CIA, so ist ein konsistenter Schätzer des ATE |

1,

|

0,

– Die von Z verursachte Variation wird durch die multiple Regression „herauspartialisiert“. Es bleibt nur noch „exogene“ Variation übrig. - Regression von Y auf Z, berechne - Regression von D auf Z, berechne - Regression von

∗

auf

∗ ∗

∗

– Weitere, wenig beachtete Annahmen - Effekthomogenität (s. nächste Folie) - Überlappung Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

57

Regression und Effektheterogenität • Bei Effektheterogenität liefert die Regression nicht den ATE – Unterscheiden sich die Kausaleffekte in den durch Z definierten Schichten, so ist der ATE der mit den Schichtanteilen gewichtete Mittelwert (s. o. „Identifikation durch Stratifizierung“) ∙

|

1,

|

0,

– Eine Regression mit allen Dummies für Z liefert dagegen 1

|

∙

∙

|

1,

|

0,

- c ist ein Skalierungsfaktor, damit sich die Gewichte zu 1 summieren - Die schichtspezifischen Kausaleffekte werden mit der schichtspezifischen Varianz der Treatmentvariable gewichtet, d.h. Schichten, in denen P(D=1) nahe bei 0,5 liegen, gehen besonders stark in die Berechnung ein

– Lösung: füge in die Regression alle Interaktionsterme DxZ ein - Das ist dann identisch zu „perfekter Stratifizierung“ (und „exaktem Matching“) - Der ATE muss dann „per Hand“ berechnet werden Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

58

Probleme der Regression • Vorteile – Weit bekannt und leicht einsetzbar

• Nachteile – Funktionale Form, Common Support, etc. (s.o. Vorteile von Matching) – „Kontrolliere Alles auf Verdacht“ oder „Überkontrolle“ - Kontrolle von X nicht unbedingt notwendig (erhöht allerdings die Präzision) - Kontrolle von W nicht notwendig und verschwendet eine IV - Oft werden intervenierende Variablen kontrolliert, wodurch der Schätzer auf den direkten Kausaleffekt reduziert wird (s.o.) - Wenn man für Collider kontrolliert, wird leicht der Schätzer des Kausaleffektes verzerrt (s.o.)

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

59

Probleme von Regression und Matching • Gültigkeit der CIA zweifelhaft – In den meisten sozialwissenschaftlichen Anwendungen muss mit „Selection on Unobservables“ gerechnet werden

• Ergebnisse von Regression und Matching sind generell in Zweifel zu ziehen

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

60

Kapitel 8 Vertiefung: Die Instrumentalvariablen Methode

Josef Brüderl Kausalanalyse

IV Intuition • Ein Regressionsmodell – Ist D exogen ( , 0) dann ist der OLS-Schätzer unverzerrt ,

Ein valides Instrument

D Z

ε

– Ist D endogen ( , 0) dann ist der OLS-Schätzer verzerrt – Existiert aber ein Instrument Z, für das gilt , ,

0 0

Y

(Z ist ein möglichst starker Prädiktor) (Z ist valide (exogen)) Ein nicht valides Instrument

– so lässt sich der Kausaleffekt von D auf Y identifizieren, indem man nur die durch Z induzierte Kovariation von D und Y benutzt - Die durch induzierte Kovariation von D und Y wird also ignoriert! Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

D Z

Y ε

62

Dichotomes Instrument • Das Modell von oben und dichotomes Z – –

–

– –

und ∈ 0,1 mit , 0 Nimmt man weiterhin an, dass keine Effektheterogenität vorliegt | 1 | 0 so ergibt sich bei konditionaler Erwartungswertbildung | 1 | 1 | 1 | 0 | 0 | 0 Bildet man die Differenz, so erhält man | 1 | 0 | 1 | 0 | 1 | 0 Der zweite Term auf der rechten Seite ist 0, falls Z eine valide IV ist Daraus ergibt sich dann durch Umformung der Wald-Schätzer

| |

,

1 1

| |

0 0

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

63

Klassische IV • Verallgemeinerung, falls Z kontinuierlich ist mit – Nach ähnlicher Manipulation wie oben, gilt , , – Ist Z valide folgt daraus

,

0

,

, ,

– Folgende Annahmen sind nötig: ‐ , 0 (starkes Instrument) , 0 (valides (exogenes) Instrument) ‐ - Effekthomogenität

– Ist Z=D, so folgt daraus die OLS-Formel (D ist also seine eigene IV!)

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

64

Klassische IV • Multiple Instrumente:

,

,…,

– Zweistufige Schätzung: Two-Stage Least Squares (2SLS) - Erster Schritt: Berechne Vorhersagewert

⟹

(OLS)

̂

- Zweiter Schritt: Regression von

auf

(OLS)

- Der S.E. von ist dann allerdings falsch (weil nicht berücksichtigt wird, dass ein geschätzter Wert ist). Gängige 2SLS Programme berücksichtigen dies jedoch.

– Intuition: zur Schätzung von wird nur die durch Z induzierte, exogene Variation in D verwendet. Die residuale (evtl. endogene) Variation in D wird nicht verwendet.

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

65

Klassische IV • Manchmal ist Z nur dann ein valides Instrument, wenn ein Back-Door Pfad blockiert wird – Hier durch Kontrolle von X – Mit 2SLS leicht umsetzbar

Ein konditional valides Instrument

D ⟹

̂

Y

Z

- Wichtig: X muss in beiden Modellen kontrolliert werden!

ε X

• Allgemein gilt für den IV-Schätzer - wobei X die Variablen der Y-Gleichung sind (incl. D) - und Z ist gleich X, nur D ist durch Z ersetzt Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

66

Eigenschaften von IV-Schätzern • Gelten die Annahmen, so ist der IV-Schätzer konsistent – Invalide Instrumente liefern verzerrte Schätzer - Die Validität ist nicht anhand von Daten überprüfbar! - Sog. Endogenitäts-Test und Overidentification-Tests sagen nichts über die Validität des Instruments! - Deshalb sollte man keinem IV-Ergebnis trauen, es sei denn, es gibt überzeugende (theoretische) Argumente für die Exogenität des Instruments

– Schwache Instrumente liefern in finiten Stichproben ebenfalls verzerrte Schätzer - Schwache Instrumente „blähen“ nur den Standardfehler auf. Liegt der OLS-Schätzer innerhalb des K.I. des IV-Schätzers, bleibe bei OLS. - Mit Daten überprüfbar: Regression von D auf Z, F-Statistik sollte > 10 sein - Schwache Instrumente ( , 0,1) liefern selbst bei leichter Endogenität des Instruments ( , 0,1) stärker verzerrte Schätzer als OLS! - Besser ein starkes Instrument als viele Schwache

– Nur exogene und (!) starke Instrumente helfen tatsächlich! - Und die gibt es leider nur ganz selten Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

67

Die Validität eines Instruments ist nicht testbar • – Falls 0 ist das Instrument nicht valide – Aber dieser Test funktioniert nicht, denn D ist ein Collider – Kontrolliert man für ihn, so wird eine Assoziation von Z und induziert – Damit wird eine Scheinkorrelation von Y und Z erzeugt, die nicht kontrolliert werden kann (da unbeobachtet ist) – Man wird also immer (!) eine Assoziation von Y und Z beobachten

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

D Z

ε

D Z

Y

Y ε

68

IV Beispiele • Veteranen Prämie? – Militärdienst sollte die späteren Einkommen erhöhen (insbesondere bei ansonsten gering Gebildeten) – Aber ziemlich sicher eine selektierte Gruppe (Freiwillige, Gesunde) – Instrument: „Vietnam Era Draft Lottery“ (Angrist 1990) - Eingezogen nur die, die an zufällig gewählten Tagen Geburtstag hatten - Geburtstag (bzw. „draft eligibility“) ist damit das Instrument

– Ergebnis: Militärdienst hatte negativen Effekt

• Bildungsrendite – Die Bildungsrendite ist evtl. durch den Ability-Bias nach oben verzerrt – Instrument: Geburtsmonat (Angrist/Krueger 1991) - In USA: Jahrgang wir eingeschult (im September); die Anfang des Jahres Geborenen sind damit älter und können evtl. die Schule früher verlassen (falls Mindestalter festgesetzt ist), d.h. sie haben weniger Bildung - In D funktioniert das nicht (da Mindestklassenzahl gefordert wird) - Aber evtl. im Sportbereich, da Jahrgangsstufen Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

69

IV Beispiele • Wie kommt man zu validen Instrumenten? • IVs aus „natürlichen Experimenten“ (Angrist/Krueger 2001) – Natürliches Experiment: Treatment Zuordnung zwar randomisiert aber Forscher hat keine (volle) Kontrolle über Randomisierung – Hier ist die Exogenitätsannahme meist plausibel - Sofern die Randomisierung nicht total unterlaufen wird

– Aber ist das Instrument auch stark? - Bsp. Veteranen: die IV dürfte stark sein. - Bsp. Bildungsrendite: die IV ist ziemlich sicher sehr schwach!

• IVs aus zufällig zugewiesenen Anreizen (Intention-to-Treat) – Bsp. Gebührengutschein für Privatschulen – Beim echten Experiment ist der Würfel das IV und zwingt die Probanden in die Treatment- oder Kontrollgruppe – Ist der Zwang ethisch nicht vertretbar, so gib manchen Leuten zufällig einen möglichst starken Anreiz in das Treatment zu gehen Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

70

IV Simulation clear all set obs 10000 set seed 3257 * Instrument Z nicht korreliert mit * Unobservable e matrix C = (1, 0 \ 0, 1) drawnorm Z e, corr(C)

D 1,1

Z

Y

0,8 1,0

ε

0,68

* Treatment-Assignment-Modell generate D = 0.3 + 1.1*Z + e * Kausalmodell generate Y = -0.5 + 0.8*D + e * OLS-Schaetzer regress Y D * IV-Schaetzer corr Y D Z, cov di "delta_iv = " el(r(C),3,1)/el(r(C),3,2) ivreg Y (D=Z)

Dieser Abschnitt ist inspiriert von einem Vortrag von Ben Jann

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

71

IV Simulation . * OLS-Schaetzer (verzerrt) . regress Y D -----------------------------------------------------------------------------Y | Coef. Std. Err. t P>|t| [95% Conf. Interval] -------------+---------------------------------------------------------------D | 1.2569 0.0049 254.51 0.000 1.2472 1.2665 _cons | -0.6364 0.0074 -85.60 0.000 -0.6510 -0.6219 -----------------------------------------------------------------------------. . * IV-Schaetzer . corr Y D Z, cov | Y D Z -------------+--------------------------Y | 3.97222 D | 2.73782 2.17829 Z | .868958 1.07554 .970021 . di "delta_iv = " el(r(C),3,1)/el(r(C),3,2) delta_iv = .8079 . . ivreg Y (D=Z) Instrumental variables (2SLS) regression -----------------------------------------------------------------------------Y | Coef. Std. Err. t P>|t| [95% Conf. Interval] -------------+---------------------------------------------------------------D | 0.8079 0.0090 89.57 0.000 0.7902 0.8256 _cons | -0.5030 0.0102 -49.27 0.000 -0.5230 -0.4829 -----------------------------------------------------------------------------Instrumented: D Instruments: Z -----------------------------------------------------------------------------

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

72

IV Simulation (IV invalide) . * OLS-Schaetzer (verzerrt) . regress Y D ------------------------------------------------------Y | Coef. Std. Err. t P>|t| -------------+----------------------------------------D | 1.2696 0.0032 390.71 0.000 _cons | -0.6406 0.0057 -111.58 0.000 ------------------------------------------------------. . * IV-Schaetzer (auch verzerrt) . ivreg Y (D=Z)

D 1,1

------------------------------------------------------Y | Coef. Std. Err. t P>|t| -------------+----------------------------------------D | 1.0706 0.0045 239.54 0.000 _cons | -0.5816 0.0068 -85.92 0.000 ------------------------------------------------------Instrumented: D Instruments: Z -------------------------------------------------------

Z

Y

0,8 1,0

ε

0,82 0,40

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

73

IV Simulation (IV schwach und (leicht) endogen) . corr D Z

//IV schwach | D Z -------------+-----------------D | 1.0000 Z | 0.1261 1.0000 . corr Z e

//IV (leicht) endogen | Z e -------------+-----------------Z | 1.0000 e | 0.1078 1.0000

u

10

D

1,1

Z

Y

0,8 1,0 0,12

ε

0,11

. * OLS-Schaetzer (leicht verzerrt) . regress Y D -----------------------------------------------------Y | Coef. Std. Err. t P>|t| -------------+---------------------------------------D | 0.8115 0.0010 828.99 0.000 _cons | -0.5030 0.0099 -50.95 0.000 -----------------------------------------------------. . * IV-Schaetzer (stärker verzerrt!) . ivreg Y (D=Z) -----------------------------------------------------Y | Coef. Std. Err. t P>|t| -------------+---------------------------------------D | 0.8842 0.0097 91.44 0.000 _cons | -0.5168 0.0124 -41.57 0.000 ------------------------------------------------------

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

74

IV Schätzung als LATE • Die neuere Literatur zeigt, dass der IV-Schätzer ein spezieller kontrafaktischer Treatment-Effekt ist – Local average treatment effect (LATE) – Der IV-Schätzer ist der ATE einer speziellen, durch die IV (lokal) definierten Teilpopulation – Potentielle Treatment Variable: (potentielle Reaktion auf die IV) – Je nachdem wie die Einheiten auf die IV reagieren unterscheidet man -

Compliers: Defiers: Always takers: Never takers:

0 und 1 und 1 und 0 und

1 0 1 0

– Die tatsächliche Zugehörigkeit kann man nicht feststellen, weil man nur oder beobachtet – Intuition: Nur die Compliers und die Defiers nehmen an der durch die IV induzierten Randomisierung teil Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

75

IV Schätzung als LATE • Gelten folgende Annahmen – Unabhängigkeit der IV

,

,

,

- Potentielle Outcomes und potentielles Treatment unabhängig von Z (ignorability) (Z ist damit ein Randomisierungsmechanismus) - Z hat nur über D einen Effekt auf Y (exclusion restriction)

|

– Effekt der IV auf D

1

|

0

- Z muss das beobachtete Treatment zumindest für einige Einheiten bestimmen (es gibt Compliers oder Defiers)

– Monotonizität - Es gibt keine Defiers (andersrum auch möglich!)

• Dann kann man zeigen

,

|

– Der IV-Schätzer ist der ATE für die Compliers (deshalb „lokal“) – Der IV-Schätzer sagt nichts über die Treatment Effekte der Always oder Never Takers – Der LATE gilt immer nur für eine bestimmte IV Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

76

IV Schätzung als LATE • Allgemeinerer Fall 2SLS – Bei mehreren IV: der 2SLS-Schätzer ist gewichtetes Mittel der LATE – Mit exogenen X: 2SLS identifiziert nur dann den LATE, wenn die Treatment-Effekte in den Schichten von X konstant sind - Bei heterogenen Effekten kann man den nicht-parametrischen LARF-Schätzer verwenden (local average response function) - In der Praxis zeigt sich aber, dass LARF gut durch 2SLS approximiert wird

– Kontinuierliches Treatment: 2SLS entspricht hier dem gewichteten durchschnittlichen Marginal-Effekt

• Vergleich klassische IV und LATE – Kann man die Annahme der Effekthomogenität aufrechterhalten, so ist der IV-Schätzer ein ATE – Realistischer ist wohl, dass keine Effekthomogenität vorliegt – Dann muss man annehmen, dass es nur Complier gibt und der IVSchätzer ist dann LATE Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

77

LATE Beispiel • Ausführlich M/W, S. 204ff • Hier nur Berechnung des Anteils Complier – Z=1: Gebührengutschein erhalten, D=1: Schüler besucht Privat-Schule D=0

D=1

Z=0

8000

1000

Z=1

800

200

D=0

D=1

Z=0

Never Takers Compliers

Always Takers

Z=1

Never Takers

Always Takers Compliers

Zahl der Compliers

0,11

– Always Takers:

D=0 Z=0

0,8

– Never Takers:

Z=1 – Compliers:

1

0,8

0,11

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

0,089

D=1

0,089 0,8 0,089 ∗ 8000 0,089 0,11 0,089 ∗ 200 78

West-TV und Regimestabilität in der DDR • Eine vorbildliche IV Anwendung: Kern/Hainmüller 2009 • Welchen Einfluss hatte das Anschauen von West-TV auf die Regimetreue von DDR Bürgern? – Informations-Hypothese: Information über die undemokratischen Zustände im Osten und das bessere Leben im Westen sollte die Regimetreue senken – Eskapismus-Hypothese: Das West-Unterhaltungsprogramm macht den „grauen“ DDR-Alltag erträglicher und erhöht die Regimetreue - „Brot und Spiele“, „Opium fürs Volk“

• Jugendsurvey 1988 – 18-26 Jährige, PAPI, N=3564 – Y: Überzeugt von der Marxistisch/Leninistischen Weltanschauung – D: Schauen von West-TV

• Bivariat findet man einen negativen Effekt – Aber: ziemlich sicher verzerrt durch Selbst-Selektion! Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

79

West-TV und Regimestabilität in der DDR • Instrument aus einem natürlichen Experiment – Im Distrikt Dresden war es nicht möglich West-TV zu empfangen („Tal der Ahnungslosen“)

• LATE Annahmen – Monotonizität: Es ist sehr unwahrscheinlich, dass es Defier gibt – IV hat sehr starken Effekt auf D (s.u.) – Ignorability: Es gibt keine Indizien, dass Pro-Westler aus Dresden in andere Regionen migrierten, um West-TV sehen zu können – Exclusion: Dresdener unterscheiden sich in so gut wie nichts von den anderen Bürgern der DDR Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

Quelle: Kern/Hainmüller 2009

80

West-TV und Regimestabilität in der DDR • Wie stark ist das Instrument? Kein West-TV schauen

West-TV schauen

Kein West-TV Empfang

498

236

West-TV Empfang

46

2700

0,32

– Always Takers:

0,02

– Never Takers: – Compliers:

1

0,32

0,02

0,66

– Das Instrument ist folglich extrem stark!

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

81

West-TV und Regimestabilität in der DDR

Quelle: Kern/Hainmüller 2009

• Der negative Effekt wird positiv: Eskapismus-Hypothese bestätigt! – Der LATE (Wald) wird durch 2SLS noch etwas stärker – LARF wird von 2SLS ganz gut approximiert Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

82

Intergenerationale Rauchen-Transmission? • Instrumente werden häufig in einer gedankenlosen Art und Weise eingesetzt, was mehr Schaden als Nutzen anrichtet • Ein abschreckendes Beispiel ist Lillard (2011) – Vererbt sich Rauchen von den Eltern auf die Kinder? - Kausale Transmission (kausale Mechanismen) - Kinder werden süchtig durch passiv Rauchen - Kinder werden von den Eltern zum Rauchen animiert - Nicht-kausale Transmission (Unobservables) - Geteilte Gene / geteilte Umwelt

– Daten: SOEP 2002 -

Rauchverhalten retrospektiv, ca. 3000 Kinder und ihre Eltern Y: Kind beginnt mit Rauchen (zwischen 11 und 29, diskrete EHA) D: Rauchen Vater / Mutter gegenwärtig / jemals Instrumente (Mittel der Jahre in denen das Elternteil 15-19 war) - Zigarettenpreis - Zahl der US-Artikel über die Gesundheitsgefahren des Rauchens

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

83

Intergenerationale Rauchen-Transmission? • Diese Instrumente sind völlig unplausibel! – Sie sind ziemlich sicher schwach – Und überhaupt ist der ganze Ansatz problematisch, da das Treatment selbst zeitveränderlich ist (für das gegenwärtige Rauchverhalten sind ja die gegenwärtigen Zigarettenpreise prädiktiv) Wahrscheinlichkeit des Rauchbeginns bei Söhnen Quelle: Lillard 2011

OLS

GMM-IV

Vater ist gegenwärtig Raucher

0,015** (0,004)

0,080 (0,060)

Vater war jemals Raucher

0,014** (0,004)

-0,018 (0,081)

– Es kommt wie es kommen muss: - IV „bläht“ die Standardfehler bis auf das Zwanzigfache auf - Kein Effekt ist mehr signifikant (obwohl sie teilweise sogar viel größer werden) - Die OLS-Schätzer liegen innerhalb der K.I. der IV-Schätzer

– Es ist also völlig unbegründet, hier zu folgern „that youth start to smoke independently of their parents‘ smoking habits“ Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

84

Schlussfolgerungen • Effekthomogenität meist unrealistisch – IV-Schätzer sind meist nur LATE

• Schwache Instrumente sollten nicht verwendet werden – Mit schwachen Instrumenten kann man jeden Effekt zum Verschwinden bringen (bei 1% Compliers wird aus N=3000 ein N=30!) – Liegt der OLS-Schätzer innerhalb des K.I. des IV-Schätzers, bleibe bei OLS

• Einsatz multipler Instrumente (darunter auch schwacher) führt ziemlich sicher zu im Vergleich zu OLS noch stärker verzerrten Schätzern • Beste IV Strategie – Verwende nur ein Instrument, das möglichst stark ist - Veranschaulichung der Stärke durch Ausweisung des „Anteils Compliers“

– Ausführliche Begründung der Plausibilität der LATE-Annahmen nötig! Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

Literatur

Josef Brüderl Kausalanalyse

85

Literatur Angrist, J. D. 1990. Lifetime Earnings and the Vietnam Era Draft Lottery: Evidence from Social Security Administrative Records. AER 80:313–336. Angrist, J.D. und A.B. Krueger. 1991. Does Compulsory Schooling Attendance Affect Schooling and Earnings? QJE 106: 979-1014. Angrist, J.D. und A.B. Krueger. 2001. Instrumental Variables and the Search for Identification. JEP 15: 65-83. Angrist, J.D. and J.S. Pischke (2009) Mostly Harmless Econometrics. Princeton UP. Elwert, F. (2013) Graphical Causal Models. Pp. 245-273, in: Handbook of Causal Analysis for Social Research. Ed.: S. Morgan. Springer. Gangl, M. (2010) Causal Inference in Sociological Research. Annual Review of Sociology 36: 2147. Heckman, J. 1978. Dummy Endogenous Variables in Simultaneous Equations. Econometrica 46: 931-961. Kern, H. L., J. Hainmueller (2009). Opium for the Masses: How Foreign Media Can Stabilize Authoritarian Regimes. Political Analysis 17:377–399. Lillard, D. 2011. Keeping it in the Family? If Parents Smoke Do Children Follow? Schmollers Jahrbuch 131: 277-286. Morgan, S. / Winship, C. (2007) Counterfactuals and Causal Inference. Cambridge UP.

Josef Brüderl, Moderne Kausalanalyse, Oktober 2013

87