Tema 6: Multicolinealidad

Tema 6: Multicolinealidad Máximo Camacho Máximo Camacho Econometría I - ADE+D 11/12 - Tema 6 1 Multicolinealidad h  i  Bloque I: El modelo lin...
0 downloads 2 Views 2MB Size
Tema 6: Multicolinealidad Máximo Camacho

Máximo Camacho

Econometría I - ADE+D 11/12 - Tema 6

1

Multicolinealidad

h 

i 

Bloque I: El modelo lineal clásico r 

Tema 1: Introducción a la econometría

r 

Tema 2: El modelo de regresión lineal

r 

Tema 3: El método MCO

r 

Tema 4: Propiedades de la estimación MCO

r 

Tema 5: Inferencia y predicción

Bloque II: Extensiones al modelo lineal clásico r 

Tema 6: Multicolinealidad

r 

Tema 7: Variables ficticias

r 

Tema 8: Heteroscedasticidad

r 

Tema 9: Endogeneidad

Máximo Camacho

Econometría I - ADE+D 11/12 - Tema 6

2

Descripción de la clase

 

Introducción

 

Multicolinealidad exacta

 

 

• 

Consecuencias sobre la estimación

• 

¿Cómo detectarla?

• 

¿Cómo corregirla?

Multicolinealidad aproximada • 

Consecuencias sobre la estimación

• 

¿Cómo detectarla?

• 

¿Cómo corregirla?

Conclusiones

Máximo Camacho

Econometría I - ADE+D 11/12 - Tema 6

3

1. Introducción 1.1. Ejemplo de clase  

En California los responsables de educación quieren estudiar notas en 420 colegios. Datos en 1998 i 

Notas Yi

i 

Ratio estudiantes por profesor X1i (REP)

i 

Porcentaje de alumnos que no hablan bien el idioma X2i (PNI)

i 

Porcentaje de alumnos que pueden pedir ayuda para comedor X3i (PAC)

i 

Porcentaje de alumnos que pueden pedir ayuda por renta baja X4i (PAR)

 

¿Cómo estimamos esta relación?

 

Modelo lineal clásico

Máximo Camacho

Econometría I - ADE+D 11/12 - Tema 6

nuevas

4

1. Introducción 1.2. Supuestos del modelo lineal clásico  

Suponemos relación lineal entre las variables Yi = β 0 + β1 X 1i + ... + β k X ki + ε i

 

Y = Xβ + ε

Yi = χ i ' β + ε i

Supuestos E (ε i χ i ) = E (ε i ) = 0

 

Exogeneidad débil

 

Muestras aleatorias ⇒ E (ε i χ j ) = E (ε i ) = 0

Ž 

Momentos cuartos finitos

 

No multicolinealidad exacta

 

Normalidad

‘ 

Homoscedasticidad

Máximo Camacho

( )

E (ε iε j ) = E (ε i )E (ε j ) = 0

( )

( )

0 < E ε i4 < ∞,0 < E X 14i < ∞,...,0 < E X ki4 < ∞

X 1 ,..., X n no son linealmente dependientes

ε X~N var(ε i X ) = σ 2∀i

Econometría I - ADE+D 11/12 - Tema 6

5

2. Multicolinealidad exacta 2.1. Concepto  

Definición i 

 

 

Una o varias variables explicativas son una combinación lineal de otra(s)

Ejemplos económicos i 

. Renta regional i = β 0 + β1interési + ε i

i 

. i = β0 + β1ingresosi + β 2gastos i + β3beneficioi + ε i Cotización

La matriz de explicativas X tiene columnas linealmente dependientes ⎛ Y1 ⎞ ⎛1 ⎜ ⎟ ⎜ ⎜ Y2 ⎟ ⎜1 ⎜  ⎟ = ⎜  ⎜ ⎟ ⎜ ⎜ Y ⎟ ⎜1 ⎝ n ⎠ ⎝

Máximo Camacho

X 11 X 12  X 1n

   

X k 1 ⎞⎛ β 0 ⎞ ⎛ ε 1 ⎞ ⎟⎜ ⎟ ⎜ ⎟ X k 2 ⎟⎜ β1 ⎟ ⎜ ε 2 ⎟ +  ⎟⎜  ⎟ ⎜  ⎟ ⎟⎜ ⎟ ⎜ ⎟ X kn ⎟⎠⎜⎝ β k ⎟⎠ ⎜⎝ ε n ⎟⎠

Econometría I - ADE+D 11/12 - Tema 6

6

2. Multicolinealidad exacta 2.2. Implicación para el modelo  

−1 ˆ ( ) β = X ' X X 'Y No podemos encontrar de forma única MCO

rango ( X ) < K

 

 

X'X = 0

∄(X X)-1

i 

Teoría: Hemos excluido este caso por supuesto !

i 

Pero podría aparecer en aplicaciones prácticas

¿Cómo detectarlo? i 

Los programas “se quejarán” de que no podemos invertir matriz (X’X)

i 

En Eviews aparece el mensaje “near singular matrix”

¿Cómo corregirlo? i 

Se deben a errores del investigador al introducir las explicativas

i 

Al aparecer mensaje de error, corregiremos las explicativas

Máximo Camacho

Econometría I - ADE+D 11/12 - Tema 6

7

2. Multicolinealidad exacta 2.2. Implicación para el modelo   Corrección i 

En el ejemplo de la renta regional, supongamos interési = 4 Renta regionali = β 0 + β1interési + ε i Renta regionali = α 0 + ε i

i 

Renta regionali = β 0 + β1 4 + ε i

α 0 = β0 + β1 4

En el ejemplo de la cotización sabemos beneficiosi = ingresosi - gastosi Cotización i = β 0 + β1ingresosi + β 2gastos i + β3beneficioi + ε i

α 0 = β0 Cotización i = α 0 + α1ingresosi + α 2gastos i + ε i

α1 = β1 + β3

α 2 = β 2 − β3 Máximo Camacho

Econometría I - ADE+D 11/12 - Tema 6

8

3. Multicolinealidad aproximada 3.1. Concepto  

Definición i 

Una o varias variables explicativas son una combinación lineal aproximada de otra(s)

i 

Supongamos que X1 es buena explicativa pero comb. lineal aproximada de las demás X 1i = α 0 + α 2 X 2i + ... + α k X ki + u1i

 

Ejemplos económicos Porcentaje de alumnos que pueden pedir ayuda por renta baja Porcentaje de alumnos que pueden pedir ayuda para comedor Ayudas que recibe una colegio para libros Ayudas que recibe el colegio para instalaciones Gasto público en carreteras Gasto público en mejorar otras comunicaciones

Máximo Camacho

Econometría I - ADE+D 11/12 - Tema 6

9

3. Multicolinealidad aproximada 3.2. Implicación para el modelo  

−1 ˆ ( ) β = X ' X X 'Y Podemos encontrar de forma única MCO

rango ( X ) = K

 

X'X ≠ 0

∃ (X X)-1

i 

Nota: Hemos excluido la multicolinealidad exacta por el supuesto !

i 

Estimadores cumplen buenas propiedades y contrastes e intervalos como siempre

¿Qué problemas genera en la estimación? i 

Para entenderlo, supongamos que hacemos la regresión X 1i = α 0 + α 2 X 2i + ... + α k X ki + u1i

i 

Y definimos

2

SCR1 ∑ uˆ1i R = 1− = 1− 2 STC1 ( ) X − X ∑ 1i 1 2 1

Máximo Camacho

Econometría I - ADE+D 11/12 - Tema 6

10

3. Multicolinealidad aproximada 3.2. Implicación para el modelo  

¿Qué problemas genera en la estimación? i 

Podemos demostrar (ejercicios de clase y Wooldridge, pág. 102) que βˆ1 = β1 +

∑ uˆ ε ∑ uˆ 1i

2 1i

i

σ var βˆ1 X =

(

)

2

∑ uˆ12i

=

σ2

(1 − R )∑ (X 2 1

2

1i

− X1 )

i 

Cuanta mayor relación lineal entre X1 y el resto mayor varianza de βˆ1

i 

Estimación imprecisa e intervalos de confianza muy grandes ⎛⎜ βˆ1 ± tn− K ,α / 2 vaˆr βˆ1 ⎞⎟

i 

Ejemplos:

( )⎠

⎝

(

)

i 

2 Si X1 no se relacionara ( R21 = 0 ) var βˆ1 X = σ

i 

Si R21 = 0.5 esa varianza se duplica

i 

Si R21 = 0.9 esa varianza se multiplica por 10

Máximo Camacho

∑ (X

Econometría I - ADE+D 11/12 - Tema 6

2

1i

− X1 )

11

3. Multicolinealidad aproximada 3.2. Implicación para el modelo  

Ejemplo simulado (Novales, pág 346)



j

j

j

)

i 

Se generan 50 tripletas de vectores (112 x 1)

, X 1 , X 2 (j=1, 2, …50)

i 

Bajo 3 supuestos de R21 (0, 0.9 y 0.99). Siempre se cumplen los supuestos clásicos

i 

Se generan Y j conociendo la recta poblacional Yi j = 8 + 5 X 1ji − 3 X 2ji + ε i j

i 

Se estima MCO 50 veces y los resultados medios Medias

R21 = 0.00

R21 = 0.90

R21 = 0.99

βˆ

( 8.0 , 5.1, -3.0 )

( 7.9, 5.1,-3.2 )

( 7.9, 5.2, -3.3 )

var βˆ1

0.23

1.29

11.22

2

0.23

1.06

11.03

( ) var(βˆ ) Máximo Camacho

Econometría I - ADE+D 11/12 - Tema 6

casi esperanzas (insesgados) aumentan mucho

12

3. Multicolinealidad aproximada 3.2. Implicación para el modelo  

Puede indicar artificialmente variables no son significativas individualmente i 

Supongamos que hacemos el contraste Yi = β 0 + β1 X 1i + ... + β k X ki + ε i

i 

H 0 : βi = 0

H a : βi ≠ 0

El estadístico tiene varianza muy grande y tiende a caer en zona de no RH0 r 

Con independencia de que X1 se relacione con Y

r 

Aunque el R2c sea alto y no caiga al quitar X1

t* =

βˆi

( )

vaˆr βˆi

~ tn− K

- tn-K,α/2 Máximo Camacho

Econometría I - ADE+D 11/12 - Tema 6

tn-K,α/2 13

3. Multicolinealidad aproximada 3.3. Métodos de detección de multicolinealidad Método 1: gráficos de las explicativas

 

i 

En nuestro ejemplo

i 

Esperamos que PAR y PAC se relacionen (negativamente) con la dependiente

i 

Esperamos que PAR y PAC se relacionen linealmente (y positivamente)

i 

Crítica: los gráficos siempre nos pueden engañar

Notasi = β 0 + β1REPi + β 2 PNI i + β3 PACi + β 4 PARi + ε i

720

720

700

700

680

680

80 70

660

50

PAR

NOTAS

NOTAS

60

660

640

640

620

620

40 30 20 10 0

600

600 0

10

20

30

40 PAR

Máximo Camacho

50

60

70

80

0

20

40

60

80

100

PAC

Econometría I - ADE+D 11/12 - Tema 6

0

20

40

60

80

100

PAC

14

3. Multicolinealidad aproximada 3.3. Métodos de detección de multicolinealidad  

Método 2: regresar explicativas entre ellas y ver R2j i 

Sabemos que

(

σ2

) (1 − R ) (X ∑

var βˆ j X =

2 j

2

ji

− X j)

i 

El problema viene dado por R2j altos que indican alta relación lineal

i 

Veamos como son los R2j REPi = α 0 + α1PNI i + α 2 PACi + α3 PAR3i + ε i ⇒ R12 = 0.04 PNI i = α 0 + α1REPi + α 2 PACi + α3 PAR3i + ε i ⇒ R22 = 0.49 PARi = α 0 + α1REPi + α 2 PNI i + α3 PAC3i + ε i ⇒ R32 = 0.60 PACi = α 0 + α1REPi + α 2 PNI i + α3 PAR3i + ε i ⇒ R42 = 0.74

i 

Parece que el problema puede estar con PAR o con PAC

Máximo Camacho

Econometría I - ADE+D 11/12 - Tema 6

15

3. Multicolinealidad aproximada 3.3. Métodos de detección de multicolinealidad i 

Crítica ¿cómo de grande debe ser R2j para preocuparnos por multicolinealidad? r 

En la literatura ha habido algunos intentos de acotarlo

r 

Ej: Klien (1962). Sólo nos preocupa si R2j > R2 Notasi = β0 + β1REPi + β2 PNI i + β3 PACi + β 4 PARi + ε i ⇒ R 2 = 0.77

PARi = α 0 + α1REPi + α 2 PNI i + α3 PAC3i + ε i ⇒ R32 = 0.60 PACi = α 0 + α1REPi + α 2 PNI i + α3 PAR3i + ε i ⇒ R42 = 0.74 r 

i 

¿Debemos preocuparnos por multicolinealidad?

No hay ninguna razón objetiva para usar esta cota

Máximo Camacho

Econometría I - ADE+D 11/12 - Tema 6

16

3. Multicolinealidad aproximada 3.3. Métodos de detección de multicolinealidad  

Método 3: regresar explicativas entre ellas y contrastes significatividad conjunta i 

i 

Sabemos que

REPi = α 0 + α1PNI i + α 2 PACi + α 3 PARi + ε i

CSC: H 0 : α1 = 0, α 2 = 0, α 3 = 0

* j

F =

R 2j 3

(1 − R ) (n − 4) 2 j

REPi = α 0 + α1PNI i + α 2 PACi + α 3 PAR3i + ε i ⇒ F1* = 5.77 PNI i = α 0 + α1REPi + α 2 PACi + α3 PAR3i + ε i ⇒ F2* = 133 RH 0

PARi = α 0 + α1REPi + α 2 PNI i + α 3 PAC3i + ε i ⇒ F3* = 208 PACi = α 0 + α1REPi + α 2 PNI i + α 3 PAR3i + ε i ⇒ F4* = 394 i 

3.60

Crítica. Con n grande RH0 con demasiada frecuencia: recuerda que R21 = 0.04 !!!

Máximo Camacho

Econometría I - ADE+D 11/12 - Tema 6

17

3. Multicolinealidad aproximada 3.3. Métodos de detección de multicolinealidad  

Método 4: contradicción contraste significatividad global e individuales i 

Supongamos que en el modelo Yi = β 0 + β1 X 1i + β 2 X 2i + β3 X 3i + β 4 X 4i + ε i

i 

Las explicativas X2i , X3i y X4i se relacionan casi linealmente

i 

Si las variables se relacionan con la dependiente r 

El contraste de significatividad global, menos afectado por la multicolinealidad, puede indicar significatividad (incluso al 1%)

r  i 

Y el R2 puede ser alto indicando un buen ajuste

Sus contrastes de significatividad individuales r 

Pueden indicar no significatividad

r 

Sólo una variable (X1i ) significativa

Máximo Camacho

Econometría I - ADE+D 11/12 - Tema 6

18

3. Multicolinealidad aproximada 3.3. Métodos de detección de multicolinealidad i 

Crítica: casos tan claros no los tendremos en la realidad

Notˆasi = 700.39− 1.01 REPi − 0.13 PNI i − 0.52 PACi − 0.04 PARi ⇒ R = 0.77 2

(0.23)

( 4.69)

ti* =

( 0.03)

⎧ t1* = −4.23 ⎪ * βˆi ⎪ t 2 = −3.81 ⎨ * vaˆr βˆi ⎪t3 = −16.42 ⎪ t * = −0.78 ⎩ 4

( )

( 0.03)

*

F =

( 0.06)

R2 4

(1 − R ) (n − 5) = 357 2

*

t3

*

t1

*

t4

*

F

t2

-1.96 Máximo Camacho

1.96 Econometría I - ADE+D 11/12 - Tema 6

*

2.37

19

3. Multicolinealidad aproximada 3.3. Métodos de detección de multicolinealidad r 

Globalmente significativas

r 

PAR es la única no significativa

r 

¿Se debe a multicolinealidad o a que no es una buena explicativa?

r 

q 

Si se debe a multicolinealidad: vamos a ver soluciones

q 

Si no se relaciona con la dependiente: deberíamos quitarla del modelo

q 

¿Pero cómo lo sabremos?

q 

Lo mejor es acudir al sentido común

¿Cuáles son las soluciones a la multicolinealidad?

Máximo Camacho

Econometría I - ADE+D 11/12 - Tema 6

20

3. Multicolinealidad aproximada 3.4. Soluciones a la multicolinealidad  

Solución 1: añadir información extra-muestral i 

Ampliar la muestra: usando otros colegios de California r 

i 

Crítica: debemos usar toda la información disponible en la primera estimación

Usar la estimación de otra muestra r 

Supongamos que usando datos de Texas hemos estimado

Notˆasi = −0.20 PARi r 

Para los datos de California estimamos

Notasi = β 0 + β1REPi + β 2 PNI i + β3 PACi − 0.20 PARi + ε i r 

Máximo Camacho

Crítica: ¿por qué

βˆ4Texas = βˆ4California

? ⇒ Restricciones falsas sesgan la estimación

Econometría I - ADE+D 11/12 - Tema 6

21

3. Multicolinealidad aproximada 3.4. Soluciones a la multicolinealidad  

Solución 2: Usar estimadores alternativos a MCO i 

Estimador de Cresta r 

Buscamos un c y un estimador de menor varianza

βˆC = ( X ' X + cI )−1 X ' Y r  i 

(

)

−1 −1 2 var βˆc X = σ ( X ' X + cI ) X ' X ( X ' X + cI )

críticas: el estimador propuesto es sesgado y cómo elegir c

Estimador de componentes principales r 

Buscamos combinación lineal de las columnas de X: Z = XB

r 

B se busaca de forma que las Zi sean ortogonales (elimina multicolinealidad)

r 

Regresamos usando Z

r 

críticas:

Máximo Camacho

αˆ

Y = Zα + ε

difíciles de interpretar

da igual si objetivo es predecir

sesgados Econometría I - ADE+D 11/12 - Tema 6

22

3. Multicolinealidad aproximada 3.4. Soluciones a la multicolinealidad  

Solución 3: Eliminar la variable no significativa (PARi) i 

(Ver tema 5: consecuencias de imponer restricciones ciertas y falsas)

i 

Supongamos que eliminamos la variable: imponemos β4 = 0 r 

Si no se relaciona con las notas ⇒ Imponemos una restricción cierta (No sesgo y reducimos la varianza)

r 

Si se relaciona con las notas ⇒ Imponemos una restricción falsa (Introducimos sesgo y reducimos la varianza)

i 

¿Cuándo merece la pena asumir el riesgo de eliminarla? r 

Máximo Camacho

Analizaremos el error cuadrático medio

Econometría I - ADE+D 11/12 - Tema 6

23

3. Multicolinealidad aproximada 3.4. Soluciones a la multicolinealidad r 

Supongamos un modelo más sencillo Yi = β1 X 1i + β 2 X 2i + ε i

r 

Pensamos que X2 presenta problemas de multicolinealidad con X3 : si β = 0 2 ~

Yi = β1 X 1i + ε i r 

βˆ1

β1

¿ECM? (Ejercicios de clase y Novales, pág 361) ~ 2 ECM β1 = var βˆ1 + sesgo

( )

( )

~ ECM (β1 ) = 1 + R22 t 2 − 1 ECM (βˆ1 )

(

)

⎛ t = ⎜⎜ ⎝

⎞ ⎟ var(βi ) ⎟⎠

βi

r 

Sólo merece la pena si | t |