Tema 6: Multicolinealidad Máximo Camacho
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
1
Multicolinealidad
h
i
Bloque I: El modelo lineal clásico r
Tema 1: Introducción a la econometría
r
Tema 2: El modelo de regresión lineal
r
Tema 3: El método MCO
r
Tema 4: Propiedades de la estimación MCO
r
Tema 5: Inferencia y predicción
Bloque II: Extensiones al modelo lineal clásico r
Tema 6: Multicolinealidad
r
Tema 7: Variables ficticias
r
Tema 8: Heteroscedasticidad
r
Tema 9: Endogeneidad
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
2
Descripción de la clase
Introducción
Multicolinealidad exacta
•
Consecuencias sobre la estimación
•
¿Cómo detectarla?
•
¿Cómo corregirla?
Multicolinealidad aproximada •
Consecuencias sobre la estimación
•
¿Cómo detectarla?
•
¿Cómo corregirla?
Conclusiones
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
3
1. Introducción 1.1. Ejemplo de clase
En California los responsables de educación quieren estudiar notas en 420 colegios. Datos en 1998 i
Notas Yi
i
Ratio estudiantes por profesor X1i (REP)
i
Porcentaje de alumnos que no hablan bien el idioma X2i (PNI)
i
Porcentaje de alumnos que pueden pedir ayuda para comedor X3i (PAC)
i
Porcentaje de alumnos que pueden pedir ayuda por renta baja X4i (PAR)
¿Cómo estimamos esta relación?
Modelo lineal clásico
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
nuevas
4
1. Introducción 1.2. Supuestos del modelo lineal clásico
Suponemos relación lineal entre las variables Yi = β 0 + β1 X 1i + ... + β k X ki + ε i
Y = Xβ + ε
Yi = χ i ' β + ε i
Supuestos E (ε i χ i ) = E (ε i ) = 0
Exogeneidad débil
Muestras aleatorias ⇒ E (ε i χ j ) = E (ε i ) = 0
Momentos cuartos finitos
No multicolinealidad exacta
Normalidad
Homoscedasticidad
Máximo Camacho
( )
E (ε iε j ) = E (ε i )E (ε j ) = 0
( )
( )
0 < E ε i4 < ∞,0 < E X 14i < ∞,...,0 < E X ki4 < ∞
X 1 ,..., X n no son linealmente dependientes
ε X~N var(ε i X ) = σ 2∀i
Econometría I - ADE+D 11/12 - Tema 6
5
2. Multicolinealidad exacta 2.1. Concepto
Definición i
Una o varias variables explicativas son una combinación lineal de otra(s)
Ejemplos económicos i
. Renta regional i = β 0 + β1interési + ε i
i
. i = β0 + β1ingresosi + β 2gastos i + β3beneficioi + ε i Cotización
La matriz de explicativas X tiene columnas linealmente dependientes ⎛ Y1 ⎞ ⎛1 ⎜ ⎟ ⎜ ⎜ Y2 ⎟ ⎜1 ⎜ ⎟ = ⎜ ⎜ ⎟ ⎜ ⎜ Y ⎟ ⎜1 ⎝ n ⎠ ⎝
Máximo Camacho
X 11 X 12 X 1n
X k 1 ⎞⎛ β 0 ⎞ ⎛ ε 1 ⎞ ⎟⎜ ⎟ ⎜ ⎟ X k 2 ⎟⎜ β1 ⎟ ⎜ ε 2 ⎟ + ⎟⎜ ⎟ ⎜ ⎟ ⎟⎜ ⎟ ⎜ ⎟ X kn ⎟⎠⎜⎝ β k ⎟⎠ ⎜⎝ ε n ⎟⎠
Econometría I - ADE+D 11/12 - Tema 6
6
2. Multicolinealidad exacta 2.2. Implicación para el modelo
−1 ˆ ( ) β = X ' X X 'Y No podemos encontrar de forma única MCO
rango ( X ) < K
X'X = 0
∄(X X)-1
i
Teoría: Hemos excluido este caso por supuesto !
i
Pero podría aparecer en aplicaciones prácticas
¿Cómo detectarlo? i
Los programas “se quejarán” de que no podemos invertir matriz (X’X)
i
En Eviews aparece el mensaje “near singular matrix”
¿Cómo corregirlo? i
Se deben a errores del investigador al introducir las explicativas
i
Al aparecer mensaje de error, corregiremos las explicativas
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
7
2. Multicolinealidad exacta 2.2. Implicación para el modelo Corrección i
En el ejemplo de la renta regional, supongamos interési = 4 Renta regionali = β 0 + β1interési + ε i Renta regionali = α 0 + ε i
i
Renta regionali = β 0 + β1 4 + ε i
α 0 = β0 + β1 4
En el ejemplo de la cotización sabemos beneficiosi = ingresosi - gastosi Cotización i = β 0 + β1ingresosi + β 2gastos i + β3beneficioi + ε i
α 0 = β0 Cotización i = α 0 + α1ingresosi + α 2gastos i + ε i
α1 = β1 + β3
α 2 = β 2 − β3 Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
8
3. Multicolinealidad aproximada 3.1. Concepto
Definición i
Una o varias variables explicativas son una combinación lineal aproximada de otra(s)
i
Supongamos que X1 es buena explicativa pero comb. lineal aproximada de las demás X 1i = α 0 + α 2 X 2i + ... + α k X ki + u1i
Ejemplos económicos Porcentaje de alumnos que pueden pedir ayuda por renta baja Porcentaje de alumnos que pueden pedir ayuda para comedor Ayudas que recibe una colegio para libros Ayudas que recibe el colegio para instalaciones Gasto público en carreteras Gasto público en mejorar otras comunicaciones
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
9
3. Multicolinealidad aproximada 3.2. Implicación para el modelo
−1 ˆ ( ) β = X ' X X 'Y Podemos encontrar de forma única MCO
rango ( X ) = K
X'X ≠ 0
∃ (X X)-1
i
Nota: Hemos excluido la multicolinealidad exacta por el supuesto !
i
Estimadores cumplen buenas propiedades y contrastes e intervalos como siempre
¿Qué problemas genera en la estimación? i
Para entenderlo, supongamos que hacemos la regresión X 1i = α 0 + α 2 X 2i + ... + α k X ki + u1i
i
Y definimos
2
SCR1 ∑ uˆ1i R = 1− = 1− 2 STC1 ( ) X − X ∑ 1i 1 2 1
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
10
3. Multicolinealidad aproximada 3.2. Implicación para el modelo
¿Qué problemas genera en la estimación? i
Podemos demostrar (ejercicios de clase y Wooldridge, pág. 102) que βˆ1 = β1 +
∑ uˆ ε ∑ uˆ 1i
2 1i
i
σ var βˆ1 X =
(
)
2
∑ uˆ12i
=
σ2
(1 − R )∑ (X 2 1
2
1i
− X1 )
i
Cuanta mayor relación lineal entre X1 y el resto mayor varianza de βˆ1
i
Estimación imprecisa e intervalos de confianza muy grandes ⎛⎜ βˆ1 ± tn− K ,α / 2 vaˆr βˆ1 ⎞⎟
i
Ejemplos:
( )⎠
⎝
(
)
i
2 Si X1 no se relacionara ( R21 = 0 ) var βˆ1 X = σ
i
Si R21 = 0.5 esa varianza se duplica
i
Si R21 = 0.9 esa varianza se multiplica por 10
Máximo Camacho
∑ (X
Econometría I - ADE+D 11/12 - Tema 6
2
1i
− X1 )
11
3. Multicolinealidad aproximada 3.2. Implicación para el modelo
Ejemplo simulado (Novales, pág 346)
(ε
j
j
j
)
i
Se generan 50 tripletas de vectores (112 x 1)
, X 1 , X 2 (j=1, 2, …50)
i
Bajo 3 supuestos de R21 (0, 0.9 y 0.99). Siempre se cumplen los supuestos clásicos
i
Se generan Y j conociendo la recta poblacional Yi j = 8 + 5 X 1ji − 3 X 2ji + ε i j
i
Se estima MCO 50 veces y los resultados medios Medias
R21 = 0.00
R21 = 0.90
R21 = 0.99
βˆ
( 8.0 , 5.1, -3.0 )
( 7.9, 5.1,-3.2 )
( 7.9, 5.2, -3.3 )
var βˆ1
0.23
1.29
11.22
2
0.23
1.06
11.03
( ) var(βˆ ) Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
casi esperanzas (insesgados) aumentan mucho
12
3. Multicolinealidad aproximada 3.2. Implicación para el modelo
Puede indicar artificialmente variables no son significativas individualmente i
Supongamos que hacemos el contraste Yi = β 0 + β1 X 1i + ... + β k X ki + ε i
i
H 0 : βi = 0
H a : βi ≠ 0
El estadístico tiene varianza muy grande y tiende a caer en zona de no RH0 r
Con independencia de que X1 se relacione con Y
r
Aunque el R2c sea alto y no caiga al quitar X1
t* =
βˆi
( )
vaˆr βˆi
~ tn− K
- tn-K,α/2 Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
tn-K,α/2 13
3. Multicolinealidad aproximada 3.3. Métodos de detección de multicolinealidad Método 1: gráficos de las explicativas
i
En nuestro ejemplo
i
Esperamos que PAR y PAC se relacionen (negativamente) con la dependiente
i
Esperamos que PAR y PAC se relacionen linealmente (y positivamente)
i
Crítica: los gráficos siempre nos pueden engañar
Notasi = β 0 + β1REPi + β 2 PNI i + β3 PACi + β 4 PARi + ε i
720
720
700
700
680
680
80 70
660
50
PAR
NOTAS
NOTAS
60
660
640
640
620
620
40 30 20 10 0
600
600 0
10
20
30
40 PAR
Máximo Camacho
50
60
70
80
0
20
40
60
80
100
PAC
Econometría I - ADE+D 11/12 - Tema 6
0
20
40
60
80
100
PAC
14
3. Multicolinealidad aproximada 3.3. Métodos de detección de multicolinealidad
Método 2: regresar explicativas entre ellas y ver R2j i
Sabemos que
(
σ2
) (1 − R ) (X ∑
var βˆ j X =
2 j
2
ji
− X j)
i
El problema viene dado por R2j altos que indican alta relación lineal
i
Veamos como son los R2j REPi = α 0 + α1PNI i + α 2 PACi + α3 PAR3i + ε i ⇒ R12 = 0.04 PNI i = α 0 + α1REPi + α 2 PACi + α3 PAR3i + ε i ⇒ R22 = 0.49 PARi = α 0 + α1REPi + α 2 PNI i + α3 PAC3i + ε i ⇒ R32 = 0.60 PACi = α 0 + α1REPi + α 2 PNI i + α3 PAR3i + ε i ⇒ R42 = 0.74
i
Parece que el problema puede estar con PAR o con PAC
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
15
3. Multicolinealidad aproximada 3.3. Métodos de detección de multicolinealidad i
Crítica ¿cómo de grande debe ser R2j para preocuparnos por multicolinealidad? r
En la literatura ha habido algunos intentos de acotarlo
r
Ej: Klien (1962). Sólo nos preocupa si R2j > R2 Notasi = β0 + β1REPi + β2 PNI i + β3 PACi + β 4 PARi + ε i ⇒ R 2 = 0.77
PARi = α 0 + α1REPi + α 2 PNI i + α3 PAC3i + ε i ⇒ R32 = 0.60 PACi = α 0 + α1REPi + α 2 PNI i + α3 PAR3i + ε i ⇒ R42 = 0.74 r
i
¿Debemos preocuparnos por multicolinealidad?
No hay ninguna razón objetiva para usar esta cota
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
16
3. Multicolinealidad aproximada 3.3. Métodos de detección de multicolinealidad
Método 3: regresar explicativas entre ellas y contrastes significatividad conjunta i
i
Sabemos que
REPi = α 0 + α1PNI i + α 2 PACi + α 3 PARi + ε i
CSC: H 0 : α1 = 0, α 2 = 0, α 3 = 0
* j
F =
R 2j 3
(1 − R ) (n − 4) 2 j
REPi = α 0 + α1PNI i + α 2 PACi + α 3 PAR3i + ε i ⇒ F1* = 5.77 PNI i = α 0 + α1REPi + α 2 PACi + α3 PAR3i + ε i ⇒ F2* = 133 RH 0
PARi = α 0 + α1REPi + α 2 PNI i + α 3 PAC3i + ε i ⇒ F3* = 208 PACi = α 0 + α1REPi + α 2 PNI i + α 3 PAR3i + ε i ⇒ F4* = 394 i
3.60
Crítica. Con n grande RH0 con demasiada frecuencia: recuerda que R21 = 0.04 !!!
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
17
3. Multicolinealidad aproximada 3.3. Métodos de detección de multicolinealidad
Método 4: contradicción contraste significatividad global e individuales i
Supongamos que en el modelo Yi = β 0 + β1 X 1i + β 2 X 2i + β3 X 3i + β 4 X 4i + ε i
i
Las explicativas X2i , X3i y X4i se relacionan casi linealmente
i
Si las variables se relacionan con la dependiente r
El contraste de significatividad global, menos afectado por la multicolinealidad, puede indicar significatividad (incluso al 1%)
r i
Y el R2 puede ser alto indicando un buen ajuste
Sus contrastes de significatividad individuales r
Pueden indicar no significatividad
r
Sólo una variable (X1i ) significativa
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
18
3. Multicolinealidad aproximada 3.3. Métodos de detección de multicolinealidad i
Crítica: casos tan claros no los tendremos en la realidad
Notˆasi = 700.39− 1.01 REPi − 0.13 PNI i − 0.52 PACi − 0.04 PARi ⇒ R = 0.77 2
(0.23)
( 4.69)
ti* =
( 0.03)
⎧ t1* = −4.23 ⎪ * βˆi ⎪ t 2 = −3.81 ⎨ * vaˆr βˆi ⎪t3 = −16.42 ⎪ t * = −0.78 ⎩ 4
( )
( 0.03)
*
F =
( 0.06)
R2 4
(1 − R ) (n − 5) = 357 2
*
t3
*
t1
*
t4
*
F
t2
-1.96 Máximo Camacho
1.96 Econometría I - ADE+D 11/12 - Tema 6
*
2.37
19
3. Multicolinealidad aproximada 3.3. Métodos de detección de multicolinealidad r
Globalmente significativas
r
PAR es la única no significativa
r
¿Se debe a multicolinealidad o a que no es una buena explicativa?
r
q
Si se debe a multicolinealidad: vamos a ver soluciones
q
Si no se relaciona con la dependiente: deberíamos quitarla del modelo
q
¿Pero cómo lo sabremos?
q
Lo mejor es acudir al sentido común
¿Cuáles son las soluciones a la multicolinealidad?
Máximo Camacho
Econometría I - ADE+D 11/12 - Tema 6
20
3. Multicolinealidad aproximada 3.4. Soluciones a la multicolinealidad
Solución 1: añadir información extra-muestral i
Ampliar la muestra: usando otros colegios de California r
i
Crítica: debemos usar toda la información disponible en la primera estimación
Usar la estimación de otra muestra r
Supongamos que usando datos de Texas hemos estimado
Notˆasi = −0.20 PARi r
Para los datos de California estimamos
Notasi = β 0 + β1REPi + β 2 PNI i + β3 PACi − 0.20 PARi + ε i r
Máximo Camacho
Crítica: ¿por qué
βˆ4Texas = βˆ4California
? ⇒ Restricciones falsas sesgan la estimación
Econometría I - ADE+D 11/12 - Tema 6
21
3. Multicolinealidad aproximada 3.4. Soluciones a la multicolinealidad
Solución 2: Usar estimadores alternativos a MCO i
Estimador de Cresta r
Buscamos un c y un estimador de menor varianza
βˆC = ( X ' X + cI )−1 X ' Y r i
(
)
−1 −1 2 var βˆc X = σ ( X ' X + cI ) X ' X ( X ' X + cI )
críticas: el estimador propuesto es sesgado y cómo elegir c
Estimador de componentes principales r
Buscamos combinación lineal de las columnas de X: Z = XB
r
B se busaca de forma que las Zi sean ortogonales (elimina multicolinealidad)
r
Regresamos usando Z
r
críticas:
Máximo Camacho
αˆ
Y = Zα + ε
difíciles de interpretar
da igual si objetivo es predecir
sesgados Econometría I - ADE+D 11/12 - Tema 6
22
3. Multicolinealidad aproximada 3.4. Soluciones a la multicolinealidad
Solución 3: Eliminar la variable no significativa (PARi) i
(Ver tema 5: consecuencias de imponer restricciones ciertas y falsas)
i
Supongamos que eliminamos la variable: imponemos β4 = 0 r
Si no se relaciona con las notas ⇒ Imponemos una restricción cierta (No sesgo y reducimos la varianza)
r
Si se relaciona con las notas ⇒ Imponemos una restricción falsa (Introducimos sesgo y reducimos la varianza)
i
¿Cuándo merece la pena asumir el riesgo de eliminarla? r
Máximo Camacho
Analizaremos el error cuadrático medio
Econometría I - ADE+D 11/12 - Tema 6
23
3. Multicolinealidad aproximada 3.4. Soluciones a la multicolinealidad r
Supongamos un modelo más sencillo Yi = β1 X 1i + β 2 X 2i + ε i
r
Pensamos que X2 presenta problemas de multicolinealidad con X3 : si β = 0 2 ~
Yi = β1 X 1i + ε i r
βˆ1
β1
¿ECM? (Ejercicios de clase y Novales, pág 361) ~ 2 ECM β1 = var βˆ1 + sesgo
( )
( )
~ ECM (β1 ) = 1 + R22 t 2 − 1 ECM (βˆ1 )
(
)
⎛ t = ⎜⎜ ⎝
⎞ ⎟ var(βi ) ⎟⎠
βi
r
Sólo merece la pena si | t |
