Inferencia en el modelo simple de regresi´

(1)

Inferencia en el modelo simple de regresi´

on

normal.

Mauricio Olivares

ITAM

(2)

Inferencia en el modelo simple de regresi´

on normal

I Esta secci´on estableceremos las herramientas que necesitamos para hacer inferencia sobre un par´ametro.

I Más adelante veremos la teor´ıa para hacer inferencia sobre múltiples parámetros.

I Una vez m´as, nuestro modelo est´a compuesto de los siguientes supuestos: Sea {(x1,y1), . . . ,(xn,yn)} una muestra aleatoria.

I Adicionalmente

I y =α+βx+ε.

I _E(ε|x) =0.

I _V(ε|x) =σ2

I _E(εiεj|x) =0.

(3)

Inferencia en el modelo simple de regresi´

on normal

I Una vez m´as, nuestro modelo est´a compuesto de los siguientes supuestos: Sea {(x1,y1), . . . ,(xn,yn)} una muestra aleatoria.

I Adicionalmente

I y =α+βx+ε.

I _E(ε|x) =0.

I _V(ε|x) =σ2

I _E(εiεj|x) =0.

(4)

Inferencia en el modelo simple de regresi´

on normal

I Una vez m´as, nuestro modelo est´a compuesto de los siguientes supuestos: Sea{(x1,y1), . . . ,(xn,yn)} una muestra aleatoria.

I Adicionalmente

I y =α+βx+ε.

I _E(ε|x) =0.

I _V(ε|x) =σ2

I _E(εiεj|x) =0.

(5)

Inferencia en el modelo simple de regresi´

on normal

I Una vez m´as, nuestro modelo est´a compuesto de los siguientes supuestos: Sea{(x1,y1), . . . ,(xn,yn)} una muestra aleatoria.

I Adicionalmente

I y =α+βx+ε.

I _E(ε|x) =0.

I _V(ε|x) =σ2

I _E(εiεj|x) =0.

(6)

I Hasta ahora, nuestro modelo nos ha dado un principio para obtener estimadores para los coeficientes α yβ.

I Adicionalmente, hemos concluido que bajo estos supuestos nuestros estimadores son insesgados y de varianza m´ınima.

I La pregunta inmediata es c´omo decidir si estos estimadores est´an cerca del verdadero valor.

I Esta es la idea detr´as del material que hemos de cubrir.

I Recuerda que los coeficientes de regresi´on, α yβ, son caracter´ısticasdesconocidas de las relaciones poblacionales.

(7)

I La pregunta inmediata es c´omo decidir si estos estimadores est´an cerca del verdadero valor.

(8)

I La pregunta inmediata es c´omo decidir si estos estimadores est´ancerca del verdadero valor.

(9)

(10)

(11)

(12)

I Sin embargo, aunque no podamos conocerlas con total certidumbre, podemos hacer enunciados sobre ellas.

I En concreto, podemos hacer hip´otesis sobre ellos.

I Una vez que hemos hecho esto, podemos usar todo el instrumental de inferencia estad´ıstica para, a partir de la muestra, conocer sobre el aspecto de la poblaci´on que nos interesa.

I Anteriormente vimos que

αn|x ∼ N(α,V(αn|x))

βn|x ∼ N(β,V(βn|x))

I Vamos a usar este resultado para hacer inferencia sobre αyβ.

(13)

(14)

(15)

(16)

(17)

(18)

Pruebas de Hip´

otesis

I En pocas palabras, probar una hip´otesis en este curso consta de tres partes.

I En primer lugar,una hipótesis que involucre el parámetro de interés.

I Recuerda que las hip´otesis son sobre los par´ametros, no sobre el valor de un estimador en una muestra particular.

I Entonces, si θˆes un estimador para θ, una expresi´on como

H0 : ˆθ=5

no tiene sing´un sentido.

(19)

Pruebas de Hip´

otesis

H0 : ˆθ=5

(20)

Pruebas de Hip´

otesis

H0 : ˆθ=5

(21)

Pruebas de Hip´

otesis

I Entonces, siθˆes un estimador para θ, una expresi´on como

H0 : ˆθ=5

(22)

Pruebas de Hip´

otesis

I Entonces, siθˆes un estimador para θ, una expresi´on como

H0 : ˆθ=5

(23)

Pruebas de Hip´

otesis: estad´ıstico de contraste

I En segundo lugar, un estad´ıstico de contraste,Tn.

I El estad´ıstico de contraste es una función que nos relaciona el estimador y el parámetro relativo a la hipótesis nula.

I El estad´ıstico de contraste, al ser una funci´on del estimador, tiene una distribuci´on muestral.

I ¿Intuici´on? Considera el siguiente ejemplo.

I La hip´otesis nula (H0) dice que la media poblacional, µ, es igual a 10.

H0 : µ=10

(24)

Pruebas de Hip´

otesis: estad´ıstico de contraste

H0 : µ=10

(25)

Pruebas de Hip´

otesis: estad´ıstico de contraste

H0 : µ=10

(26)

Pruebas de Hip´

otesis: estad´ıstico de contraste

H0 : µ=10

(27)

Pruebas de Hip´

otesis: estad´ıstico de contraste

H0 : µ=10

(28)

Pruebas de Hip´

otesis: estad´ıstico de contraste

H0 : µ=10

(29)

Estad´ıstico de Contraste

I Entonces, lo natural es ver si la media muestral, ¯x est´a cerca de 10.

I Por lo tanto, el estad´ıstico de contraste debe relacionar ¯x con el valor de 10.

I La idea es ¿c´omo s´e que estoy cerca o lejos de 10? Parte de la teor´ıa descansa en formalizar estas ideas de cercan´ıa o lejan´ıa.

I Podr´ıamos proponer, por ejemplo, |¯x−µH0|.

I Sin embargo, la varianza en la poblaci´on podr´ıa ser muy alta o muy baja.

(30)

Estad´ıstico de Contraste

(31)

Estad´ıstico de Contraste

(32)

Estad´ıstico de Contraste

I Podr´ıamos proponer, por ejemplo, |x¯−µH0|.

(33)

Estad´ıstico de Contraste

(34)

Estad´ıstico de Contraste

(35)

Estad´ıstico de Contraste

I Recuerda que la media muestral no es robusta.

I Entonces, si hay poca varianza, un valor como ¯x =11 podr´ıa ser evidencia en contra deH0 =10.

I Por otro lado, si la varianza poblacional es muy grande,

¯

x =11 podr´ıa ser evidencia a favor de H0 =10.

I La manera de controlar este efecto es estandarizando la media muestral para tomar en cuenta la varianza poblacional

|x¯−µH0 | sd(¯x)

(36)

Estad´ıstico de Contraste

¯

|x¯−µH0 | sd(¯x)

(37)

Estad´ıstico de Contraste

¯

|x¯−µH0 | sd(¯x)

(38)

Estad´ıstico de Contraste

¯

|x¯−µH0 | sd(¯x)

(39)

Estad´ıstico de Contraste

¯

|x¯−µH0 | sd(¯x)

(40)

Estad´ıstico de Contraste: observaciones

I Hemos usado el valor absoluto para medir la distancia.

I Sin embargo, depender´a de la hip´otesis alternativa si la prueba es de una o dos colas.

I Para minimizar confusiones con pruebas de dos colas, evitaremos el valor absoluto si la hip´otesis alternativa es de una cola.

I El estad´ıstico de contraste que hemos postulado tiene en el denominador la desviaci´on est´andar.

I Sin embargo (recuerda la nota sobre el estimador de la varianza), rara vez se conoce el valor de σ.

(41)

Estad´ıstico de Contraste: observaciones

(42)

Estad´ıstico de Contraste: observaciones

(43)

Estad´ıstico de Contraste: observaciones

(44)

Estad´ıstico de Contraste: observaciones

(45)

Estad´ıstico de Contraste: observaciones

(46)

Estad´ıstico de Contraste: observaciones

I Entonces, nuestro estad´ıstico de contraste viene dado por

|x¯−µH0 | se(¯x)

I En este ejemplo particular, se trataba del estimador de la media.

I Sin embargo, el principio es muy general.

I De hecho, podemos definir el mismo estad´ıstico de contraste para cualquier estimador θˆdeθ:

Tn=

|θˆ−θH0 |

se(ˆθ)

I A este estad´ıstico se le conoce como Estad´ıstico-t.

(47)

Estad´ıstico de Contraste: observaciones

|x¯−µH0 | se(¯x)

Tn=

|θˆ−θH0 |

se(ˆθ)

(48)

Estad´ıstico de Contraste: observaciones

|x¯−µH0 | se(¯x)

Tn=

|θˆ−θH0 |

se(ˆθ)

(49)

Estad´ıstico de Contraste: observaciones

|x¯−µH0 | se(¯x)

Tn=

|θˆ−θH0 _|

se(ˆθ)

(50)

Estad´ıstico de Contraste: observaciones

|x¯−µH0 | se(¯x)

Tn=

|θˆ−θH0 _|

se(ˆθ)

(51)

Estad´ıstico de Contraste: observaciones

|x¯−µH0 | se(¯x)

Tn=

|θˆ−θH0 _|

se(ˆθ)

(52)

Regla de decisi´

on

I En tercer y ´ultimo lugar, una regla de decisi´on.

I Es decir, necesitamos una regla que nos diga si el tama˜no del estad´ıstico de contraste es evidencia a favor de la hip´otesis nula o no.

I La regla que usaremos siempre ser´a

Si Tn> valor cr´ıtico ⇒ rechazoH0

I Recuerda que siempre podemos cometer dos tipos de errores.

I Error tipo I: RechazarH0 cuando ´esta es correcta.

(53)

Regla de decisi´

on

(54)

Regla de decisi´

on

(55)

Regla de decisi´

on

(56)

Regla de decisi´

on

(57)

Regla de decisi´

on

(58)

Regla de decisi´

on

I En general se considera m´as grave un error tipo I.

I Por lo tanto, el valor cr´ıtico se debe elegir de tal suerte que controlemos la probabilidad de comer el error tipo I.

I Se estila fijar el error tipo I al 5 % (0.05).

I Entonces,

P(cometer error tipo I) = P(RechazarH0|H0 es verdadera) = P(Tn>cv|H0 es verdadera)

= P |θˆ−θ| se(ˆθ) >cv

H0 es verdadera

!

= 0.05

(59)

Regla de decisi´

on

I Entonces,

H0 es verdadera

!

= 0.05

(60)

Regla de decisi´

on

I Entonces,

H0 es verdadera

!

= 0.05

(61)

Regla de decisi´

on

I Entonces,

H0 es verdadera

!

= 0.05

(62)

Regla de decisi´

on

I Entonces,

H0 es verdadera

!

= 0.05

(63)

Pruebas de Hip´

otesis: resumen

I Probar una hip´otesis en este curso consta de tres partes.

I 1. Una hip´otesis.

I 2. Un estad´ıstico de contraste, Tn.

I 3. Una regla de decisi´on:

I donde el valor cr´ıtico depender´a de la distribuci´on de Tn bajo H0.

(64)

Pruebas de Hip´

otesis: resumen

(65)

Pruebas de Hip´

otesis: resumen

(66)

Pruebas de Hip´

otesis: resumen

I 2. Un estad´ıstico de contraste, Tn. I 3. Una regla de decisi´on:

(67)

Pruebas de Hip´

otesis: resumen

(68)

Pruebas de Hip´

otesis: resumen

(69)

De regreso al modelo simple de regresi´

on normal

I Proposici´on 6: Sea {(x1,y1), . . . ,(xn,yn)}una muestra

aleatoria. Bajo los supuestos

I y =α+βx+ε.

I _E(ε|x) =0.

I _V(ε|x) =σ2

I _E(εiεj|x) =0.

I εes independiente dex, yε∼ N(0, σ2₎_.

entonces

I

αn−αH0 se(αn)

∼ tn−2 βn−βH0

se(βn)

(70)

De regreso al modelo simple de regresi´

on normal

I Proposici´on 6: Sea {(x1,y1), . . . ,(xn,yn)}una muestra

aleatoria. Bajo los supuestos

I y =α+βx+ε.

I _E(ε|x) =0.

I _V(ε|x) =σ2

I _E(εiεj|x) =0.

I εes independiente dex, yε∼ N(0, σ2₎_.

entonces

I

αn−αH0 se(αn)

∼ tn−2 βn−βH0

se(βn)

(71)

Observaciones

I Este notable resultado es el insumo que necesitamos para poder hacer pruebas de hip´otesis sobre un par´ametro.

I Nota que se distribuye como una t.

I Ojo, no confundir estad´ıstico t con distribuci´on t.

I En nuestro marco teórico, la distribución-t proviene del hecho que en el denominador hemos reemplazado la desviación estándar por el error estándar.

(72)

Observaciones

(73)

Observaciones

(74)

Observaciones

(75)

Observaciones

(76)

Hip´

otesis de significancia

I Una hip´otesis es un enunciado sobre el valor del par´ametro.

I Hay una hip´otesis que es de particular relevancia, la llamada

hip´otesis de significancia.

I La hip´otesis de significancia descansa en probar la hip´otesis nula

H0 :β=0

I Es muy importante entender el significado de esta hip´otesis en concreto.

I Recuerda que

β= ∂

(77)

Hip´

otesis de significancia

H0 :β=0

I Recuerda que

β= ∂

(78)

Hip´

otesis de significancia

H0 :β=0

I Recuerda que

β= ∂

(79)

Hip´

otesis de significancia

H0 :β=0

I Recuerda que

β= ∂

(80)

Hip´

otesis de significancia

H0 :β=0

I Recuerda que

β= ∂

(81)

Hip´

otesis de significancia

I Es decir,β mide el efecto que tiene un cambio en x sobre el valor esperado de y una vez que hemos mantenido todo lo dem´as constante.

I Entonces, H0 :β =0 nos estar´ıa indicando que despu´es de

controlar (mantener fijo el resto) otros factores, x no tiene un efecto sobre (el valor esperado de)y.

I Esta hip´otesis es muy interesante en nuestros modelos pues en caso de rechazarla estar´ıamos concluyendo, baso en la

(82)

Hip´

otesis de significancia

(83)

Hip´

otesis de significancia

(84)

Observaciones

I Bajo la hip´otesis de significancia, el estad´ıstico-t puede escribirse simplemente como

Tβn =

βn−βH0 se(βn)

= βn

se(βn)

I Cuando no haya confusi´on, escribiremosT o simplemente estad´ıstico-t en vez de Tβn.

(85)

Observaciones

Tβn =

= βn

se(βn)

I Cuando no haya confusi´on, escribiremos T o simplemente estad´ıstico-t en vez de Tβn.

(86)

Observaciones

Tβn =

= βn

se(βn)

I Cuando no haya confusi´on, escribiremos T o simplemente estad´ıstico-t en vez de Tβn.

(87)

Comentarios

I ¿Por qu´e insistimos tanto en un estad´ıstico como

Tβn =

para probar hip´otesis sobreβ?

I Como ya hemos dicho, el estad´ıstico t es una forma sensata de concetar el estimadorβn con el valor hipotetizado deβ. I En el contexto de la hip´otesis de significancia, es prudente

insistir en el hecho que βn nuncaser´a exactamente 0,

independientemente de la veracidad (o falsedad) de H0.

I La pregunta es ¿qu´e tan lejos de cero?

I Valores muy grandes de Tβn son evidencia en contra de

H0 :β=0.

(88)

Comentarios

Tβn =

I Como ya hemos dicho, el estad´ıstico t es una forma sensata de concetar el estimadorβn con el valor hipotetizado deβ.

I En el contexto de la hip´otesis de significancia, es prudente insistir en el hecho que βn nuncaser´a exactamente 0,

H0 :β=0.

(89)

Comentarios

Tβn =

insistir en el hecho queβn nuncaser´a exactamente 0,

H0 :β=0.

(90)

Comentarios

Tβn =

H0 :β=0.

(91)

Comentarios

Tβn =

H0:β=0.

(92)

Comentarios

Tβn =

H0:β=0.

(93)

Pruebas de una cola

I Para poder derivar nuestra regla de decisi´on (componente 3 de pruebas de hip´otesis)

I necesitamos saber el valor cr´ıtico y para ello, lahip´otesis alternativa relevante.

I Primero, consideremos hip´otesis alternativas de la forma

Ha :β >0

I ¿C´omo escogemos el valor cr´ıtico?

I Recuerda que nosotros controlamos la probabilidad de cometer el error tipo I.

(94)

Pruebas de una cola

Ha :β >0

(95)

Pruebas de una cola

Ha:β >0

(96)

Pruebas de una cola

Ha:β >0

(97)

Pruebas de una cola

Ha:β >0

(98)

Pruebas de una cola

Ha:β >0

(99)

I Como hemos mencionado antes, el nivel de significancia que m´as se estila es 5 %.

I La manera formal de determinar si βn est´a cerca (o lejos) de βH0 =0 al 5 % de significancia es el percentil 95 en una distribuci´on t con n-2 grados de libertad.

I Entonces, el valor cr´ıtico, cv, lo encontramos a partir de:

P( βn

se(βn)

>cv|H₀ es verdadera) =0.05

I entonces, para encontar el valor de cv lo ´unico que necesitamos es

1. El nivel de significancia.

(100)

I Entonces, el valor cr´ıtico, cv, lo encontramos a partir de:

P( βn

se(βn)

>cv|H₀ es verdadera) =0.05

(101)

I Entonces, elvalor cr´ıtico, cv, lo encontramos a partir de:

P( βn

se(βn)

>cv|H₀ es verdadera) =0.05

(102)

I Entonces, elvalor cr´ıtico, cv, lo encontramos a partir de:

P( βn

se(βn)

>cv|H₀ es verdadera) =0.05

(103)

Ejemplo

I A un nivel de significancia del 5 % y n-2=28, el valor cr´ıtico es

cv =1.701.

(104)

Ejemplo

I A un nivel de significancia del 5 % y n-2=28, el valor cr´ıtico es

cv =1.701.

(105)

Ejemplo: continuaci´

on

I Entonces, si el valor del estad´ıstico de contraste, Tβn es mayor

que este valor cr´ıtico rechazamos H0:β =0.

I En otras palabras

Si Tn>1.701⇒ rechazoH0 :β=0

I es decir, basado en mi muestra tengo evidencia en contra de

H0.

(106)

Ejemplo: continuaci´

on

I En otras palabras

H0.

(107)

Ejemplo: continuaci´

on

I En otras palabras

H0.

(108)

Ejemplo: continuaci´

on

I En otras palabras

H0.

I Por lo tanto, rechazo la hip´otesisH0 :β=0.

(109)

Ejemplo: continuaci´

on

I En otras palabras

H0.

(110)

I ¿C´omo procedemos en caso de una h´ıp´otesis de la siguiente forma?:

Ha:β <0

I La idea es exactamente la misma, este ejemplo es como un espejo del anterior.

I De hecho, podemos usar el hecho que la distribuci´on t es sim´etrica alrededor del 0.

I Entonces, si cv viene dado por

P( βn

se(βn)

>cv|H0 es verdadera) =0.05

I entonces la regla de decisi´on es

(111)

Ha:β <0

P( βn

se(βn)

(112)

Ha:β <0

P( βn

se(βn)

(113)

Ha:β <0

P( βn

se(βn)

>cv|H0 es verdadera) =0.05

(114)

Ha:β <0

P( βn

se(βn)

>cv|H0 es verdadera) =0.05

(115)

Pruebas de dos colas

I Finalmente, nuestra hip´otesis alternativa podr´ıa ser de la forma

Ha:β6=0

I Esta es la hip´otesis alternativa cuando el signo relevante deβ

no es claro desde la teor´ıa.

I A veces es m´as prudente usar una prueba de dos colas para evitar formular las hip´otesis basados en el valor del estimador.

I Por ejemplo, podemos estar tentados a decir Ha :β <0 si el

valor del estimador es βn=−6.179.

(116)

Pruebas de dos colas

Ha:β6=0

(117)

Pruebas de dos colas

Ha:β6=0

(118)

Pruebas de dos colas

Ha:β6=0

(119)

Pruebas de dos colas

Ha:β6=0

(120)

Pruebas de dos colas

I En este caso, la regla de decisi´on ser´a

Si|Tn|>cv⇒ rechazo H0

I la diferencia, est´a en el valor absoluto.

I Entonces, el valor cr´ıtico (cv) se escoge de tal forma que el ´

area en cada cola sume 5 %.

I En otras palabras, cv es el percentil 97.5 en la distribuci´on t con n-2 grados de libertad.

(121)

Pruebas de dos colas

(122)

Pruebas de dos colas

(123)

Pruebas de dos colas

(124)

Pruebas de dos colas

(125)

Hip´

otesis diferentes a la de significancia

I Aunque la hipótesis de significancia es la más importante en el análisis econométrico, lo que hemos establecido aplica para hipótesis diferentes a la de significancia.

I La idea ser´a la misma. Si queremos contrastar

H0 :β =k vsHa :β 6=k

para una constante k.

I el estad´ıstico de contraste viene dado por

Tβn =

|βn−βH0 | se(βn)

= |βn−k |

se(βn) I y la regla de decisi´on

(126)

Hip´

otesis diferentes a la de significancia

I Aunque la hipótesis de significancia es la más importante en el análisis econométrico, lo que hemos establecido aplica para hipótesis diferentes a la de significancia.

I La idea ser´a la misma. Si queremos contrastar

H0 :β =k vsHa :β 6=k

para una constante k.

I el estad´ıstico de contraste viene dado por

Tβn =

|βn−βH0 | se(βn)

= |βn−k |

se(βn) I y la regla de decisi´on