Propiedades estad´ısticas de MCO
Mauricio Olivares
ITAM
I Hasta ahora hemos visto s´olo propiedades algebraicas.
I Recuerda que los estimadores son variables aleatorias.
I Nos interesa saber qu´e tipo de propiedades estad´ısticas satisfacen los estimadores de MCO.
I En este curso nos preocuparemos por las propiedades exactas de los mismos i.e. para un tama˜no de muestra dado.
I Hasta ahora hemos visto s´olo propiedades algebraicas.
I Recuerda que los estimadores son variables aleatorias.
I Nos interesa saber qu´e tipo de propiedades estad´ısticas satisfacen los estimadores de MCO.
I En este curso nos preocuparemos por las propiedades exactas de los mismos i.e. para un tama˜no de muestra dado.
I Hasta ahora hemos visto s´olo propiedades algebraicas.
I Recuerda que los estimadores son variables aleatorias.
I Nos interesa saber qu´e tipo de propiedades estad´ısticas satisfacen los estimadores de MCO.
I En este curso nos preocuparemos por las propiedades exactas de los mismos i.e. para un tama˜no de muestra dado.
I Hasta ahora hemos visto s´olo propiedades algebraicas.
I Recuerda que los estimadores son variables aleatorias.
I Nos interesa saber qu´e tipo de propiedades estad´ısticas satisfacen los estimadores de MCO.
I En este curso nos preocuparemos por las propiedades exactas de los mismos i.e. para un tama˜no de muestra dado.
I Hasta ahora hemos visto s´olo propiedades algebraicas.
I Recuerda que los estimadores son variables aleatorias.
I Nos interesa saber qu´e tipo de propiedades estad´ısticas satisfacen los estimadores de MCO.
I En este curso nos preocuparemos por las propiedades exactas de los mismos i.e. para un tama˜no de muestra dado.
Insesgadez
I Proposici´on 1: Sea {(x1,y1), . . . ,(xn,yn)}una muestra
aleatoria. Bajo los supuestos
I y =α+βx+ε.
I E(ε|x) =0.
entonces los estimadores de MCO son insesgados i.e.
E(αn) = α
Observaciones
I Recuerda que la propiedad de insesgadez depende de la distribuci´on muestral deαn yβn.
I Es decir, la propiedad de insesgadez no dice nada en particular de la estimaci´on que obtuvimos para nuestra muestra.
I Sabemos que en promedio es igual al verdadero coeficiente de regresi´on.
I Podemos obtener una muestra donde el valor del estimadores est´e alejado del verdadero valor.
Observaciones
I Recuerda que la propiedad de insesgadez depende de la distribuci´on muestral deαn yβn.
I Es decir, la propiedad de insesgadez no dice nada en particular de la estimaci´on que obtuvimos para nuestra muestra.
I Sabemos que en promedio es igual al verdadero coeficiente de regresi´on.
I Podemos obtener una muestra donde el valor del estimadores est´e alejado del verdadero valor.
Observaciones
I Recuerda que la propiedad de insesgadez depende de la distribuci´on muestral deαn yβn.
I Es decir, la propiedad de insesgadez no dice nada en particular de la estimaci´on que obtuvimos para nuestra muestra.
I Sabemos que en promedio es igual al verdadero coeficiente de regresi´on.
I Podemos obtener una muestra donde el valor del estimadores est´e alejado del verdadero valor.
Observaciones
I Recuerda que la propiedad de insesgadez depende de la distribuci´on muestral deαn yβn.
I Es decir, la propiedad de insesgadez no dice nada en particular de la estimaci´on que obtuvimos para nuestra muestra.
I Sabemos que en promedio es igual al verdadero coeficiente de regresi´on.
I Podemos obtener una muestra donde el valor del estimadores est´e alejado del verdadero valor.
Observaciones
I Recuerda que la propiedad de insesgadez depende de la distribuci´on muestral deαn yβn.
I Es decir, la propiedad de insesgadez no dice nada en particular de la estimaci´on que obtuvimos para nuestra muestra.
I Sabemos que en promedio es igual al verdadero coeficiente de regresi´on.
I Podemos obtener una muestra donde el valor del estimadores est´e alejado del verdadero valor.
Observaciones
I Insesgadez falla si alguno de nuestros supuestos falla.
I La propiedad de insesgadez depende de la veracidad de los supuestos.
I Por ejemplo, un modelo lineal. Esto puede ser muy restrictivo y a veces poco interesante.
I ¿Qu´e pasa si no estamos en un contexto de muestra aleatoria o si la muestra no es representativa de la poblaci´on?
I Sin embargo, el supuesto en el que m´as nos vamos a concentrar es la independencia en media de ε.
Observaciones
I Insesgadez falla si alguno de nuestros supuestos falla.
I La propiedad de insesgadez depende de la veracidad de los supuestos.
I Por ejemplo, un modelo lineal. Esto puede ser muy restrictivo y a veces poco interesante.
I ¿Qu´e pasa si no estamos en un contexto de muestra aleatoria o si la muestra no es representativa de la poblaci´on?
I Sin embargo, el supuesto en el que m´as nos vamos a concentrar es la independencia en media de ε.
Observaciones
I Insesgadez falla si alguno de nuestros supuestos falla.
I La propiedad de insesgadez depende de la veracidad de los supuestos.
I Por ejemplo, un modelo lineal. Esto puede ser muy restrictivo y a veces poco interesante.
I ¿Qu´e pasa si no estamos en un contexto de muestra aleatoria o si la muestra no es representativa de la poblaci´on?
I Sin embargo, el supuesto en el que m´as nos vamos a concentrar es la independencia en media de ε.
Observaciones
I Insesgadez falla si alguno de nuestros supuestos falla.
I La propiedad de insesgadez depende de la veracidad de los supuestos.
I Por ejemplo, un modelo lineal. Esto puede ser muy restrictivo y a veces poco interesante.
I ¿Qu´e pasa si no estamos en un contexto de muestra aleatoria o si la muestra no es representativa de la poblaci´on?
I Sin embargo, el supuesto en el que m´as nos vamos a concentrar es la independencia en media de ε.
Observaciones
I Insesgadez falla si alguno de nuestros supuestos falla.
I La propiedad de insesgadez depende de la veracidad de los supuestos.
I Por ejemplo, un modelo lineal. Esto puede ser muy restrictivo y a veces poco interesante.
I ¿Qu´e pasa si no estamos en un contexto de muestra aleatoria o si la muestra no es representativa de la poblaci´on?
I Sin embargo, el supuesto en el que m´as nos vamos a concentrar es la independencia en media de ε.
Observaciones
I Insesgadez falla si alguno de nuestros supuestos falla.
I La propiedad de insesgadez depende de la veracidad de los supuestos.
I Por ejemplo, un modelo lineal. Esto puede ser muy restrictivo y a veces poco interesante.
I ¿Qu´e pasa si no estamos en un contexto de muestra aleatoria o si la muestra no es representativa de la poblaci´on?
I Sin embargo, el supuesto en el que m´as nos vamos a concentrar es la independencia en media de ε.
Varianza de los estimadores MCO
I Proposici´on 2: Sea {(x1,y1), . . . ,(xn,yn)}una muestra
aleatoria. Bajo los supuestos
I y =α+βx+ε.
I E(ε|x) =0.
I V(ε|x) =σ2
I E(εiεj|x) =0.
la varianza de los estimadores MCO viene dada por
V(βn|x) =
σ2 Pn
i=1(xi −¯x)2
V(αn|x) =
σ2n−1Pn
i=1xi2
Pn
Observaciones
I En general vamos a interesarnos porV(βn|x).
I Nota que V(βn|x)depende postivamente de la varianza de lo
que no est´a en el modelo, σ2.
I La intuici´on es que una variaci´on en los factores que afectany
hace m´as dif´ıcil estimarβ.
I Por otro lado, variabilidad en las variables explicativas,
Pn
i=1(xi −¯x)2 , es preferible.
I La intuici´on es que una mayor dispersi´on de los datos hace m´as f´acil establecer una relaci´on entrex yy.
Observaciones
I En general vamos a interesarnos porV(βn|x).
I Nota que V(βn|x)depende postivamente de la varianza de lo
que no est´a en el modelo, σ2.
I La intuici´on es que una variaci´on en los factores que afectany
hace m´as dif´ıcil estimarβ.
I Por otro lado, variabilidad en las variables explicativas,
Pn
i=1(xi −¯x)2 , es preferible.
I La intuici´on es que una mayor dispersi´on de los datos hace m´as f´acil establecer una relaci´on entrex yy.
Observaciones
I En general vamos a interesarnos porV(βn|x).
I Nota que V(βn|x)depende postivamente de la varianza de lo
que no est´a en el modelo, σ2.
I La intuici´on es que una variaci´on en los factores que afectany
hace m´as dif´ıcil estimarβ.
I Por otro lado, variabilidad en las variables explicativas,
Pn
i=1(xi −¯x)2 , es preferible.
I La intuici´on es que una mayor dispersi´on de los datos hace m´as f´acil establecer una relaci´on entrex yy.
Observaciones
I En general vamos a interesarnos porV(βn|x).
I Nota que V(βn|x)depende postivamente de la varianza de lo
que no est´a en el modelo, σ2.
I La intuici´on es que una variaci´on en los factores que afectany
hace m´as dif´ıcil estimarβ.
I Por otro lado, variabilidad en las variables explicativas,
Pn
i=1(xi −¯x)2 , es preferible.
I La intuici´on es que una mayor dispersi´on de los datos hace m´as f´acil establecer una relaci´on entrex yy.
Observaciones
I En general vamos a interesarnos porV(βn|x).
I Nota que V(βn|x)depende postivamente de la varianza de lo
que no est´a en el modelo, σ2.
I La intuici´on es que una variaci´on en los factores que afectany
hace m´as dif´ıcil estimarβ.
I Por otro lado, variabilidad en las variables explicativas,
Pn
i=1(xi −¯x)2 , es preferible.
I La intuici´on es que una mayor dispersi´on de los datos hace m´as f´acil establecer una relaci´on entrex yy.
Observaciones
I En general vamos a interesarnos porV(βn|x).
I Nota que V(βn|x)depende postivamente de la varianza de lo
que no est´a en el modelo, σ2.
I La intuici´on es que una variaci´on en los factores que afectany
hace m´as dif´ıcil estimarβ.
I Por otro lado, variabilidad en las variables explicativas,
Pn
i=1(xi −¯x)2 , es preferible.
I La intuici´on es que una mayor dispersi´on de los datos hace m´as f´acil establecer una relaci´on entrex yy.
Teorema de Gauss-Markov
I Teorema: Sea{(x1,y1), . . . ,(xn,yn)} una muestra aleatoria.
Bajo los supuestos
I y =α+βx+ε.
I E(ε|x) =0.
I V(ε|x) =σ2 I E(εiεj|x) =0.
el estimador de MCO,(αn, βn)eseficiente en la clase de estimadores lineales e insesgados.
I Es decir, para cualquier estimador insesgado(an,bn)
V(αn) < V(an)
V(βn) < V(bn)
Teorema de Gauss-Markov
I Teorema: Sea{(x1,y1), . . . ,(xn,yn)} una muestra aleatoria.
Bajo los supuestos
I y =α+βx+ε.
I E(ε|x) =0.
I V(ε|x) =σ2 I E(εiεj|x) =0.
el estimador de MCO,(αn, βn)eseficiente en la clase de estimadores lineales e insesgados.
I Es decir, para cualquier estimador insesgado(an,bn)
V(αn) < V(an)
V(βn) < V(bn)
Teorema de Gauss-Markov
I Teorema: Sea{(x1,y1), . . . ,(xn,yn)} una muestra aleatoria.
Bajo los supuestos
I y =α+βx+ε.
I E(ε|x) =0.
I V(ε|x) =σ2 I E(εiεj|x) =0.
el estimador de MCO,(αn, βn)eseficiente en la clase de estimadores lineales e insesgados.
I Es decir, para cualquier estimador insesgado(an,bn)
V(αn) < V(an)
V(βn) < V(bn)
Observaciones
I Existe otra noci´on m´as restrictiva del teorema e involucra varianzas condicionales.
I ¿Qu´e cosano significa el teorema de Gauss-Markov?
I Es posible encontrar estimadores de β que no sean insesgados aunque s´ı lineales y que tengan varianza menor a βn.
Observaciones
I Existe otra noci´on m´as restrictiva del teorema e involucra varianzas condicionales.
I ¿Qu´e cosa no significa el teorema de Gauss-Markov?
I Es posible encontrar estimadores de β que no sean insesgados aunque s´ı lineales y que tengan varianza menor a βn.
Observaciones
I Existe otra noci´on m´as restrictiva del teorema e involucra varianzas condicionales.
I ¿Qu´e cosa no significa el teorema de Gauss-Markov?
I Es posible encontrar estimadores de β que no sean insesgados aunque s´ı lineales y que tengan varianza menor a βn.
Observaciones
I Existe otra noci´on m´as restrictiva del teorema e involucra varianzas condicionales.
I ¿Qu´e cosa no significa el teorema de Gauss-Markov?
I Es posible encontrar estimadores de β que no sean insesgados aunque s´ı lineales y que tengan varianza menor a βn.
Relaci´
on entre
ε
ˆ
y los estimadores MCO
I Proposici´on 3: Sea {(x1,y1), . . . ,(xn,yn)}una muestra
aleatoria. Bajo los supuestos
I y =α+βx+ε.
I E(ε|x) =0.
I V(ε|x) =σ2 I E(εiεj|x) =0.
el estimador de MCO y el residual no est´an correlacionados. Es decir,
