Estimador de la varianza
Mauricio Olivares
ITAM
La varianza de los estimadores MCO
I Anteriormente mostramos (Proposici´on 2) que si se cumplen una serie de supuestos, la varianza de los estimadores de MCO es la varianza de los estimadores MCO viene dada por
V(βn|x) =
σ2
Pn
i=1(xi −¯x)2 V(αn|x) =
σ2n−1Pn i=1xi2 Pn
i=1(xi−x¯)2
I Sin embargo, estas f´ormulas son desconocidas pues dependen deσ2, otro par´ametro del modelo.
I S´olo en el caso (extremo) en que conozcamos σ2 podr´ıamos computar la varianza de los estimadores.
La varianza de los estimadores MCO
I Anteriormente mostramos (Proposici´on 2) que si se cumplen una serie de supuestos, la varianza de los estimadores de MCO es la varianza de los estimadores MCO viene dada por
V(βn|x) =
σ2
Pn
i=1(xi −¯x)2 V(αn|x) =
σ2n−1Pn i=1xi2 Pn
i=1(xi−x¯)2
I Sin embargo, estas f´ormulas son desconocidas pues dependen deσ2, otro par´ametro del modelo.
I S´olo en el caso (extremo) en que conozcamos σ2 podr´ıamos computar la varianza de los estimadores.
La varianza de los estimadores MCO
I Anteriormente mostramos (Proposici´on 2) que si se cumplen una serie de supuestos, la varianza de los estimadores de MCO es la varianza de los estimadores MCO viene dada por
V(βn|x) =
σ2
Pn
i=1(xi −¯x)2 V(αn|x) =
σ2n−1Pn i=1xi2 Pn
i=1(xi−x¯)2
I Sin embargo, estas f´ormulas son desconocidas pues dependen deσ2, otro par´ametro del modelo.
I S´olo en el caso (extremo) en que conozcamos σ2 podr´ıamos computar la varianza de los estimadores.
La varianza de los estimadores MCO
I Anteriormente mostramos (Proposici´on 2) que si se cumplen una serie de supuestos, la varianza de los estimadores de MCO es la varianza de los estimadores MCO viene dada por
V(βn|x) =
σ2
Pn
i=1(xi −¯x)2 V(αn|x) =
σ2n−1Pn i=1xi2 Pn
i=1(xi−x¯)2
I Sin embargo, estas f´ormulas son desconocidas pues dependen deσ2, otro par´ametro del modelo.
I S´olo en el caso (extremo) en que conozcamos σ2 podr´ıamos computar la varianza de los estimadores.
Estimador de la varianza de
ε
I Nosotros sabemos que σ2=
E(ε2)(problema 1 de la tarea).
I Entonces, usando el principio de analog´ıa, podr´ıamos simplemente proponer
σn2 = En(ε2)
= 1
n n X
i=1 (ε2i)
I Sin embargo,εno es observable.
I Recuerda que εes una relaci´on poblacional:
εi =yi −α−βxi
I Est´a en funci´on de los coeficientes de regresi´on.
Estimador de la varianza de
ε
I Nosotros sabemos que σ2=
E(ε2)(problema 1 de la tarea).
I Entonces, usando el principio de analog´ıa, podr´ıamos simplemente proponer
σn2 = En(ε2)
= 1
n n X
i=1 (ε2i)
I Sin embargo,εno es observable.
I Recuerda que εes una relaci´on poblacional:
εi =yi −α−βxi
I Est´a en funci´on de los coeficientes de regresi´on.
Estimador de la varianza de
ε
I Nosotros sabemos que σ2=
E(ε2)(problema 1 de la tarea).
I Entonces, usando el principio de analog´ıa, podr´ıamos simplemente proponer
σn2 = En(ε2)
= 1
n n X
i=1 (ε2i)
I Sin embargo,εno es observable.
I Recuerda que εes una relaci´on poblacional:
εi =yi −α−βxi
I Est´a en funci´on de los coeficientes de regresi´on.
Estimador de la varianza de
ε
I Nosotros sabemos que σ2=
E(ε2)(problema 1 de la tarea).
I Entonces, usando el principio de analog´ıa, podr´ıamos simplemente proponer
σn2 = En(ε2)
= 1
n n X
i=1 (ε2i)
I Sin embargo,εno es observable.
I Recuerda que εes una relaci´on poblacional:
εi =yi −α−βxi
I Est´a en funci´on de los coeficientes de regresi´on.
Estimador de la varianza de
ε
I Nosotros sabemos que σ2=
E(ε2)(problema 1 de la tarea).
I Entonces, usando el principio de analog´ıa, podr´ıamos simplemente proponer
σn2 = En(ε2)
= 1
n n X
i=1 (ε2i)
I Sin embargo,εno es observable.
I Recuerda que εes una relaci´on poblacional:
εi =yi −α−βxi
I Est´a en funci´on de los coeficientes de regresi´on.
Estimador de la varianza de
ε
I Nosotros sabemos que σ2=
E(ε2)(problema 1 de la tarea).
I Entonces, usando el principio de analog´ıa, podr´ıamos simplemente proponer
σn2 = En(ε2)
= 1
n n X
i=1 (ε2i)
I Sin embargo,εno es observable.
I Recuerda que εes una relaci´on poblacional:
εi =yi −α−βxi
I Est´a en funci´on de los coeficientes de regresi´on.
Alternativa
I Entonces, dado que no podemos observar εnecesitamos modificar el candidato a estimador.
I Recuerda nuestra definici´on de residual
ˆ
εi = yi−ˆyi
= yi−αn−βnxi
I Los residuales se obtienen de los datos.
I Entonces, usaremos los residuales para estimar la varianza de
ε.
I Recuerda la definici´on de SSR
SSR = n X
i=1 ˆ
Alternativa
I Entonces, dado que no podemos observar εnecesitamos modificar el candidato a estimador.
I Recuerda nuestra definici´on de residual
ˆ
εi = yi−ˆyi
= yi−αn−βnxi
I Los residuales se obtienen de los datos.
I Entonces, usaremos los residuales para estimar la varianza de
ε.
I Recuerda la definici´on de SSR
SSR = n X
i=1 ˆ
Alternativa
I Entonces, dado que no podemos observar εnecesitamos modificar el candidato a estimador.
I Recuerda nuestra definici´on de residual
ˆ
εi = yi−ˆyi
= yi−αn−βnxi
I Los residuales se obtienen de los datos.
I Entonces, usaremos los residuales para estimar la varianza de
ε.
I Recuerda la definici´on de SSR
SSR = n X
i=1 ˆ
Alternativa
I Entonces, dado que no podemos observar εnecesitamos modificar el candidato a estimador.
I Recuerda nuestra definici´on de residual
ˆ
εi = yi−ˆyi
= yi−αn−βnxi
I Los residuales se obtienen de los datos.
I Entonces, usaremos los residuales para estimar la varianza de
ε.
I Recuerda la definici´on de SSR
SSR = n X
i=1 ˆ
Alternativa
I Entonces, dado que no podemos observar εnecesitamos modificar el candidato a estimador.
I Recuerda nuestra definici´on de residual
ˆ
εi = yi−ˆyi
= yi−αn−βnxi
I Los residuales se obtienen de los datos.
I Entonces, usaremos los residuales para estimar la varianza de
ε.
I Recuerda la definici´on de SSR
SSR = n X
i=1 ˆ
I entonces, el estimador de la varianza viene dado por
σn2 = En(ˆε2)
= 1
n n X
i=1 ˆ
ε2i
= SSR
n
I Este estimador s´ı nos permite conocer σ2 a partir de la muestra.
I Sin embargo, este estimador es sesgado.
I entonces, el estimador de la varianza viene dado por
σn2 = En(ˆε2)
= 1
n n X
i=1 ˆ
ε2i
= SSR
n
I Este estimador s´ı nos permite conocer σ2 a partir de la muestra.
I Sin embargo, este estimador es sesgado.
I entonces, el estimador de la varianza viene dado por
σn2 = En(ˆε2)
= 1
n n X
i=1 ˆ
ε2i
= SSR
n
I Este estimador s´ı nos permite conocer σ2 a partir de la muestra.
I Sin embargo, este estimador es sesgado.
I entonces, el estimador de la varianza viene dado por
σn2 = En(ˆε2)
= 1
n n X
i=1 ˆ
ε2i
= SSR
n
I Este estimador s´ı nos permite conocer σ2 a partir de la muestra.
I Sin embargo, este estimador es sesgado.
I El estimador que hemos propuesto es sesgado b´asicamente porque no toma en cuenta las dos condiciones de primer orden (propiedades 1 y 2):
n X
i=1 ˆ
ε2i
n X
i=1 xiεˆi
I Una manera intuitiva de entender esto es que s´olo
necesitamos n-2 residuales y las 2 condiciones de primer orden para encontrar los n residuales.
I Es decir, tenemos n-2 grados de libertad.
I Nota que por cada coeficiente de regresi´on perdemos un grado de libertad.
I El estimador que hemos propuesto es sesgado b´asicamente porque no toma en cuenta las dos condiciones de primer orden (propiedades 1 y 2):
n X
i=1 ˆ
ε2i
n X
i=1 xiεˆi
I Una manera intuitiva de entender esto es que s´olo
necesitamos n-2 residuales y las 2 condiciones de primer orden para encontrar los n residuales.
I Es decir, tenemos n-2 grados de libertad.
I Nota que por cada coeficiente de regresi´on perdemos un grado de libertad.
I El estimador que hemos propuesto es sesgado b´asicamente porque no toma en cuenta las dos condiciones de primer orden (propiedades 1 y 2):
n X
i=1 ˆ
ε2i
n X
i=1 xiεˆi
I Una manera intuitiva de entender esto es que s´olo
necesitamos n-2 residuales y las 2 condiciones de primer orden para encontrar los n residuales.
I Es decir, tenemos n-2 grados de libertad.
I Nota que por cada coeficiente de regresi´on perdemos un grado de libertad.
I El estimador que hemos propuesto es sesgado b´asicamente porque no toma en cuenta las dos condiciones de primer orden (propiedades 1 y 2):
n X
i=1 ˆ
ε2i
n X
i=1 xiεˆi
I Una manera intuitiva de entender esto es que s´olo
necesitamos n-2 residuales y las 2 condiciones de primer orden para encontrar los n residuales.
I Es decir, tenemos n-2 grados de libertad.
I Nota que por cada coeficiente de regresi´on perdemos un grado de libertad.
I El estimador que hemos propuesto es sesgado b´asicamente porque no toma en cuenta las dos condiciones de primer orden (propiedades 1 y 2):
n X
i=1 ˆ
ε2i
n X
i=1 xiεˆi
I Una manera intuitiva de entender esto es que s´olo
necesitamos n-2 residuales y las 2 condiciones de primer orden para encontrar los n residuales.
I Es decir, tenemos n-2 grados de libertad.
I Nota que por cada coeficiente de regresi´on perdemos un grado de libertad.
Estimador insesgado de la varianza de
ε
I Entonces, dado este sesgo inherente al estimador propuesto, vamos a utilizar el siguiente estimador
ˆ
σ2= 1 n−2
n X
i=1 ˆ
ε2i = 1 n−2SSR
I Este estimador toma en cuenta el n´umero de grados de libertad que hemos perdido y los toma en cuenta.
Estimador insesgado de la varianza de
ε
I Entonces, dado este sesgo inherente al estimador propuesto, vamos a utilizar el siguiente estimador
ˆ
σ2= 1 n−2
n X
i=1 ˆ
ε2i = 1 n−2SSR
I Este estimador toma en cuenta el n´umero de grados de libertad que hemos perdido y los toma en cuenta.
Estimador insesgado de la varianza de
ε
I Entonces, dado este sesgo inherente al estimador propuesto, vamos a utilizar el siguiente estimador
ˆ
σ2= 1 n−2
n X
i=1 ˆ
ε2i = 1 n−2SSR
I Este estimador toma en cuenta el n´umero de grados de libertad que hemos perdido y los toma en cuenta.
Insesgadez de
σ
ˆ
2I Proposici´on 4: Sea {(x1,y1), . . . ,(xn,yn)}una muestra aleatoria. Bajo los supuestos
I y =α+βx+ε. I E(ε|x) =0. I V(ε|x) =σ2 I E(εiεj|x) =0.
el estimador de la varianza de εes insesgado.
I Es decir,E(ˆσ2) =σ2.
Insesgadez de
σ
ˆ
2I Proposici´on 4: Sea {(x1,y1), . . . ,(xn,yn)}una muestra aleatoria. Bajo los supuestos
I y =α+βx+ε. I E(ε|x) =0. I V(ε|x) =σ2 I E(εiεj|x) =0.
el estimador de la varianza de εes insesgado.
I Es decir,E(ˆσ2) =σ2.
Insesgadez de
σ
ˆ
2I Proposici´on 4: Sea {(x1,y1), . . . ,(xn,yn)}una muestra aleatoria. Bajo los supuestos
I y =α+βx+ε. I E(ε|x) =0. I V(ε|x) =σ2 I E(εiεj|x) =0.
el estimador de la varianza de εes insesgado.
I Es decir,E(ˆσ2) =σ2.
Errores Est´
andar
I M´as adelante (cuando hagamos inferencia en el modelo cl´asico de regresi´on lineal simple), necesitaremos estimadores de la desviaci´on est´andar,σ.
I Nuestro candidato ser´a
ˆ
σ =
√
ˆ
σ2
I A σˆ se le conoce comoerror est´andary lo abreviaremos como SE.
I Siguiendo el mismo razonamiento, si reemplazamos el error est´andar en el estimador de la varianza de los estimaores de MCO, obtendremos el error est´andar deαn yβn
respectivamente.
I Por ejemplo,
se(βn) =
ˆ
σ
(Pn
Errores Est´
andar
I M´as adelante (cuando hagamos inferencia en el modelo cl´asico de regresi´on lineal simple), necesitaremos estimadores de la desviaci´on est´andar,σ.
I Nuestro candidato ser´a
ˆ
σ =
√
ˆ
σ2
I A σˆ se le conoce comoerror est´andary lo abreviaremos como SE.
I Siguiendo el mismo razonamiento, si reemplazamos el error est´andar en el estimador de la varianza de los estimaores de MCO, obtendremos el error est´andar deαn yβn
respectivamente.
I Por ejemplo,
se(βn) =
ˆ
σ
(Pn
Errores Est´
andar
I M´as adelante (cuando hagamos inferencia en el modelo cl´asico de regresi´on lineal simple), necesitaremos estimadores de la desviaci´on est´andar,σ.
I Nuestro candidato ser´a
ˆ
σ =
√
ˆ
σ2
I A ˆσ se le conoce comoerror est´andary lo abreviaremos como SE.
I Siguiendo el mismo razonamiento, si reemplazamos el error est´andar en el estimador de la varianza de los estimaores de MCO, obtendremos el error est´andar deαn yβn
respectivamente.
I Por ejemplo,
se(βn) =
ˆ
σ
(Pn
Errores Est´
andar
I M´as adelante (cuando hagamos inferencia en el modelo cl´asico de regresi´on lineal simple), necesitaremos estimadores de la desviaci´on est´andar,σ.
I Nuestro candidato ser´a
ˆ
σ =
√
ˆ
σ2
I A ˆσ se le conoce comoerror est´andary lo abreviaremos como SE.
I Siguiendo el mismo razonamiento, si reemplazamos el error est´andar en el estimador de la varianza de los estimaores de MCO, obtendremos el error est´andar deαn yβn
respectivamente.
I Por ejemplo,
se(βn) =
ˆ
σ
(Pn
Errores Est´
andar
I M´as adelante (cuando hagamos inferencia en el modelo cl´asico de regresi´on lineal simple), necesitaremos estimadores de la desviaci´on est´andar,σ.
I Nuestro candidato ser´a
ˆ
σ =
√
ˆ
σ2
I A ˆσ se le conoce comoerror est´andary lo abreviaremos como SE.
I Siguiendo el mismo razonamiento, si reemplazamos el error est´andar en el estimador de la varianza de los estimaores de MCO, obtendremos el error est´andar deαn yβn
respectivamente.
I Por ejemplo,
se(βn) =
ˆ
σ
(Pn
Errores est´
andar
I De manera similar,
se(αn) = ˆσn
−1/2(Pn
i=1xi2)1/2 (Pn
i=1(xi−¯x)2)1/2
I Nota que se(αn)como se(βn) son variables aleatorias pues cada vez que corremos la regresi´on obtendremos un error est´andar diferente.
I Sin embargo, cuando lo estimamos usando la muestra obtendremos un n´umero.
I Los errores est´andar nos dan una idea de qu´e tan precisos son nuestros estimadores.
Errores est´
andar
I De manera similar,
se(αn) = ˆσn
−1/2(Pn
i=1xi2)1/2 (Pn
i=1(xi−¯x)2)1/2
I Nota que se(αn)como se(βn) son variables aleatorias pues cada vez que corremos la regresi´on obtendremos un error est´andar diferente.
I Sin embargo, cuando lo estimamos usando la muestra obtendremos un n´umero.
I Los errores est´andar nos dan una idea de qu´e tan precisos son nuestros estimadores.
Errores est´
andar
I De manera similar,
se(αn) = ˆσn
−1/2(Pn
i=1xi2)1/2 (Pn
i=1(xi−¯x)2)1/2
I Nota que se(αn)como se(βn) son variables aleatorias pues cada vez que corremos la regresi´on obtendremos un error est´andar diferente.
I Sin embargo, cuando lo estimamos usando la muestra obtendremos un n´umero.
I Los errores est´andar nos dan una idea de qu´e tan precisos son nuestros estimadores.
Errores est´
andar
I De manera similar,
se(αn) = ˆσn
−1/2(Pn
i=1xi2)1/2 (Pn
i=1(xi−¯x)2)1/2
I Nota que se(αn)como se(βn) son variables aleatorias pues cada vez que corremos la regresi´on obtendremos un error est´andar diferente.
I Sin embargo, cuando lo estimamos usando la muestra obtendremos un n´umero.
I Los errores est´andar nos dan una idea de qu´e tan precisos son nuestros estimadores.
Errores est´
andar
I De manera similar,
se(αn) = ˆσn
−1/2(Pn
i=1xi2)1/2 (Pn
i=1(xi−¯x)2)1/2
I Nota que se(αn)como se(βn) son variables aleatorias pues cada vez que corremos la regresi´on obtendremos un error est´andar diferente.
I Sin embargo, cuando lo estimamos usando la muestra obtendremos un n´umero.
I Los errores est´andar nos dan una idea de qu´e tan precisos son nuestros estimadores.
