Métodos de Regresión

Métodos de Regresión

Ciencias y Técnicas Estadísticas

Soluciones ejercicios: Regresión Lineal Simple

Versión 3

Emilio Letón

1. Demostrar que_jCov(X1; X2)_j D(X1)D(X2)y que_jbsx1x2j bsx1bsx2.

SOLUCIÓN:

Sea la funciónm(x) =V[xX1+X2] con

m(x) =x2V[X1] +V [X2] + 2Cov(xX1; X2) =x2V [X1] +V [X2] + 2xCov(X1; X2)

que veri…ca quem(x) 0 (al serm(x)una varianza, que es siempre mayor o igual que cero).

Por lo que el discriminate de la ecuación anterior de segundo grado veri…ca que es menor o igual que cero, es decir:

4Cov2(X1; X2) 4V [X1]V [X2] 0

Cov2(X1; X2) V [X1]V[X2]

jCov(X1; X2)_j D[X1]D[X2]

La demostración de que_js_bx1x2j sbx1bsx2 es análoga.

2. Demostrar que_{j j} 1, _jbr_j 1, _{j Sj} 1 y_jbrSj 1. SOLUCIÓN: Al ser r= Cov(X; Y) D(X)D(Y) se tiene que jr_j= jCov(X; Y)j D(X)D(Y) D(X)D(Y) D(X)D(Y) = 1

El resto de las demostraciones son análogas.

3. Si el seno hiperbólicosenhy el coseno hiperbólicocosh están de…nidos como

senh(x) = e x _e x 2 cosh (x) =e x_+e x 2

(a) Demostrar que la tangente hiperbólica y la aroctangente hipérbolica están dadas por tghx= e 2x ₁ e2x_{+ 1} arctghy=1 2Ln 1 +y 1 y

(b) Demostrar que el intervalo de con…anza del (1 ) %para el coe…ciente de correlación poblacional de Pearson viene dado por

IC(1 ) % ( ) = e 2li ₁ e2li_{+ 1}; e2ls ₁ e2ls_{+ 1} conli =arctghbr z =2 q 1 n 3 yls=arctghbr+z =2 q 1

n 3, sabiendo quearctghrb N arctgh ;

q

1

n 3 :

SOLUCIÓN:

(a) Por de…nición de la tangente hiperbólica, se tiene que

tghx= senhx coshx

Por tanto, en primer lugar:

tghx= senhx coshx = ex _e x 2 ex_+e x 2 = e x _e x ex_+e x = ex 1 ex ex₊ 1 ex = e 2x ₁ e2x_{+ 1}

Y en segundo lugar, si se despejaxen la ecuacióntghx=y, se tiene que:

tghx= e 2x ₁ e2x_{+ 1} =y e2x 1 =e2xy+y e2x(1 y) = 1 +y 2x=Ln 1 +y 1 y x= 1 2Ln 1 +y 1 y Por lo que arctghy=tgh 1y= 1 2Ln 1 +y 1 y

(b) Sabiendo quearctgh_br N arctgh ;q_n1₃ , se tiene que

arctghr_b arctgh q 1 n 3 N(0;1) P 0 @ z =2< arctghr_b arctgh q 1 n 3 < z =2 1 A= (1 )

P z =2 r 1 n 3 < arctghrb arctgh < z =2 r 1 n 3 ! = (1 ) P z =2 r 1 n 3 > arctgh arctghbr > z =2 r 1 n 3 ! = (1 ) P z =2 r 1 n 3 < arctgh arctghbr < z =2 r 1 n 3 ! = (1 )

Por lo que el intervalo de con…anza del(1 ) %paraarctgh es

IC(1 ) % (arctgh ) = arctghr_b z =2 r 1 n 3; arctghrb+z =2 r 1 n 3 ! Si se llamali=arctghbr z =2 q 1 n 3 yls=arctghbr+z =2 q 1

n 3 y se deshace el cambio tomando

tangente hiperbólica, se tiene que

IC(1 ) % ( ) = e

2li ₁ e2li+ 1;

e2ls ₁ e2ls_{+ 1}

4. El coe…ciente de correlación calculado a partir de una muestra de tamaño n = 28 es de _br = 0;71. Determinar un intervalo de con…anza al 95% para el coe…ciente de correlación de la población.

SOLUCIÓN:

xxx.

5. Contrastar que H0 : = 0;5 vsHa : 6= 0;5 si n= 28y br= 0;71. ¿Qué valores de se aceptan en la

H0? Poner de mani…esto la equivalencia con el ejercicio anterior.

SOLUCIÓN:

xxx.

6. ¿Es bueno elegir el criterio de tomar como recta de regresión aquella que cumpla que

n P i=1b i= 0? SOLUCIÓN: xxx.

7. A partir del criterio mínimo cuadrático determinar las ecuaciones normales de la recta de regresión. Es decir a partir de min b₀;b₁ n X i=1 b2i = min b₀;b₁S b0;b1 = minb₀;b₁ n X i=1 yi b0 b1xi 2

deducir las ecuaciones que veri…can que

(I) @ @b₀S b0;b1 = 0 (II) @ @b₁S b0;b1 = 0 SOLUCIÓN: xxx.

8. Demostrar que las ecuaciones normales de la recta de regresión se simpli…can mediante (I) y=b₀+b₁x (II) n X i=1 xiyi=b0 n X i=1 xi+b1 n X i=1 x2_i

y que explícitamnete estas ecuaciones se resuelven como

b₁= sxy

s2

x

b₀=y b₁x

9. Demostrar que el criterio de mínimos cuadrados garantiza que: (a) n P i=1b i= 0. (b) n P i=1 xibi= 0. (c) s_xb= 0. (d) n P i=1b yibi = 0. (e) sy_bb= 0. SOLUCIÓN: xxx.

10. Demostrar que el criterio de mínimos cuadrados garantiza que

s_b2= 1 n n X i=1 bi bi 2 =s2_y s 2 xy s2 x . SOLUCIÓN: xxx.

11. En el modelo de Regresión Lineal Simple se supone que yi = 0+ 1xi+ i con i v.a.i.i.d según una

N(0; ).

(a) Determinar la función de verosimilitudl ₀; ₁; 2_jy

1; :::yn para cadaxi …jo utilizando que siW

N( ; )se tiene quef(w) = p1 2 exp 1 2 2(w ) 2 .

(b) Determinar los estimadores máximo verosímilesb₀;b₁y_b2(sin comprobar la condición de máximo).

SOLUCIÓN:

(a) Para cadaxi …jo, al ser yi combinación lineal de normales se tiene que será normal de media

y varianza

V[yijxi] =V [ 0+ 1xi+ i] =V [ i] = 2

Por lo que f(yi) = p1₂ exp ₂12 (yi 0 1xi)2

La función de verosimilitudl 0; 1; 2jy1; :::yn es

l ₀; ₁; 2_jy1; :::yn = n Y i=1 1 p 2 exp 1 2 2(yi 0 1xi)2 = 1 2 2 n=2 exp n X i=1 1 2 2(yi 0 1xi)2 ! (b) La función soporteL ₀; ₁; 2_jy 1; :::yn es

L ₀; ₁; 2_jy1; :::yn =Lnl 0; 1; 2jy1; :::yn

= n 2Ln2 n 2Ln 2 1 2 2 n X i=1 (yi 0 1xi)2

Para determinar el estimador máximo verosímil b₀ se deriva la función soporte respecto de ₀ y se iguala a cero: 1 2 22 n X i=1 (yi 0 1xi) ( 1) = 0 n X i=1 (yi 0 1xi) = 0 n X i=1 yi b0 b1xi = 0 y=b₀+b₁x

Para determinar el estimador máximo verosímil b₁ se deriva la función soporte respecto de ₁ y se iguala a cero: 1 2 22 n X i=1 (yi 0 1xi) ( xi) = 0 n X i=1 (yi 0 1xi)xi= 0 n X i=1 yi b0 b1xi xi= 0 n X i=1 xiyi=b0 n X i=1 xi+b1 n X i=1 x2i 1 n n X i=1 xiyi x y=b0 1 n n X i=1 xi+b1 1 n n X i=1 x2_i x b₀+b₁x sxy=b1 " 1 n n X i=1 x2 i x2 # =b₁s2 x

b₁= sxy

s2

x

Para determinar el estimador máximo verosímil _b2 se deriva la función soporte respecto de 2 _{y se}

iguala a cero: n 2 2 2 4 4 n X i=1 (yi 0 1xi)2= 0 b2= n P i=1b 2 i n

12. Demostrar que las pendientes parcialesbi, siendo las pendientes parciales las pendientes de las rectas que

unen los puntos(x; y)con cada(xi; yi); vienen dadas por

bi=

yi y

xi x

SOLUCIÓN:

La ecuación de la recta que pasa por los puntos (x; y)y(xi; yi)viene dada por

x x xi x = y y yi y con lo que x(yi y) xyi+xy=y(xi x) yxi+xy y(xi x) =x(yi y) + (yxi xyi) y= yi y xi x x+yxi xyi xi x por lo que bi= yi y xi x

Otra forma de hacerlo sería utilizando que la ecuación de una recta se puede expresar comoy=mx+n, siendomla pendiente ynla ordenada en el origen, por lo que para que pase por los puntos(x; y)y(xi; yi)

se tiene que yi=bixi+ni y=bix+ni con lo que yi y=bi(xi x) bi= yi y xi x 13. Demostrar queb₁= n P i=1 pibi donde pi= (xi x)2 n P j=1 (xj x)2 =(xi x) 2 ns2 x

y quepi 0y n

P

i=1

pi= 1. Es decir, queb1se puede expresar como ponderación de las pendientes parciales.

SOLUCIÓN:

El coe…cienteb₁ viene dado por

b₁= sxy s2 x = 1 n Pn i=1(xi x) (yi y) 1 n Pn i=1(xi x)2 = n X i=1 (xi x) (yi y) ns2 x = n X i=1 pi yi y xi x = n X i=1 pibi Los valorespi = (xi x) 2 ns2

x veri…can que pi 0 (por ser cociente de cantidades positivas) y que

n P i=1 pi = 1; ya que n X i=1 pi= n X i=1 (xi x)2 ns2 x = Pn i=1(xi x)2 ns2 x =ns 2 x ns2 x = 1 14. Demostrar queb₁= n P i=1 wiyi donde wi= (xi x) n P j=1 (xj x)2 =(xi x) ns2 x

Es decir, que b₁ se puede expresar como combinación lineal de las observacionesyi. Demostrar también

que: n X i=1 wi= 0; n X i=1 wixi= 1 y n X i=1 w2_i = 1 ns2 x SOLUCIÓN: Se tiene que b₁= n X i=1 pibi= n X i=1 (xi x)2 ns2 x yi y xi x = n X i=1 (xi x) (yi y) ns2 x = n X i=1 (xi x) ns2 x yi n X i=1 (xi x) ns2 x y= n X i=1 (xi x) ns2 x yi y ns2 x n X i=1 (xi x) = n X i=1 (xi x) ns2 x yi 0 = n X i=1 wiyi

Los valores wi veri…can que n P i=1 wi= 0; n P i=1 wixi= 1y n P i=1 w2_i = _ns12 x, ya que n X i=1 wi= n X i=1 (xi x) ns2 x = Pn i=1(xi x) ns2 x = 0 n X i=1 wixi= n X i=1 wixi= n X i=1 (xi x) ns2 x xi= 1 ns2 x n X i=1 x2_i x n X i=1 xi ! = ns 2 x ns2 x = 1 n X i=1 w2_i = n X i=1 (xi x)2 n2_s4 x = 1 n2_s4 x n X i=1 (xi x)2= ns2 x n2_s4 x = 1 ns2 x

15. Demostrar queb₀= n P i=1 riyi donde ri= 1 n xwi

Es decir, que b₀ se puede expresar como combinación lineal de las observacionesyi. Demostrar también

que: n X i=1 ri= 1; n X i=1 rixi= 0y n X i=1 r2_i = 1 n 1 + x2 s2 x SOLUCIÓN: xxx.

16. Demostrar que en las hipótesisyi= 0+ 1xi+ isiendo iv.a. conE[ i] = 0, se veri…ca queE

h

b₀i= ₀

y queEhb₁i= ₁. Es decir, que b₀ y b₁son insesgados. Utilizar en la demostración que tanto b₁ como

b₀se pueden expresar como combinación lineal de las observaciones yi.

SOLUCIÓN:

xxx.

17. Demostrar que en las hipótesis yi = 0+ 1xi+ i siendo i v.a. conE[ i] = 0, E[ i j] = 0si i6=j y

E 2 i = 2 se veri…ca que Vhb₀i= 2 n 1 + x2 s2 x Vhb₁i= 2 n 1 s2 x

Utilizar en la demostración que tanto b₁ como b₀ se pueden expresar como combinación lineal de las observacionesyi.

SOLUCIÓN:

xxx.

18. Demsotrar que en las hipótesis yi = 0+ 1xi+ i siendo i v.a. conE[ i] = 0, E[ i j] = 0si i6=j y

E 2 i = 2 se veri…ca que Cov y;b₁ = 0 Cov b₀;b₁ = 2 n x s2 x SOLUCIÓN: xxx.

19. Demostrar que_bi= ( i ) b1 1 (xi x)y usando dicho resultado que

b_{1 1}=

n

X

i=1 wiyi

donde wi= (xi x) n P j=1 (xj x)2 =(xi x) ns2 x SOLUCIÓN: xxx.

20. Demostrar que en las hipótesis yi = 0+ 1xi+ i siendo i v.a. conE[ i] = 0, E[ i j] = 0si i6=j y

E 2 i = 2 se veri…ca que E " _n X i=1 b2i # = 2(n 2) E _bs_b2 = 2 E s2_b =n 2 n 2 Es decir, que_bs2

b es insesgado para 2 y quesb2 es sesgado.

SOLUCIÓN:

xxx.

21. Demostrar que en las hipótesisyi= 0+ 1xi+ i siendo i v.a.i.i.d N(0; )se veri…ca que

b₀ N 0 @ ₀;p n s 1 + x 2 s2 x 1 A b₁ N 1;p n s 1 s2 x ! n 2 2 bs 2 b 2n 2 SOLUCIÓN: xxx.

22. Deducir que en las hipótesisyi= 0+ 1xi+ i siendo i v.a.i.i.d N(0; )se veri…ca que

b_{0 0} b s_bp1 n q 1 + x_s22 x tn 2 b_{1 1} b sbp1n q 1 s2 x tn 2 N 1;p n s 1 s2 x ! n 2 2 bs 2 b 2n 2 SOLUCIÓN: xxx

23. A partir de los resultados inferenciales anteriores deducir IC95% para 0; 1y 2:

SOLUCIÓN:

xxx