Estad´ıstica II, grado en Matem´aticas
Resumen del modelo de regresi´on lineal m´ultiple Curso 2019-2020
1. Ingredientes y datos
k≥1 variables explicativasX1, . . . , Xk. Variable respuestaY.
Serie dendatos (cada uno de longitudk+ 1).
X1 X2 · · · Xk Y x1,1 x1,2 · · · x1,k y1 x2,1 x2,2 · · · x2,k y2
... ... . .. ... ... xn,1 xn,2 · · · xn,k yn
n≥k+ 2.
No colinealidad (columnasX1a Xk).
2. Modelo
El vectory= (y1, . . . , yn)T es una realizaci´on del vector aleatorioY= (Y1, . . . , Yn)T dado por Y=X·β+ε,
donde
X =
1 x1,1 x1,2 · · · x1,k
1 x2,1 x2,2 · · · x2,k
... ... ... . .. ... 1 xn1,1 xn,2 · · · xn,k
es la matriz de dise˜no (de rangok+ 1), y donde β= (β0, β1, . . . , βk)T es el vector de par´ametros,
ε= (ε1, . . . , εn)T ∼ N(0, σ2In), dondeσ2es otro par´ametro eInes la matriz identidadn×n.
Es decir, las variablesεi son normales independientes de media 0 y varianzaσ2. El vectorYse distribuye como unaN(X·β, σ2In).
3. Estimaci´on de par´ametros
a) Dada la muestray= (y1, . . . , yn)T, la estimaci´on (m´ınimo error cuadr´atico/m´axima verosi- militud) de los par´ametros es
βb = (XTX)−1XTy.
Para el caso de la regresi´on lineal simple (k = 1), llamando x = (x1, . . . , xn)T a la (´unica) columna de observaciones,
βb1=covx,y
Vx , βb0=y−covx,y
Vx x, donde
x= 1 n
∑n i=1
xi, y= 1 n
∑n i=1
yi, Vx= 1 n
∑n i=1
(xi−x)2, covx,y= 1 n
∑n i=1
(xi−x)(yi−y).
b) Valores pronosticados y residuos. Dada la muestra y = (y1, . . . , yn)T, los pron´osticos by = (yb1, . . .ybn)T y los residuose= (e1, . . . , en)T son
b
y=Xβb =X(XTX)−1XTy:=Hy, e=y−yb= (In−H)y.
La matrizH esn×n, sim´etrica, definida positiva e idempotente de rango k+ 1.
1
c) Sumas de cuadrados:tss=mss+rss, con
(total) tss=
∑n i=1
(yi−y)2=nVy =yT(In−n1Jn)y, (explicada por modelo) mss=
∑n i=1
(ybi−y)2=yT(H−n1Jn)y, (residual) rss=
∑n i=1
(yi−ybi)2=
∑n i=1
e2i =yT(In−H)y,
dondeJn denota la matrizn×ncon unos.
d) Estimaci´on paraσ2:
cσ2=s2R= 1 n−k−1
∑n i=1
e2i = rss n−k−1· e) CoeficienteR2:
R2=mss
tss = 1−rss tss. Obs´ervese quemss/rss=R2/(1−R2).
4. Distribuci´on de estimadores
Consideramos los estimadores (estad´ısticos asociados aY= (Y1, . . . , Yn)T) βb = (XTX)−1XTY y s2R= 1
n−k−1YT(In−H)Y. En el casok= 1,
βb1= 1 Vx
1 n
∑n i=1
(xi−x)(Yi−Y), βb0=Y − x Vx
1 n
∑n i=1
(xi−x)(Yi−Y), dondeY =n1∑n
i=1Yi. Se tiene que
βb∼ N(β, σ2(XTX)−1), (n−k−1)s2R/σ2∼χ2n−k−1, ys2R es independiente deβ.b
En particular, paraj= 0, . . . , k, y llamandoqj,j al elementoj de la diagonal de (XTX)−1, βbj−βj
sR√qj+1,j+1 ∼tn−k−1. En el casok= 1,
V(βb0) =σ2 [1
n+ x2 nVx
]
, V(βb1) =σ2 1 nVx
, cov(βb0,βb1) =−σ2 x nVx
.
2
5. Intervalos de confianza para los par´ametros
Dadoα, y paraj = 0, . . . , k,
IC1−α(βj) =βbj±t{n−k−1;α/2}sR√qj+1,j+1. Para el casok= 1,
IC1−α(β0) =βb0± t{n−2;α/2}sR
√ 1 n+ x2
n Vx
, IC1−α(β1) =βb1±t{n−2;α/2}sR
√ 1 n Vx
.
Paraσ2,
IC1−α(σ2) =
((n−k−1)s2R
χ2{n−k−1;α/2} , (n−k−1)s2R χ2{n−k−1;1−α/2}
) .
6. Contrastes de hip´otesis
a) Hip´otesis individuales H0 : βj = 0, con j ∈ {1, . . . , k}. Regi´on de rechazo con nivel de significaci´onα:
Rj={ βbj sR√qj+1,j+1
> t{n−k−1;α/2}
} .
b) Hip´otesis globalH0:β1=· · ·=βk = 0. BajoH0, se tiene que mss/k
rss/(n−k−1) ∼Fk,n−k−1. Regi´on de rechazo con nivel de significaci´onα:
R=
{ mss/k
rss/(n−k−1) > F{k,n−k−1;α} }
.
Tabla ANOVA:
Fuente suma cuadrados g.l. varianza estad´ısticoF
explicada por regresi´on mss k mss/k (mss/k)/s2R
residual rss n−k−1 rss/(n−k−1) =s2R
total tss n−1
7. Predicciones
Condicionando sobre una observaci´onx0= (x0,1, . . . , x0,k), y si llamamosex0= (1, x0,1, . . . , x0,k), la predicci´on, tanto sobre la media deY como sobre el valor deY, es
b
y0=exT0·β.b Intervalos de confianza:
IC1−α(media deY |x0) =by0±t{n−k−1;α/2}·sR·√ e
xT0(XTX)−1xe0
IC1−α(valor deY |x0) =by0±t{n−k−1;α/2}·sR·√
1 +xeT0(XTX)−1ex0
En el casok= 1, dada la observaci´onx0,
IC1−α(media deY|x0) =yb0± t{n−2;α/2}·sR·
√ 1
n+(x0−x)2 n Vx
,
IC1−α(valor deY|x0) =yb0± t{n−2;α/2}·sR·
√ 1 + 1
n+(x0−x)2 n Vx .
3
Espacio para tus anotaciones adicionales.
