2. El Modelo de Regresión Lineal Simple

2. El Modelo de Regresi ´ on Lineal Simple

Problema de m´ınimos cuadrados.

Estimadores m´ınimos cuadrados β ˆ ₀ , β ˆ ₁ , y s ² .

Estimadores de m ´axima verosimilitud y propiedades.

Inferencia: pruebas de hip ´otesis e intervalos de confianza.

Bondad de ajuste: ^ANOVA , R ² .

Transformaciones de la l´ınea recta.

Transformaciones potencia de Box-Cox y Box-Tidwell.

Modelos no lineales.

Error puro y falta de ajuste.

Revisi ´on de los supuestos del modelo de regresi ´on: An ´alisis de residuales.

altura (cm)

presión (kg/cm^2)

100 120 140 160 180 200

0 50 100 150 200

y _obs y

e = y _obs − y

(no observado)

y = β ₀ + β ₁ x

(teórica)

Modelo generador teórico

Regresi ´ on Lineal Simple

y _i = β ₀ + β ₁ x _i +  _i , i = 1, . . . , n

Donde,

y _i : variable de respuesta, variable dependiente.

x _i : variable de control, regresor, variable independiente.

β ₀ , β ₁ : coeficientes del modelo.

β ₀ : es el nivel de la respuesta cuando x = 0 .

β ₁ : es el incremento en la respuesta cuando aumento al regresor x en una unidad. (tasa de cambio)

 _i : error aleatorio (no observado), diferencia entre el modelo generador y el

valor observado.

Regresi ´ on Lineal Simple

Si suponemos que el error  es tal que

E[] = 0, var() = σ ² , cov(,  ⁰ ) = 0 la respuesta y es aleatoria, pero para el nivel x = x ₀ ,

E[y|x = x ₀ ] = β ₀ + β ₁ x ₀ var(y|x = x ₀ ) = var() = σ ²

cov(y, y ⁰ ) = 0 Esto es,

El nivel medio de y depende del nivel de x.

La variabilidad de la respuesta y no depende de x.

cov(y, y ⁰ ) = cov(,  ⁰ ) = 0.

β ₀ es la respuesta media para x = 0.

β ₁ es el incremento de la respuesta debido a un cambio unitario del

regresor x. Es decir, para ∆ _x = 1, se tiene que ∆ _y = β ₁ .

altura (cm)

presión (kg/cm^2)

100 120 140 160 180 200

0 50 100 150 200

y _obs

~ y

r~ = y _obs − y ~

(residual)

~ = β~ y ₀ + β ~

1 x

(ajustada)

modelo generador

Modelo ajustado

Criterios para determinar la “mejor” l´ınea recta

Problema: Elegir “la mejor ” l´ınea recta ( β ₀ ^∗ , β ₁ ^∗ ).

1. Elija ( ˜ β ₀ , ˜ β ₁ ) , de modo que X

i

(y _i − ˜ y _i ) = ^X

i

(y _i − ˜ β ₀ − ˜ β ₁ x _i ) = 0 ¡¡¡Impr ´actico!!!

2. Criterio L ₁ : M´ınima Desviaci ´on Absoluta m´ın β

X

i

|y _i − ˜ β ₀ − ˜ β ₁ x _i |

3. Criterio L ₂ : M´ınimos Cuadrados m´ın β

X

i

(y _i − ˜ β ₀ − ˜ β ₁ x _i ) ²

4. Criterio L _∞ : M´ınima Desviaci ´on M ´axima m´ın β

n

m´ ax

i

 y _i − ˜ β ₀ − ˜ β ₁ x _i   ^o

El Problema de M´ınimos Cuadrados

Considere la suma de cuadrados: S(β) .

= ^{P n} _i=1 (y _i − β ₀ − β ₁ x _i ) ² Criterio:

m´ın β S(β) ≡ m´ın

β

, β

n

X

i=1

(y _i − β ₀ − β ₁ x _i ) ²

dS

dβ ≡ 0 =⇒



 

 

 

 

Ecuaciones normales ( ortogonales ) : nβ ₀ + β ₁ ^P x _i = ^P y _i

β ₀ ^P x _i + β ₁ ^P x ² _i = ^P x _i y _i Soluci ´on: Estimadores M´ınimos Cuadrados

β ˆ ₁ =

X (x _i − ¯ x)(y _i − ¯ y)

X (x _i − ¯ x) ² = S _xy S _xx

β ˆ ₀ = ¯ y − ˆ β ₁ x ¯

altura (cm)

presión (kg/cm^2)

100 120 140 160 180 200

0 50 100 150 200

x y

y ^ = β^ ₀ + β ^

1 x

Recta ajustada por mínimos cuadrados

La recta ajustada pasa por el centroide de los datos(X, Y )

Se considera un motor de cohete estudiando el propelente de encendido den- tro de un dep ´osito de metal. La fuerza para separar la uni ´on entre las compo- nentes del combustible es la respuesta, que depende de la edad de propelen- te.

Datos:

obs fuerza edad obs fuerza edad 1 2158.70 15.50 11 2165.20 13.00 2 1678.15 23.75 12 2399.55 3.75 3 2316.00 8.00 13 1779.80 25.00 4 2061.30 17.00 14 2336.75 9.75 5 2207.50 5.50 15 1765.30 22.00 6 1708.30 19.00 16 2053.50 18.00 7 1784.70 24.00 17 2414.40 6.00 8 2575.00 2.50 18 2200.50 12.50 9 2357.90 7.50 19 2654.20 2.00 10 2256.70 11.00 20 1753.70 21.50

5 10 15 20 25

1800 2000 2200 2400 2600

Propelente

edad (semanas)

fuerza (psi)

Montgomery et al. (2001)

Ejemplo Propelente (cont.)

0 5 10 15 20 25

1800 2000 2200 2400 2600

Propelente

edad (semanas)

fuerza (psi)

1708.3 y 1921.9 y ^ r^ = −213.6

y = 2627.82 − 37.15x

Ejemplo Propelente (cont.)

Ajuste:

Coefficients:

Estimate Std. Error t value Pr(>|t|) (Intercept) 2627.822 44.184 59.48 < 2e-16 edad -37.154 2.889 -12.86 1.64e-10

Residual standard error: 96.11 on 18 degrees of freedom Multiple R-squared: 0.9018, Adjusted R-squared: 0.8964 F-statistic: 165.4 on 1 and 18 DF, p-value: 1.643e-10

Analysis of Variance Table Response: fuerza

Df Sum Sq Mean Sq F value Pr(>F)

edad 1 1527483 1527483 165.38 1.643e-10

Residuals 18 166255 9236

Ejemplo Propelente (cont.)

Datos ajustados y residuales:

obs yobs yhat res obs yobs yhat res

1 2158.70 2051.9 106.8 11 2165.20 2144.8 20.4 2 1678.15 1745.4 -67.3 12 2399.55 2488.5 -88.9 3 2316.00 2330.6 -14.6 13 1779.80 1699.0 80.8

4 2061.30 1996.2 65.1 14 2336.75 2265.6 71.2

5 2207.50 2423.5 -216.0 15 1765.30 1810.4 -45.1 6 1708.30 1921.9 -213.6 16 2053.50 1959.1 94.4

7 1784.70 1736.1 48.6 17 2414.40 2404.9 9.5

8 2575.00 2534.9 40.1 18 2200.50 2163.4 37.1

9 2357.90 2349.2 8.7 19 2654.20 2553.5 100.7

10 2256.70 2219.1 37.6 20 1753.70 1829.0 -75.3

Observe que P n

i=1 res _i = 0.

Ejemplo Propelente (cont.)

1800 2000 2200 2400

−200 −100 0 100 200

Residuales vs. Respuesta Ajustada

respuesta ajustada

residual

Propiedades de los estimadores de m´ınimos cuadrados

β ˆ ₁ =

P (x _i − ¯ x)(y _i − ¯ y) P (x _i − ¯ x) ² E [ ˆ β ₁ ] = β ₁

var ( ˆ β ₁ ) = σ ² 1 S _xx

β ˆ ₀ = ¯ y − ˆ β ₁ x ¯

E [ ˆ β ₀ ] = β ₀

var ( ˆ β ₀ ) = σ ²

 1

n + x ¯ ² S _xx



Nota: Los resultados anteriores se siguen del hecho que P

(x _i − ¯ x) = 0 y por lo mismo S _xy = ^P (x _i − ¯ x)y _i . Luego β ˆ ₁ = ^P c _i y _i , donde c _i = (x _i − ¯ x)/S _xx .

Teorema Gauss-Markov Bajo los supuestos

E [ _i ] = 0, var ( _i ) = σ ² , cov ( _i ,  _j ) = 0

los estimadores de m´ınimos cuadrados son los mejores estimadores lineales

insesgados, en el sentido de que tienen varianza m´ınima.

Propiedades de los estimadores de m´ınimos cuadrados

ˆ

r _i = y _i − ˆ y _i = y _i − ( ˆ β ₀ + ˆ β ₁ x _i ) Se tiene que,

1.

X r ˆ _i = ^X (y _i − ˆ y _i ) = 0 2.

X y ˆ _i = ^X y _i 3.

¯

y = ˆ β ₀ + ˆ β ₁ x ¯ 4.

X x _i r ˆ _i = 0 5.

X y ˆ _i r ˆ _i = 0

Estimaci ´ on de σ ²

Suma de Cuadrados:

SC _Res =

n

X

i=1

(y _i − ˆ y _i ) ² = S _yy − ˆ β ₁ S _xy

Si se supone adem ´as que  ∼ N(0, σ ² ), se puede mostrar que

SC _Res

σ ² ∼ χ ² _n−2 Luego,

E  SC _Res σ ²



= n − 2, var  SC _Res σ ²



= 2(n − 2)

Cuadrados Medios:

s ² = CM _Res = 1

n − 2 ^{SC Res} = 1 n − 2

X (y _i − ˆ y _i ) ²

Entonces,

E s ²  = E  SC _Res n − 2



= σ ² , var s ²  = var  SC _Res n − 2



= 2σ ⁴ n − 2

Error Est ´andar de la Regresi ´on:

s = ^p CM _Res = s

SC _Res n − 2 =

r 1 n − 2

X (y _i − ˆ y _i ) ²

Inferencia

Estimaci ´ on por M ´axima Verosimilitud

y _i − β ₀ − β ₁ x _i ∼ N (0, σ ² ) i.i.d.

Funci ´on de verosimilitud del modelo de regresi ´on:

L(β ₀ , β ₁ , σ ² ; x, y) =

n

Y

i=1

f _ (x _i , y _i ; β ₀ , β ₁ , σ ² )

=

n

Y

i=1

√ 1

2πσ exp



− 1

2σ ² (y _i − β ₀ − β ₁ x _i ) ²



= (2π) ^−n/2 σ ⁻ⁿ exp (

− 1 2σ ²

n

X

i=1

(y _i − β ₀ − β ₁ x _i ) ² )

` = log L = − n

2 log(2π) − n log(σ) − 1 2σ ²

n

X

i=1

(y _i − β ₀ − β ₁ x _i ) ²

Estimaci ´ on por M ´axima Verosimilitud

Maximizar la funci ´on de verosimilitud equivale a minimizar la suma de cuadra- dos:

∂ log L

∂β ₀ = 0

∂ log L

∂β ₁ = 0







La soluci ´on del sistema da lugar a los Estimado- res de M ´axima Verosimili- tud (EMV).







β ˆ ₁ = ^S _S ^xy

xx

β ˆ ₀ = ¯ y − ˆ β ₁ x ¯

Adem ´as,

∂ log L

∂σ = 0 =⇒ σ ˆ ² = 1 n

n

X

i=1

(y _i − ˆ β ₀ − ˆ β ₁ x _i ) ²

Por lo tanto, los EMV son los mismos que los EMC, y s ² = n

n − 2 σ ˆ ² , σ ˆ ² = n − 2 n s ²

Nota: El hecho que los EMC coincidan con los EMV, a ˜nade las propiedades

de estos ´ultimos (consistencia, suficiencia) a la m´ınima varianza (eficiencia)

de los EMC (Teorema Gauss-Markov).

Observaciones:

El supuesto de normalidad de los errores es necesario para hacer inferen- cia pero no para que se cumplan las condiciones de Gauss-Markov.

El supuesto  ∼ N (0, σ ² ) hace que los EMV y los EMC coincidan. (A ex- cepci ´on del estimador de la varianza muestral)

Teorema de Gauss-Markov. Dentro de la clase de estimadores insesga- dos para β ₀ y β ₁ , los estimadores de m´ınimos cuadrados tienen varianza m´ınima. Se tiene que si β ˜ ₀ es tal que E ( ˜ β ₀ ) = β ₀ :

⇒ Var ( ˜ β ₀ ) ≥ Var ( ˆ β ₀ ) An ´alogamente, si β ˜ ₁ es tal que E ( ˜ β ₁ ) = β ₁ :

⇒ Var ( ˜ β ₁ ) ≥ Var ( ˆ β ₁ )

Donde β ˆ ₀ , ˆ β ₁ son los estimadores de m´ınimos cuadrados (EMC).

Distribuciones

Podemos escribir los EMC como funciones lineales de y ∼ N (β ₀ + β ₁ x, σ ² ) β ˆ ₁ = S _xy

S _xx = ^X c _i y _i , β ˆ ₀ = ¯ y − ˆ β ₁ x = ¯ ^X d _i y _i c _i , d _i ∈ R Luego,

β ˆ ₁ ∼ N (β ₁ , σ ² 1

S _xx ), β ˆ ₀ ∼ N



β ₀ , σ ²

 1

n + x ¯ ² S _xx



e independientemente,

s ² ∼ σ ²

n − 2 χ ² _n−2 Respuesta media ajustada y(x) ˆ :

ˆ

y(x) = ˆ β ₀ + ˆ β ₁ x ∼ N



β ₀ + β ₁ x, σ ²

 1

n + (x − ¯ x) ² S _xx



Nueva observaci ´on ˙y(x) :

˙y(x) = ˆ β ₀ + ˆ β ₁ x +  ∼ N



β ₀ + β ₁ x, σ ²



1 + 1

n + (x − ¯ x) ² S _xx



Pruebas de Hip ´ otesis sobre los coeficientes

Suponiendo σ ² conocida

Recta que pasa por β ₀ ⁰ al origen:

H ₀ : β ₀ = β ₀ ⁰ vs. H ₁ : β ₀ 6= β ₀ ⁰

z ₀ =

β ˆ ₀ − β ₀ ⁰ de ( ˆ β ₀ ) =

β ˆ ₀ − β ₀ ⁰ σ

q 1

n + _S ^{x ¯}

xx

∼ N (0, 1)

Recta de pendiente β ₁ ⁰ :

H ₀ : β ₁ = β ₁ ⁰ vs. H ₁ : β ₁ 6= β ₁ ⁰

z ₁ =

β ˆ ₁ − β ₁ ⁰ de ( ˆ β ₁ ) =

β ˆ ₁ − β ₁ ⁰ σ q

1 S

∼ N (0, 1)

−4 −2 0 2 4

0.0 0.1 0.2 0.3 0.4

z

densidad

− z

p

z

p

p

= p

+ p

Pruebas de Hip ´ otesis sobre los coeficientes

Suponiendo σ ² desconocida Recta que pasa por β ₀ ⁰ al origen:

H ₀ : β ₀ = β ₀ ⁰ vs. H ₁ : β ₀ 6= β ₀ ⁰

t ˆ ₀ =

β ˆ ₀ − β ₀ ⁰ ee ( ˆ β ₀ ) =

β ˆ ₀ − β ₀ ⁰ s

q 1

n + _S ^{x ¯}

xx

∼ t _n−2

Recta de pendiente β ₁ ⁰ :

H ₀ : β ₁ = β ₁ ⁰ vs. H ₁ : β ₁ 6= β ₁ ⁰

t ˆ ₁ =

β ˆ ₁ − β ₁ ⁰ ee ( ˆ β ₁ ) =

β ˆ ₁ − β ₁ ⁰ s q

1 S

∼ t _n−2

−6 −4 −2 0 2 4 6

0.0 0.1 0.2 0.3 0.4

^ t

densidad

− t ^

obs

p

^ t

obs

p

p

= p

+ p

Pruebas de Hip ´ otesis sobre los coeficientes

Casos particulares

Recta que pasa por el origen:

H ₀ : β ₀ = 0 vs. H ₁ : β ₀ 6= 0

●

●

●

●

●

● ●

● ● ●

●

●

● ●

●

●

●

●

●

●

x y

Significancia de la regresi ´on:

H ₀ : β ₁ = 0 vs. H ₁ : β ₁ 6= 0

●

●

●

●

●

●

●

●

●

●

● ●

●

●

●

●

●

●

●

●

x

y

Intervalos de Confianza

Ordenada al origen β ₀ :

β ˆ ₀ ± t (1−α/2;n−2) · s s

1

n + x ¯ ² S _xx Pendiente β ₁ :

β ˆ ₁ ± t (1−α/2;n−2) · s s

1 S _xx Varianza σ ² :

(n − 2)s ² χ ² (1−α/2,n−2)

, (n − 2)s ² χ ² _(α/2,n−2)

!

Respuesta media y ˆ _x , al nivel x :

ˆ

y _x ± t (1−α/2;n−2) · s s

1

n + (x − ¯ x) ² S _xx Intervalos de predicci ´on – nueva observaci ´on ˙y _x :

˙y _x ± t (1−α/2;n−2) · s s

1 + 1

n + (x − ¯ x) ²

S _xx

x y _x

respuesta media nueva observación

y ^ = β ^ ₀

+ β ^ ₁

x

Recta Ajustada

Consideremos la reparametrizaci ´on del modelo de regresi ´on

y = β ₀ + β ₁ x +  = β ₀ ⁰ + β ₁ (x − ¯ x) + 

Entonces, _{β ˆ} 0

0 = ¯ y y var( ˆ β ₀ ⁰ ) = σ ² /n

 _ˆ

β

−β

σ/ √

n

 ²

= ^{n( ˆ β}

_σ ^−β

⁾

∼ χ ² ₁

 _ˆ

β

−β

σ/ √

S

 2

= ^S

^{( ˆ β} _σ

^−β

⁾

∼ χ ² ₁



 



 



Independientes

Luego,

n( ˆ β ₀ ⁰ − β ₀ ⁰ ) ²

σ ² + S _xx ( ˆ β ₁ − β ₁ ) ²

σ ² ∼ χ ² ₂

Y por otro lado,

(n − 2)s ² /σ ² ∼ χ ² _n−2

independientemente de β ˆ ₀ ⁰ y β ˆ ₁ . Entonces,

n( ˆ β ₀ ⁰ − β ₀ ⁰ ) ² + S _xx ( ˆ β ₁ − β ₁ ) ²

2s ² ∼ F _2,n−2

Por lo que una regi ´on del (1 − α) nivel de confianza para (β ₀ , β ₁ ) es:

RC _(1−α) = n

(β ₀ , β ₁ ) : n( ˆ β ₀ − β ₀ ) ² + 2 X

x _i ( ˆ β ₀ − β ₀ )( ˆ β ₁ − β ₁ ) + X

x ² _i ( ˆ β ₁ − β ₁ ) ² ≤ 2s ² F (1−α;2,n−2)

o

Regiones de Confianza

Intervalos de Confianza y M ´etodo de Bonferroni

Sea IC _j el intervalo de 1 − α nivel de confianza para el par ´ametro β _j ( j = 0, 1 ).

Sea I _j el evento “el intervalo IC _j efectivamente contiene el par ´ametro de in- ter ´es β _j ”. Luego, P (I _j ) = 1 − α , y

P (I ₀ ∩ I ₁ ) = 1 − P ((I ₀ ∩ I ₁ ) ^c )

= 1 − P (I ₀ ^c ∪ I ₁ ^c )

= 1 − [ P (I ₀ ^c ) + P (I ₁ ^c ) − P (I ₀ ^c ∩ I ₁ ^c )]

= 1 − 2α + P (I ₀ ^c ∩ I ₁ ^c )

≥ 1 − 2α

Entonces, para garantizar un nivel de (1 − α) confianza conjunto, construya marginalmente los intervalos IC _j con un nivel (1 − α/2) de confianza.

Para garantizar la confianza conjunta de k intervalos marginales con niveles

de confianza (1 − α/k) .

Intervalos y Regiones de Confianza para (β ₀ , β ₁ ) :

10 20 30 40 50

0.05 0.10 0.15 0.20

TV por cable

β ₀

β 1

1 − α 1 − α

Marginales

1 − α 2 1 − α 2

Bonferroni

El coeficiente de determinaci ´on es el porcentaje de variabilidad debido a la regresi ´on; es decir, el porcentaje de la variabilidad de los datos explicado por el modelo.

R ² = SC Debido a la regresi ´on SCTotal corregidos =

P (ˆ y _i − ¯ y) ²

P (y _i − ¯ y) ² = ^{SC Reg}

SCT _corr = 1 − ^{SC Res} SCT _corr

Notas:

1. R ² = [ corr (y, ˆ y)] ² , de ah´ı que tambi ´en se le conozca como Coeficiente De Correlaci ´on Cuadrada.

2. corr (X, Y ) = signo ( ˆ β ₁ ) · R

3. En la definici ´on de R ² , se considera siempre un modelo base, que en el ca- so de la RLM es el modelo trivial: y = ¯ y +  . Evite el uso de R ² en modelos sin ordenada al origen.

4. 0 ≤ R ² ≤ 1 . Sin embargo, si se tienen r ´eplicas puras, (varios y(x) ’s para el

mismo X = x ), se tiene error puro y no hay modelo que capture la variaci ´on

debida a este error. En este caso: R ² < 1 .

Prueba de Hip ´ otesis

An ´alisis de Varianza

Fuente gl Suma de Cuadrados (SC) Cuadrados Medios (CM) F Debido regresi ´on 1 SC _Reg = P(ˆ y _i − ¯ y) ² CM _Reg = ^SC ₁

^CM _CM

Res

Residuales n − 2 SC _Res = P(y _i − ˆ y _i ) ² CM _Res = ^SC _n−2

Total (Corregido) n − 1 SC _Total = P(y _i − ¯ y) ²

An ´alisis de Varianza y Suma Extra de Cuadrados

Fuente GL Suma de Cuadrados Cuadrados Medios F

β ₀ 1 n y ¯ ²

β ₁ |β ₀ 1 S ² _xy /S _xx CM _Reg CM _Reg /s ² Residuales n − 2 Por diferencia s ²

Total n P y _i ²

Coeficiente de Determinaci ´ on R ²

Notas:(cont.)

5. R ² cercanas a 1 indican “buen ajuste”. Recuerde sin embargo que “buen ajuste” y “mal ajuste” depende del contexto.

6. En el caso de RLS, se puede mostrar que E [R ² ] =

β ˆ ₁ ² S _xx σ ² + ˆ β ₁ ² S _xx

por lo que es posible incrementar R ² aumentando el rango del regresor X . 7. Una R ² alta no implica un buen modelo de predicci ´on.

8. En RLM, siempre se puede incrementar R ² aumentando el n ´umero de re-

gresores.

Coeficiente de Correlaci ´ on (Muestral)

r =

P (y _i − ¯ y)(x _i − ¯ x) h P

(x _i − ¯ x) ^{2 P} (y _i − ¯ y) ^{2 i}

1/2 = S _XY

[S _XX S _{Y Y} ] ^1/2

Entonces, se puede mostrar que β ˆ ₁ = r

 S _{Y Y} S _XX

 1/2

y que r ² es el Coeficiente de Determinaci ´on. Es decir, r ² = R ² .

El modelo de una l´ınea recta que pasa por el origen es:

y _i = βx _i +  _i ,

tiene los siguientes estimadores (insesgados) de m´ınimos cuadra- dos:

β = ˆ

P x _i y _i

P x ² _i = S _xy S _xx y

s ² = 1 n − 1

X (y _i − ˆ y _i ) ^{2 −3 −2 −1 0 1 2 3}

−3

−2

−1 0 1 2 3

Regresión por el Origen

x

y

Los estimadores β ˆ y s ² tiene propiedades similares a las correspondientes en los modelos con ordenada al origen. A saber,

β ∼ ˆ N (β, σ ² 1

S _xx ) y s ² ∼ σ ²

n − 1 χ ² _n−1

Recuerde que en este caso la R ² no tiene sentido.

Transformaciones a una L´ınea Recta

Ejemplo: Generaci ´ on de Electricidad Mediante Molino de Viento ^∗

Un ingeniero investiga la posibilidad de generar electricidad mediante un mo- lino de viento. Despu ´es de un tiempo ha registrado la corriente el ´ectrica que sale del molino y la velocidad del viento.

Datos:

obs. velocidad voltaje obs. velocidad voltaje

mph. kv. mph. kv.

1 5.00 1.58 14 5.80 1.74

2 6.00 1.82 15 7.40 2.09

3 3.40 1.06 16 3.60 1.14

4 2.70 0.50 17 7.85 2.18

5 10.00 2.24 18 8.80 2.11

6 9.70 2.39 19 7.00 1.80

7 9.55 2.29 20 5.45 1.50

8 3.05 0.56 21 9.10 2.30

9 8.15 2.17 22 10.20 2.31

10 6.20 1.87 23 4.10 1.19

11 2.90 0.65 24 3.95 1.14

12 6.35 1.93 25 2.45 0.12

13 4.60 1.56

4 6 8 10

0.5 1.0 1.5 2.0

velocidad (mph.)

v oltaje (kv.)

Ejemplo: Generaci ´ on de Electricidad (cont.) Ajuste del Modelo: y = β ₀ + β ₁ x + 

Coefficients:

Estimate Std. Error t value Pr(>|t|) (Intercept) 0.13088 0.12599 1.039 0.31 velocidad 0.24115 0.01905 12.659 7.55e-12

Residual standard error: 0.2361 on 23 degrees of freedom Multiple R-Squared: 0.8745, Adjusted R-squared: 0.869 F-statistic: 160.3 on 1 and 23 DF, p-value: 7.546e-12

Analysis of Variance Table

Response: voltaje

Df Sum Sq Mean Sq F value Pr(>F)

velocidad 1 8.9296 8.9296 160.26 7.546e-12

Residuals 23 1.2816 0.0557

Ejemplo: Generaci ´ on de Electricidad (cont.) Validaci ´ on del Modelo

1.0 1.5 2.0 2.5

−0.6 −0.4 −0.2 0.0 0.2 0.4 0.6

fitted values

residuals

Voltaje ajustado vs. Residuales

−0.6 −0.4 −0.2 0.0 0.2

−2 −1 0 1 2

residuals

nor mal scores

Gráfica Normal de Residuales

Análisis de Residuales

Ejemplo: Generaci ´ on de Electricidad (cont.)

Identificaci ´ on del Modelo – Transformaci ´ on X = 1/x

0.10 0.15 0.20 0.25 0.30 0.35 0.40

0.5 1.0 1.5 2.0

1/velocidad

v oltaje (kv.)

Ejemplo: Generaci ´ on de Electricidad (cont.) Ajuste del Modelo: y = β ₀ + β ₁ /x + 

Coefficients:

Estimate Std. Error t value Pr(>|t|) (Intercept) 2.9789 0.0449 66.34 <2e-16 invX -6.9345 0.2064 -33.59 <2e-16

Residual standard error: 0.09417 on 23 degrees of freedom Multiple R-Squared: 0.98, Adjusted R-squared: 0.9792 F-statistic: 1128 on 1 and 23 DF, p-value: < 2.2e-16

Analysis of Variance Table

Response: voltaje

Df Sum Sq Mean Sq F value Pr(>F)

invX 1 10.0072 10.0072 1128.4 < 2.2e-16

Residuals 23 0.2040 0.0089

Ejemplo: Generaci ´ on de Electricidad Mediante Molino de Viento Validaci ´ on del Modelo

0.5 1.0 1.5 2.0

−0.2 −0.1 0.0 0.1 0.2

fitted values

residuals

Voltaje ajustado vs. Residuales

−0.20 −0.10 0.00 0.05 0.10

−2 −1 0 1 2

residuals

nor mal scores

Gráfica Normal de Residuales

Análisis de Residuales

Transformaciones a una L´ınea Recta

Funciones Linealizables y Formas Lineales

Funci ´on Transformaci ´on Forma

Linealizable Lineal

y = β ₀ x ^β

Y = log y, X = log x Y = log β ₀ + β ₁ X y = β ₀ e ^β

^x Y = log y Y = log β ₀ + β ₁ x y = β ₀ + β ₁ log x X = log x y = β ₀ + β ₁ X y = _β ^x

0

x+β

Y = ¹ _y , X = _x ¹ Y = β ₀ + β ₁ X

Transformaciones a una L´ınea Recta

Modelo:

y = β ₀ x ^{β 1}

0 1

0 1

β ₁ = 1 β ₁ > 1 β 1 < 1

β ₀ > 0 , β ₁ > 0 ; x > 0

0 1

0 1

β ₁ = − 1 β 1 < − 1 β 1 > − 1

β ₀ > 0 , β ₁ < 0 ; x > 0

Transformaciones a una L´ınea Recta

Modelo:

y = β ₀ e ^{β 1 x}

0 β 0

β 1 = 1 β 1 > 1 β ₁ < 1

β ₀ > 0 , β ₁ > 0 ; x > 0

0 β 0

β 1 = − 1 β 1 < − 1 β ₁ > − 1

β ₀ > 0 , β ₁ < 0 ; x > 0

Transformaciones a una L´ınea Recta

Modelo:

y = β ₀ + β ₁ log(x)

0 1

0 β 0

β 1 = 1 β 1 > 1 β ₁ < 1

β ₀ > 0 , β ₁ > 0 ; x > 0

0 1

0 β 0

β 1 = − 1 β 1 > − 1 β ₁ < − 1

β ₀ > 0 , β ₁ < 0 ; x > 0

Transformaciones a una L´ınea Recta

Modelo:

y = x

β ₀ x + β ₁

0 β ₀

β ₁ = 1 β ₁ > 1 β ₁ < 1

β ₀ > 0 , β ₁ > 0 ; x > 0

0 β ₀

β ₁ = − 1 β ₁ < − 1 β ₁ > − 1

β ₀ > 0 , β ₁ < 0 ; x > 0

Transformaciones Estabilizadoras de la Varianza

Relaci ´on Transformaci ´on Notas

σ ² ∝ k Y = y Sin transformaci ´on

σ ² ∝ E (y) Y = √

y Ra´ız cuadrada (datos Poisson) σ ² ∝ E (y)[1 − E (y)] Y = arcsin √

y Arco seno (proporciones binomiales) 0 ≤ y _i ≤ 1

σ ² ∝ [ E (y)] ² Y = log y Logaritmo σ ² ∝ [ E (y)] ³ Y = 1/ √

y Rec´ıproco ra´ız cuadrada

σ ² ∝ [ E (y)] ⁴ Y = 1/y Rec´ıproco

F ´ ormula de Transmisi ´ on de Error - M ´etodo Delta ^∗

M ´etodo Delta: Sea Y v. a. con al menos sus primeros 2 momentos finitos (E [Y ] = µ _Y < ∞ y var (Y ) = σ _Y ² < ∞ ), y sea h(·) una funci ´on suave, al menos 2 veces diferenciable. Entonces

E [h(Y )] ≈ h(µ _Y ) + h ⁽²⁾ (µ _Y ) σ _Y ² 2 var (h(Y )) ≈ ^ h ⁽¹⁾ (µ _Y ) ^{ 2} σ _Y ²

Ejemplo: Sea Y v. a. con varianza σ _Y ² ∝ µ ² _Y . Entonces W = log(Y ) tiene va- rianza constante.

Soluci ´on: Sea W = h(Y ) = log(Y ) . Entonces h ⁰ (y) = 1/y , y σ _W ² ≈ [h ⁰ (µ _Y )] ² σ _Y ² =

 1 µ _Y

 2

σ _Y ² ∝ 1

µ ² _Y µ ² _Y ≡ 1 Esto es, σ _W ² ∝ k .

∗

Dudewicz and Mishra (1988), Casella and Berger (2002)

Ejemplo: Demanda de energ´ıa y uso de energ´ıa

Una compa ˜n´ıa generadora de electricidad est ´a interesada en modelar la demanda en horas pico (y) como funci ´on del uso mensual total (x).

obs. x y obs. x y

(kwh) (kw) (kwh) (kw) 1 679 0.79 27 837 4.20 2 292 0.44 28 1748 4.88 3 1012 0.56 29 1381 3.48 4 493 0.79 30 1428 7.58 5 582 2.70 31 1255 2.63 6 1156 3.64 32 1777 4.99 7 997 4.73 33 370 0.59 8 2189 9.50 34 2316 8.19 9 1097 5.34 35 1130 4.79 10 2078 6.85 36 463 0.51 11 1818 5.84 37 770 1.74 12 1700 5.21 38 724 4.10 13 747 3.25 39 808 3.94 14 2030 4.43 40 790 0.96 15 1643 3.16 41 783 3.29 16 414 0.50 42 406 0.44 17 354 0.17 43 1242 3.24 18 1276 1.88 44 658 2.14 19 745 0.77 45 1746 5.71 20 435 1.39 46 468 0.64 21 540 0.56 47 1114 1.90 22 874 1.56 48 413 0.51 23 1543 5.28 49 1787 8.33 24 1029 0.64 50 3560 14.94 25 710 4.00 51 1495 5.11 26 1434 0.31 52 2221 3.85 53 1526 3.93

500 1000 1500 2000 2500 3000 3500

0 5 10 15

uso de energia (kwh)

demanda de energia (kw)

∗

Montgomery and Peck (1992)

Ejemplo: Demanda de energ´ıa (cont.)

Ajuste del Modelo: y = β ₀ + β ₁ x + 

Coefficients:

Estimate Std. Error t value Pr(>|t|) (Intercept) -0.8313037 0.4416121 -1.882 0.0655 x 0.0036828 0.0003339 11.030 4.11e-15

Residual standard error: 1.577 on 51 degrees of freedom Multiple R-Squared: 0.7046, Adjusted R-squared: 0.6988 F-statistic: 121.7 on 1 and 51 DF, p-value: 4.106e-15

Analysis of Variance Table

Response: y

Df Sum Sq Mean Sq F value Pr(>F)

x 1 302.633 302.633 121.66 4.106e-15

Residuals 51 126.866 2.488

Ejemplo: Demanda de energ´ıa (cont.)

Validacion del Modelo:

0 2 4 6 8 10 12

−4 −2 0 2 4

fitted values

residuals

Voltaje ajustado vs. Residuales

−4 −2 0 2

−2 −1 0 1 2

residuals

nor mal scores

Gráfica Normal de Residuales

Análisis de Residuales

Ejemplo: Demanda de energ´ıa (cont.)

Identificaci ´ on del Modelo – Transformaci ´ on Y = √ y

500 1000 1500 2000 2500 3000 3500

0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0

uso de energia (kwh)

y

Ejemplo: Demanda de energ´ıa (cont.)

Ajuste del Modelo: Y = √

y = β ₀ + β ₁ x + 

Coefficients:

Estimate Std. Error t value Pr(>|t|) (Intercept) 5.822e-01 1.299e-01 4.481 4.22e-05 x 9.529e-04 9.824e-05 9.699 3.61e-13

Residual standard error: 0.464 on 51 degrees of freedom Multiple R-Squared: 0.6485, Adjusted R-squared: 0.6416 F-statistic: 94.08 on 1 and 51 DF, p-value: 3.614e-13

Analysis of Variance Table

Response: Y

Df Sum Sq Mean Sq F value Pr(>F)

x 1 20.2585 20.2585 94.078 3.614e-13

Residuals 51 10.9822 0.2153

Ejemplo: Demanda de energ´ıa (cont.)

Validaci ´ on del Modelo:

1.0 1.5 2.0 2.5 3.0 3.5 4.0

−1.5 −1.0 −0.5 0.0 0.5 1.0 1.5

fitted values

residuals

Voltaje ajustado vs. Residuales

−1.0 −0.5 0.0 0.5

−2 −1 0 1 2

residuals

nor mal scores

Gráfica Normal de Residuales

Análisis de Residuales

Determinaci ´ on Anal´ıtica de Transformaciones

Transformaci ´ on estabilizadora de la varianza: Box-Cox ^∗

Ajuste el modelo de regresi ´on lineal simple a la respuesta

Y =

 y ^λ , λ 6= 0 log y, λ = 0

Para determinar qu ´e λ utilizar, considere

y ^(λ) =

( y ^λ −1

λ ˙y ^λ−1 , λ 6= 0

˙y log y, λ = 0

donde, ˙y = (Π ⁿ _i=1 y _i ) ^1/n , es el promedio geom ´etrico de las respuestas y _i . Esto es, ajuste

y ^(λ) = β ₀ + β ₁ x + 

y elija λ ˆ que minimice la suma de cuadrados de los residuales SC _Res (λ) .

Box and Cox (1964)

Determinaci ´ on Anal´ıtica de Transformaciones

Transformaci ´ on estabilizadora de la varianza: Box-Cox ^∗ (Cont.) Intervalo (aproximado) del 100(1 − α) % de confianza para λ :

SC ^∗ = SC _Res (ˆ λ) 1 + t ² _{(1−α/2,ν)} ν

!

donde ν (= n − 2) son los grados de libertad de los residuales.

Observaciones:

Cuando el error tiene varianza constante se llama homosced ´astico; si no es constante, heterosced ´astico.

¿C ´omo saber qu ´e funci ´on proponer para estabilizar la varianza?

• Si el intervalo de confianza incluye al cero, el modelo es multiplicativo.

• Si el intervalo incluye al uno, indica que no hay que hacer una transfor-

maci ´on.

Transformaci ´ on estabilizadora de la varianza

Transformaciones Potencia de Box-Cox

Ejemplo: Demanda de energ´ıa y uso de energ´ıa

Variable respuesta: y ^(λ)

λ SC

(λ) log[SC

(λ)]

−2.00 34100.6 10.44

−1.75 12716.2 9.45

−1.50 5014.7 8.52

−1.25 2126.2 7.66

−1.00 986.0 6.89

−0.75 507.3 6.23

−0.50 291.6 5.68

−0.25 187.3 5.23

0.00 134.1 4.90

0.25 107.2 4.67

0.50 96.9 4.57

0.75 101.7 4.62

1.00 126.9 4.84

1.25 188.8 5.24

1.50 325.7 5.79

1.75 623.5 6.44

2.00 1275.6 7.15

SC

= 96.9 · (1 + 2.007

51 ) = 104.46

−2 −1 0 1 2

5 6 7 8 9 10

λ log ( S C Res ( λ ))

95 % conf

λ ^

Transformaciones Estabilizadoras de la Varianza

Transformaciones Potencia de Box-Cox Notas:

1. La transformaci ´on de Box-Cox ayuda a estabilizar la varianza y normalizar los datos.

2. La transformaci ´on de Box-Cox es continua en λ = 0 .

3. En la pr ´actica utilice valores de λ “f ´aciles de interpretar”. Por ejemplo, λ = 0.45 → λ ≡ 0.5 =⇒ y ^λ = √

y λ = −0.10 → λ ≡ 0.0 =⇒ y ^λ = log(y)

4. El m ´etodo de estimaci ´on de λ ˆ es el mismo en el caso de la regresi ´on lineal m ´ultiple.

5. Transformaci ´on utilizada en varias ´areas estad´ısticas, no solamente en mo- delos lineales.

6. Box y Cox (1964) es de los art´ıculos m ´as referenciados en la literatura

estad´ıstica. Es la transformaci ´on m ´as usada pero no la ´unica.

Transformaciones Estabilizadoras de la Varianza

Transformaciones Potencia de Box-Cox Notas 2:

1. Box y Cox sugieren la estimaci ´on de λ , β ₀ y β ₁ de manera conjunta y por m ´axima verosimilitud.

2. En la pr ´actica, se utiliza el perfil de la verosimilitud: para distintos valores de λ , se obtienen β ˆ ₀ y β ˆ ₁ y se elige λ ˆ tal que minimice la SC _error .

3. Una partici ´on del intervalo [−2, 2] de longitud 0.25 es apropiada.

4. Hay otras familias de transformaciones o procedimientos utilizados en la

regresi ´on. Vea por ejemplo Carroll and Ruppert (1988).

Determinaci ´ on Anal´ıtica de Transformaciones

Transformaci ´ on de los regresores: Box-Tidwell ¹

Supone que la variable respuesta y est ´a relacionada con una potencia del regresor x , digamos ξ = x ^α ,

E [y] = f (β ₀ , β ₁ ; ξ) = β ₀ + β ₁ ξ +  donde

ξ =

 x ^α , α 6= 0 ln x, α = 0

Aproximaci ´on por Taylor y m ´etodos iterativos para estimar α .

1

Box and Tidwell (1962)

Transformaciones a una L´ınea Recta

Modelo No lineal de Michaelis-Menten ^∗

Ejemplo: Velocidad de reacci ´ on como funci ´ on de la concentraci ´ on

El modelo de Michaelis-Menten es utilizado en qu´ımica cin ´etica para modelar la velocidad inicial y de una reacci ´on enzim ´atica con la concentraci ´on x del substrato. El modelo est ´a dado por:

y = f (x, θ) +  = θ ₁ x

θ ₂ + x +  Que se puede linealizar de la siguiente manera:

Y = 1

f (x, θ) = β ₀ + β ₁ X donde,

Y = 1

y ; X = 1

x ; β ₀ = 1

θ ₁ ; β ₁ = θ ₂ θ ₁

Bates and Watts (1988)

Transformaciones a una L´ınea Recta

Modelo No lineal de Michaelis-Menten Ejemplo: Velocidad de reacci ´ on (cont.)

obs. concentraci´ on velocidad

(x) (y)

1 0.02 47

2 0.02 76

3 0.06 97

4 0.06 107

5 0.11 123

6 0.11 139

7 0.22 152

8 0.22 159

9 0.56 191

10 0.56 201

11 1.10 200

12 1.10 207 _{0.0 0.2 0.4 0.6 0.8 1.0}

50 100 150 200

Velocidad de Reacción

concentración [ppm]

velocidad [cuentas/min^2]

Transformaciones a una L´ınea Recta

Modelo No lineal de Michaelis-Menten Ejemplo: Velocidad de reacci ´ on (cont.)

Y = β ₀ + β ₁ X + 

Coefficients:

Estimate Std. Error t value Pr(>|t|) (Intercept) 0.0051072 0.0007040 7.255 2.74e-05 X 0.0002472 0.0000321 7.700 1.64e-05

Residual standard error: 0.001892 on 10 degrees of freedom Multiple R-squared: 0.8557, Adjusted R-squared: 0.8413 F-statistic: 59.3 on 1 and 10 DF, p-value: 1.642e-05

Analysis of Variance Table

Response: Y

Df Sum Sq Mean Sq F value Pr(>F)

X 1 2.1232e-04 2.1232e-04 59.297 1.642e-05

Residuals 10 3.5806e-05 3.5810e-06

Modelo No lineal de Michaelis-Menten Ejemplo: Velocidad de reacci ´ on (cont.)

Y = ˆ ˆ β ₀ + ˆ β ₁ X y = ˆ

θ ˆ ₁ x θ ˆ ₂ + x

0 10 20 30 40 50

0.005 0.010 0.015 0.020

a) Ajuste Modelo Transformado

1 / concentración

1 / velocidad

0.0 0.2 0.4 0.6 0.8 1.0

50 100 150 200

b) Modelo Ajustado en Escala Original

concentración [ppm]

velocidad [cuentas/min^2]

Ejemplo: Velocidad de reacci ´ on (cont.)

Gr ´aficas de Residuales

0.006 0.008 0.010 0.012 0.014 0.016

−2−1012

fitted values

std residuals

(a) Residuals vs. Fitted Values

−2 −1 0 1 2

−1.5−0.50.51.5

std residuals

normal scores

(b) Normal plot of residuals

std residuals

Frequency

−3 −2 −1 0 1 2 3

012345

(c) Histogram of residuals

2 4 6 8 10 12

−2−1012

order

std residuals

(d) Residuals in experimental order

Postule la clase general de los modelos

Identifique el modelo que será tentativamente utilizado

Estime los parámetros del modelo utilizado

tentativamente

¿Es el modelo adecuado?

Utilice el modelo

F

Verificación del modelo

SÍ

NO

Validaci ´ on del Modelo

Modelo:

y _i = β ₀ + β ₁ x _i +  _i , i = 1, . . . , n

Supuestos:

 ∼ N (0, σ ² ) i.i.d.

Validaci ´ on:

Modelo Correcto. Bondad (Falta) de Ajuste An ´alisis de Residuales

• Varianza constante

• Normalidad

• Correlaci ´on

Modelo Correcto: Error Puro y Falta de Ajuste

x

y

x ₁ x ₂ x ₃

y ₁

y ₂

y ₃ y ^

1

y ^

2

y ^

3

y

− y ^

1

y

− y ^

2

y

− y ^

3

y

y

− y

y

y

− y

y

y

− y

Falta de ajuste

Error puro

Modelo Correcto: Error Puro y Falta de Ajuste

Considere los datos:

y _iu ; u = 1, . . . , n _i ; i = 1, . . . , m

la u - ´esima observaci ´on de la respuesta al nivel X = x _i . Hay en total n = ^{P m} _i=1 n _i observaciones. La Suma de Cuadrados Debida al Error Puro:

SC _{Error Puro} = SC _EP =

m

X

i=1 n

X

u=1

(y _iu − ¯ y _i· ) ²

con P m

i=1 (n _i − 1) = n − m grados de libertad, y donde y ¯ _i· = _n ¹

i

P n

u=1 y _iu es la respuesta promedio al nivel X = x _i .

? El Cuadrado Medio Debido al Error Puro: CM _EP = SC _EP /n − m es un esti- mador de σ ² , independientemente del modelo.

Note que SC _EP es parte de la SC _Resid pues

(y _iu − ˆ y _i ) = (y _iu − ¯ y _i· ) + (¯ y _i· − ˆ y _i )

Residual = ^{Error Puro} + Falta de Ajuste

Modelo Correcto: Error Puro y Falta de Ajuste

En la presencia de r ´eplicas puras la Suma de Cuadrados de los Residuales se puede descomponer como

P m i=1

P n

u=1 (y _iu − ˆ y _i ) ² = ^{P m} _i=1 ^{P n} _u=1

(y _iu − ¯ y _i· ) ² + ^{P m} _i=1 n _i (¯ y _i· − ˆ y _i ) ²

SC _Residuales = SC _{Error Puro} + SC Falta de Ajuste

g.l. (n − 2) = (n − m) + (m − 2)

Bajo los supuestos del modelo, CM _EP = SC _EP /(n − m) y CM _FA = SC _FA /m − 2 son estimaciones independientes de σ ² , y su cociente ser´ıa aproximadamen- te 1. De hecho, bajo los supuestos del modelo:

F = ˆ ^{CM FA}

CM _EP ∼ F _{(m−2,n−m)} Entonces, si

F > F ˆ (1−α;m−2,n−m) =⇒ “El modelo no es correcto”

Modelo Correcto: Error Puro y Falta de Ajuste

Ejemplo Simulado Datos:

i x

y

y ¯

y ˆ

y ˆ

i x

y

y ¯

y ˆ

y ˆ

1 1 −2.25 3.71 −10.96 3.84 21 6 33.11 35.56 49.10 40.25 2 1 7.46 3.71 −10.96 3.84 22 6 27.60 35.56 49.10 40.25 3 1 5.90 3.71 −10.96 3.84 23 6 40.54 35.56 49.10 40.25 4 2 0.34 7.38 1.05 6.34 24 6 40.98 35.56 49.10 40.25 5 2 15.19 7.38 1.05 6.34 25 7 56.39 56.46 61.11 54.69 6 2 3.98 7.38 1.05 6.34 26 7 60.16 56.46 61.11 54.69 7 2 9.47 7.38 1.05 6.34 27 7 52.84 56.46 61.11 54.69 8 2 7.90 7.38 1.05 6.34 28 8 62.01 71.17 73.13 71.52 9 3 10.01 6.49 13.06 11.24 29 8 73.47 71.17 73.13 71.52 10 3 0.57 6.49 13.06 11.24 30 8 85.05 71.17 73.13 71.52 11 3 8.87 6.49 13.06 11.24 31 8 63.58 71.17 73.13 71.52 12 4 11.06 19.93 25.08 18.52 32 8 71.72 71.17 73.13 71.52 13 4 24.18 19.93 25.08 18.52 33 9 93.55 90.62 85.14 90.75 14 4 27.03 19.93 25.08 18.52 34 9 97.28 90.62 85.14 90.75 15 4 17.43 19.93 25.08 18.52 35 9 83.49 90.62 85.14 90.75 16 5 30.60 31.84 37.09 28.19 36 9 88.16 90.62 85.14 90.75 17 5 34.89 31.84 37.09 28.19 37 10 110.30 112.79 97.15 112.36 18 5 31.50 31.84 37.09 28.19 38 10 113.64 112.79 97.15 112.36 19 5 28.60 31.84 37.09 28.19 39 10 114.44 112.79 97.15 112.36 20 5 33.60 31.84 37.09 28.19

donde x _i es el nivel del regresor; y _i la respuesta observada; y ¯ _i la respuesta media obser-

vada; y ˆ _1i la respuesta media ajustada por el modelo 1; y y ˆ _2i la respuesta media ajustada

por el modelo 2.

Modelo Correcto: Error Puro y Falta de Ajuste

Ejemplo Simulado

2 4 6 8 10

0 20 40 60 80 100

a) Datos

x

y

2 4 6 8 10

0 20 40 60 80 100

b) Modelos Ajustados

x

y

Modelo lineal

cuadrático

Modelo Correcto: Error Puro y Falta de Ajuste

Ejemplo Simulado Ajuste modelo lineal

Coefficients:

Estimate Std. Error t value Pr(>|t|) (Intercept) -22.975 3.652 -6.292 2.53e-07

x 12.013 0.594 20.224 < 2e-16

Residual standard error: 10.28 on 37 degrees of freedom Multiple R-squared: 0.917, Adjusted R-squared: 0.9148 F-statistic: 409 on 1 and 37 DF, p-value: < 2.2e-16 Analysis of Variance Table

Response: y

Df Sum Sq Mean Sq F value Pr(>F) x 1 43255 43255 409.02 < 2.2e-16 Residuals 37 3913 106

SCRes SCEP SCFA F p

3.912829e+03 1.021897e+03 2.890932e+03 1.025507e+01 2.090028e-06

Modelo Correcto: Error Puro y Falta de Ajuste

Ejemplo Simulado

An ´alisis de Residuales

0 20 40 60 80 100

−20

−10 0 10 20

a) Modelo lineal

y ^

r^

0 20 40 60 80 100

−10

−5 0 5 10

b) Modelo cuadrático

y ^

r^

Modelo Correcto: Error Puro y Falta de Ajuste

Ejemplo Simulado

Ajuste modelo cuadr ´atico

Coefficients:

Estimate Std. Error t value Pr(>|t|) (Intercept) 3.7195 3.7326 0.996 0.326

x -1.0763 1.5490 -0.695 0.492

x2 1.1940 0.1378 8.665 2.47e-10

Residual standard error: 5.935 on 36 degrees of freedom Multiple R-squared: 0.9731, Adjusted R-squared: 0.9716 F-statistic: 651.5 on 2 and 36 DF, p-value: < 2.2e-16 Analysis of Variance Table

Response: y

Df Sum Sq Mean Sq F value Pr(>F) x 1 43255 43255 1227.983 < 2.2e-16

x2 1 2645 2645 75.084 2.467e-10

Residuals 36 1268 35

SCRes SCEP SCFA F p

1268.0666396 1021.8971671 246.1694725 0.8732428 0.5390620

η _i = E [y _i ] = E [y|x = x _i ]

es el valor esperado de la respuesta y al nivel del regresor x = x _i . Y sea ˆ

y _i = ˆ β ₀ + ˆ β ₁ x _i el valor ajustado del modelo al mismo nivel.

ˆ

 _i = (y _i − ˆ y _i ) = (y _i − ˆ y _i ) + E [y _i − ˆ y _i ] + E [y _i − ˆ y _i ]

= [(y _i − ˆ y _i ) − (η _i − E [ˆ y _i ])]

| {z }

q _i

+ (η _i − E [ˆ y _i ])

| {z } b _i

donde b _i es el sesgo al nivel x = x _i .

• Si el modelo es correcto E [ˆ y _i ] = η _i =⇒ b _i = 0

• Por otro lado, E [q _i ] = 0 independientemente del modelo.

• Se puede mostrar que los q _i son correlacionados y E [ ^P q _i ] = (n − 2)σ ² . De donde,

E [s ² ] = E

 1 n − 2

X (y _i − ˆ y _i ) ²



=







σ ² si el modelo es correcto

σ ² + _n−2 ^{1 P} b ² _i si el modelo no es correcto

An ´alisis de Residuales

Mediante los residuales tratamos de verificar si los supuestos del modelo se satisfacen.

y _i = β ₀ + β ₁ x _i +  _i , i = 1, . . . , n

 ∼ N (0, σ ² ), v.a.i.i.d.

ˆ

 _i = y _i − ˆ y _i = y _i − ( ˆ β ₀ + ˆ β ₁ x _i )

Los residuales son “errores observados” si el modelo es correcto. Pero por las ecuaciones normales se tiene dependencia entre ellos.

¿Sugieren los residuales que los supuestos no se satisfacen?

An ´alisis m ´as sofisticados: pruebas estad´ısticas formales.

Definici ´on de otros residuales.

Validaci ´ on del Modelo

An ´alisis de Residuales

Varianza constante

• Prueba de Barttlet.

• Prueba de Levene.

? Gr ´aficas de residuales: (ˆ  _i vs. y ˆ _i ); (ˆ  _i vs. i) ; (ˆ  _i vs. x _{j i} ) .

• (ˆ  _i vs. y _i ) no se grafican por estar correlacionados.

Normalidad

• Pruebas de Bondad de Ajuste: χ ² ; Kolmogorov-Smirnov ; Anderson- Darling; Jarque-Bera, Cram ´er-Von Mises, Lilliefors, etc.

? Gr ´aficas de residuales  ˆ en papel de probabilidad normal.

Correlaci ´on

• Significancia de la autocorrelaci ´on de residuales r _` .

• Correlogramas.

• Prueba de Durbin-Watson.

? Gr ´aficas de residuales: (ˆ  vs.  ˆ ).

An ´alisis de Residuales

Varianza constante

0 20 40 60 80 100

−20

−10 0 10 20

e ^

i vs. y ^

i

respuesta ajustada

residual

0 20 40 60 80 100

−20

−10 0 10 20

e ~

i vs. y ~

i

respuesta ajustada

residual

An ´alisis de Residuales

Varianza constante

0 10 20 30 40 50

−0.004 −0.002 0.000 0.002 0.004

e ^

i vs. x _i

regresor

residual

2 4 6 8 10 12

−0.004 −0.002 0.000 0.002 0.004

e ^

i vs. i

tiempo

residual

Normalidad

0.682

2σ

µ − 3σ µ − 2σ µ − σ µ µ + σ µ + 2σ µ + 3σ

−3 −2 −1 0 1 2 3

Probabilidad Acumulada

0.0 0.2 0.4 0.6 0.8 1.0

0.159 0.841

2σ 0.682

µ − 3σ µ − 2σ µ − σ µ µ + σ µ + 2σ µ + 3σ

−3 −2 −1 0 1 2 3

Probabilidad

0.001 0.01 0.05 0.1 0.2 0.3 0.5 0.7 0.8 0.9 0.95 0.99 0.999

−3

−2

−1 0 1 2 3

escale normal

0.159 0.841

2σ 0.682

µ − 3σ µ − 2σ µ − σ µ µ + σ µ + 2σ µ + 3σ

−3 −2 −1 0 1 2 3

Ejemplo simulado:

100 observaciones normales

a) Histograma

x

−2 −1 0 1 2

−3−2−10123

b) Gráfica Cuantil−Cuantil

x

normal scores

Papel de probabilidad Normal

1. Ordene la muestra {z ₁ , . . . , z _n } : x ₁ = z ₍₁₎ , . . . , x _n = z _(n)

2. Calcule la probabilidad emp´ırica acumulada: y _i = F _n (x _i ) = ^i−1/2 _n 3. Grafique (x _i , y _i ), i = 1, . . . , n en papel de probabilidad normal.

i z

ord. x

F

(x

) 1 1.703 9 - 1.820 0.025 2 - 0.865 17 - 1.263 0.075 3 - 0.301 11 - 1.251 0.125 4 1.014 18 - 1.039 0.175 5 2.088 2 - 0.865 0.225 6 0.740 13 - 0.726 0.275 7 - 0.254 16 - 0.494 0.325 8 0.968 3 - 0.301 0.375 9 - 1.820 7 - 0.254 0.425 10 1.014 14 0.330 0.475 11 - 1.251 12 0.458 0.525 12 0.458 6 0.740 0.575 13 - 0.726 20 0.789 0.625 14 0.330 8 0.968 0.675 15 1.845 4 1.014 0.725 16 - 0.494 10 1.014 0.775 17 - 1.263 19 1.539 0.825 18 - 1.039 1 1.703 0.875 19 1.539 15 1.845 0.925 20 0.789 5 2.088 0.975

Papel de Probabilidad Normal (gráfica cuantil−cuantil)

F

( z

)

−2 −1 0 1 2

0.05 0.1 0.2 0.3 0.5 0.7 0.8 0.9 0.95

−2

−1 0 1 2

escala normal