El modelo Lineal General

(1)

El modelo Lineal General

Rom án Salmer ón G ómez

(2)

Contenidos

Especificaci ´on del modelo

Estimaci ón del modelo Validaci ón del modelo Explotaci ón del modelo Ejemplos

Especificaci ón del modelo Estimaci ón del modelo Validaci ón del modelo Explotaci ón del modelo Ejemplos

(3)

Especificaci ´

on del modelo

Contenidos

Especificaci ´on del modelo

Modelo lineal

uniecuacional m últiple Hip ótesis del modelo Estimaci ón del modelo Validaci ón del modelo Explotaci ón del modelo Ejemplos

(4)

Modelo lineal uniecuacional m ´

ultiple

Contenidos Especificaci ´on del modelo

Modelo lineal

uniecuacional m ´ultiple

Hip ótesis del modelo Estimaci ón del modelo Validaci ón del modelo Explotaci ón del modelo Ejemplos

El modelo lineal uniecuacional m ´ultiple analiza la relaci ´on lineal entre una variable dependiente,

Y

, y m ´as de una variable independiente,

Xi

,

i

= 1

, . . . , k

,

k >

1

, m ´as un t ´ermino aleatorio,

u

.

As´ı, a partir de

n

observaciones para cada variable, el modelo puede ser expresado como:

Yt

=

β

1

+

β

2

Xt

2

+

β

3

Xt

3

+

· · ·

+

βk

Xtk

+

ut,

t

= 1

, . . . , n,

(1) donde se ha considerado que hay t ´ermino constante, es decir,

X

₁_t

= 1

,

∀

t

.

El objetivo ser á estimar (es decir, obtener una aproximaci ón num érica) aque-llas cantidades constantes presentes en el modelo (1), as´ı como la bondad de la estimaci ón realizada. En primer lugar, se escribe dicho modelo para todas y cada una de las observaciones:

Y

1

=

β

1

+

β

2

X

12

+

β

3

X

13

+

· · ·

+

βkX

1k

+

u

1

Y

2

=

β

1

+

β

2

X

22

+

β

3

X

23

+

· · ·

+

βkX

2k

+

u

2 . . . . . .

(5)

Modelo lineal uniecuacional m ´

ultiple

Modelo lineal

Hip ótesis del modelo Estimaci ón del modelo Validaci ón del modelo Explotaci ón del modelo Ejemplos

Que nos conduce a la siguiente forma matricial:

yn

×1

=

Xn

×k

· βk

×1

+

un

×1

,

(2) donde:

y

n×1

=







Y

₁

Y

2 . . .

Y

n







,

β

k×1

=







β

₁

β

2 . . .

β

k







,

u

n×1

=







u

₁

u

2 . . .

u

n







,

Xn

×k

=







1 X

12

. . .

X

1k

1 X

22

. . .

X

2k . . . ... . .. ...

1 Xn

2

. . . Xnk







.

(6)

Hip ´

otesis del modelo

Modelo lineal

Hip ´otesis del modelo

Consideraremos las siguientes hip ótesis b ásicas en el modelo lineal uniecuacional m últiple:

El vector

y

se puede expresar como combinaci ón lineal de las variables explicativas m ás un vector de perturbaci ón.

La perturbaci ´on aleatoria est ´a centrada

(

E

[

ut

] = 0

, t

= 1

, . . . , n

)

, es homoced ´astica

V ar

(

ut

) =

E

[

u

_t2

] =

σ

2

, t

= 1

, . . . , n

e incorrelada

(

Cov

(

ut

, us

) =

E

[

ut

_·

us

] = 0

,

_∀

t

₆

=

s, t, s

= 1

, . . . , n

)

. En tal caso se dice que las perturbaciones son esf ´ericas y se verifica que

E

[

u

] =

0

n×1 y

V ar

(

u

) =

E

[

u

· u

t

] =

σ

2

· In

×n.

La matriz

X

es no estoc ´astica y de rango completo por columnas, es decir,

rg

(

X

) =

k

(como consecuencia

n > k

y las columnas de

X

, es decir,

Xi

,

i

= 1

, . . . , n

, son linealmente independientes).

No hay relaci ´on entre variables independientes y la perturbaci ´on aleatoria:

Cov(un×1, X_i) = E

(u ₋ E[u]) _·(Xi − E[Xi])t

(7)

Estimaci ´

on del modelo

Estimaci ´on del modelo

Estimaci ón m´ınimo cuadr ática de los coeficientes del modelo Teorema de Gauss-Markov Estimaci ón de la varianza de la

perturbaci ón aleatoria Validaci ón del modelo Explotaci ón del modelo Ejemplos

(8)

Estimaci ´

on m´ınimo cuadr ´atica de los coeficientes del modelo

Definiendo los errores o residuos,

e

, del modelo lineal uniecuacional m ´ultiple como la diferencia entre los verdaderos valores de la variable dependiente y su esti-maci ´on, esto es

e

=

y

₋

y,

_b

donde

y

_b

=

X

β

b

, y siguiendo la premisa de minimizar la suma de los cuadrados de los residuos

e

t

e

= (

y

₋

X

β

b

)

t

_·

(

y

₋

X

β

b

) =

y

t

y

₋

2 β

b

t

X

t

y

+

β

b

t

X

t

X

β,

b

se obtiene la estimaci ´on del par ´ametro

β

como

b

β

=

X

t

X

−1

_·

X

t

y.

Dicho m ´etodo recibe el nombre de m´ınimos cuadrados ordinarios, MCO, por lo que los estimadores obtenidos a partir de dicho m ´etodo reciben el nombre de estimadores de m´ınimos cuadrados ordinarios, EMCO.

Como consecuencias de dicha estimaci ´on se verifica que

X

t

· e

= 0

_k×1,

(9)

Estimaci ´

on m´ınimo cuadr ´atica de los coeficientes del modelo

Advi ´ertase que:

X

t

X

=







n

P

t=1

Xt

2

· · ·

n

P

t=1

Xtk

n

P

t=1

Xt

2 n

P

t=1

X

_t2₂

_{· · ·}

n

P

t=1

Xt

2

Xtk

. . . . . . . .. . . . n

P

t=1

X

tk n

P

t=1

X

tk

X

t2

· · ·

n

P

t=1

X

_tk2







,

y

X

t

y

=







n

P

t=1

Yt

n

P

t=1

Xt

2

Yt

. . . n

P







.

(10)

Teorema de Gauss-Markov

Estimaci ón del modelo Estimaci ón m´ınimo cuadr ática de los coeficientes del modelo Teorema de Gauss-Markov Estimaci ón de la varianza de la

Teorema 1 (Teorema de Gauss-Markov) Los estimadores de m´ınimos

cuadra-dos ordinarios son lineales, insesgacuadra-dos y ´optimos (ELIO), es decir, tienen varianza m´ınima entre la clase de los estimadores lineales e insesgados.

En efecto, por la forma de escribirse el estimador es evidente que es lineal. As´ı, llamando:

Ck

×n

=

X

t

X

−_k_×1_k

_·

X

_kt×n

=







c

11

c

12

. . .

c

1n

c

21

c

22

. . .

c

2n . . . . . . . .. . . .

ck

1

ck

2

. . . ckn







,

se tiene que

β

b

se expresa como combinaci ´on lineal del vector

y

:

b

β

k×1

=

C

k×n

· y

n×1

=







c

11

Y

1

+

c

12

Y

2

+

. . .

+

c

1n

Yn

c

21

Y

1

+

c

22

Y

2

+

. . .

+

c

2n

Yn

. . .







.

(11)

Teorema de Gauss-Markov

Para que el estimador

β

b

de

β

sea insesgado se ha de cumplir que

E

[

β

b

] =

β

. En efecto, sustituyendo

y

=

Xβ

+

u

en

β

b

:

b

β

=

X

t

X

−1

_·

X

t

y

=

X

t

X

−1

_·

X

t

(

Xβ

+

u

)

=

β

+

X

t

X

−1

_·

X

t

u

_−→

β

b

=

β

+

X

t

X

−1

_·

X

t

u.

Entonces, teniendo en cuenta que

E

[

u

] = 0

:

E

[

β

b

] =

E

h

β

+

X

t

X

−1

_·

X

t

u

i

=

β

+

X

t

X

−1

_·

X

t

_·

E

[

u

] =

β.

Por otro lado, la matriz de varianzas-covarianzas de

β

b

:

V ar βb = E b β ₋ E[βb] _· βb₋ E[βb]t = E b β ₋ β _· βb₋ β t = E h XtX−1 Xtu _· utX XtX−1i 1 1

(12)

Teorema de Gauss-Markov

donde se ha tenido en cuenta que

β

b

es insesgado,

β

b

−

β

= (

X

t

X

)

−1

X

t

u

y

V ar

(

u

) =

E

[

u

_·

u

t

] =

σ

2

_·

I

n×n.

Para demostrar que

β

b

es de m´ınima varianza consideraremos otro estimador,

β

∗

, de

β

lineal e insesgado de forma que

V ar

b

β

< V ar

(

β

∗

)

.

En efecto,

β

∗

=

Dk

×n

· yn

×1 tal que

D

· X

=

Ik

×k es lineal e insesgado.

Adem ´as,

V ar

(

β

∗

) =

σ

2

· DD

t.

En tal caso, puesto que podemos escribir

D

= (

X

t

X

)

−1

X

t

+

W

con

W

₆

= 0

k×n, se tiene que

DD

t

= (

X

t

X

)

−1

+

W W

t, y en tal caso:

V ar

(

β

∗

) =

σ

2

_·

DD

t

=

σ

2

_·

X

t

X

−1

+

σ

2

_·

W W

t

=

V ar

β

b

+

σ

2

_·

W W

t

,

esto es,

V ar

(

β

∗

)

−

V ar

b

β

=

σ

2

_·

W W

t

.

Y como

W W

t es definida positiva:

V ar

(

β

∗

)

−

V ar

b

β

>

0

, y en tal caso:

V ar

(

β

∗

)

> V ar

β

b

.

(13)

Estimaci ´

on de la varianza de la perturbaci ´

on aleatoria

perturbaci ´on aleatoria

Validaci ´on del modelo Explotaci ´on del modelo Ejemplos

Adem ás de los coeficientes de las variables independientes, hay en el modelo otra cantidad constante que habr á que estimar: la varianza de la perturbaci ón aleatoria,

σ

2.

Un estimador insesgado de

σ

2 es:

b

σ

2

=

e

t

_e

n

₋

k

,

ya que

E

[

e

t

e

] = (

n

−

k

)

· σ

2.

Para calcular dicho estimador se dispone de la expresi ´on:

b

σ

2

=

y

t

_y

−

β

b

t

X

t

y

n

₋

k

.

En consecuencia, la estimaci ´on de la matriz de varianzas-covarianzas de

β

b

es:

\

(14)

Validaci ´

on del modelo

Validaci ´on del modelo

Bondad de ajuste: Coeficiente de determinaci ´on Criterios de selecci ´on de modelos

Distribuci ón en el muestreo de los estimadores MCO Contraste de un conjunto de hip ótesis lineales: casos particulares M´ınimos Cuadrados Restringidos An álisis de la varianza Intervalos de confianza Explotaci ón del modelo Ejemplos

(15)

Bondad de ajuste: Coeficiente de determinaci ´

on

Estimaci ´on del modelo Validaci ´on del modelo

Bondad de ajuste: Coeficiente de determinaci ´on

Criterios de selecci ´on de modelos

Distribuci ón en el muestreo de los estimadores MCO Contraste de un conjunto de hip ótesis lineales: casos particulares M´ınimos Cuadrados Restringidos An álisis de la varianza Intervalos de confianza Explotaci ón del modelo

Una vez estimado el modelo lineal uniecuacional multiple, es decir, una vez ob-tenidas las estimaciones de

β

y

σ

2, el siguiente paso ser ´a estudiar la calidad de dichas estimaciones.

As´ı, a continuaci ón, obtendremos el coeficiente de determinaci ón, que no es m ás que una medida para estudiar la bondad del ajuste lineal determinado por los estimadores por m´ınimos cuadrados ordinarios.

Dicho coeficiente de determinaci ´on, que se denota por

R

2, se define como el porcentaje de variabilidad explicada por el modelo. Por tanto, éste se obtendr á como el cociente entre la varianza explicada por la estimaci ón y la total:

R

2

=

1 T

·

n

P

i=1

b

Yi

₋

Y

2 1 T

·

n

P

i=1

Yi

₋

Y

2

=

n

P

i=1

b

Yi

₋

Y

2 n

P

i=1

Yi

₋

Y

2

.

Como se observa, el coeficiente de determinaci ´on queda expresado en funci ´on de la suma de cuadrados explicados (SCE) y los totales (SCT).

(16)

Bondad de ajuste: Coeficiente de determinaci ´

on

Luego, teniendo en cuenta la descomposici ´on

SCT

=

SCE

+

SCR,

se tiene que

R

2

=

SCE

SCT

= 1

−

SCR

SCT

.

Entonces, para calcular dicho coeficiente se dispone de la expresi ´on:

R

2

=

β

b

t

_X

t

_y

−

n

_·

Y

2

y

t

_y

₋

_n

_·

_Y

2

= 1

−

y

t

y

₋

β

b

t

X

t

y

t

_y

₋

_n

_·

_Y

2

.

Advi értase que, siempre que el modelo lineal tenga t érmino independiente, el coeficiente de determinaci ón var´ıa entre 0 y 1. El valor 0 lo toma cuando la SCE es nula y, por tanto, el modelo no es adecuado; mientras que toma el valor 1 cuando la SCR es nula y, por tanto, el modelo es adecuado.

(17)

Coeficiente de determinaci ´

on corregido

Puesto que a medida que vamos incluyendo variables en el modelo el coeficiente de determinaci ´on aumenta aunque las variables que incluyamos no sean signifi-cativas, esto supone un problema.

El coeficiente de determinaci ´on corregido,

R

2, viene a resolver este problema del coeficiente de determinaci ón. Dicho coeficiente mide el porcentaje de va-riaci ón de la variable dependiente (al igual que el coeficiente de determinaci ón) pero teniendo en cuenta el n úmero de variables incluidas en el modelo. Se define como:

R

2

= 1

₋

(1

₋

R

2

)

_·

n

−

1 n

₋

k

.

En cualquier caso, estas medidas de bondad del ajuste no deben de ser sobrevaloradas. Obtener un

R

2 o

R

2 cercano a 1 no indica que los resultados sean fiables, ya que, por ejemplo, puede ser que no se cumpla alguna de las hip ótesis b ásicas y los resultados no ser v álidos. Por tanto, estos indicadores han de ser considerados como una herramienta m ás a tener en cuenta dentro del an álisis.

(18)

Criterios de selecci ´

on de modelos

Por otro lado, se podr´ıa pensar en usar el coeficiente de determinaci ón para com-parar distintos modelos. En tal caso, estos deben de tener la misma variable dependiente ya que as´ı tendr án la misma suma de cuadrados totales. Y a ún as´ı, habr´ıa que tener cuidado con el problema ya comentado: aumenta su valor al a ñadir una nueva variable explicativa, sea cual sea su aportaci ón al modelo.

Para evitar tales problemas, a la hora de comparar modelos para elegir uno de ellos se usan los criterios de selecci ón de modelos. M ás concretamente, es-tudiaremos los criterios de informaci ón de Akaike (AIC), el bayesiano de Schwarz (BIC) y el de Hannan-Quinn (HQC).

Estos criterios se obtienen a partir de la suma de cuadrados de los resi-duos y de un factor que penaliza la inclusi ón de par ámetros. As´ı, un modelo m ás complejo (con m ás variables explicativas) reducir á la suma de cuadrados de los residuos pero aumentar á el factor de penalizaci ón.

Utilizando estos criterios se escoger´ıa aquel modelo con un menor valor de AIC, BIC o HQC.

(19)

Criterios de selecci ´

on de modelos: AIC, BIC y HQC

Teniendo en cuenta que:

L

₌

₋

n

2

· (1 + ln(2

· π

)

−

ln

(

n

))

−

n

2

· ln(

SCR

)

,

el criterio de informaci ´on de Akaike responde a la expresi ´on:

AIC

=

₋

2 _·

L

_{+ 2}

_·

_k,

el de Schwarz a:

BIC

=

₋

2 _·

L

₊

_k

_·

_ln(

_n

₎

_,

y el de Hannan-Qinn:

(20)

Distribuci ´

on en el muestreo de los estimadores MCO

Distribuci ´on en el muestreo de los estimadores MCO

Contraste de un conjunto de hip ótesis lineales: casos particulares M´ınimos Cuadrados Restringidos An álisis de la varianza Intervalos de confianza Explotaci ón del modelo Ejemplos

Introduciendo la hip ótesis de que la perturbaci ón aleatoria sigue una distribuci ón normal, esto es:

un

×1

∼

N

(0

n×1

, σ

2

· In

×n

)

.

En consecuencia,

βk

b

×1

∼

N

(

β, σ

2

· (

X

t

X

)

−1

)

, ya que:

β

b

sigue una distribuci ´on normal ya que se puede expresar en funci ´on de una normal:

β

b

=

β

+ (

X

t

X

)

−1

· X

t

u

.

se tienen calculados el vector de medias,

E

h

b

β

i

=

β

, y matriz de varianzas-covarianzas,

V ar

b

β

=

σ

2

_·

(

X

t

X

)

−1.

Por otro lado, ya que

e

t

e

=

u

t

M u

siendo

M

_n×n

=

I

−

X

(

X

t

X

)

−1

X

t

sim ´etrica, idempotente y con

rg

(

M

) =

n

−

k < k

se tiene que ut_σM u2

∼

χ

2_n₋_k

,

lo que se traduce en que

(

n

₋

k

)

_·

_b

σ

2

σ

2

∼

χ

2

(21)

Contraste de un conjunto de hip ´

otesis lineales

Contraste de un conjunto de hip ótesis lineales: casos particulares M´ınimos Cuadrados Restringidos An álisis de la varianza Intervalos de confianza Explotaci ón del modelo

A continuaci ón abordaremos la especificaci ón de contrastes sobre un conjunto de hip ótesis lineales sobre los coeficientes del modelo. Concretamente, suponiendo

q

restricciones lineales independientes entre s´ı:

a

₁₁

β

₁

+

a

₁₂

β

₂

+

_{· · ·}

+

a

₁k

β

k

=

b

1

a

21

β

1

+

a

22

β

2

+

· · ·

+

a

2k

βk

=

b

2 . . . . . .

=

. . .

a

q1

β

1

+

a

q2

β

2

+

· · ·

+

a

qk

β

k

=

b

q

Plantearemos contrastar la hip ´otesis nula

H

₀

:

Rβ

=

r

donde

Rq

×k

=







a

11

a

12

. . . a

1k

a

21

a

22

. . . a

2k . . . . . . . .. . . .

aq

1

aq

2

. . . aqk







,

rq

×1

=







b

1

b

2 . . .

bq







.

(22)

Contraste de un conjunto de hip ´

otesis lineales

Usando la distribuci ´on

R

β

b

₋

Rβ

t

_·

h

R

(

X

t

X

)

−1

R

t

i

−1

q

_·

σ

_b

2

· R

β

b

₋

Rβ

_∼

Fq,n

−k

,

rechazaremos la hip ´otesis nula al nivel de significaci ´on

α

si

R

β

b

₋

r

t

_·

h

R

(

X

t

X

)

−1

R

t

i

−1

q

_·

σ

_b

2

· R

β

b

₋

r

> Fq,n

−k

(1

−

α

)

,

donde

Fq,n

−k

(1

−

α

)

es el punto de una

F

de Senedecor de

q

y

n

−

k

grados

(23)

Casos particulares

Contraste de un conjunto de hip ótesis lineales: casos particulares M´ınimos Cuadrados Restringidos An álisis de la varianza Intervalos de confianza Explotaci ón del modelo

Un caso particular de suma importancia ser ´a aquel en el que se desee contrastar la hip ´otesis nula

H

₀

:

βi

=

bi

,

i

= 1

, . . . , k

.

En tal caso,

q

= 1

,

R

= (0 0

. . .

1

i)

. . .

0)

y

r

=

bi

, por lo que la distribuci ´on anterior queda simplificada como

b

βi

₋

bi

2

b

σ

2

_·

_wi

∼

F

1,n−k

,

donde

wi

es el elemento (i,i) de la matriz

(

X

t

X

)

−1, o lo que es lo mismo,

σ

_b

2

· wi

es el elemento (i,i) de

σ

_b

2

· (

X

t

X

)

−1

=

V ar

\

b

β

, esto es, la varianza estimada de

β

b

_i.

Teniendo en cuenta que la ra´ız cuadrada de una F-Snedecor con 1 y

n

grados de libertad es una t-Student con

n

grados de libertad se tiene que

b

βi

₋

bi

(24)

Casos particulares

y en tal caso rechazaremos

H

₀

:

β

_i

=

b

_i al nivel de significaci ´on

α

si

b

βi

₋

bi

b

σ

_·

√

wi

> tn

−k

1 ₋

α

2 ,

donde

tn

−k

1 −

α₂

es el punto de una distribuci ´on

t

de student con

n

−

k

grados de libertad que deja por debajo suya una probabilidad

1 −

α₂.

Este caso particular es de vital importancia cuando

bi

= 0

, ya que entonces estaremos contrastando si el coeficiente de la variable independiente

Xi

es o no nulo. De forma que al rechazar dicha hip ´otesis tenemos garantizado que la variable

X

_i ha de estar en el modelo, por lo que sus variaciones influyen en la variable dependiente. En tal caso se dice que dicha variable es significativa y que el contraste es un contraste de significaci ´on individual.

(25)

M´ınimos Cuadrados Restringidos

En el caso en el que no se rechace la hip ´otesis nula

H

₀

:

Rβ

=

r

, ser´ıa deseable incorporar dicha informaci ´on al modelo. En tal caso, se obtiene un nuevo estima-dor:

b

βR

=

β

b

+

X

t

X

−1

R

t

h

R X

t

X

−1

R

t

i

−1

· r

₋

R

β

b

,

que recibe el nombre de m´ınimos cuadrados restringidos ya que se ha obtenido con la restricci ´on de que ha de verificar que

R

βR

b

=

r

.

Dicho estimador es lineal, insesgado siempre que la hip ´otesis nula

H

₀

:

Rβ

=

r

sea cierta y óptimo. Es decir, el estimador por m´ınimos cuadrados restringidos tiene menor varianza que el estimador m´ınimo cuadr ático ordinario siempre y cuando la restricci ón (hip ótesis nula) sea cierta.

Luego, cuando una restricci ón lineal sobre los coeficientes de las variables independientes es cierta, el estimador por m´ınimos cuadrados ordinarios deja de ser óptimo y habr á que usar el estimador por m´ınimos cuadrados restringidos.

Adem ´as se verifica que:

(26)

An ´alisis de la varianza

El an álisis de la varianza aborda el contraste que tiene por hip ótesis nula que todos los coeficientes de las variables independientes son nulos simult áneamente, esto es,

H

₀

:

β

₂

=

β

₃

=

· · ·

=

βk

= 0

.

Salta a la vista que estamos ante un caso particular de un contraste sobre

k

₋

1

restricciones lineales de los coeficientes de las variables independientes. En este caso, rechazaremos la hip ´otesis nula al nivel de significaci ´on

α

si

Fexp

=

SCE k−1 SCR n−k

> Fk

−1,n−k

(1

−

α

)

.

Para calcular dicho estad´ıstico se suele resumir la informaci ón anterior en una tabla, conocida como tabla de an álisis de la varianza (tabla ANOVA) ya que en ella se recogen las fuentes de variaci ón de la varianza:

Fuente de variaci ´on Suma de Cuadrados Grados de Libertad Medias Explicada SCE = βbtXty ₋ nY 2 k ₋ 1 SCE_k₋₁ Residuos SCR = yty ₋ βbtXty n ₋ k SCR_n₋_k

(27)

An ´alisis de la varianza

Advi ´ertase que rechazar

H

₀ implica que hay al menos un coeficiente no nulo, por lo que la relaci ´on existente entre las variables independientes y la dependiente no se debe al azar, lo cual valida el modelo en su conjunto.

Por otro lado, sin m ás que dividir la regi ón de rechazo por SCT tanto en el numerador como en el denominador se obtiene la expresi ón equivalente:

R2 k−1

1−R2 n−k

> Fk

−1,n−k

(1

−

α

)

.

La importancia de esta nueva expresi ón para la regi ón de rechazo es que permite calcular una cota, sin m ás que despejar

R

2, a partir de la cual el coeficiente de determinaci ón es significativo. Esto es, el coefciente de determinaci ón es signifi-cativo al nivel de significaci ón

α

si

R

2

>

k−1 n−k

· Fk

−1,n−k

(1

−

α

)

1 +

k−1 n−k

· Fk

−1,n−k

(1

−

α

)

.

(28)

Intervalos de confianza

Distribuci ón en el muestreo de los estimadores MCO Contraste de un conjunto de hip ótesis lineales: casos particulares M´ınimos Cuadrados Restringidos An álisis de la varianza Intervalos de confianza

Explotaci ´on del modelo Ejemplos

A partir de las distribuciones en el muestreo para los estimadores estudiados es inmediato obtener los siguientes intervalos de confianza al nivel

1 −

α

:

Intervalo de confianza para

βi

b

βi

_±

tn

−k

1 ₋

α

2

· b

σ

_·

√

wi

,

i

= 1

, . . . , k.

Intervalo de confianza para

σ

2

"

(

n

₋

k

)

_·

σ

_b

2

χ

2_n−k

1 −

α 2

,

(

n

−

k

)

· σ

b

2

χ

2_n−k α 2

#

,

donde

χ

2_n₋_k

1 −

α₂

y

χ

2_n₋_k α₂

son los puntos de una distribuci ´on chi-cuadrado con

n

−

k

grados de libertad que dejan a su izquierda, respectivamente, una probabilidad

1 −

α₂ y α₂.

Una forma alternativa de contrastar hip ´otesis es usando los intervalos de confianza. De manera que para contrastar

H

₀

:

Rβ

=

r

se calcular ´a la regi ´on de confianza para

Rβ

y si

r

pertenece a dicha regi ón, no se rechazar á la hip ótesis nula.

(29)

Explotaci ´

on del modelo

Explotaci ´on del modelo

Predicci ´on Puntual ´

Optima Predicci ´on por intervalo Contraste de Permanencia Estructural Ejemplos

(30)

Predicci ´

on Puntual ´

Optima

Estimaci ón del modelo Validaci ón del modelo Explotaci ón del modelo

Optima

Predicci ´on por intervalo Contraste de Permanencia Estructural Ejemplos

Una vez validado el modelo, la siguiente fase de un modelo econom étrico es la explotaci ón, siendo entonces la predicci ón o la permanencia estructural algunos de sus objetivos.

La predicci ón se realiza desde dos puntos de vista: a) por un lado realizare-mos una predicci ón puntual dando un único valor de predicci ón para un instante en concreto; b) por otra parte, puesto que

Y

es una variable aleatoria, podemos calcular su esperanza dado un valor en concreto de las variables independientes. Siguiendo las directrices anteriores se llega a la misma expresi ´on algebr ´aica en ambos casos:

p

0

=

x

t₀

· β,

b

donde

x

t₀

= (1

X

₀₂

X

₀₃

. . . X

₀_k

)

contiene los valores de las variables inde-pendientes para los que se quiere obtener la predicci ´on.

Este predictor,

p

₀, m´ınimo cuadr ´atico (ya que se obtiene a partir del estima-dor por m´ınimos cuadrados ordinarios de

β

) es lineal, insesgado y ´optimo (en el sentido de m´ınima varianza).

(31)

Predicci ´

on por intervalo

Optima

Predicci ´on por intervalo

Contraste de Permanencia Estructural Ejemplos

En este apartado calcularemos el intervalo de confianza para el valor esperado de

Y

dado

x

₀, es decir, para

E

[

Y

₀

/x

₀

] =

x

t₀

· β

.

Como

x

t₀

· β

b

se distribuye seg ún una normal (ya que est á en funci ón de

β

b

) y

E

[

x

t₀

· β

b

] =

x

t₀

β

, ya que es insesgado.

V ar

x

t₀

_·

β

b

=

E

h

x

t₀

_·

β

b

₋

x

t₀

_·

β

_·

x

t₀

_·

β

b

₋

x

t₀

_·

β

i

=

x

t₀

_·

E

β

b

₋

β

_·

β

b

₋

β

t

· x

₀

=

x

t₀

_·

V ar

β

b

_·

x

₀

=

σ

2

_·

x

t₀

(

X

t

X

)

−1

x

0

.

se tiene que

x

t₀

_·

β

b

_∼

N

x

t₀

_·

β, σ

2

_·

x

t₀

X

t

X

−1

x

0

.

Ahora bien, esta distribuci ´on no es apta para hacer inferencia puesto que depende de la cantidad desconocida

σ

2. Para resolver este problema, tipificare-mos la anterior distribuci ´on normal y la dividiretipificare-mos entre la ra´ız cuadrada de la

(32)

Predicci ´

on por intervalo

Optima

Predicci ´on por intervalo Contraste de Permanencia Estructural Ejemplos

(

n

₋

k

)

_·

_b

σ

2

σ

2

∼

χ

2 n−k

,

dividida a su vez entre sus grados de libertad, obteniendo la siguiente distribuci ´on t-Student:

x

t₀

_·

β

b

₋

x

t₀

_·

β

b

σ

_·

q

x

t 0

(

X

t

X

)

−1

x

0

∼

tn

−k

.

A partir de esta distribuci ´on, el intervalo de confianza al nivel

1 −

α

para

E

[

Y

0

/x

0

] =

x

t₀

· β

es:

x

t₀

_·

β

b

_±

tn

−k

1 ₋

α

2

· b

σ

_·

q

x

t₀

(

X

t

_X

₎

−1

_x

0

,

donde

tn

−k

1 −

α₂

es el punto de una distribuci ´on

t

de Student con

n

−

k

grados de libertad que deja a su izquierda una probabilidad

1 −

α₂.

(33)

Contraste de Permanencia Estructural

Optima Predicci ´on por intervalo

Contraste de Permanencia Estructural

Ejemplos

Al explotar el modelo mediante la predicci ón se est á presuponiendo que la relaci ón estimada se mantiene para la informaci ón no presente en la muestra observada. Para confirmar este aspecto, calcularemos el intervalo de confianza para

Y

dado

x

0, de forma que si la nueva informaci ´on pertenece a dicho intervalo, la estructura del modelo estimado permanecer ´a.

Partiendo de que

Y

0

−

Y

b

0

=

u

0

−

x

t₀

b

β

₋

β

_∼

N

0 , σ

2

_·

1 +

x

t₀

X

t

X

−1

x

0

,

se llega de forma an ´aloga a la anterior a la distribuci ´on

Y

0

−

Y

b

0

b

σ

_·

q

1 +

x

t₀

(

X

t

_X

₎

−1

_x

0

∼

tn

−k

,

donde

Y

b

₀

=

x

t₀

· β

b

. Por tanto, el intervalo de confianza al nivel

1 −

α

para

Y

₀ es:

(34)

Ejemplos

Ejemplo 1 Ejemplo 2 Ejemplo 3

(35)

Ejemplo 1

Ejemplo 2 Ejemplo 3

A continuaci ´on vamos a realizar un an ´alisis exhaustivo del modelo

Yt

=

β

1

+

β

2

· Xt

2

+

β

3

· Xt

3

+

ut

,

a partir de las siguiente informaci ´on muestral:

Observaci ´on

Yt

Xt

₂

Xt

₃ 1 16 1 1 2 26 3 2 3 30 5 -1 4 44 7 3 5 56 8 -2 6 64 10 0 7 68 10 1 8 72 12 4

En primer lugar calcularemos la estimaci ´on por m´ınimos cuadrados ordinarios de los coeficientes de las variables a partir de la expresi ´on

(36)

Ejemplo 1

Ejemplo 2 Ejemplo 3

A partir de la informaci ´on muestral anterior es claro que:

y

=







16

26

30

44

56

64

68

72 





,

X

=







1

3

2

1

5 ₋

1

7

3

1

8 ₋

2 1 10

0 1 10

1 1 12

4 





,

de forma que:

X

t

X

=





8

56

8 56 492 65

8

65

36 



,

X

t

y

=





376 3184

414 



,

(37)

Ejemplo 1

Estimaci ón del modelo Validaci ón del modelo Explotaci ón del modelo Ejemplos Ejemplo 1 Ejemplo 2 Ejemplo 3

b

β

=





8

56

8 56 492 65

8

65

36 



−1

· 



376 3184

414 



=





0

′

62 ₋

0

′

0688

₋

0

′

0136

−

0

′

0688

0

′

0103

₋

0

′

0033

−

0

′

0136

₋

0

′

0033

0

′

0368





_·





376 3184

414 



=





8

′

5189

5

′

5587

−

0

′

4296





.

Es decir,

β

b

₁

= 8

′

5189

,

β

b

₂

= 5

′

5587

y

β

b

₃

=

−

0

′

4296

. Lo cual se traduce en la siguiente estimaci ´on del modelo considerado:

b

Yt

= 8

′

5189 + 5

′

5587

Xt

2

−

0

′

4296

Xt

3

.

(38)

Ejemplo 1

Ejemplo 2 Ejemplo 3

A partir de estas estimaciones es sencillo obtener las estimaciones de

Y

:

b y = Xβb =             1 1 1 1 3 2 1 5 ₋1 1 7 3 1 8 ₋2 1 10 0 1 10 1 1 12 4             ·   8′ 5189 5′ 5587 −0′4296   =             13′ 6480 24′ 3358 36′ 7420 46′ 1410 53′ 8477 64′ 1059 63′ 6763 73′ 5049             ,

y los residuos del modelo:

e = y ₋ y_b =             16 26 30 44 56 64 68             −             13′ 6480 24′ 3358 36′ 7420 46′ 1410 53′ 8477 64′ 1059 63′ 6763             =             2′ 3520 1′ 6642 −6′7420 −2′1410 2′ 1523 −0′1059 4′ 3237             .

(39)

Ejemplo 1

Ejemplo 2 Ejemplo 3

Desde un punto de vista te ´orico, dichos residuos han de sumar cero, si bien en este caso la suma del vector anterior es igual a

−

0

′

0016

. De igual forma, a partir de dichos residuos se puede obtener f ácilmente la estimaci ón de la varianza de la perturbaci ón aleatoria, ya que por definici ón:

b

σ

2

=

e

t

_e

n

₋

k

,

(4)

donde

e

t

e

es la suma de los cuadrados de los residuos,

n

el n ´umero de obser-vaciones del modelo y

k

el n ´umero de variables presentes en el mismo. En este caso:

b

σ

2

=

83

′

8472

8 ₋

3 = 16

′

76944

.

Otra forma equivalente de obtener la estimaci ´on anterior es:

b

σ

2

=

y

t

_y

−

β

b

t

X

t

y

(40)

Ejemplo 1

Estimaci ón del modelo Validaci ón del modelo Explotaci ón del modelo Ejemplos Ejemplo 1 Ejemplo 2 Ejemplo 3 Puesto que yty = 20808, βbtXty = (8′5189 5′5587 ₋ 0′4296)   376 3184 414   = 20724′1528, es claro que

b

σ

2

=

20808

−

20724

′

1528

8 ₋

3 =

83

′

8472

5 = 16

′

76944

.

Y a partir de esta estimaci ´on se puede obtener la estimaci ´on de la matriz de varianzas-covarianzas de

β

b

mediante: \ V arβb = _bσ2 _· XtX−1 = 16′7694 _·   0′ 62 ₋0′ 0688 ₋0′ 0136 −0′0688 0′0103 −0′0033 −0′0136 −0′0033 0′0368   =   10′ 3976 ₋1′ 1533 ₋0′ 2282 −1′1533 0′1727 −0′0555 0′ 2282 0′ 0555 0′ 6168  , (6)

(41)

Ejemplo 1

Ejemplo 2 Ejemplo 3

que ser á usada para calcular la regi ón de rechazo de los contrastes de signifi-caci ón individual as´ı como para los intervalos de confianza de cada coeficiente de la regresi ón.

Para medir la bondad del ajuste realizado mediante la estimaci ´on anterior calcu-laremos el coeficiente de determinaci ´on:

R

2

=

β

b

t

_X

t

_y

−

nY

y

t

_y

₋

_nY

= 1

−

y

t

y

₋

β

b

t

X

t

y

t

_y

₋

_nY

.

(7)

Para la primera expresi ´on de (7), teniendo en cuenta que:

b

β

t

X

t

y

₋

nY

= 20724

′

1528

₋

8 _·

47

2

= 20724

′

1528

₋

17672 = 3052

′

1528

,

y

t

y

₋

nY

= 20808

₋

17672 = 3136

,

se tiene que

R

2

=

3052

′

1528

3136

= 0

′

97326301

.

(42)

Ejemplo 1

Ejemplo 2 Ejemplo 3

Mientras que para la segunda expresi ´on:

R

2

= 1

₋

83

′

8472

3136

= 1

−

0

′

02673699 = 0

′

97326301

.

A partir de este coeficiente podemos afirmar que el ajuste realizado permite expli-car un

97

′

326301%

de la variabilidad de la variable dependiente, que si bien se encuentra muy pr ´oximo al

100%

, m ´as adelante comprobaremos si es significativo y, por tanto, si es suficiente para validar el modelo.

Una vez estimadas las cantidades constantes del modelo, a continuaci ´on se estu-diar ´a la validez del mismo a partir de:

contrastes de significaci ´on individual.

contraste de significaci ´on conjunta.

significaci ´on del coeficiente de determinaci ´on.

Para abordar los contrastes de significaci ´on individual tendremos en cuenta que se rechaza

H

₀

:

β

_i

= 0

si

(43)

Ejemplo 1

texp

=

b

βi

b

σ

_·

√

wi

> tn

−k

1 ₋

α

2 ,

_∀

i,

donde

wi

es el elemento

(

i, i

)

de la matriz

(

X

t

X

)

−1 o, lo que es lo mismo,

b

σ

_·

√

w

i es la ra´ız cuadrada del elemento

(

i, i

)

de la matriz

σ

b

2

· (

X

t

X

)

−1

=

\

V ar

β

b

.

Observando (6) es claro que

σ

_b

· √

w

₂

=

√

0

′

1727 = 0

′

4156

y

σ

_b

· √

w

₃

=

√

0

′

6168 = 0

′

7854

. Teniendo en cuenta que

tn

−k

1 −

α₂

=

t

5

(0

′

975) =

2

′

57

, se obtiene que: rechazo

H

₀

:

β

₂

= 0

si

texp

=

₀5_′′5587₄₁₅₆

= 13

′

376 >

2

′

57

. rechazo

H

₀

:

β

₃

= 0

si

t

_exp

=

−00′₇₈₅₄′4296

= 0

′

547 >

2

′

57

.

Como es evidente, rechazamos

H

₀

:

β

₂

= 0

y no rechazamos

H

₀

:

β

₃

= 0

, es decir, la variable

X

_t₂ influye en

Y

_t, mientras que la

X

_t₃ no lo hace. En tal

(44)

Ejemplo 1

Ejemplo 2 Ejemplo 3

Para el contraste de significaci ´on conjunta,

H

₀

:

β

₂

=

β

₃

= 0

, se rechaza la hip ´otesis nula si

Fexp

=

SCE/k

−

1 SCR/n

₋

k

> Fk

−1,n−k

(1

−

α

)

,

donde

F

_k−1,n−k

(1

−

α

)

es el punto de una F de Snedecor con

k

−

1

y

n

−

k

grados de libertad que deja a su izquierda una probabilidad

1 −

α

,

SCE

denota a la suma de cuadrados explicada y

SCR

a la suma de los cuadrados de los residuos (cantidades que ya han sido calculadas con anterioridad al obtener el coeficiente de determinaci ´on).

En este caso, para calcular la regi ´on de rechazo recurriremos a la tabla ANOVA: Fuentes de variaci ´on Sumas de cuadrados Grados de libertad Medias

Explicada SCE = 3052′ 1528 k ₋ 1 = 2 1526′ 0764 Residual SCR = 83′ 8472 n ₋ k = 8 ₋ 3 = 5 16′ 76944 Total SCT = 3136 1526′₀₇₆₄

(45)

Ejemplo 1

Estimaci ón del modelo Validaci ón del modelo Explotaci ón del modelo Ejemplos Ejemplo 1 Ejemplo 2 Ejemplo 3 Y como

Fk

−1,n−k

(1

−

α

) =

F

2,5

(0

′

95) = 5

′

78

, es evidente que se rechaza la hip ótesis nula. Esto es, existe al menos un coeficiente que es no nulo de manera que entonces se puede afirmar que hay alg ún tipo de asociaci ón (que no se debe al azar) entre las variables independientes y la dependiente.

Para terminar con la validaci ´on del modelo, estuadiaremos si el coeficiente de determinaci ´on obtenido con anterioridad es significativo o no. Teniendo en cuenta que:

SCE/k

₋

1 SCR/n

₋

k

=

R

2

/k

₋

1 (1

₋

R

2

₎

_/n

₋

_k

,

la regi ´on de rechazo anterior se puede expresar como:

R

2

/k

₋

1 (1

₋

R

2

₎

_/n

₋

_k

> F

k−1,n−k

(1

−

α

)

,

y sin m ´as que despejar el coeficiente de determinaci ´on, se obtiene que el modelo es significativo si

(46)

Ejemplo 1

Ejemplo 2 Ejemplo 3

Esto es, se tiene una cota,

R

_sig2 , a partir de la cual el coeficiente de determinaci ´on es significativo.

Puesto que en este caso:

k₋1 n₋k = 2 5 = 0′4 F_k₋1,n₋k(1−α) = F2,5(0′95) = 5′78 ) → k−1 n−_k ·F_k −1_,n₋_k(1−α) = 0′4·5′78 = 2′312

→

R

_sig2

=

2

′

312

3

′

312 = 0

′

6981

.

Recordemos que

R

2

= 0

′

97326301

, que claramente es significativo al ser su-perior a la cota inferior de significaci ´on

R

2_sig

= 0

′

6981

. Esto es, el coeficiente de determinaci ´on obtenido implica que el modelo es explicativo.

Por todo lo anterior, parece claro que el modelo es v ´alido y, por tanto, apto para la predicci ´on.

Supongamos ahora que se tiene nueva informaci ´on para las variables indepen-dientes (

X

₀₂

= 2

y

X

₀₃

= 3

) y que se desea obtener una predicci ´on puntual y por intervalo a partir de ella para la variable dependiente.

(47)

Ejemplo 1

Ejemplo 2 Ejemplo 3

A partir de dicha informaci ón, la predicci ón puntual óptima ser á

x

t₀

β

b

= (1 2 3)

_·





8

′

5189

5

′

5587

−

0

′

4296





= 18

′

3475

.

Mientras que para la predicci ´on por intervalo ser ´a necesario calcular:

xt₀ XtX−1 x₀ = (1 2 3)_·   0′ 62 ₋0′ 0688 ₋0′ 0136 −0′0688 0′0103 −0′0033 −0′0136 −0′0033 0′0368     1 2 3   = 0′596,

de forma que el intervalo de confianza para el valor esperado de

Y

ser ´a:

x

t₀

β

b

_±

tn

−k

1 ₋

α

2

· σ

b

_·

q

x

t 0

(

X

t

X

)

−1

x

0

= 18

′

3475

_±

2

′

57 _·

4

′

095051

_·

√

0

′

596 = (10

′

221 ,

26

′

4742)

.

(48)

Ejemplo 1

x

t₀

β

b

_±

tn

−k

1 ₋

α

2

· σ

b

_·

q

1 +

x

t₀

(

X

t

_X

₎

−1

_x

0

= 18

′

3475

_±

2

′

57 _·

4

′

095051

_·

√

1

′

596 = (5

′

04887

,

31

′

64613)

.

Adem ás, a partir de este último intervalo (conocido como permanencia estructu-ral), si se sabe que acompa ñando a

x

₀ se tiene

Y

₀

= 6

, puesto que este valor pertenece al intervalo calculado, se puede afirmar (al nivel de confianza conside-rado) que la relaci ´on estimada para las variables se sigue verificando (permanece la estructura) para la nueva informaci ´on.

Por último, con el objetivo de aplicar la estimaci ón con informaci ón a priori al modelo considerado vamos contrastar la hip ótesis nula

H

₀

:

β

₂

+

β

₃

= 5

. As´ı, en el caso de no rechazarla obtendremos el estimador por m´ınimos cuadrados restringidos.

Como es sabido, se rechazar ´a la hip ´otesis nula si

Fexp

=

R

β

b

₋

r

t

_·

h

R

(

X

t

X

)

−1

R

t

i

−1

q

_·

σ

_b

2

· R

β

b

₋

r

> Fq,n

−k

(1

−

α

)

,

(49)

Ejemplo 1

Ejemplo 2 Ejemplo 3

donde

Fq,n

−k

(1

−

α

)

es el punto de una F de Snedecor con

q

y

n

−

k

grados

de libertad que deja a su izquierda una probabilidad

1 −

α

.

A partir de

β

₂

+

β

₃

= 5

se obtiene que

q

= 1

, r

= 5

y

R

= (0 1 1)

,

de forma que

R

β

b

₋

r

= (0 1 1)

_·





8

′

5189

5

′

5587

−

0

′

4296





₋

5 = 5

′

5587

₋

0

′

4296

₋

5 = 0

′

1291

,

R XtX−1 Rt = (0 1 1)_·   0′ 62 ₋0′ 0688 ₋0′ 0136 −0′0688 0′0103 −0′0033 −0′0136 −0′0033 0′0368  _·   0 1 1   = 0′0405. Y en tal caso: