Modelos no lineales

(1)

Modelos no lineales

Rom án Salmer ón G ómez

Grado en Econom´ıa

(2)

Contenidos

Introducci ´on Modelos

intr´ınsecamente lineales Modelos

intr´ınsecamente no lineales

Introducci ´on

Modelos intr´ınsecamente lineales Modelos intr´ınsecamente no lineales

(3)

Introducci ´ on

Contenidos

Introducci ´on

Especificaciones no lineales

Modelos

(4)

Ejemplo

Contenidos Introducci ´on

Modelos

1 2 3 4 5 6 7 8 9 10

6 8 10 12 14 16 18 20 22

P

Q

Figura 1: Relaci ´on no lineal

(5)

Especificaciones no lineales

Modelos

Hasta ahora, el efecto sobre

Y

de un cambio unitario en

X

no depend´ıa del valor de

X

. ¿Qu ´e ocurre si el efecto sobre

Y

de un cambio en

X

depende del valor de una (o m ás) de las variables independientes?. En este caso, la funci ón de regresi ón es no lineal. Una funci ón no lineal es una funci ón con una pendiente que no es constante. Hay distintos tipos de especificaciones no lineales:

1. Modelos intr´ınsecamente lineales (se pueden estimar por los m ´etodos conocidos hasta ahora haciendo un simple cambio de variable y/o transformaci ´on):

y

_i

= β

₁

+ β

₂

x

²_i

+ ǫ

_i

, y

_i

= β

₁

+ β

₂

1 x

_i

+ ǫ

_i

, y

_i

= β

₁

x

^β_i ²

e

^ǫⁱ

.

2. Modelos intr´ınsecamente no lineales (no se pueden estimar por los m ´etodos conocidos hasta ahora debido a la no linealidad existente en los par ´ametros):

y

_i

= β

₁

+ x

^β_i²

+ ǫ

_i

, y

_i

= β

₁

x

^β_i²

+ ǫ

_i

, y

_i

= β

₁

1 + e

^β²^+β³^xⁱ

+ ǫ

_i

.

(6)

Ejemplo

Modelos

Supongamos la siguiente informaci ´on acerca de precios,

P

, y cantidades,

Q

^,

demandadas:

Q P ln Q ln P

5 10 1.609 2.302

6 8 1.791 2.079

7 6 1.945 1.791

9 4 2.197 1.386

12 3 2.484 1.098

15 2 2.708 0.693

18 1.5 2.890 0.405 22 1.2 3.091 0.182

En la Figura 1 se obervaba que la relaci ´on entre

P

^y

Q

no es lineal, sin embargo, haciendo una transformaci ´on sencilla (aplicando logaritmos) se puede obtener dicho tipo de relaci ´on (Figura 2).

(7)

Ejemplo

Modelos

0 0.5 1 1.5 2 2.5

1.6 1.8 2 2.2 2.4 2.6 2.8 3

ln P

ln Q

Figura 2: Relaci ´on lineal

(8)

Modelos intr´ınsecamente lineales

Contenidos

intr´ınsecamente lineales

El modelo Box-Cox Modelos

(9)

El modelo Box-Cox

Contenidos

intr´ınsecamente lineales El modelo Box-Cox Modelos

La transformaci ón de Box-Cox permiten corregir la no linealidad en la relaci ón entre variables (tambi én pueden ser usadas para solucionar problemas de nor- malidad y heterocedasticidad). A partir de la transformaci ón de Box-Cox:

y

^(λ¹⁾

=

 



y

^λ¹

− 1

λ

₁

λ

₁

6= 0 ln y λ

₁

= 0

, x

^(λ²⁾

=

 



x

^λ²

− 1

λ

₂

λ

₂

6= 0 ln x λ

₂

= 0

modelos en principios no lineales podr ´an expresarse linealmente como sigue:

y

^(λ¹⁾

= α + βx

^(λ²⁾

+ ǫ.

Algunos casos particulares interesantes son los siguientes:

Modelo lineal:

λ

₁

= λ

₂

= 1

^.

Modelo doblemente logar´ıtmico:

λ

₁

= λ

₂

= 0

^.

Modelo semilogar´ıtmico (log-lineal):

λ

₁

= 0

^y

λ

₂

= 1

^.

Modelo semilogar´ıtmico (lineal-log):

λ

₁

= 1

^y

λ

₂

= 0

^.

Modelo hiperb ´olico:

λ

₁

= 1

^y

λ

₂

= −1

^.

(10)

El modelo Box-Cox: casos particulares

Contenidos

Modelo lineal:

λ

₁

= λ

₂

= 1

^.

En este modelo,

β

representa el efecto marginal, es decir, una variaci ´on uni- taria en la variable

x

provoca un cambio en la variable

y

^{igual a}

β

^:

β = ∂y

∂x → △y = β △ x.

Modelo doblemente logar´ıtmico:

λ

₁

= λ

₂

= 0

^.

En este caso, Box–Cox coincide con el modelo no lineal:

y = Ax

^β

e

^ǫ^{. Aqu´ı,}

β

representa la elasticidad de

y

respecto de

x

(es decir, qu ´e incremento porcentual de

y

se tendr ´a si se produce un incremento porcentual de

x

^):

∂y

∂x = Aβx

^β−1

= Aβx

^β

x

⁻¹

= βyx

⁻¹

= β y

x → β = ∂y

∂x

x

y .

(11)

El modelo Box-Cox: ejemplos gr ´aficos

Contenidos

intr´ınsecamente no

lineales a) ^0.5 ¹ ^1.5 ²

1 2 3 4 5 6 7

b) ^0.5 ¹ ^1.5 ²

0.2 0.4 0.6 0.8 1 1.2 1.4

c) ^0.5 ¹ ^1.5 ²

0.5 1 1.5 2

d) ^0.5 ¹ ^1.5 ²

1 2 3 4

Figura 3: Modelo doblemente logar´ıtmico con a) β = −0.6 ^{, b)} β = 0.6 ^,

c) β = 1 ^{y c)} β = 2 ^.

(12)

El modelo Box-Cox: ejemplos gr ´aficos

Contenidos

intr´ınsecamente no

lineales a) ^0.5 ¹ ^1.5 ²

1.25 1.5 1.75 2 2.25 2.5 2.75

b) ^0.5 ¹ ^1.5 ²

4 5 6 7 8 9

Figura 4: Modelo semilogar´ıtmico en y ^{con a)} β = −0.6 ^{y b)} β = 0.6 ^.

c)

0.5 1 1.5 2

0.75 1.25 1.5 1.75 2 2.25

d)

0.5 1 1.5 2

-6 -5 -4 -3 -2 -1

Figura 5: Modelo semilogar´ıtmico en x ^{con c)} β = −0.6 ^{y d)} β = 0.6 ^.

(13)

El modelo Box-Cox: ejemplo

Contenidos

Dados los siguientes datos ajustar un modelo doblemente logar´ıtmico:

x 1 2 3 4 5

y 4 50 200 740 3000

El modelo doblemente logar´ıtmico responde a la expresi ´on

y = Ax

^β

e

^ǫ^{, el cual}

se puede linealizar sin m ´as que considerar logaritmos (

y

^∗

= ln y

^y

x

^∗

= ln x

^):

ln y = ln A + β ln x + ǫ ln e ⇒ y

^∗

= A

^∗

+ βx

^∗

+ ǫ.

Por tanto, se ha llegado a un modelo lineal que se puede estimar por el m ´etodo de M´ınimos Cuadrados Ordinarios:

A b

^∗

= 1

^′

2257 ⇒ b A = e

¹^′²²⁵⁷

= 3

^′

4066 β = 3 b

^′

9856, R

²

= 0

^′

865

El modelo estimado es

y = 3.4066 · x b

^3.9856^.

x

^∗

y

^∗

0 1’386

0’693 3’912 1’099 5’298 1’386 6’607 1’609 8’006

Ajustar un modelo del tipo

y = Aβ

^x

e

^ǫ y decidir cu ´al es el mejor.

(14)

El modelo Box-Cox: ejemplo

Contenidos

−1000

−500 0 500 1000 1500 2000 2500 3000

1 1.5 2 2.5 3 3.5 4 4.5 5

y

x

y con respecto a x (con ajuste mínimo−cuadrático) Y = −1.21e+003 + 668.X

Figura 6: Representaci ´on gr ´afica de los datos originales.

(15)

El modelo Box-Cox: ejemplo

Contenidos

1 2 3 4 5 6 7 8 9

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6

ly

l_x

l_y con respecto a l_x (con ajuste mínimo−cuadrático) Y = 1.23 + 3.99X

Figura 7: Representaci ´on gr ´afica de los datos transformados.

(16)

Modelos intr´ınsecamente no lineales

Contenidos

Aproximaci ´on lineal de Taylor

M´ınimos cuadrados no lineales

Estimaci ´on por m ´axima verosimilitud

Algoritmos de b ´usqueda:

Newton–Raphson y Gauss–Newton Contraste de

restricciones sobre los par ´ametros

(17)

Modelos intr´ınsecamente no lineales

Contenidos

Dentro de este apartado, estudiaremos expl´ıcitamente las situaciones en las cuales no es posible transformar el modelo de manera que pueda estimarse con las t ´ecnicas de estimaci ´on correspondientes al modelo lineal general.

Aun as´ı, en primer lugar, se aborda la aproximaci ón lineal de Taylor que consiste en obtener una versi ón lineal aproximada del modelo. Es decir, se recupera la idea de aplicar las t écnicas conocidas aunque el modelo no sea linealizable de forma natural y sencilla.

En segundo lugar, asumiendo que la naturaleza de las relaciones son no lineales, se aborda el uso de los m étodos de m´ınimos cuadrados y m áxima verosimilitud en este tipo de modelos. Recordemos, que la idea de partida en ambos casos no exige en ning ún momento la linealidad del modelo. Sin embargo, como se ver á, la resoluci ón anal´ıtica del mismo se complica bastante cuando el modelo no es lineal, siendo necesario recurrir a m étodos distintos a los usados hasta el momento para obtener las estimaciones buscadas.

(18)

Aproximaci ´ on lineal de Taylor

Contenidos

Supongamos que pretendemos estimar una relaci ´on entre una magnitud

y

^{y un}

conjunto de variables explicativas recogidas en el vector

X

_t. Representaremos tal relaci ´on mediante el modelo econom ´etrico:

y

_t

= f (X

_t

, β) + ǫ

_t

, t = 1, 2, ..., T,

donde

f

representa una funci ón no lineal cualquiera. Podemos tomar una aproximaci ón lineal de la funci ón en un entorno de un punto cualquiera, pudiendo elegir inicialmente el valor

β ˆ

₀. El modelo quedar´ıa:

y

_t

= f (X

_t

, ˆ β

₀

) +

∂f (X

_t

, β)

∂β

^′

β= ˆβ⁰

(β − ˆ β

₀

) + ǫ

_t

, t = 1, 2, ..., T.

Operando:

y

_t

− f (X

_t

, ˆ β

₀

) +

∂f (X

_t

, β)

∂β

^′

β= ˆβ⁰

β ˆ

₀

=

∂f (X

_t

, β)

∂β

^′

β= ˆβ⁰

β + ǫ

_t

,

con

t = 1, 2, ..., T

^.

(19)

Aproximaci ´ on lineal de Taylor

Contenidos

RSG Modelos no lineales – 19 / 38

Si denotamos:

y

_t^∗

= y

_t

− f (X

_t

, ˆ β

₀

) +

∂f (X

_t

, β)

∂β

^′

β= ˆβ⁰

β ˆ

₀

,

el modelo puede reescribirse como

y

_t^∗

=

∂f (X

_t

, β)

∂β

^′

β= ˆβ⁰

β + ǫ

_t

, t = 1, 2, ..., T.

El modelo as´ı transformado es un modelo lineal general donde la nueva variable dependiente es

y

^∗ y el vector de variables explicativas es

∂f (X

_t

, β)

∂β

^′

β= ˆβ⁰

. Aplicando M´ınimos Cuadrados Ordinarios:

β = ˆ

"

∂f (X

_t

, β)

∂β

β= ˆβ⁰

∂f (X

_t

, β)

∂β

^′

β= ˆβ⁰

#

⁻1

∂f (X

_t

, β)

∂β

β= ˆβ⁰

y

^∗

.

Esta estimaci ´on dar ´a buenos resultados si los valores iniciales

β ˆ

₀ son pr ´oximos a los verdaderos valores, lo cual no es conocido.

(20)

Aproximaci ´ on lineal de Taylor: ejemplo

Contenidos

Dado el modelo

y

_t

= β

₁

e

^β²^x^t

+ ǫ

_t vamos a obtener una aproximaci ´on lineal del mismo.

Puesto que

f (X

_t

, β) = β

₁

e

^β²^x^t ^{depende de}

β

₁ ^y

β

₂ en este caso se verifica que:

∂f (X

_t

, β)

∂β =

∂β

₁

e

^β²^x^t

∂β

₁

∂β

₁

e

^β²^x^t

∂β

₂

= e

^β²^x^t

β

₁

x

_t

e

^β²^x^t

.

Por tanto, dado un valor inicial

β ˆ

, se tiene:

y

_t

= f (X

_t

, ˆ β) +

∂f (X

_t

, β)

∂β

^′

β= ˆβ

(β − ˆ β) + ǫ

_t

= β b

₁

e

^β^b²^x^t

+

e

^β^b²^x^t

β b

₁

x

_t

e

^β^b²^x^t

· β

₁

− b β

₁

β

₂

− b β

₂

!

+ ǫ

_t

= β b

₁

e

^β^b²^x^t

+ e

^β^b²^x^t

· (β

₁

− b β

₁

) + b β

₁

x

_t

e

^β^b²^x^t

· (β

₂

− b β

₂

) + ǫ

_t

.

(21)

Aproximaci ´ on lineal de Taylor: ejemplo

Contenidos

Operando de forma conveniente:

y

_t

− b β

₁

e

^β^b²^x^t

+ e

^β^b²^x^t

· b β

₁

+ b β

₁

x

_t

e

^β^b²^x^t

· b β

₂

= e

^β^b²^x^t

· β

₁

+ b β

₁

x

_t

e

^β^b²^x^t

· β

₂

+ ǫ

_t

.

Como se puede observar esta expresi ´on es intr´ınsecamente lineal, es decir, haciendo un cambio de variable puede estimarse por MCO.

En efecto, llamando:

y

_t^∗

= y

_t

+ b β

₁

x

_t

e

^β^b²^x^t

· b β

₂

, x

^∗_1t

= e

^β^b²^x^t

,

x

^∗_2t

= β b

₁

x

_t

e

^β^b²^x^t

,

se obtendr´ıa la aproximaci ´on lineal

y

_t^∗

= x

^∗_1t

β

₁

+ x

^∗_2t

β

₂

+ ǫ

_t^.

En tal caso, para el valor inicial

β b

₁

= 1 = b β

₂ se obtendr´ıa el modelo linealizado:

y

_t^∗

= β

₁

x

^∗_1t

+ β

₂

x

^∗_2t

+ ǫ

_t

,

donde

y

_t^∗

= y

_t

+ x

_t

e

^x^t^,

x

^∗_1t

= e

^x^t ^y

x

^∗_2t

= x

_t

e

^x^t^.

(22)

Aproximaci ´ on lineal de Taylor: ejemplo

Contenidos

As´ı, por ejemplo, a partir de los siguientes datos:

y x y

^∗

x

^∗_1t

x

^∗_2t

0.3 2.2 20.15503 9.025013 19.85503 1.1 3.8 170.96450 44.701184 169.8645 3.4 5 745.46580 148.413159 742.0658 10 5.1 846.51173 164.021907 836.51173

Se obtienen las siguientes estimaciones por MCO para el modelo original y linealizado por Taylor:

b

y = −6.033 + 2

^′

418x

_t

, R

²

= 0

^′

5523

y b

^∗

= −0.08252x

^∗_1t

+ 1

^′

02501x

^∗_2t

, R

²

= 1

(23)

Aproximaci ´ on lineal de Taylor: ejemplo

Contenidos

0 1 2 3 4 5 6 7 8 9 10

2.5 3 3.5 4 4.5 5

y

x

-100 0 100 200 300 400 500 600 700 800 900

0 100 200 300 400 500 600 700 800

y_trans

x2_trans

y_trans con respecto a x2_trans (con ajuste mínimo-cuadrático) Y = -0.329 + 1.01X

Figura 8: Representaci ´on gr ´afica de los originales y transformados.

(24)

M´ınimos cuadrados no lineales

Contenidos

Supongamos que pretendemos estimar un modelo cuya especificaci ´on gen ´erica es:

y

_t

= f (X

_t

, β) + ǫ

_t

, t = 1, 2, ..., T,

donde

X

_t es el vector de variables independientes,

β

es el vector de par ´ametros del modelo a estimar y

f

es una funci ´on no lineal de las componentes de los vectores

X

_t y

β

, y cuya primera derivada vamos a suponer que es no lineal en

β

^.

El m étodo de m´ınimos cuadrados no lineales, al igual que su hom ólogo lineal, trata de minimizar la suma de los residuos al cuadrado, es decir, minimizar la siguiente expresi ón:

SRC(β) =

X

T

t=1

e

²_t

=

X

T

t=1

(y

_t

− f (X

_t

, β))

²

.

Derivando la expresi ´on anterior obtenemos las condiciones de primer y segundo orden necesarias y suficientes para la obtenci ´on del m´ınimo.

(25)

M´ınimos cuadrados no lineales

Contenidos

As´ı, derivando una primera vez se obtiene:

∂SRC(β)

∂β = −2 X

T

t=1

(y

_t

− f (X

_t

, β)) · ∂f (X

_t

, β)

∂β , ∀t

e igualando a cero dicha derivada parcial se obtienen las ecuaciones normales del modelo:

X

T

t=1

(y

_t

− f (X

_t

, β)) · ∂f (X

_t

, β)

∂β = 0, ∀t.

(26)

M´ınimos cuadrados no lineales: ejemplo

Contenidos

Obtener el sistema de ecuaciones normales del modelo

y

_t

= β

₁

+ x

^β_t²

+ ǫ

_t^.

El objetivo es minimizar la suma de cuadrados de los residuos, esto es,

SRC(β) = P

T t=1

y

_t

− β

₁

− x

^β_t²

2

,

^donde

β

^′

= (β

₁

β

₂

)

^.

Por tanto, habr ´a que derivar la expresi ´on anterior (usando que si

f (x) = a

^x

entonces

f

^′

(x) = a

^x

ln a

) con respecto a cada uno de los elementos de

β

^:

∂SRC(β)

∂β

₁

= −2 · X

T

t=1

y

_t

− β

₁

− x

^β_t²

,

∂SRC(β)

∂β

₂

= −2 · X

T

t=1

y

_t

− β

₁

− x

^β_t²

· x

^β_t²

· ln x

_t

.

Igualando a cero estas derivadas se obtendr ´a el sistema de ecuaciones normales:

X

T

t=1

y

_t

− β

₁

− x

^β_t²

= 0,

X

T

t=1

y

_t

− β

₁

− x

^β_t²

· x

^β_t²

· ln x

_t

= 0.

(27)

Estimaci ´ on por m ´axima verosimilitud

Contenidos

Sabemos que la funci ´on de verosimilitud del modelo

y

_t

= f (X

_t

, β) + ǫ

^t

, ǫ

^t

∼ N (0, σ

²

I

_T

),

viene dada por la expresi ´on:

L(β, σ

²

|y, X) = 1

(2πσ

²

)

^{T /2}

exp

− 1

(2σ

²

) (y − f (X

_t

, β))

^′

(y − f (X

_t

, β))

,

y aplicando logaritmos neperianos:

ln L(β, σ

²

|y, X) = − T

2 ln (2π) − T

2 ln σ

²

− 1

2σ

²

SCR(β).

Los posibles estimadores m áximo veros´ımiles ser án obtenidos tras derivar la expresi ón anterior con respecto a

β

^y

σ

² e igualando el resultado a cero.

En el primer caso, se obtiene la derivada:

∂ ln L(β, σ

²

|y, X)

∂β = ∂

∂β

−1

2σ

²

SCR(β) = 1 σ

²

X

T

t=1

(y

_t

−f (X

_t

, β))· ∂f (X

_t

, β)

∂β ,

(28)

Estimaci ´ on por m ´axima verosimilitud

Contenidos

que igualada a cero queda:

X

T

t=1

(y

_t

− f (X

_t

, β)) · ∂f (X

_t

, β)

∂β = 0, ∀t.

Advi értase que los resultados obtenidos coinciden con el estimador por m´ınimos cuadrados no lineales, por tanto, al igual que antes, no es posible dar una soluci ón anal´ıtica para las soluciones de este sistema de ecuaciones (y una vez m ás se hace necesario un m étodo iterativo para obtener los valores de los par ámetros).

Sin embargo, s´ı que es posible dar una expresi ´on para la varianza de las perturbaciones. Derivando parcialmente con respecto a

σ

² e igualando a 0, obtenemos:

− T 2

1 ˆ

σ

²

+ 1

2(ˆ σ

²

)

²

SCR(β) = 0.

Despejando:

σ ˆ

²

= SCR(β)

T .

(29)

Algoritmos de b ´ usqueda

Contenidos

En la presente secci ón veremos los procedimientos num éricos que ser án utiliza- dos para resolver las ecuaciones normales obtenidas que no pueden ser resueltas de forma directa mediante procedimientos algebraicos.

Dado el modelo:

y

_t

= f (X

_t

, β) + ǫ

_t

,

la suma de cuadrados de los residuos vendr ´a dada por la expresi ´on:

SCR(β) =

X

T

t=1

(y

_t

− f (X

_t

, β))

²

,

siendo la condici ón necesaria de m´ınimo para esta funci ón la dada por la ecuaci ón normal:

X

T

t=1

(y

_t

− f (X

_t

, β)) · ∂f (X

_t

, β)

∂β = 0.

Veremos a continuaci ´on dos m ´etodos para resolver este tipo de ecuaciones.

(30)

Algoritmo de Newton-Raphson

Contenidos

Este algoritmo se basa en minimizar la suma de cuadrados de los residuos.

En primer lugar se toma como aproximaci ´on a dicha suma el desarrollo del poli- nomio de Taylor de segundo orden en un entorno del valor inicial

β b

₀^:

SCR(β) ≃ SCR( b β

₀

) +

∂SCR(β)

∂β

β= bβ⁰

(β − b β

₀

)

+ 1

2 (β − b β

₀

)

^′

∂

²

SCR(β)

∂β∂β

^′

β= bβ⁰

(β − b β

₀

),

Derivando respecto

β

^:

∂SCR(β)

∂β ≃

∂SCR(β)

∂β

β= bβ⁰

+

∂

²

SCR(β)

∂β∂β

^′

β= bβ⁰

(β − b β

₀

).

Igualando a cero la primera derivada:

∂SCR(β)

∂β

β= bβ⁰

+

∂

²

SCR(β)

∂β∂β

^′

β= bβ⁰

(β − b β

₀

) = 0,

(31)

Algoritmo de Newton-Raphson

Contenidos

y despejando

β

^:

β = b β

₀

−

∂

²

SCR(β)

∂β∂β

^′

⁻¹

β= bβ⁰

∂SCR(β)

∂β

β= bβ⁰

.

Siempre que exista dicha inversa, a partir de la expresi ´on anterior se puede plantear el siguiente procedimiento iterativo:

β b

_n+1

= b β

_n

−

∂

²

SCR(β)

∂β∂β

^′

⁻¹

β= bβⁿ

∂SCR(β)

∂β

β= bβⁿ

.

Este procedimiento se repite hasta que converja, es decir, has ta que exista

h

^tal

que

β b

_h+1

= b β

_h. En tal caso se tendr´ıa entonces que

∂SCR(β)

∂β

β= bβh

= 0,

de donde se deduce que

β b

_h ^{minimiza a}

SCR(β)

^.

(32)

Algoritmo de Newton-Raphson: ejemplo

Contenidos

Dado el modelo

y

_t

= x

^β_t

+ ǫ

_t^,

t = 1, . . . , T

, obtener la estimaci ´on iterativa proporcionada por el algoritmo de Newton–Raphson.

En este caso

SCR(β) = P

T t=1

y

_t

− x

^β_t

2

, por lo que:

∂SCR(β)

∂β = −2

X

T

t=1

y

_t

− x

^β_t

x

^β_t

ln x

_t

,

∂

²

SCR(β)

∂β

²

= ∂

∂β −2 X

T

t=1

y

_t

− x

^β_t

x

^β_t

ln x

_t

!

= ∂

∂β −2 X

T

t=1

y

_t

x

^β_t

ln x

_t

+ 2 X

T

t=1

x

^2β_t

ln x

_t

!

= −2 X

T

t=1

y

_t

x

^β_t

(ln x

_t

)

²

+ 4 X

T

t=1

x

^2β_t

(ln x

_t

)

²

.

Donde se ha usado que

∂

∂β x

^β_t

= x

^β_t

ln x

_t^.

(33)

Algoritmo de Newton-Raphson: Ejemplo

Contenidos

Por tanto:

β

_n+1

= β

_n

+

P

T t=1

y

_t

x

^β_tⁿ

ln x

_t

− P

T t=1

x

^2β_t ⁿ

ln x

_t

P

T

t=1

y

_t

x

^β_tⁿ

(ln x

_t

)

²

− 2 P

T t=1

x

^2β_t ⁿ

(ln x

_t

)

²

.

Para el valor inicial

β

₀

= 0

, la primera iteraci ´on corresponde a:

β

₁

=

P

T t=1

y

_t

ln x

_t

− P

T t=1

ln x

_t

P

T

t=1

y

_t

(ln x

_t

)

²

− 2 P

T t=1

(ln x

_t

)

²

=

P

T t=1

(y

_t

− 1) ln x

_t

P

T

t=1

(y

_t

− 2)(ln x

_t

)

²

.

(34)

Algoritmo de Gauss-Newton

Contenidos

Partiendo de la aproximaci ´on lineal del desarrollo en serie de Taylor para la funci ´on no lineal

f

en un entorno del punto

β ˆ

₀ se obtiene:

f (X

_t

, β) = f (X

_t

, ˆ β

₀

) +

∂f (X

_t

, β)

∂β

β= ˆβ⁰

(β − ˆ β

₀

).

La expresi ´on iterativa correspondiente al algoritmo de Gauss-Newton es:

βˆ_n+1 = ˆβn +

T

X

t=1

∂f (Xt, β)

∂β

∂f (Xt, β)

∂β

_′!−1

β= ˆβn

T

X

t=1

∂f (Xt, β)

∂β

β= ˆβn

ˆǫt,

donde

ˆ ǫ

_t

= y

_t

− f (X

_t

, ˆ β

_n

)

es el residuo obtenido en la estimaci ´on realizada.

Esta expresi ón es similar al de algoritmo de Newton-Raphson, con la ventaja a ñadida que la matriz a invertir es sim étrica y definida positiva.

(35)

Algoritmo de Gauss-Newton: ejemplo

Contenidos

Dado el modelo no lineal

y

_t

= x

^β_t

+ ǫ

_t se tiene que:

f (X

_t

, β) = x

^β_t

⇒ ∂f (X

_t

, β)

∂β = x

^β_t

ln x

_t

.

En tal caso es claro que:

β ˆ

_n+1

= ˆ β

_n

+ P

T t=1

x

^β_tⁿ

ln x

_t

(y

_t

− x

^β_tⁿ

) P

T

t=1

x

^2β_t ⁿ

(ln x

_t

)

²

.

Para el valor inicial

β ˆ

₀

= 0

, la primera iteraci ´on del algoritmo de Gauss–Newton corresponde a:

β ˆ

₁

= P

T t=1

(y

_t

− 1) ln x

_t

P

T

t=1

(ln x

_t

)

²

.

(36)

Criterios de finalizaci ´ on del algoritmo

Contenidos

Estos m ´etodos iterativos no siempre son convergentes. Por ello, se requiere es- tablecer a priori unos criterios que permitan finalizar el proceso iterativo cuando no se alcanza dicha convergencia. Estos criterios son:

1. Los valores de los par ´ametros se estabilizan.

2. El valor de la funci ´on objetivo se estabiliza.

3. El vector gradiente est ´a pr ´oximo a cero.

4. Se alcanz ó el n úmero m áximo de iteraciones.

5. Se alcanz ó el l´ımite m áximo de tiempo de c álculo.

(37)

Contraste de restricciones sobre los par ´ametros

Contenidos

RSG Modelos no lineales – 37 / 38

Supongamos que queremos plantear cualquier hip ótesis que implique una combi- naci ón de los p ár ámetros del modelo de regresi ón. El sistema de restricciones se puede expresar como:

R

_q×k

β = r

_q×1

, q ≤ k.

El modelo sobre el que se imponen las restricciones se denomina “modelo restringido” y el modelo sobre el que no se imponen las restricciones se llama

“modelo sin restricciones”.

Contraste F:

F = (e

^′_r

e

_r

− e

^′

e )/q

e

^′

e /(n − k) ∼ F

_q,n−k

,

donde

e

^′_r

e

_r es la SCR del modelo restringido;

e

^′

e

es la SCR del modelo sin restringir y

q

es el n ´umero de restricciones.

Contraste de raz ´on de verosimilitudes:

−2(ln L

_R

− ln L) = n ln

σ ˆ

²

ˆ σ

_R²

∼ χ

²_q

,

donde y son la funciones de verosimilitud evaluadas para el estimador

(38)

Contraste de restricciones sobre los par ´ametros

Contenidos

Contraste de Wald:

W = (Rβ − r)

^′

"

∂R( ˆ β)

∂ ˆ β

! ˆ

σ

²

(X

^′

X)

⁻¹

∂R( ˆ β)

∂ ˆ β

!

^′

#

⁻¹

(Rβ − r) ∼ χ

²_q

.

Esta expresi ´on no requiere estimar el modelo con y sin restricciones.