14408911121

(1)

Clase 2: Programaci´

on din´

amica

Matem´atica avanzada para macroeconom´ıa

Hamilton Galindo

Junio - Agosto 2015

(2)

Contenido

1 Problema de optimizaci´on din´amica

2 Programación dinámica: panorama Función valor

Ecuaci´on de Bellman Problema funcional Del PS al PF

3 Programación dinámica: detalles Principio de optimalidad Método para solucionar el PF

(3)

2 Programaci´on din´amica: panorama

Funci´on valor Ecuaci´on de Bellman Problema funcional Del PS al PF

3 Programaci´on din´amica: detalles

Principio de optimalidad M´etodo para solucionar el PF

(4)

¿Qu´e tipo de problema queremos resolver? I

Queremos resolver un problema de “optimizaci´on din´amica”, al cual lla-maremosProblema Secuencial (PS):

Problema secuencial (PS) sup {ut} ∞ X t=0 βtr (xt, ut) (1) s.a : xt+1 = g (xt, ut) ut ∈ Γ(xt), t = 0, 1, 2, ... x0 ∈ X dado Donde:

1 _r(x_t_{, u}_t_{) :} _funci´_{on de retorno (instant´}_aneo) r (xt, ut) : Xx Rm→ R

(5)

¿Qu´e tipo de problema queremos resolver? II

2 _{β :}_{factor de descuento, β ∈ [0, ∞)} 3 x_t:vector de variables de estado (x_t∈ Rn) 4 u_t:vector de variables de control (u_t∈ Rm)

5 _g(x_t_{, u}_t_{) :}_funci´_{on que describe la evoluci´}_{on de la variables de estado} (funci´on de transici´on o ley de movimiento):

g (xt, ut) : Xx Rm→ X

6 _Γ(x_t_{) :}_{es una correspondencia que describe las posibilidades de la} variable de control cuando la econom´ıa se encuentra en el estado “xt”.

Γ : X ⇒ Rm

7 X :es el espacio de los valores que puede tomar la variable de estado (X ⊂ Rn₎

(6)

Ejemplo: crecimiento ´optimo (Brock y Mirman, 1972) I

El modelo básico de crecimiento está descrito por el siguiente problema (en términos generales):

Max {ct,kt+1}∞t=0 ∞ X t=0 βtlnct s.a: kt+1= (1 − δ)kt+ it ct+ it = f (kt) ct, kt ≥ 0∀t

A este problema lo llamamosproblema secuencial(PS). Considerando las siguientes forma funcionales u(ct)lnct, f (kt) = ktα , y supuestos α ∈ (0, 1), δ = 1 y k0dado se tiene:

(7)

Ejemplo: crecimiento ´optimo (Brock y Mirman, 1972) II

Problema secuencial: Brock y Mirman (1972)

Max {ct,kt+1}∞t=0 ∞ X t=0 βtlnct s.a: kt+1= ktα− ct ct, kt≥ 0

(8)

Formas de resolver un problema de optimizaci´on din´amica

Tres formas de resolver este tipo de problemas: 1 Método de apróximaciones sucesivas 2 Programación dinámica

Es el estudio de problemas de optimización dinámica a través del análisis de ecuaciones funcionales.

(9)

(10)

Funci´on valor

Bellman (1974) indica que el PS tiene una propiedad recursiva. Esto per-mite transformar el PS en unProblema Funcional (PF).

Funci´on valor

1 _{Se define una “funci´}_{on valor V (x}₀_{)” que indica el valor m´}_{aximo de} la funci´on objetivo para cada x0> 0.

V (x0) = max {ut} ∞ X t=0 βtr (xt, ut) (2)

2 Por ejemplo: en t = 1 se tiene x₁ V (x1) = max {ut} ∞ X t=1 βt−1r (xt, ut) (3)

(11)

Ecuaci´on de Bellman

Ecuaci´on de Bellman I

Bellman (1974) transformó la función objetivo del PS en una ecuación funcional: V (x0) = max {ut} ∞ X t=0 βtr (xt, ut) = max {ut} r (x0, u0) + βr (x1, u1) + β2r (x2, u2)... = max {ut} r (x0, u0) + βr (x1, u1) + β2r (x2, u2)... | {z } V (x1) V (x0) = max {ut} r (x0, u0) + βV (x1)

(12)

Ecuaci´on de Bellman II

A esta última ecuación se le conoce como ecuación de Bellman. Es-ta ecuación es una ecuación funcional; es decir, es una ecuación cuya solución es una función (función valor).

(13)

Problema funcional

Problema funcional I

Al reemplazar la ecuaci´on de Bellman en el PS se obtiene el PF (para t): Problema funcional V (xt) = max {ut} r (x0, u0) + βV (g (xt, ut)) (4) s.a : ut ∈ Γ(xt), t = 0, 1, 2, ... x0 ∈ X dado

1 El problema de infinitos periodos (PS) se ha convertido en un proble-ma de dos periodos.

2 Se est´a utilizando (explotando) la recursividad del PS.

3 _{Ahora el problema consiste en encontrar la funci´}_{on que resuelve el PF;} es decir, la funci´on valor.

(14)

Del PS al PF

Proceso de transformaci´on del PS al PF

Problema Secuencial (PS)

Problema

Funcional (PF) Problema punto fijo

Solución Solución PF Solución PS (valor supremo) Teorema de Equivalencia Se transforma Se transforma 2 1 3 4 5 6

Por el teorema del punto fijo para

contracciones

Encontrar el punto fijo del operador T en Ca(X):

T[V](x) = V(x) Se encuentra la función valor (V) Se encuentra la función de política: h(x) Se encuentra el plan óptimo: {(xt, ut)}

Resolviendo paso a paso el problema de maximización del PF Es…

(15)

Del PS al PF

Principales hip´otesis, proposiciones y teoremas

T3 (teorema de diferenciabilidad de la función valor) Teorema de Benveniste-Scheinkman Teoremas Proposiciones Hipótesis P1: ῦ resuelve el PF P2: ῦ resuelve el PS P3: din. fac. en el PF P4: din. fac. en el PS T1 (teorema de equivalencia) Principio de optimalidad H1 al H3

T2 (punto fijo para contracciones) H4 y H5

H4 al H7 P5: estrictamente función valor monótona H4, H5 y H7 al H10 P6: estrictamente función valor

cóncava H4, H5 y H7 al H12 Función objetivo Supremo Monotonicidad Concavidad Diferenciabilidad 3 propiedades de la función valor PS PF

(16)

(17)

Principio de optimalidad

(18)

Principio de optimalidad I

Bellman (1974) propuso un principio el cual permit´ıa encontrar una relaci´on entre la soluci´on del PS y el PF. A este principio se le conoce como el “Principio de optimalidad”.

Teorema 1 (Principio de optimalidad)

La soluci´on V del PF, evaluado en x0, brinda el valor del supremo en el PS cuando el estado inicial es x0. Adem´as, una secuencia {ut}∞t=0 alcanza el supremo si y solo si esta secuencia satisface [5]:

V (xt) = r (xt, ut) + βV (xt+1) (5) La pregunta que surge es:¿Bajo qu´e condiciones el principio de optimalidad se mantiene?

(19)

¿Bajo qu´e condiciones el principio de optimalidad se mantiene? I

Cuatro proposiciones juntas establecen condiciones bajo las cuales la so-luci´on del PS y del PF coinciden exactamente, y que la pol´ıticas ´optimas son aquellas que satifacen [5]:

1 Proposición 1: establece que la función del supremo eV para el PS satisface el PF (del PS al PF). No obstante, la ecuación funcional (además de eV ) puede tener otras soluciones.

2 _Proposici´_{on 2:}_{establece lo inverso de manera parcial (del PF al PS).} Es parcial porque se impone una condición de acotamiento. Esta pro-posición impide que la ecuación funcional tenga otras soluciones por-que no cumplen la condición de transversalidad fuerte. La única solu-ción que cumple dicha condición es eV .

3 Proposici´on 3:Muestra que si {u_t}∞

t=0 es una secuencia que alcanza el supremo en el PS, entonces este satisface [5] para:

V |{z} sol. del PF = Ve |{z} sol. del PS

(20)

¿Bajo qu´e condiciones el principio de optimalidad se mantiene? II

4 Proposici´on 4:Establece que cualquier secuencia {u_t}∞

t=0que satisface [5] para V = eV y que también satisface una condición de acotamiento, entonces también alcanza el supremo en el PS.

(21)

Principio de optimalidad Definiciones

Antes de ver las hip´otesis que sustentan las cuatro proposiciones es impor-tante mencionar algunas definiciones:

1 Din´amica factible desde x₀: es una sucesi´on de estados y controles {(xt, ut)}∞t=0 en Xx Rm para el PS si: ut ∈ Γ(xt) y xt+1 = g (xt, ut) para todo t = 0, 1, 2...

2 _Π(x₀_):_{conjunto de todas las din´}_{amicas factibles desde x}₀_. Π(x0) :

{(xt, ut)}∞t=0 tal que ut ∈ Γ(xt), ∀t = 0, 1, 2...

3 Plan factible desde x₀:es una sucesi´on de controles {(u_t)}∞ t=0 4 _{Plan ´}_{optimo desde x}₀_: _{es un plan factible {(u}∗

t)}∞t=0 que permite al-canzar el supremo del PS.

5 Cabe mencionar que un plan factible determina un´ıvocamente una dinámica factible. Por tanto, un plan óptimo {(ut)}∞t=0 determina una dinámica óptima {(x_t∗, u_t∗)}∞_t=0.

(22)

Hip´otesis que sustentan las proposiciones I

Las cuatro proposiciones anteriores están basadas en tres hipótesis: Hipótesis 1: Γ(x )

Γ(x ) 6= φ para todo x ∈ X .

La hip´otesis 1 asegura que Π(x0) (conjunto de din´amicas factibles desde x0) no sea vac´ıo ∀x0 ∈ X . Esto indica que todos los planes factibles pueden ser evaluados usando r (x , u) y β.

En el PS,P∞ t=0β

t_{r (x}

t, ut)podr´ıa tomar tres valores: un número finito, +∞ o −∞. Deseamos que esta función objetivo esté acotada: es decir que la sumatoria infinita tenga un valor finito.

La hip´otesis 2 elimina la posibilidad que P∞ t=0β

t_{r (x}

t, ut) sea +∞. Para ello se restringe el conjunto de din´amicas factibles de tal forma que dicha sumatoria est´e acotada (superiormente).

(23)

Hip´otesis que sustentan las proposiciones II

Hip´otesis 2: funci´on objetivo Para todo x0∈ X , ∃Mx0 ∈ R, tal que

P∞ t=0β

t_{r (x}

t, ut) ≤ Mx0 para toda

din´amica factible {(xt, ut)}t=0,1,2... desde x0.

No obstante, la función objetivo (suma infinita) aún puede tomar, para ciertas dinámicas factibles, el valor de −∞. Lahipótesis 3busca acotar dicha dinámicas.

Hip´otesis 3: funci´on objetivo

Para todo x0∈ X , ∃ una din´amica factible {(xt, ut)}t=0,1,2... desde x0y un mx0 ∈ R, tal que la sucesi´on de sumas parciales {Sn}t=0,1,2...Sn=

Pn t=0β

t_{r (x}

(24)

Hip´otesis que sustentan las proposiciones III

Por tanto, las hipótesis 2 y 3 tienen como único fin garantizar la existencia de un valor finito para el supremo del PS; es decir, que la función objetivo esté bien definida para cada dinámica factible {(xt, ut)} ∈ Γ(x0).

Seg´un las condiciones anteriores podemos definir la “funci´on supremo” e

V : X → R que sea el valor supremo del PS:

e V (x0) = sup {(xt,ut)}∈Π(x0) ∞ X t=0 βtr (xt, ut) (6)

Donde eV (x0) es el valor supremo del PS. A esta funci´on eV se le llama “funci´on valor”.

(25)

Principio de optimalidad Funci´on supremo

Nota: Por definición, la función supremo eV : X → R es única y satisface tres condiciones (condiderando una función objetivo genérica µ(x )): e V (x0) = sup x ∈Π(x0) µ(x ) 1 _{Si | e}_{V (x}₀_{)| < ∞, entonces:} e V (x0) ≥ µ(x ), ∀(para todo) x ∈ Π(x0)

Para cualquier > 0: eV (x0) ≤ µ(x ) + , para alg´un x ∈ Π(x0)

2 _{Si | e}_{V (x}₀_{)| = +∞, entonces existe una secuencia {x}k_{} en Π(x}₀_{) tal}

que:

Lim

k→∞µ(x

k

) = +∞

(26)

Las 4 proposiciones que sutentan el principio de optimalidad I

Proposici´on 1 (del PS al PF)

Bajo las hip´otesis 1, 2 y 3, eV resuelve el PF.

Demostraci´on (proposici´on 1):

La estrategia de demostración tiene dos pasos: el primero es encontrar la relación entre la función supremo eV y la ecuación funcional para dos valores iniciales distintos x1y x0. El segundo consiste en unir el resultado del paso 1 para x1y x0.

1 Evaluando en x₁:Sea > 0, u₀∈ Γ(x₀) y x₁= g (x₀, u₀)

Como eV (x1) es el valor supremo del PS con valor inicial x1(t = 1),

entonces ∃ una din´amica factible desde x1, {(x1, u1), (x2, u2), ...} tal

que (por la propiedad del supremo):

∞

X

t=1

(27)

Las 4 proposiciones que sutentan el principio de optimalidad II

Se sabe que {(x0, u0), (x1, u1), ...} ∈ Π(x0) y que por la propiedad del

supremo: e V (x0) ≥ ∞ X t=0 βtr (xt, ut) ≥ r (x0, u0) + β ∞ X t=1 βt−1r (xt, ut) ≥ r (x0, u0) + β eV (x1) − β e V (x0) ≥ r (x0, u0) + β eV (g (x0, u0)) − β

Para pasar de la segunda a la tercera l´ınea se utiliza laecuación [7]. Como laúltima ecuaciónes verdad para todo > 0 y u0es cualquier

elemento de Γ(x0), entonces tenemos que:

e

(28)

Las 4 proposiciones que sutentan el principio de optimalidad III

Como la ecuaci´on anterior se cumple para todo u0, entonces:

e V (x0) ≥ sup u0∈Γ(x0) r (x0, u0) + β eV (g (x0, u0))

Generalizando para todo “t”:

e V (x ) ≥ sup u∈Γ(x ) r (x , u) + β eV (g (x , u)) (8)

2 _{Evaluando en x}₀_:_{Sea > 0, entonces por definici´}_{on del supremo, ∃} una din´amica factible desde x0{(x0, u0), (x1, u1), ...} tal que:

e V (x0) ≤ ∞ X t=0 βtr (xt, ut) + e V (x0) ≤ r (x0, u0) + β eV (x1) +

(29)

Las 4 proposiciones que sutentan el principio de optimalidad IV

Como es arbitrario, entonces:

e V (x0) ≤ r (x0, u0) + β eV (g (x0, u0)) e V (x0) ≤ sup u0∈Γ(x0) r (x0, u0) + β eV (g (x0, u0))

Generalizando para todo “t”:

e V (x ) ≤ sup u∈Γ(x ) r (x , u) + β eV (g (x , u)) (9)

3 Uniendo resultados:uniendo las dos ecuaciones [8] y [9] se tiene:

sup u∈Γ(x ) r (x , u)+β eV (g (x , u)) ≤ eV (x ) ≤ sup u∈Γ(x ) r (x , u)+β eV (g (x , u))

(30)

Las 4 proposiciones que sutentan el principio de optimalidad V

4 _{Por tanto:} e V (x ) = sup u∈Γ(x ) r (x , u) + β eV (g (x , u)) (10)

Lo cual indica que la función supremo (o función valor) es una solución de la ecuación funcional (PF).

5 La proposición 1 indica que eV es una solución del PF, pero no in-dica que sea la única. Con el fin de asegurar que esta sea la única solución del PF se impone una restricción adicional: “condición de transversalidad fuerte”. La proposición 2asegura lo anterior.

(31)

Proposici´on 2 (del PF al PS)

Según las hipótesis 1, 2 y 3, V resuelve el PF, y si además se cumple la condición de transversalidad fuerte:

Lim

t→∞β

t

V (xt) = 0

para todo x0∈ X y din´amica factible {(xt, ut)} desde x0, entonces e

V = V (es decir, V resuelve el PS).

En este caso hay que demostrar que V es la función supremo eV . La estrategia de demostración tiene dos pasos: el primero es demostrar que para toda dinámica factible desde x0se cumple que V (x0) ≥

P∞

t=0βtr (xt, ut). El segundo es demostrar

que para todo > 0, ∃ una din´amica factible {(xt, ut)} desde x0 de modo que:

V (x0) ≤P∞t=0βtr (xt, ut) + . Ambos pasos aseguran que V es la funci´on supremo

(32)

1 _{Paso 1a:} _{Como V es soluci´}_{on del PF, entonces ∀ din´}_{amica factible} {(xt, ut)} ∈ Π(x0) tenemos:

V (x0) ≥ r (x0, u0) + βV (x1)(por propiedad del supremo)

V (x1) ≥ r (x1, u1) + βV (x2)(para x1)

r (x0, u0)+βV (x1) ≥ r (x0, u0)+βr (x1, u1) +ββV (x2)

por transitividad en la 1era inecuaci´on:

V (x0) ≥ r (x0, u0) + βr (x1, u1) + β2V (x2) V (x0) ≥

1 X t=0

βtr (xt, ut) + β2V (x2)(en forma compacta) Por inducci´on (k pasos):

V (x0) ≥ k X t=0

(33)

2 Paso 1b: Haciendo k → ∞ y usando la condici´on de transversalidad fuerte: V (x0) ≥ Lim k→∞ k X t=0 βtr (xt, ut) + βk+1V (xk+1) V (x0) ≥ Lim k→∞ k X t=0 βtr (xt, ut) + Lim k→∞ βk+1V (xk+1)

por condici´on de transversalidad fuerte:

V (x0) ≥ ∞ X t=0 βtr (xt, ut) +0 V (x0) ≥ ∞ X t=0 βtr (xt, ut) (12)

(34)

3 Paso 2a: Sea > 0 y {δ_t}_t=0,1,2... una sucesi´on de n´umeros reales positivos, tal que:

∞ X t=0

δtβt ≤ (13)

4 Paso 2b:Como V resuelve el PF, entonces ∃u₀∈ Γ(x₀) de modo que:

(por propiedad del supremo)

V (x0) ≤ r (x0, u0) + βV (x1) + δ0 tambi´en existe u1 ∈ Γ(x1) tal que:

V (x1) ≤ r (x1, u1) + βV (x2) + δ1

r (x0, u0)+βV (x1) ≤ r (x0, u0)+βr (x1, u1) +ββV (x2) +βδ1 por transitividad en la 1era inecuaci´on:

V (x0) ≤ r (x0, u0) + βr (x1, u1) + β2V (x2) + βδ1 (en forma compacta)

V (x0) ≤ 1 X t=0 βtr (xt, ut) + β2V (x2) + 1 X t=1 βtδt

(35)

5 _{Paso 2c:}_{Por inducci´}_{on (k pasos):}

V (x0) ≤ k X t=0 βtr (xt, ut) + βk+1V (xk+1) + k X t=1 βtδt

6 _{Paso 2d:}_{Haciendo k → ∞ y usando la expresi´}_{on [13]:}

V (x0) ≤ Lim k→∞ k X t=0 βtr (xt, ut) + βk+1V (xk+1) + k X t=1 βtδt V (x0) ≤ Lim k→∞ k X t=0 βt_{r (x} t, ut) + Lim k→∞ βk+1_{V (x} k+1) + Lim k→∞ k X t=1 βt_δ t

por condici´on de transversalidad fuerte y [13]:

V (x0) ≤ ∞ X t=0 βtr (xt, ut) +0+ V (x0) ≤ ∞ X t=0 βtr (xt, ut) + (14)

(36)

Las 4 proposiciones que sutentan el principio de optimalidad VI

7 De las inecuaciones [12] y [14] se concluye que V es la funci´on supremo (funci´on valor).

8 El PF puede tener muchas soluciones, pero la proposición 2muestra que dichas soluciones (excepto eV ) violan la condición de transversa-lidad fuerte y la única que satisface dicha condición es eV . Por tanto V = eV

(37)

Proposici´on 3 (din´amica factible del PS al PF)

Bajo las hip´otesis 1,2 y 3: sea {(xt∗, ut∗)} una din´amica factible

desde x0∗ que permite alcanzar el supremo del PS, entonces dicha

din´amica factible cumple con [5]:

e V (xt∗) = r (x ∗ t, u ∗ t) + β eV (x ∗ t+1) (15)

Es decir, permite alcanzar el supremo en el PF.

Demostración (proposición 3):La estrategia de demostración tiene dos pasos: primero demostramos que la ecuación [15] se cumple para t = 0. El segundo es extender este resultado para todo t = 1, 2, 3 (por inducción).

(38)

Las 4 proposiciones que sutentan el principio de optimalidad II 1 Paso 1a: debido a que {(x∗

t, u∗t)} es una din´amica factible desde x0∗ que permite alcanzar el supremo del PS, entonces se cumple:

e V (x₀∗) = ∞ X t=0 βtr (x_t∗, u_t∗) ∞ X t=0 βtr (x_t∗, u∗_t) = r (x₀∗, u₀∗) + β ∞ X t=0 βtr (x_t+1∗ , u_t+1∗ ) (16)

2 _{Paso 1b:}_{para toda din´}_{amica factible {(x}∗

1, u1), (x2, u2), (x3, u3), ...} ∈ Π(x₁∗), por la definici´on del supremo se cumple:

∞ X t=0 βtr (x_t∗, u∗_t) ≥ r (x₀∗, u∗₀) + β ∞ X t=0 βtr (xt+1, ut+1) (17)

Por tanto, de la expresi´on [16] y [17] se tiene que: ∞ X t=0 βtr (x_t+1∗ , u∗_t+1) ≥ ∞ X t=0 βtr (xt+1, ut+1) (18)

(39)

3 _{Paso 1c:}_adem´_{as, como la din´}_{amica factible {(x}∗

1, u∗1), (x2∗, u2∗), (x3∗, u3∗), ...} ∈ Π(x₁∗), entonces se cumple queP∞

t=0β t_{r (x}∗

t+1, ut+1∗ ) tiene que ser el valor supremo con valor inicial en x1∗:

e V (x₁∗) = ∞ X t=0 βtr (x_t+1∗ , u_t+1∗ ) (19)

4 Paso 1d:reemplazando la expresi´on [19] en [16] se tiene: e

V (x₀∗) = r (x₀∗, u∗₀) + β eV (x₁∗) (20) 5 Paso 2a: se prob´o que:

e V (x0∗) = r (x0∗, u0∗) + β eV (x1∗) e V (x₁∗) = ∞ X t=0 βtr (x_t+1∗ , u∗_t+1)

(40)

6 _{Paso 2b:}_{se propone una hip´}_{otesis inductiva:} e

V (xk∗) = r (xk∗, uk∗) + β eV (xk+1∗ ) (21) Donde eV (x_k∗_{)∀k ∈ N se define como:}

e V (x_k∗) = ∞ X t=0 βtr (x_t+k∗ , u_t+k∗ ) (22)

Si la hip´otesis (ecuaci´on [21]) se cumple para “k + 1”, entonces la hipotesis es verdadera.

(41)

7 Paso 2c:verificando para “k + 1”:

de [21] y de [22] r (x_k∗, u_k∗) + β eV (x_k+1∗ ) = V (xe _k∗) = ∞ X t=0 βtr (x_t+k∗ , u∗_t+k) r (x_k∗, u_k∗) + β eV (x_k+1∗ ) = r (x_k∗, u∗_k) + β ∞ X t=0 βtr (x_t+(k+1)∗ , u∗_t+(k+1)) e V (xk+1∗ ) = ∞ X t=0 βtr (x_t+(k+1)∗ , u_t+(k+1)∗ ) e V (xk+1∗ ) = r (x ∗ k+1, u ∗ k+1) + β ∞ X t=0 βtr (x_t+(k+2)∗ , u∗_t+(k+2)) e V (xk+1∗ ) = r (x ∗ k+1, u ∗ k+1) + βV (xe _k+2∗ ) (23)

Por tanto la hip´otesis inductiva es verdadera y generalizable para todo “t=0, 1, 2, ...”

(42)

Proposición 4 (dinámica factible del PF al PS) Bajo las hipótesis 1,2 y 3: si {(xt∗, u

∗

t)} una din´amica factible desde

x0∗ que satisface [15] y se cumple la condici´on de transversalidad

débil: Lim t→∞β t V (xt) ≤ 0, entonces {(xt∗, ut∗)} resuelve el PS. Demostración (proposición 4):

La estrategia es la siguiente: que {(x∗

t, u∗t)} resuelve el PS significa que permite

al-canzar el supremo: eV (x0) = sup {ut}

P∞

t=0βtr (xt, ut) . Es decir,V (xe ₀∗) = P∞

t=0βtr (xt∗, u∗t).

Esto ´ultimo es lo que tenemos que demostrar.

1 Paso 1:Como {(x∗

t, ut∗)} es una din´amica factible desde x0, entonces:

e V (x₀∗) ≥ ∞ X t=0 βtr (x_t∗, u_t∗) (24)

(43)

2 Paso 2: Adem´as, {(x∗

t, ut∗)} satisface [15]; es decir, permite alcanzar el supremo en el PF: e V (x_t∗) = r (x_t∗, u_t∗) + β eV (x_t+1∗ ) ∀t = 0, 1, 2, ... : e V (x0∗) = r (x0∗, u0∗) + β eV (x1∗) e V (x₁∗) = r (x₁∗, u₁∗) + β eV (x₂∗) e V (x₂∗) = r (x₂∗, u₂∗) + β eV (x₃∗) ... e V (x_k∗) = r (x_k∗, u_k∗) + β eV (x_k+1∗ )

(44)

3 Paso 3: reemplazando eV (x∗ 2) en eV (x1∗): e V (x2∗) = r (x2∗, u∗2) + β eV (x3∗) e V (x₁∗) = r (x₁∗, u∗₁) + β r (x₂∗, u₂∗) + β eV (x₃∗) reemplazando eV (x_{1 ) en}∗ V (xe ∗ 0 ): e V (x₀∗) = r (x₀∗, u∗₀) + β r (x₁∗, u₁∗) + βr (x₂∗, u₂∗) + β2V (xe ₃∗) de forma compacta: e V (x₀∗) = 2 X t=0 βtr (x_t∗, u_t∗) + β3V (xe ₃∗)

por inducci´on (k pasos):

e V (x₀∗) = k X t=0 βtr (x_t∗, u_t∗) + βk+1V (xe _k+1∗ ) (25)

(45)

4 Paso 4: tomando k → ∞ en la ecuci´on [25]:

e V (x0∗) = Lim k→∞ k X t=0 βtr (xt∗, ut∗) + β k+1 e V (xk+1∗ ) e V (x₀∗) = ∞ X t=0 βtr (x_t∗, u∗_t) + Lim k→∞ βk+1V (xe _k+1∗ )

por condici´on de transversalidad d´ebil: Lim

t→∞β t V (xt ) ≤ 0 e V (x0∗) ≤ ∞ X t=0 βtr (xt∗, u∗t) (26)

(46)

5 _{Paso 5:} _{de la inecuaci´}_{on [24] y [26] se tiene:} ∞ X t=0 βtr (x_t∗, u∗_t) ≤ eV (x₀∗) ≤ ∞ X t=0 βtr (x_t∗, u∗_t) (27) Por tanto: e V (x0∗) = ∞ X t=0 βtr (xt∗, ut∗) (28)

Lo cual indica que la din´amica factible {(x_t∗, u∗_t)} resuelve el PS. Conclusi´on

Las proposiciones 1 al 4 implican que (bajo las hipótesis 1, 2 y 3) la solución a la ecuación [5]: V (xt) = r (xt, ut) + βV (xt+1) (PF) coincide exactamente (en términos de valores y planes óptimos) con la solución del PS. Es decir, el principio de optimalidad se mantiene.

(47)

M´etodo para solucionar el PF

(48)

M´etodo para solucionar el PF I

1 _{Hasta aqu´ı se ha estudiado la relaci´}_{on entre el PS y el PF, pero no se} ha dado ning´un m´etodo para solucionar el PF.

2 Lo interesante de la programación dinámica es que ofrece varios m´ eto-dos de solución del PF: métodos teóricos y numéricos.

3 _{El principal m´}_{etodo es considerar al PF como un}_{problema de punto} fijo (PptoFijo). Para ello necesitamos dos hip´otesis adicionales: sobre la correspondencia Γ(x ) y la funci´on de retorno r (x , u).

(49)

Hip´otesis que permiten considerar el PF como un PptoFijo I

Hip´otesis 4: Γ(x )

Γ : X ⇒ X es una correspondencia de valores compactos (i.e. Γ(x) es compacto para todo x), continua y Γ(x ) 6= φ para todo x.

Hip´otesis 5: β y r (x , u)

β ∈ (0, 1) y r (xt, ut) es acotada y continua sobre el grafo de Γ. Donde:

Grafo de Γ :(x, u) ∈ XxRm tal que u ∈ Γ(x )

Lashipótesis 4 y 5implican lashipótesis 1, 2 y 3. Por tanto, las pro-posiciones 1 al 4 se mantienen, y por ende el principio de optimalidad. Por la hipótesis 5, eV (y por lo tanto “V” por el principio de optima-lidad) que es una función real, también es a acotada y continua.

(50)

Hip´otesis que permiten considerar el PF como un PptoFijo II Definamos Ca(X ) :Espacio de las funciones reales, continuas y aco-tadas. Entonces: eV = V ∈ Ca(X ).

Definimos un operadorT: Ca(X ) → Ca(X )del PF:

T [V ](x ) = sup {u}∈Γ(x) r (x , u) + βV (g (x , u)) (29) Del PF sabemos: V (x ) = sup {u}∈Γ(x) r (x , u) + βV (g (x , u)) (30)

De [29] y [30], el PF se convierte en un “Problema de punto fijo (PptoFijo)”:

T [V ](x ) = V (x ) (31)

Donde la función V es el punto fijo. Si encontramos la función V que resuelve [31] (PptoFijo), entonces tendremos la solución del PF y por el principio de optimalidad tendremos la solución del PS.

(51)

Hip´otesis que permiten considerar el PF como un PptoFijo III

Debido a que se tiene la funci´on valor, se puede encontrar el plan ´

optimo:

Forma 1:resolviendo paso a paso el problema del m´aximo que aparece en el PF (i.e. encontrar la funci´on de pol´ıtica). Forma 2:resolviendo el sistema de ecuaciones:

V (xt∗) = r (x ∗ t, u ∗ t) + βV (x ∗ t+1), t = 0, 1, 2, 3...

Necesitamos un teorema que asegure que el operador “T : Ca(X ) → Ca(X )” tiene un ´unico punto fijoy por tanto una soluci´on alPptoFijo. El teorema del punto fijo para contracciones asegura lo anterior.

(52)

Teorema del punto fijo

Teorema 2 (Punto fijo para contracciones)

Bajo las hip´otesis 4 y 5: sea Ca(X ) (espacio de las funciones reales,

continuas y acotadas sobre X) con la norma del supremo k · k,

entonces el operador “T” definido en Ca(X ) es una aplicaci´on de este espacio en s´ı mismo, T: Ca(X ) → Ca(X ) , definido como:

T [V ](x ) = sup r (xt, ut) + βV (g (xt, ut)) (32) sujeto a: ut ∈ Γ(xt), Satisface: 1 _{T [V ] ∈ C}_a_{(X )}

2 _{“T” tiene un ´}_{unico punto fijo “V”: T [V ] = V} 3 _{Para cualquier V}₀∈ C_a_{(X ) se tiene:}

kTn (V0) − V k ≤ βnkV0− V k En particular: Lim n→∞T n (V0) = V

(53)

Teorema del punto fijo

Nota:la norma del supremo k · k est´a definido como:

kf k = sup{|f (x)|} (33)

El teorema del punto fijo ofrece un método de solución del PF: “la convergencia de iteraciones sucesivas de una función contractiva al punto fijo”, la cual consiste en: la sucesión de funciones {Vn}∞n=0 definida como:

Vn= T [Vn−1], n ≥ 1 (34)

converge al punto fijo (V) de la contracci´on T; es decir: Lim

(54)

Teorema del punto fijo: demostraci´on I

Demostraci´on (teorema 2):

1 _{Paso 1:}_{bajo las hip´}_{otesis 4, 5 y 8 se tiene que para cada f ∈ C}_a_{(X ) ∧} x ∈ X el problema del punto de fijo:

T [f ](x ) = max ut∈Γ(X )

r (xt, ut) + βf (ut)

(36)

se reduce a maximizar la funci´on continua: r (xt, ·) + βf (·)

(37) sobre el conjunto compacto Γ(X ). Esto permite alcanzar el m´aximo. Una pregunta que tenemos que responder es: ¿T [f ] es acotada y continua? se sabe que su dominio lo es.

2 Paso 2a: debido a que r (x_t, u_t) y f (u_t) son acotadas, entonces: T [f ], tambi´en es acotada.

(55)

Teorema del punto fijo: demostraci´on II

3 _{Paso 2b:} _{debido a que r (x}_t_{, u}_t_{) y f (u}_t_{) son continuas, y Γ(X ) es} compacto, entonces: por el teorema del m´aximo se tiene que T [f ] es continua.

Por tanto, del paso 2ay 2b se tiene que: T [f ] es continua y acotada, y dado que T fue definido (dominio) en Ca(X ), entonces se obtiene que el operador T [f ] es:

T [f ] : Ca(X ) → Ca(X ) 4 Paso 4: ¿T es una contracci´on?

S´ı. Esto se debe a que el operador T cumple con las condiciones de Blackwell.

5 Paso 5: ¿T tiene un ´unico punto fijo?

S´ı. Debido a que Ca(X ) es un espacio de Banach, entonces por el teorema de la “aplicaci´on contractiva”, T tiene un ´unico punto fijo V ∈ Ca(X ) y se cumple que:

kTn_(V

(56)

Ejemplo 1: modelo de Brock y Mirman (1972) I

El modelo básico de crecimiento está descrito por el siguiente problema (en términos generales):

Max {ct,kt+1}∞t=0 ∞ X t=0 βtlnct s.a: kt+1= (1 − δ)kt+ it ct+ it = f (kt) ct, kt ≥ 0∀t

A este problema lo llamamosproblema secuencial(PS). Considerando las siguientes forma funcionales u(ct)lnct, f (kt) = ktα , y supuestos α ∈ (0, 1), δ = 1 y k0dado se tiene:

(57)

Ejemplo 1: modelo de Brock y Mirman (1972) II

Problema secuencial: Brock y Mirman (1972)

Max {ct,kt+1}∞t=0 ∞ X t=0 βtlnct s.a: kt+1= ktα− ct ct, kt≥ 0 La ecuaci´on funcional (o de Bellman) es:

V (kt) = Max {ct,kt+1}∞t=0

lnct+ βV (kt+1)

Al reemplazar la restricci´on en la ecuaci´on de Bellman kt+1 = ktα− ct, el problema funcional asociado queda descrito de la siguiente manera:

(58)

Ejemplo 1: modelo de Brock y Mirman (1972) III

Problema funcional: Brock y Mirman (1972) V (kt) = Max

{ct}∞t=0

lnct+ βV (ktα− ct)

0 ≤ ct ≤ ktα

Encontrando la funci´on valor

1 _{Para resolver el PF utilizaremos el m´}_{etodo de iteraci´}_{on de la funci´}_on valor (propuesto por el teorema del punto fijo para contracciones), la expresi´on [34]:

Vn= T [Vn−1], n ≥ 1 (38)

(59)

Ejemplo 1: modelo de Brock y Mirman (1972) IV

2 EncontrandoV₁ V1 = T [V0] ↓ = Max {ct}∞t=0 lnct+ β V0(ktα− ct) | {z } =0 = Max {ct}∞t=0 lnct (39)

(a) En esta etapa se aplica la condici´on de primer orden:

∂ funci´on objetivo ∂ct

= 0

No obstante, en este caso, por ser “ln” monótona entonces el valor máximo se alcanza cuando ct = ktα (ver la restricción del PF).

(60)

Ejemplo 1: modelo de Brock y Mirman (1972) V

(b) Reemplazando ct que maximiza la funci´on objetivo en [39] se obtiene

T [V0] y por ende V1: V1 = T [V0] = lnktα V1 = αlnkt (40) 3 EncontrandoV₂ V2 = T [V1] ↓ = Max {ct}∞t=0 lnct+ β V1(ktα− ct) | {z } =αln(kα t−ct) = Max {ct}∞t=0 lnct+ βαln(ktα− ct) (41)

(61)

Ejemplo 1: modelo de Brock y Mirman (1972) VI

(a) En esta etapa se aplica la condici´on de primer orden:

∂ funci´on objetivo ∂ct = 0 ct = ktα 1 + βα (42)

(b) Reemplazando ct que maximiza la funci´on objetivo en [41] se obtiene

T [V1] y por ende V2: V2 = T [V1] = α(1 + βα)lnkt+ βαln βα 1 + βα − ln(1 + βα) V2 = α(1 + βα)lnkt+ βαln βα 1 + βα − ln(1 + βα) (43)

(62)

Ejemplo 1: modelo de Brock y Mirman (1972) VII

4 _{De igual forma podemos hacer para}_V₃_{y luego en forma general vemos} que: Vn(kt) = An+ α n−1 X i =0 (βα)ilnkt (44)

Donde hacemos que n → ∞ por la propiedad [35]: Lim n→∞Vn= V Lim n→∞Vn(kt) = n→∞LimAn+ Limn→∞ α n−1 X i =0 (βα)ilnkt V = A + α ∞ X i =0 (βα)ilnkt V = A + α 1 − βαlnkt (45)

(63)

Ejemplo 1: modelo de Brock y Mirman (1972) VIII

La constante “A” la podemos encontrar reemplazando “V” y la din´amica ´

optima en la ecuaci´on de Bellman. Encontrando la funci´on de pol´ıtica

Dado que ya conocemos la funci´on valor (V ), la cual reemplazamos en la ecuaci´on de Bellman del PF.

1 _{Reemplezando la funci´}_{on valor en el PF:} V (kt) = Max

{ct}∞t=0

lnct+ βln(ktα− ct)

0 ≤ ct≤ ktα

El problema funcional se convierte en un problema de optimizaci´on est´andar (en “t”), a la cual se puede aplicar las condiciones de primer orden.

Aplicando CPO:

∂ funci´on objetivo ∂ct

(64)

Ejemplo 1: modelo de Brock y Mirman (1972) IX

Encontramos lafunci´on de pol´ıtica: ct = h(kt)

ct = (1 − αβ)ktα (46)

2 Encontrando la constante “A”: reemplazando la función valor y la función de pol´ıtica en la ecuación de Bellman (el max desaparece porque la función de pol´ıtica permite alcanzar dicho máximo):

A + α

1 − βαlnkt= ln(h(kt)) + βln(k α

t − h(kt)) Resolviendo e igualando los coeficientes de los t´erminos similares:

A = ₁ 1 − β (ln(1 − αβ) + αβ 1 − αβlnαβ)

(65)

Ejemplo 1: modelo de Brock y Mirman (1972) X

1 _{La din´}_{amica ´}_optima:_{es la sucesi´}_{on {c}_t_{, k}_t}∞

t=0 descrita por este sistema de ecuaciones (con k0dado):

Ec. de evoluci´on de la variable de estado

kt+1 = ktα− (1 − αβ)k α t = αβk α t (47) Funci´on de pol´ıtica ct = (1 − αβ)ktα (48)

(66)

Ejemplo 2: modelo con h´abitos de consumo

Max {ct,kt+1}∞t=0 ∞ X t=0 βt(lnct+ γlnct−1) sujeto a: ct+ kt+1≤ Aktα Donde: β ∈ (0, 1), γ < 0, A > 0 y α ∈ (0, 1). k0y c−1 dado.

1 Escribir la ecuaci´on de Bellman.

2 _{Demuestre que la soluci´}_{on de dicha ecuaci´}_{on tiene la forma:} v (kt, ct−1) = E + Flnkt+ Glnct−1

3 _{Demostrar que la din´}_{amica ´}_{optima del capital tiene la forma:} lnkt+1= I + Hlnkt

Donde E,F,G,H,I son constantes. Dé fórmulas expl´ıcitas para estas constantes en términos de los parámetros del problema.

(67)

M´etodo de c´alculo diferencial para solucionar el PF

(68)

Para aplicar los métodos de cálculo diferencial en la solución de proble-mas de optimización dinámica se requiere que la función valor tenga tres propiedades importante:

1 Monotonicidad: 2 Concavidad: 3 _{Diferenciabilidad:}

(69)

M´etodo de c´alculo diferencial para solucionar el PF Monotonicidad de V (xt)

Hip´otesis 6: r (x , u) y g (x , u) Para cada u ∈ Rm, las funciones:

r (xt, u) : X → R es estrictamente creciente g (xt, u) : X → X es creciente

Hip´otesis 7: Γ(x )

(70)

M´etodo de c´alculo diferencial para solucionar el PF Monotonicidad de V (xt) I

Proposici´on 5 (monotonicidad de V (x ))

Bajo las hip´otesis 4 al 7, entonces la funci´on valor es estrictamente creciente.

La estrategia tiene dos pasos: el primero es demostrar que “T[f]” es una funci´on estrictamente creciente; el segundo paso es considerar el “PptoFijo” y de all´ı derivar que “V” es tambi´en estrictamente creciente.

1 Sabemos:

Ca(X )es el espacio de las funciones reales, continuas y acotadas con la norma del supremo.

Cc(X ) ⊂ Ca(X )es el espacio de las funciones reales, continuas, aco-tadas ycrecientes.

Se observa que Cc(X ) es un subespacio cerrado en Ca(X ), y por tanto

es un espacio completo en la norma del supremo.

2 _{Paso 1:} _{vamos a probar que “si f ∈ C}_a_{(X ) es creciente, entonces} T [f ] es una funci´on estrictamente creciente”

(71)

M´etodo de c´alculo diferencial para solucionar el PF Monotonicidad de V (xt) II

3 Paso 1a:por lahip´otesis 6: si x0 ≥ x entonces g (x0, u) ≥ g (x , u) ∀u.

dado que f es creciente:

f (g (x0, u)) ≥ f (g (x , u))

r (x0, u)+βf (g (x0, u)) ≥ r (x0, u)+βf (g (x , u))

por la hip´otesis 6 r (x , u) es creciente:

r (x0, u) ≥ r (x , u), entonces:

r (x0, u)+βf (g (x0, u)) > r (x , u)+βf (g (x , u)) (49) 4 _{Paso 1b:}_{Aplicando “max” en la relaci´}_{on [49]:}

max u∈Γ(x ) r (x0, u) + βf (g (x0, u)) > max u∈Γ(x ) r (x , u) + βf (g (x , u)) (50) 5 Paso 1c:por lahip´otesis 7se tiene que: “si x0≥ x ⇒ Γ(x0) ⊇ Γ(x )”

(72)

M´etodo de c´alculo diferencial para solucionar el PF Monotonicidad de V (xt) III

Γ(X’)

Γ(X)

u

Donde u ∈ Γ(x ), entonces u ∈ Γ(x0). Reemplazando este resultado en [50] se tiene: max u∈Γ(x0₎ r (x0, u) + βf (g (x0, u)) > max u∈Γ(x ) r (x , u) + βf (g (x , u)) (51)

(73)

M´etodo de c´alculo diferencial para solucionar el PF Monotonicidad de V (xt) IV

6 Paso 1d: por la definici´on del operador “T” para una funci´on “f” cualquiera: T [f ](x ) = sup {u}∈Γ(x) r (x , u) + βf (g (x , u))

La expresi´on [51] se convierte en:

T [f ](x0) > T [f ](x ) (52) Es decir T [f ] es estrictamente creciente.

Conclusi´on 1

Por tanto se cumple lo que queriamos probar en elpaso 1:

“si f ∈ Ca(X ) es creciente, entonces T [f ] es una funci´on estrictamente creciente”

7 Paso 2: como C_c(X ) es un subespacio cerrado de C_a(X ), entonces la funci´on valor “V” est´a en Cc(X ):

(74)

M´etodo de c´alculo diferencial para solucionar el PF Monotonicidad de V (xt) V

Ca(X) Cc(X) V

Adem´as, como T [V ] = V , y T es estrictamente creciente entonces “V” tambi´en es estrictamente creciente.

Conclusi´on 2

(75)

M´etodo de c´alculo diferencial para solucionar el PF Concavidad de V (xt) I

Hip´otesis 8: X

X es un subconjunto convexo de Rn_.

Definición conjunto convexo:el conjunto “X ” es convexo si para dos elementos de dicho conjunto x e y , la combinación lineal (con t ∈ [0, 1]) también se encuentra dentro de dicho conjunto. Es decir: ∀x ∧ y ∈ X y ∀t ∈ [0, 1] se cumple que [(1 − t)x + ty ] ∈ X

(76)

M´etodo de c´alculo diferencial para solucionar el PF Concavidad de V (xt) II

Hip´otesis 9: r (x , u) y g (x , u)

r (xt, ut) es estrictamente c´oncava y g (xt, ut) es c´oncava.

Definición función cóncava:una función real definida en un conjunto convexo (dominio) es cóncava, si para dos puntos x e y cualesquiera definidas en su dominio, y para cualquier t ∈ [0, 1] se cumple: f (tx + (1 − t)y ) ≥ tf (x ) + (1 − t)f (y )

(77)

M´etodo de c´alculo diferencial para solucionar el PF Concavidad de V (xt) III

Hip´otesis 10: Γ(x ) Γ(xt) es convexa; es decir:

1 Γ(x ) es un conjunto convexo para todo x ∈ X .

2 _{Dado λ ∈ [0, 1], x , x}0∈ X y x 6= x0_{, entonces si u ∈ Γ(x ) y} u0_{∈ Γ(x}0_{) implica que:}

(78)

M´etodo de c´alculo diferencial para solucionar el PF Concavidad de V (xt) I

Proposici´on 6 (concavidad de V (x ))

Según las hipótesis 4,5,8,9 y 10, la función valor es estrictamente cóncava y la correspondencia de pol´ıtica es una función

continua.

La estrategia tiene dos pasos: el primero es demostrar que “T[f]” es una función creciente y estrictamente cóncava; el segundo paso es considerar el “PptoFijo” y de all´ı derivar que “V” también es creciente y estrictamente cóncava.

1 _{Paso 1:} _{vamos a probar que “si f ∈ C}_a_{(X ) es creciente y c´}_oncava, entonces T [f ] es una función creciente y estrictamente cóncava”. (que sea creciente lo sabemos de la proposición 5).

2 Paso 1a: dado λ ∈ [0, 1], x , x0 ∈ X y x 6= x0, y sea u, u0 tales que resuelven el problema del m´aximo definido por: T [f ](x ) y T [f ](x0) respectivamente.

(79)

M´etodo de c´alculo diferencial para solucionar el PF Concavidad de V (xt) II

3 Paso 1b:además, por la hipótesis 10 se tiene que: λu + (1 − λ)u0∈ Γ(λx + (1 − λ)x0₎ entonces, tenemos que (por la definición del supremo):

T [f ](x ) ≥ r (_e _ex ,u) + βf (g (_e _ex ,u))_e (53) Donde: e x = λx + (1 − λ)x0 e u = u + (1 − λ)u0

4 _{Paso 1c:}_{pero r (·, ·) es estrictamente c´}_{oncava (hip´}_{otesis 9), entonces} para r (x ,_e u) que es igual a r (λx + (1 − λ)x_e 0, u + (1 − λ)u0) se tiene que:

(80)

M´etodo de c´alculo diferencial para solucionar el PF Concavidad de V (xt) III

5 _{Paso 1d:}_adem´_{as, dado que g (·, ·) es c´}_{oncava (hip´}_{otesis 9), entonces} se tiene que:

g (x ,_e u) ≥ λg (x , u) + (1 − λ)g (x_e 0, u0) (55) y dado que f es creciente, entonces aplicando “f” a la ecuaci´on an-terior (ecu.55):

f (g (_ex ,u)) ≥ f (λg (x , u) + (1 − λ)g (x_e 0, u0)) (56) y como f es c´oncava:

f (λg (x , u) + (1 − λ)g (x0, u0)) ≥ λf (g (x , u)) + (1 − λ)f (g (x0, u0)) (57)

(81)

M´etodo de c´alculo diferencial para solucionar el PF Concavidad de V (xt) IV

6 _{Paso 1e:} _{introduciendo la expresi´}_{on [54] y [57] (multiplicada por β)} en la expresi´on inicial [53] se tiene:

T [f ](x )e ≥ r (x ,eu) + βf (g (e ex ,u))e > λr (x , u) + (1 − λ)r (x0, u0) + β[λf (g (x , u)) + (1 − λ)f (g (x0, u0))] > λr (x, u) + λβf (g (x, u)) + (1 − λ)r (x0, u0) + (1 − λ)βf (g (x0, u0)) > λ r (x, u) + βf (g (x, u)) | {z } T [f ](x ) + (1 − λ) r (x0 , u0) + βf (g (x0, u0)) | {z } T [f ](x0₎ T [f ](x )e > λT [f ](x ) + (1 − λ)T [f ](x 0 ) Conclusi´on 1

Por tanto se cumple lo que queriamos probar en elpaso 1:

“si f ∈ Ca(X ) es creciente y cóncava, entonces T [f ] es una función creciente y estrictamente cóncava”

(82)

M´etodo de c´alculo diferencial para solucionar el PF Concavidad de V (xt) V

7 Paso 2:como C_c(X ) (acotado para las funciones estrictamente c´ onca-va) es un subespacio cerrado de Ca(X ), entonces la función valor “V” está en Cc(X ) (acotado para las funciones estrictamente cóncava):

Ca(X) Cc(X)

V

Estrictamente Cóncava

Además, como T [V ] = V , y T es estrictamente cóncava entonces “V” también es estrictamente cóncava.

Conclusi´on 2

(83)

M´etodo de c´alculo diferencial para solucionar el PF Diferenciabilidad de V (xt) I

Hip´otesis 11: r (x , u) y g (x , u)

r (xt, ut) y g (xt, ut) son continuamente diferenciables en el interior del grafo de Γ(xt).

Hip´otesis 12: diferenciabilidad

Sea (x∗, u∗) en el interior del grafo de Γ, tal que ∃ una funci´on diferenciable “τ ” definida en una vecindad abierta V de x∗ tal que:

τ : V → U

(84)

M´etodo de c´alculo diferencial para solucionar el PF Diferenciabilidad de V (xt) II

Teorema 3 (Diferenciabilidad de la funci´on valor (Benveniste-Scheinkman 1))

Bajo las hip´otesis 4, 5, 8, 9, 10, 11 y 12; si x0∈ Int(X ) y h(x0) ∈ Int(Γ(x0)),

en-tonces la funci´on valor escontinuamente diferenciableen x0y su derivada est´a dada por:

∂V (x0) ∂x0 =∂r (x0, h(x0)) ∂x0 + β∂V (g (x0, h(x0))) ∂x0 (58) Esto es generalizado para todo t.

1 Este teorema es un paso previo para demostrar elteorema del envol-vente.

2 Requiere que en la ecuación de Bellman se introduzca la función de pol´ıtica h(x ) (además de la ecuación de movimiento de la variable de estado g (x , h(x ))).

(85)

M´etodo de c´alculo diferencial para solucionar el PF Diferenciabilidad de V (xt) III

3 Las hipótesis descritas aseguran que la función valor sea dos veces diferenciable (Stokey y Lucas, 1989. pag 84), la cual asegura que la función de pol´ıtica h(x ) sea diferenciable. Esta propiedad es recogida en el teorema de BS (1 y 2).

Teorema 4 (Teorema de la envolvente (Benveniste-Scheinkman 2))

Bajo las hip´otesis 4, 5, 8, 9, 10, 11 y 12; si x0∈ Int(X ) y h(x0) ∈ Int(Γ(x0)), y

cumpiendose el teorema BS 1, entonces para x , u se cumple: ∂V (x0)

∂x0

=∂r (x0, u0) ∂u0

(59) Esto es generalizado para todo t.

1 _{Este teorema asegura una relaci´}_{on entre la funci´}_{on de valor y la funci´}_on de utilidad.

(86)

Pasos para utilizar el m´etodo de BS

1 _{En la ecuaci´}_{on de Bellman aplicar las CPO. Es decir, derivar el lado} derecho de dicha ecuaci´on con respecto a la variable de control. 2 Aplicar el teorema del envolvente. Recordar que el teorema de la

di-ferenciabilidad es solo para demostrar el teorema del envolvente. Nota:

Este método (teorema de BS) brinda explicitamente las CPO sin necesidad de conocer la función valor; no obstante, no brinda la solución al problema; es decir, no especifica lafunción de pol´ıtica.

(87)

Ejemplo: aplicaci´on del teorema de la envolvente I

Un ejemplo t´ıpico del consumidor:

Problema de optimizaci´on de un consumidor

Max {ct,wt+1}∞t=0 ∞ X t=0 βtu(ct) sujeto a: wt+1= (1 + r )(wt+ ct)

Donde: β ∈ (0, 1), wt es la riqueza del individuo y w0dado. Soluci´on: Ecuaci´on de Bellman V (wt) = Max {ct}∞t=0 u(ct) + βV (wt+1)

(88)

Ejemplo: aplicaci´on del teorema de la envolvente II

V (wt) = Max {ct}∞t=0 u(ct) + βV ((1 + r )(wt+ ct)) (60)

Condiciones de primer orden

Derivamos el lado derecho de la ecuaci´on de Bellman con respecto a la variable de control ct: ∂u(ct) ∂ct + β∂V (wt+1) ∂wt+1 [(1 + r )(wt+ ct)] ∂ct = 0 ∂u(ct) ∂ct + β∂V (wt+1) ∂wt+1 (−1)(1 + r ) = 0 ∂u(ct) ∂ct = β(1 + r )∂V (wt+1) ∂wt+1 (61)

(89)

Ejemplo: aplicaci´on del teorema de la envolvente III

Teorema de la envolvente El teorema del envolvente indica:

∂V (wt) ∂wt

= ∂u(ct) ∂ct

(62) Un periodo hacia adelante:

∂V (wt+1) ∂wt+1

= ∂u(ct+1) ∂ct+1

(63)

Encontrando la ecuaci´on de Euler

Introduciendo la ecuación [63] (teorema de la envolvente) en la ecuación [64] (CPO), se tiene la ecuación de Euler:

∂u(ct) ∂ct

= β(1 + r )∂V (wt+1) ∂wt+1

(90)

Ejemplo: aplicaci´on del teorema de la envolvente IV

∂u(ct) ∂ct

= β(1 + r )∂u(ct+1) ∂ct+1