Universidad de Montevideo Macroeconomía II. Dynamic Programming. 1 Ejemplo: Función de producción Cobb-Douglas y utilidad logarítmica

Universidad de Montevideo Macroeconom´ıa II

Danilo R. Trupkin

Notas de Clase (preliminares e incompletas)

Dynamic Programming

1 Ejemplo: Funci´ on de producci´ on Cobb-Douglas y utilidad logar´ıtmica

Considere el siguiente problema del planificador:

{c_t,kmaxt+1}^∞_t=o

∞

X

t=0

β^tln(c_t)

s.a. k_t+1 = k_t^α− c_t, k₀ dado,

donde α ∈ (0, 1), β ∈ (0, 1). El problema puede ser resuelto a mano, utilizando, por caso, cualquiera de los 2 siguientes m´etodos: (i) por iteraci´on de la ecuaci´on de Bellman, y (ii) por “guess-and-verify”.

1.1 Por iteraci´on (o inducci´on hacia atr´as)

Notemos que estamos asumiendo indirectamente una depreciaci´on igual a 1, o lo que es lo mismo, que la inversi´on en todo momento es igual a k_t+1. Recordemos que, por definici´on,

i_t= k_t+1− (1 − δ)k_t, (1)

con lo cual la restricci´on de recursos resulta:

ct+ it= f (kt), o alternativamente tenemos

k_t+1= f (k_t) − c_t+ (1 − δ)k_t= k_t^α− c_t. (δ = 1 y f (k_t) = k_t^α) Se trabaja desde atr´as hacia adelante:

i) En t = T (j = 1) :

kt+1 = 0

⇒ c_T = k^α_T ⇒ V₀(kT +1) = 0

Luego, la primera funci´on de valor (utilidad indirecta, o valor de la funci´on de utilidad en el ´optimo) al momento T es:

V1(kT) = u(cT) = ln(k_T^α) = α ln kT

Por envelope condition (o condici´on de BS):

V₁⁰(k_T) = u⁰(c_T)∂cT

∂k_T = α

k_T. (2)

ii) En t = T − 1 (j = 2) :

(cT −1max,kT)ln(cT −1) + βV1(kT)

= ln(c_{T −1}) + βα ln k_T s.a. c_{T −1} = k^α_{T −1}− k_T. El problema irrestricto:

maxkT

ln(k^α_{T −1}− k_T) + βα ln kT. (3) CPO:

− 1

k^α_{T −1}− k_T +βα k_T = 0.

Entonces,

kT = αβ

1 + αβk^α_{T −1}, cT −1 = k_{T −1}^α − k_T = 1

1 + αβk^α_{T −1}. Y la funci´on de valor resulta:

V2(kT −1) = ln

 1

1 + αβk_{T −1}^α



+ βα ln

 αβ 1 + αβk_{T −1}^α

 .

iii) En t = T − 2 (j = 3) :

= ln(c_{T −2}) + β

 ln

 1

1 + αβk^α_{T −1}



+ βα ln

 αβ 1 + αβk^α_{T −1}



s.a. c_{T −2} = k^α_{T −2}− k_{T −1}. El problema irrestricto:

maxkT −1

ln k_{T −2}^α − k_{T −1}
+ β

 ln

 1

1 + αβk^α_{T −1}



+ βα ln

 αβ 1 + αβk_{T −1}^α



.

Sacando la CPO, m´as un poco de ´algebra, tenemos que

kT −1 = αβ + (αβ)²

1 + αβ + (αβ)²k_{T −2}^α , c_{T −2} = 1

1 + αβ + (αβ)²k^α_{T −2}.

Finalmente, con j → ∞ tenemos que las reglas de decisi´on resultan en:

c_t = (1 − αβ)k^α_t, kt+1 = αβk^α_t. y la ecuaci´on de valor resulta ser:

V (kt) = 1 1 − β



ln(1 − αβ) + αβ

1 − αβln(αβ)



+ α

1 − αβln kt.

1.2 Guess and verify (o m´etodo de coeficientes indeterminados)

Planteamos un “guess” de la funci´on de valor (en forma correcta), pero dejamos los coefi- cientes indeterminados. El guess es:

v(k_t) = E + F ln k_t, (4)

donde E y F son constantes indeterminadas, tales que el LD y el LI deben coincidir para todo k.

Recordemos la ecuaci´on de Bellman del problema:

v(kt) = max

kt+1

ln(k_t^α− k_t+1) + βv(kt+1)

La CPO del problema es la siguiente:

− 1

k_t^α− k_t+1 + βv⁰(kt+1) = 0. (5) Aplicando BS sobre la funci´on de valor del guess, tenemos:

v⁰(k_t) = F kt

, luego v⁰(k_t+1) = F kt+1

.

Sustituyendo en (5),

1

k_t^α− k_t+1 = β F k_t+1 Lo que implica que:

k_t+1= βF

1 + βFk_t^α. (6)

Sustituyendo esta expresion para k_t+1 en la ecuaci´on de Bellman, e igualando este resultado con el LD del guess en (4), tenemos lo siguiente:

ln



k_t^α− βF 1 + βFk^α_t

 + β



E + F ln βF 1 + βFk_t^α



= E + F ln kt, lo cual implica la siguiente expresi´on:

ln

 1

1 + βF



+ α ln (k_t) + βE + βF ln βF

1 + βF + βF α ln k_t= E + F ln k_t As´ı, tenemos las dos condiciones que siguen para los coeficientes E y F :

α + βF α = F ⇒ F = α

1 − αβ (7)

y

ln

 1

1 + βF



+ βE + βF ln βF

1 + βF = E, Utilizando la expresi´on para F deducida en (7):

ln 1

1 + β_1−αβ^α

!

+ βE + β α

1 − αβln β_1−αβ^α

1 + β_1−αβ^α = E, Luego,

E = 1

1 − β



ln(1 − αβ) + αβ

1 − αβln αβ



. (8)

Recordando la expresi´on para k_t+1 en (6), tenemos entonces que kt+1= αβk_t^α,

y

c_t= (1 − αβ)k_t^α

Notemos que la pol´ıtica ´optima implica una ecuaci´on de movimiento del capital equiv- alente a

ln kt+1= ln(αβ) + α ln kt. (9)

En tanto α sea menor a 1, tenemos que k_t converger´a a un k de steady state, dado cualquier valor inicial k₀ positivo. Este valor ser´a:

k^∗ = (αβ)^1−α1 .

2 El Problema Estoc´ astico

Consideremos una modificaci´on sobre el problema original, de modo de introducir incer- tidumbre. Cu´ales son los cambios que ello implica? En realidad, si uno introduce shocks que sean i.i.d. o mismo de Markov, entonces dichos cambios ser´an triviales.

De esta manera, considere el siguiente problema:

E₀

∞

X

t=0

β^tr(x_t, u_t),

s.a. x_t+1 = g(x_t, u_t, _t), x₀ dado,

donde _t es una secuencia de variables aleatorias i.i.d. con funcion de distribuci´on F. E_t es el operador esperanza, dada informaci´on conocida al momento t. Al momento t, x_t se asume conocido, pero xt+j, j ≥ 1 no se conoce. Es decir, t+1 es realizado despues que el agente elige el valor de la variable de control u_t.

El problema actual presenta forma recursiva, dado que la funci´on objetivo es aditi- vamente separable y porque se asume una ley de transici´on, x_t, en forma de ecuaci´on diferencial aleatoria. Qu´e implica esto? Ello significa que el set de variables de control al momento t afecta s´olo el set r(x_s, u_s) para s ≥ t, y no valores anteriores.

Ahora el objetivo es resolver el problema de arriba eligiendo un “plan contingente,”

u_t= h(x_t). La ecuacio´n de Bellman deviene en V (x) = max

u {r(x, u) + βE[V [g(x, u, )]|x]}, (10) donde E{V [g(x, u, )]|x} =R V [g(x, u, )]dF () y donde V (x) es el valor ´optimo del prob- lema comenzando en x al momneto 0.

La soluci´on V (x) de la ecuaci´on (10) puede ser computada, por caso, iterando sobre V_j+1(x) = max

u {r(x, u) + βE[V_j[g(x, u, )]|x]}, (11) comenzando desde cualquier valor inicial continuo acotado V₀.