Programación Dinámica

(1)

PROGRAMACIÓN DINÁMICA

PERCY HUAMÁN PALOMINO*

9 de junio de 2014

Pilar fundamental de la macroeconomía moderna. Es una herramienta o técnica para resolver proble-mas dinámicos estocásticos; entre ellos los Modelos de Equilibrio General Dinámicos (DSGE), Modelos Bayesianos. Nos permite simplificar modelos complejos de infinitos períodos a modelos simples de dos periódos.

Índice

I

Modelos Dinámicos

2 II

Ecuación de Bellman

3 III

Modelos Real Business Cycle

5 IV

Referencias

7

*_{Economista y Administrador de Negocios: estudié Economía Avanzada en Banco Central de Reserva del Perú}

(2)

Parte I

Modelos Dinámicos

M ax J

{ut+k}∞k=0

=

∞

X

k=0

βkf(xt+k, ut+k,t)

s.a.

xt+1=f(xt, ut,t)

x0= ¯x0

ut+kΩ Donde:

ut: Conjunto de variables de control.

xt: Conjunto de variables de estado.

Se busca determinar la trayectoria óptima de la variables de control, los cuales van a afectar a la variable de estado para maximixar la función de utilidad de agente económico. Para que la función objetivo converja en el infinito necesitamos que el factor de descuento sea menor a 1; β <1.

Veamos algunas aplicaciones:

M ax J

{Ct+k,At+k+1}∞k=0

=

∞

X

k=0

βkU(Ct+k)

s.a.

At+1=Yt+RtAt−Ct

A0= ¯A0

CtΩ

A: Ahorros.

Y: Ingresos.

C: Consumo

Ω: Conjunto de números reales. Función de políticaCt=h(At)

Función valor;

Se define como el valor máximo que puede alcanzar la función objetivo, una vez que se ha elegido de manera óptima los controles desde el momentot hastael final del problema y partiendo desde el estado inicial.

Para encontrar la función de política(h) necesitoV(x0): el cuál es valor máximo que se obtiene al resólver la siguiente expresión;

V(x0) = M ax

{Ut+k}∞k=0

(_∞ X

k=0

βkF(Xt+k, Ut+k,t)

)

V(x0): Función de utilidad indirecta (función valor). Es la utilidad máxima que se obtiene al consumir los valores óptimosU(C₁∗, C₂∗).

Ci∗=f(P,(Y)) i=1,2

V(P, Y) = M ax

{C1,C2}

(3)

Ejemplo:

U(C1, C2)

V(P, Y) = M ax

{C1,C2}

{U(C1, C2)}

s.a.

Y =C1+P C2

P1= 1, P2=P La función de políticaC∗

i =h(P,(Y)) i=1,2

Veamos un caso de Microeconomía:

M ax

{x1,x2}

αln(x1) + (1−α)ln(x2)

s.a.

I=p1x1+p2x2 Se obtiene los valores óptimos;

x∗1=α

I p1

x∗₂= (1−α)I

p2 ⇒

x∗_i =h(pi, I)

Dados estos se obtiene la Función de Utilidad Indirecta o la Función Valor:

V(P, I) =αln(αI p1

) + (1−α)ln((1−α)I

p2 )

Parte II

Ecuación de Bellman

La ecuación de Bellman, también conocida como la ecuación de programación dinámica, es una con-dición necesaria para la optimalidad asociada con el método de optimización matemática conocida como la programación dinámica. Casi cualquier problema que se puede resolver utilizando la teoría de con-trol óptimo también se puede resolver mediante el análisis de la correspondiente ecuación de Bellman. La ecuación de Bellman se aplicó por primera vez a la teoría de la ingeniería de control y otros temas de matemáticas aplicadas, y, posteriormente, se convirtió en una herramienta importante en la teoría económica.

“Una política óptima tiene la propiedad de que, cualesquiera sean el estado y las decisiones iniciales tomadas (es decir, el control), las restantes decisiones deben constituir una política óptima con indepen-dencia del estado resultante de la primer decisión”.

Vt(Xt, Ut, t) = M ax

{UtΩ}

{F(Xt, Ut, t) +βVt+1(Xt+1, Ut+1, t+ 1)}

Logra convertir un problema de periódo infinito a uno de 2 periodos.

T → ∞, calcular{Ut+k}∞k=0, nos permite determinarUtΩ.

(4)

M ax J

{Ct+k,At+k+1}∞k=0

=

∞

X

k=0

βkU(Ct+k)

s.a.

At+1=Yt+RtAt−Ct

A0= ¯A0

Ct+k, At+k+1Ω Se tiene la ecuación de Bellman;

Vt(Ct, At+1) = M ax Ct,At+1

{U(Ct) +βVt+1(Ct+1, At+2)}

Hay 2 tipos de mercado: El de dinero y de bienes y servicios.

Optimizo respecto (variables de control) al ahorro (A) o al consumo(C), dado la Conclusión de Walras; en el cual: “Sí(n−1) mercados esta en equilibrio, entonces el el mercado (n) también se encontrará en equilibrio”.

∂Vt(Ct, At+1)

∂At+1

=∂U(ct)

∂Ct

∂At+1

| {z }

+β

_∂V

t+1(Ct+1, At+2)

∂At+1

= 0 (0.1)

Donde{.} teorema de la Envolvente. Donde ∂ct

∂At+1 =−1, acontinuación optimizo la ecuación de Bellman respecto al ahorro del periódot.

∂Vt(Ct, At+1)

∂At

=∂U(ct)

∂Ct

∂At

+β∂Vt+1(Ct+1, At+2)

∂At

Nota: Cálculo de variaciones - Optimización Libre.

M ax

{x} f(x, a)

x: Variable

a: Parámetro o constante. C.P.O.

fx(x∗, a) = 0

v(a) =fx(x∗,(a), a)

x∗=x(a) ∂v(a)

∂a ={fx(x∗,(a), a)} ∂x

∂a+fa(x∗,(a), a) =fa(x∗,(a), a)

∂Vt(Ct, At+1)

∂At

=∂U(ct)

∂Ct

∂At

| {z }

+β∂Vt+1(Ct+1, At+2)

∂At

= ∂U(ct)

∂Ct

Rt+ 0

Iteramos un periódo la última expresión (buscamos ∂Vt+1(Ct+1,At+2)

∂At+1 ) y remplazamos en (1) :

∂Vt+1(Ct+1, At+2)

∂At+1

= ∂U(ct+1)

∂Ct+1

∂At+1

| {z }

+β∂Vt+2(Ct+2, At+3)

∂At+1

= ∂U(ct+1)

∂Ct+1

Rt+1 (0.2)

∂Vt+1(Ct+1, At+2)

∂At+1

=∂U(ct+1)

∂Ct+1

Rt+1

∂Vt(Ct, At+1)

∂At+1

= ∂U(ct)

∂Ct

_∂C

t

∂At+1 =−1

| {z }

+β

_∂U₍_c

t+1)

∂Ct+1

Rt+1

= 0 (0.3)

Se obtiene la ecuación de Euler: trayectoria óptima que debe seguir la variable de control (solamente la trayectoria óptima).

∂U(ct)

∂Ct

=β∂U(ct+1) ∂Ct+1

(5)

La ecuación de Euler con incertidumbre

∂U(ct)

∂Ct

=βEt

∂U(ct+1)

∂Ct+1

Rt+1

Et(.): esperanza matemática dado la información hasta el periódo t ( se analiza con agentes de ex-pectativas racionales que utilizan toda la información disponible del mercado).

Parte III

Modelos Real Business Cycle

Considere una economía poblada por un continuo de personas de vida infinita . En un principio, cada persona está dotada de unidades ko de capital y , además , con una unidad de tiempo por periodo. Las personas buscan maximizar el flujo descontado de su utilidad periódica, donde el factor de descuento es

β , 0< β <1 La utilidad periódica viene dada por :u(ct, lt) =ln(ct) +Aln(lt) , donde 0< A,c denota el consumo periódico y lal cantidad periódica de ocio . Hay un solo bien que consigue producido por el capital,k, yhel trabajo , de acuerdo con yt=Zkθth

(1−θ)

t , 0< θ <1 capital se amortizará o depreciará totalmente en el proceso de producción.

Hay un gobierno en esta economía. El consumo del gobierno no tiene impacto en la función de producción o de la función de utilidad . Cada períodot, el gobierno consume una proporción fijaγde la producción , en la que 0< γ <1 . El gobierno equilibra su presupuesto cada periodo con recaudación de impuestos que se sabe que son proporcionales a la producción.

1. Establezca la ecuación de Bellman para este entorno , y derivar las condiciones de primer orden y la ecuación de Euler ( s ) .

2. En cuanto a la condición de primer orden para la decisión de trabajo / ocio , en qué circunstancias será esa decisión será independiente de la cantidad de capital y el nivel de tecnología ,Z ?

3. Utilice la condición de Euler con el fin de verificar si las circunstancias que se han identificado en 2) tienen en este caso particular.

4. ¿Cuál es el impacto del consumo del gobierno en la oferta de trabajo ?

SOLUCIÓN

Dotación incialk0; capial inicial.

Las familias desean maximizar su utilidadP_βt_U₍_c

t, lt) , tienen gasto en consumo ptct y ahorran

atel cuál rinde unarten el próximo periodo, además es una economía cerrada.

Las firmas producen yt = Zktθh 1−θ

t , donde θ es la participación de la inversión en capital en la produción final. Asumimos que se paga a los factores de producciónrtywty además el capital se depreciaδtotalmente cada periodo.

Hay un gobierno en la economía , el gasto de consumo del gobierno (como una especie de transfe-rencias) no tiene impacto en la producción o en la función de utilidad. En cada periodotel gobierno consume una fracciónγfija del producto y balancea su restricción presupuestaria con impuestost1 proporcionales al producto,G=T =γYt=t1Yt.

Desarrollemos las ecuaciones:

Función de objetivo

X

βtU(ct, lt) (0.4)

Restricción presupuestaria (Ingresos y egresos respectivamente)

wtht+rtkt+G=ptct+it+T (0.5)

Ley de movimiento de capital

(6)

Desarrolemos por dos métodos; Langrageano o Bellman, con lo cual, podemos llegar al mismo resul-tado.

Langrageano

l=M axXβt{U(ct, lt) +λt(wtht+rtkt+−ptct−kt+1+ (1−δ)kt−T)}

C.P.O.

U ct=λtpt (0.7)

U ht=λtwt (0.8)

λt=βλt+1{(1−δ) +rt+1} (0.9) Se obtienen las siguientes ecuaciones de Oferta de trabajo y la ecuación de consumo intertemporal o ecuación de Euler.

A

_c

t 1−ht

= wt

pt

(0.10)

1 =βEt

_c t ct+1 pt pt+1

((1−δ) +rt+1) (0.11)

Veamos por Programación Dinámica, por Bellman;

Definamos Vt como la función valor que maximiza la función de utilidad indirecta de los agentes económicos.

Vt(ct, kt+1) =M axU(ct) +βVt+1(ct+1, kt+2)

∂Vt(ct, kt+1)

∂kt+1

=∂U(ct)

∂ct

∂kt+1

+β∂Vt+1(ct+1, kt+2)

∂kt+1

(0.12)

Donde ∂ct

∂kt+1 =−

1 pt

∂Vt(ct, kt+1)

∂kt

= ∂U(ct)

∂ct

∂kt

+β∂Vt+1(ct+1, kt+2)

∂kt

(0.13)

Donde ∂ct

∂kt =

(1−δ)+rt

pt , iteramos un periódo

∂ct+1

∂kt+1 =

(1−δ)+rt+1

pt+1 , de la misma forma toda la ecuación

10. Se obtiene:

∂Vt+1(ct+1, kt+2)

∂kt+1

= ∂U(ct+1)

∂ct+1

∂kt+1 +

_β∂V

t+2(ct+2, kt+3)

∂kt+1

= 0

(0.14)

La ecuación 14 se remplaza en 12 y se obtiene la ecuación de Euler e igualamos a cero por ser condiciones de optimización.

∂Vt(ct, kt+1)

∂kt

=∂U(ct)

∂ct

∂kt+1

+β∂U(ct+1) ∂ct+1

∂ct+1

∂kt+1

= 0 (0.15)

Esta última es la misma que la ecuación 11 del Langrageano:

1. 1 =βEt

h

ct

ct+1

i h _p

t

pt+1

i

((1−δ) +rt+1)

2. La decisión óptima trabajo de las familias es independiente de la inversión en capital y del nivel de tecnología,A ct

1−ht

= wt

pt; las familias ofrecen su trabajo a las empresas en el mercado dado la

importancia que le da al ocio, nivel de consumo y a su poder adquisitivo.

3. La ecuación de Euler es un caso particular cuando el capital se deprecia totalmente, la expresión

queda de la siguiente forma: 1 =βEt

h

ct

ct+1

i h _p

t

pt+1

i

(rt+1), por lo tanto todo el nivel de ahorro cada año se destina a la invesión en capital, se reemplaza cada periódo.

(7)

Parte IV

Referencias

Sargent(1987).

Stockey y Lucas(1987).