OPTIMIZACIÓN DINÁMICA
Francisco Alvarez Gonzálezfralvare@ccee.ucm.es
TEMA 6
Algunas aplicaciones del principio del máximo de Pontryagin
1. Modelo de Ramsey en horizonte finito sin descuento. 2. Recursos naturales no renovables.
6.1. Modelo de Ramsey en horizonte finito sin
descuento.
Supongamos una economía en la que en cada instante se produce un único bien a partir de capital, k, según la función de producción f(k), que se
supone creciente. La producción puede destinarse a consumo o a ahorro. El consumo, c, reporta una utilidad instantanea representada por la función u(c), que se supone creciente y estrictamente cóncava. El ahorro
incrementa la cantidad de capital, que además se deprecia a una tasa δ. Deseamos calcular la política de consumo-ahorro que maximiza la utilidad a lo largo del horizonte finito [0,T] partiendo de una cantidad inicial de capital dada. El capital final se vende a un precio p, exógeno.
La variable de estado es k. La producción solamente depende de k, por lo
que fijado k, eligiendo c (variable de control), queda también elegido el
ahorro: f(k)- c. La dinámica de estado es (omitiendo el argumento
temporal):
( )
k
f k
c
δ
k
•
=
− −
con k(0)=k0 dado. El funcional objetivo, a maximizar, es:
( )
( )
0
T
u c t dt
∫
Definimos el Hamiltoniano:
( )
(
( )
)
H
=
u c
+
λ
f k
− −
c
δ
k
siendo λ la variable de co-estado.
Las condiciones del principio del máximo son:
(i) maximización del Hamiltoniano:
( )
2( )
0
'
;
''
0
H
u c
H
u
c
c
λ
c c
∂
=
⇒
=
∂
=
<
∂
∂ ∂
La condición de primer orden iguala los rendimientos marginales del consumo (lado izquierdo) y del ahorro (lado derecho).
(ii) ecuación de co-estado:
( )
'
H
f
k
k
λ
λ
δ
λ
• •
∂
−
=
⇒ = −
Derivando respecto al tiempo la condición de primer orden de (i) se tiene:
( )
''
u
c c
λ
• •
=
Usando la anterior igualdad junto con la condición de primer orden en la ecuación de co-estado, tenemos:
( )
( )
( )
''
'
'
u
c
c
f
k
u c
δ
•
= −
La anterior ecuación, para el caso en que f sea estrictamente cóncava,
indica que para valores bajos (altos) del capital el consumo aumenta (disminuye) en el tiempo, donde bajo es tal que δ-f’(k)<0. Ello no quiere
decir que para valores bajos del capital el consumo sea mayor que para valores altos.
Para el caso en que u es logarítmica y f es lineal, podemos obtener soluciones explícitas. En efecto, para u(c)=lnc y f(k)=ak tenemos que la
anterior ecuación queda:
c
a
c
δ
•
= −
Cuya solución es:
c t
( )
=
me
(a−δ)t, donde m es una constante adeterminar. Además, la condición de primer orden de (i) queda λ=1/c, por
lo que la evolución del co-estado se obtiene de forma trivial a partir de la función anterior:
λ
( )
t
=
m e
−1 − −(a δ)t. Usando la condición terminal λ(T)=pen la función anterior, tenemos:
m
=
p e
−1 − −(a δ)T, y por tanto:( )
1 (a )(t T)c t
=
p e
− −δ −Finalmente, sustituyendo en la dinámica de estado se tiene:
(
)
1 (a )(t T)k
a
δ
k
p e
δ•
− −
−
− −
= −
que se resuelve usando la condición inicial k(0)=k0para obtener la trayectoria óptima de estado.
6.2. Recursos naturales no renovables.
Un recurso natural es no renovable si su stock, evolucionando de forma natural (sin intervención humana), no aumenta en el tiempo. Un ejemplo
es el carbón.
Una empresa tiene licencia de explotación de una mina de carbón a lo largo del horizonte temporal finito [0,T], partiendo de una cantidad inicial de
stock a. El stock y la cantidad extraída en el instante t se denotan por x(t) y u(t), respectivamente. La cantidad extraída se vende a un precio p,
constante en el tiempo y exógeno. El coste de extracción aumenta con la cantidad extraída y disminuye con el stock existente. Concretamente, el coste de extraer u unidades cuando el stock es x es u2/x. Se desea obtener la
política óptima de extracción a lo largo del período de explotación.
La dinámica de estado es:
x
u
•
= −
El funcional objetivo, a maximizar, es:( ) ( ) ( )
(
2)
0
T
pu t −u t x t dt
∫
Definimos el Hamiltoniano:
2
:
u
H
pu
u
x
λ
=
−
−
(i) maximización del Hamiltoniano:
(
)
21 2
0 ; 0
2
H u p x H
u λ u u x
∂ ∂
= ⇔ = − = − <
∂ ∂ ∂
Por tanto:
(
)
1
si 0
* 2
0 en otro caso
p x p
u
λ
λ
⎧ − − ≥
⎪ = ⎨ ⎪⎩
(ii) ecuación de co-estado:
(
)
2
2
1
luego
4
u
H
H
p
x
x
x
λ
λ
λ
• •
∂
=
⎛ ⎞
∂
= − ⇔ − =
−
⎜ ⎟
∂
⎝ ⎠
∂
con
λ
( )
T
=
0
Definimos la variable auxiliar π:=p-λ, de modo que:
π
•= −
λ
• yλ
( )
T
= ⇒
0
π
( )
T
=
p
De modo que podemos re expresar la ecuación de co-estado:
2
1 4
π
• =π
Para resolver la anterior ecuación diferencial la escribimos:
2 1
4
d dt
π
−π
=∫
∫
Integramos a ambos lados usamos la condición terminal anterior, tenemos:
( )
1
1
(
)
14
t
T
t
p
π
−
⎛
⎞
=
⎜
+
−
⎟
⎝
⎠
Y por tanto:
( )
( )
1
1
(
)
14
t
p
t
p
T
t
p
λ
π
−
⎛
⎞
= −
= −
⎜
+
−
⎟
⎝
⎠
La valoración del stock es siempre menor que p, por lo que la extracción
es estrictamente positiva, y además disminuye en el tiempo (a pesar de que cada vez queda menos stock, cada vez lo valoro menos !!).
Notemos que π=2u/x, es decir, π es el doble del porcentaje de stock que
se extrae en cada momento. Dado que 1 2 4
π
• =π
>0, dicho porcentajeDinámica de estado y de control. Tenemos
x
u
1
2
π
x
•= − = −
Podemos escribir la anterior ecuación diferencial:
( )
1
2
dx
t dt
x
= −
π
∫
∫
Integrando a ambos lados, despejando x y usando la condición inicial x(0)=a, tenemos:
( )
( )
( )
2
0
*
x
t
a
t
π
π
⎛
⎞
= ⎜
⎜
⎟
⎟
⎝
⎠
Sustituyendo en el control, tenemos:
( )
1
( )
( )
0
2*
2
u
t
a
t
π
π
=
en esta última igualdad se observa que el nivel de extracción disminuye en el tiempo aunque, como hemos visto, el porcentaje de stock que se extrae es cada vez mayor.
Consideramos ahora el siguiente problema alternativo: el coste de extracción es independiente del stock y, además, al final del período de explotación la licencia de explotación se vende por una cantidad de dinero proporcional al stock sobrante.
La dinámica de estado es la misma. El funcional objetivo es ahora:
( )
( )
(
2)
( )
0
T
pu t
−
α
u t
dt
+
β
x T
∫
donde hemos denotado por α el parámetro de costes y por β el precio unitario al que venden la licencia.
El Hamiltoniano es:
2
:
H
=
pu
−
α
u
−
λ
u
La condición de maximización del Hamiltoniano da lugar a:
( )
1
(
( )
)
*
2
u
t
p
λ
t
α
=
−
Dado que
H
0
x
∂
=
∂
se tieneλ
0
•
=
, además la condición terminal esλ(T)=β, por tanto λ(t)=β para todo t. Es decir, la valoración de tener una
unidad adicional de stock es la misma no importa en que instante llegue esa unidad adicional y es igual precisamente al precio al que luego va a venderse ese stock. Notemos además que si el stock no se vende (β=0) entonces desaparece la dinámica del problema por lo que la producción óptima es la miope.
En los problemas de recursos naturales vistos en este apartado se ha supuesto implícitamente que siempre hay suficiente stock para extraer la cantidad que se desee.
6.3. Learning by doing.
Wright, en 1932, presentó evidencia empírica de que el tiempo necesario para construir un avión nuevo dependía negativamente del número de aviones ya construidos…..desde entonces se ha estudiado la existencia de
este fenómeno en multitud de industrias (químicas, nucleares, manufacturas,…)
Supongamos un monopolista, sin amenazas de entrada, que elige cuánto producir en cada instante a lo largo de un horizonte temporal fijado, [0,T].
Denotamos por u(t) a producción en t. La demanda es estacionaria en el
tiempo, siendo su inversa p=α-βu. La función de costes de producción es
lineal en cada instante. En el instante t dicho coste es x(t)u(t), donde x(t), el
coste unitario, disminuye con las unidades producidas en períodos previos según la dinámica:
( )
( ) ( )
x t
δ
x t u t
•
= −
siendo δ>0 un parámetro de aprendizaje. Notemos que la anterior dinámica implica que el coste unitario: (a) está inferiormente acotado (no puede ser negativo) y no puede aumentar, (b) solo disminuye si u(t)>0. Estas son las
características esenciales del learning-by-doing.
Deseamos caracterizar la política óptima de producción a lo largo del horizonte temporal considerado. Dada la dificultad del problema, no tendremos la solución analítica, pero aún podemos obtener algunas de sus propiedades.
¿Qué esperamos obtener?
• La producción en cada instante es superior a la producción miope.
• ¿Debe la producción ser creciente en el tiempo?
o En contra: la producción de hoy reduce el coste de más instantes que la producción de mañana.
El funcional objetivo, a maximizar, es:
( )
(
)
( ) ( ) ( )
(
)
0
T
u t
u t
x t u t dt
α β
−
−
∫
Supuesto1: α es lo bastante grande como para garantizar producción positiva en todos los períodos.
El Hamiltoniano es:
(
) (
)
:
1
H
=
α β
−
u u
− +
λδ
xu
La condición de maximización de H respecto de u, bajo el supuesto 1, da
lugar a:
( )
1
(
(
( )
)
( )
)
*
1
2
u
t
α
λ
t
δ
x t
β
=
− +
Notemos que la producción es superior a la miope cuando λ(t)<0.
La ecuación de co-estado, usando la expresión de u*, es:
( )
(
)
(
(
( )
)
( )
)
1
1
1
2
t
t
x t
λ
λ
δ α
λ
δ
β
•
=
+
− +
con la condición λ(T)=0. Bajo el supuesto 1, u*(t)>0, lo que implica que el
lado derecho de la ecuación de co-estado es positivo y por tanto λ• >0. Teniendo en cuenta la condición Terminal, debe ser entonces λ(t)<0. Esto
es razonable: aumentar el estado implica aumentar el coste unitario y por tanto reducir la suma de beneficios.
¿Qué hay de la producción creciente? De la expresión de u* tenemos:
( )
(
)
( )
{
}
1
1
2
d
u
t
x t
dt
λ
δ
β
•
−
=
+
Los anteriores argumentos en contra y a favor de u 0
•
> se traducen en:
• En contra: λ 0 u 0
• •
> ⇒ <
• A favor: x 0 u 0
• •
Para resolver la disyuntiva, definimos una variable auxiliar:
( )
t
: 1
( )
t
μ
= +
λ
δ
De modo que:
{ }
1
1
2
2
d
x
u
x
x
dt
x
μ
μ
μ
β
β μ
• •
•
−
− ⎜
⎛
⎞
⎟
=
=
+
⎜
⎟
⎝
⎠
Además, μ δ λ• = • , por lo que la ecuación de co-estado anterior puede escribirse:
(
)
2 x
μ
δ α μ
μ
β
•
= −
Además, sustituyendo u* en la dinámica de estado y reordenando términos,
queda:
(
)
2
x
x
x
δ α μ
β
•
= − −
Por lo que la anterior expresión de u
•
queda u 0
•
=
Es decir, en el modelo que hemos utilizado los argumentos a favor y en contra se compensan exactamente y la producción es constante en el
tiempo.
En este modelo el efecto learning by doing es muy fuerte: si se mantiene el nivel de producción, se mantiene la tasa a la que se reduce el coste unitario.
La evidencia empírica indica que en realidad el efecto es más suave: manteniendo el nivel de producción, la tasa de reducción disminuye en el tiempo. Para ese caso, el argumento a favor gana y la producción queda creciente en el tiempo.
