ESTOC
ASTICA DE DOS ETAPAS
´
por
Luis Felipe Id´arraga ´Alvarez
Asesor
Mauricio Junca
Jurado
Ahmed Ould
Departamento de Matem´aticas Facultad de Ciencias Universidad de los Andes
Colombia 2016
1. Introducci´on 3
2. Preliminares 5
3. M´etodos 21
3.1. Descomposici´on de Benders . . . 21 3.2. M´etodo inexacto ”Bundle” . . . 25
4. Aplicaci´on pr´actica 39
4.1. Resultados . . . 41
5. Conclusiones 48
.1. Anexo 1 . . . 49
A
GRADECIMIENTOS
Este trabajo lo dedico a mi familia por su apoyo incondicional, a Maria por ser mi
Introducci´on
La optimizaci´on hoy en d´ıa resulta muy importante dada su aplicaci´on tanto en el sector privado como p´ublico, y en ´areas tales como la estad´ıstica, investigaci´on de operaciones, geometr´ıa, etc. Diariamente en el mundo se puede encontrar la necesidad de optimizar funciones de costos, recursos, distancias y varianzas, recalcando la importancia de tener m´etodos robustos, de demostraciones y definiciones, que desde la matem´atica permitan desarrollar estos conceptos correctamente para obtener as´ı mejores algoritmos y resultados con eficiencia computacional.
La optimizaci´on estoc´astica es aquella que maneja variables aleatorias que son muy co-munes en el mundo real, ya que es posible encontrarse con demandas que son diferentes alrededor del tiempo y de distintos factores. Por lo anterior, el presente trabajo de grado realiza una revisi´on de conceptos de optimizaci´on lineal y del m´etodo de descomposici´on de Benders, el cual es exacto y permite encontrar la soluci´on de problemas estoc´asticos de dos etapas. Sin embargo, estos m´etodos exactos pueden tener la desventaja de ser ineficien-tes computacionalmente.
Con algunas modificaciones, estos problemas lineales de optimizaci´on estoc´astica pueden
ser escritos como un problema de optimizaci´on convexa y pueden aproximarse como un m´aximo de funciones lineales. Sin embargo, esto requiere de unos conceptos adicionales que logren manejar las funciones convexas que no son suaves por medio de subgradien-tes y subdiferenciales. Adicionalmente, para mejorar los tiempos computacionales de los algoritmos es importante, manejar las inexactitudes que lleven a una soluci´on aproxima-da, usando or´aculos que dan valores aproximados de las funciones y sus subgradientes, ahorr´andose gran cantidad de c´alculos usualmente usados en los m´etodos exactos.
Finalmente, se realiz´o una aplicaci´on del algoritmo inexacto explicado en este trabajo, cu-ya aplicaci´on es sobre un problema de generaci´on y distribuci´on de energ´ıa en la cual la demanda de los clientes es una variable aleatoria, al igual, que la capacidad de generaci´on del sistema que var´ıa de acuerdo a una serie de factores; como por ejemplo, puede suceder en una hidroel´ectrica donde la generaci´on de energ´ıa se ve restringida por las lluvias.
Preliminares
Inicialmente, los preliminares de este trabajo de grado son algunos conceptos claves en la teor´ıa de Optimizaci´on Lineal.
Considere el siguiente programa lineal
m´ın
x∈<nc
Tx
s.a Ax=b
x≥0
dondec∈ <nA∈ <m×n,b ∈ <m.
Definici´on 2.1. Dado un problema lineal, se define su problema dual como:
m´ax
p∈<mp
Tb
s.a pTA≤cT
Teorema 2.2. Dualidad d´ebil: ( [2],Teorema 4.3 ) Si x es una soluci´on factible del proble-ma priproble-mal y p es una soluci´on factible del probleproble-ma dual, entonces:
pTb ≤cTx
Teorema 2.3. Dualidad fuerte: ( [2],Teorema 4.4 ) Si un programa lineal tiene una solu-cion optimax∗y si su problema dual asociado tambien tiene soluci´on ´optimap∗entonces:
p∗Tb =c∗Tx
A continuaci´on se ilustrar´an ciertas definiciones y teoremas que se usar´an para resolver los programas lineales estoc´asticos de dos etapas, ´estos se definen de la siguiente forma:
Definici´on 2.4. Programa lineal estoc´astico de dos etapas
m´ın
x∈Rnc
T
x+E[Q(x, ξ)]
s.a Ax=b
x≥0
DondeQ(x, ξ)es el valor ´optimo del programa lineal de la segunda etapa: m´ın
y∈Rmq
Ty
s.a T x+W y=h
y≥0
Dondeξ := (q, h, T, W)es un vector aleatorio y el valor esperado de la primera etapa se toma con respecto a la distribuci´on deξ. Adicionalmente,h∈ <d,T ∈ <d×n,W ∈ <d×m,
q ∈ <m
El programa de la segunda etapa podr´ıa ser no acotado o infactible sin embargo, no se va a enfocar en estos casos, sino en aquellos en que el ´optimo sea un valor finito.
Observaci´on : Note que el problema dual de la segunda etapa es el siguiente: m´ax
π π
T
(h−T x)
Proposici´on 2.5. Si{π :WTπ ≤ q}es no vac´ıo y el programa lineal de la segunda etapa
es factible al menos para alg´un y, entonces la funci´on Q(x, ξ) es convexa enx para un ξ
fijo.
Demostraci´on. Sea ξ un escenario de la variable aleatoria, sean x1, x2 dos vectores tales
que el problema lineal de la segunda etapa es factible para alg´un punto.
Seany1∗, y2∗ las soluciones ´optimas al problema de la segunda etapa sujeto a que y ≥ 0y
W y=h−T xi.
EntoncesQ(x1, ξ)=qTy1∗ yQ(x2, ξ)=qTy2∗. Seaλ ∈[0,1]:
Note que el vectory =λy1∗+ (1−λ)y∗2 cumple quey ≥0y:
W y=λW y1∗+ (1−λ)W y∗2 (2.1) =λ(h−T x1) + (1−λ)(h−T x2) (2.2)
=h−T(λx1+ (1−λ)x2) (2.3)
Entoncesyes factible para el problema conx=λx1+ (1−λ)x2 y
Q(λx1 + (1−λ)x2, ξ)≤qTy =λqTy1∗+ (1−λ)q
Ty∗
2
=λQ(x1, ξ) + (1−λ)Q(x2, ξ)
EntoncesQ(x, ξ)es convexa enx.
Definici´on 2.6. DominioPara una funci´onf :X ⊆Rn−→(−∞,∞]se define
dom(f) ={x∈X :f(x)<∞}
Definici´on 2.7. Funci´on propia: Una funci´on f : X ⊆ Rn −→ (−∞,∞] es propia si
f(x)<∞para alg´unx∈Xyf(x)>−∞ ∀x∈X
Definici´on 2.8. Subgradiente: Seaf : Rn −→ (−∞,∞]convexa y propia. Se dice que
g ∈Rnes un subgradiente def enx
Definici´on 2.9. Seaf : Rn −→ (−∞,∞]convexa. Se define el subdiferencial de f en x
∂f(x)como el conjunto de todos los subgradientes def enx
Note que∂f(x)es cerrado y convexo porque es una intersecci´on de semiespacios donde, un semiespacio es cerrado y convexo
Ejemplo 2.10. f(x) = |x|
∂f(x) =
−1 x <0
1 x >0
[−1,1] x= 0
Se puede entender el subgradiente como el conjunto de las pendientes de las funciones li-neales que son menores a la funci´on y pasan por ese punto.
En el presente trabajo, se trabajar´a con vectores aleatorios que tengan un soporte finito. Es decir, queξk:= (qk,hk,Tk,Wk), con sus respectivas probabilidadespkdondek∈ {1, ..., N}
Q(x) :=E[Q(x, ξ)] =
N
X
i=1
piQi(x)
Qi(x) =Q(x, ξi) = m´ın y∈Rmq
T
i y
s.a Tix+Wiy=hi
y≥0
Note queQ(x)es convexa pues es la combinaci´on convexa de funciones convexas multi-plicadas por un escalar positivo.
Definici´on 2.11. Ep´ıgrafoepi(f) ={(x, w)∈ <n+1 :x∈X, w ∈ <, f(x)≤w}
Definici´on 2.12. Funci´on poliedralUna funci´onf es poliedral siepi(f)es un poliedro
Note queQ(x)tiene valor finito si todo subproblema tiene valor primal y dual finito. En-tonces para los valores dexque esto suceda indica que esta funci´on es poliedral.
Ahora se define la funci´on de soporte que ser´a muy ´util para las pruebas relacionadas con el c´alculo de subdiferenciales.
Definici´on 2.13. Funcion de soporteDado un conjuntoX, su funcion de soporte se define como:
σX(λ) = sup x∈X
λTx
Definici´on 2.14. Derivada direccional
f0(x;y) := l´ım
α↓0
f(x+αy)−f(x)
α
Observaci´on 2.15. Si f es una funci´on convexa entonces el l´ımite f0(x;y) existe∀x ∈
dom(f).
Demostraci´on. Seanx, y ∈dom(f), sean0< α < α0 x+αy =
1− α
α0 x+ α α0
(x+α0y)
comof es convexa entonces se tiene que
f(x+αy)≤1− α
α0
f(x) +
α
α0
f(x+α0y)
=⇒f(x+αy)−f(x)≤+
α
α0
(f(x+α0y)−f(x)) (2.4) =⇒f(x+αy)−f(x)
α ≤
f(x+α0y)−f(x)
α0 (2.5)
Entonces se tiene que cualquier sucesi´on es decreciente cuando α ↓0y tambi´en es acota-da,por lo que su l´ımite existe.
Definici´on 2.16. Proyecci´on sobre C: Sea C un conjunto cerrado y convexo no vac´ıo, entonces definimosPC(x)como el ´unico punto enCcon distancia m´ınima ax
Note que este punto es ´unico ya que al minimizar la distancia de un punto fijo a un con-junto se debe minimizar la norma de la resta de dos puntos, es decir minimizar una funci´on estrictamente convexa.
Lema 2.17. Lema de proyecci´on: Sea C convexo, cerrado y no vac´ıo
z =PC(x)⇐⇒(z−x)T(z−y)≤0 ∀y∈C
Demostraci´on. ” =⇒”Suponga quez =PC(x)y considere la siguiente funci´onf(α) =
||x−αy−(1−α)z||2 Como z es la proyecci´on de x, entonces el m´ınimo de esta funci´on
es enα= 0luegof0(α)≥0
=⇒ −2(y−z)T(x−z)≥0⇐⇒(z−x)T(z−y)≤0 ∀y ∈C
”⇐= ”Seay∈C
||x−y||2 =||x−z||2+||z−y||2+ 2(x−z)T(z−y)≥ ||x−z||2
Entoncesz es el vector enCde distancia m´ınima ax, entoncesz =PC(x)
Los conjuntos convexos bajo ciertas condiciones permiten separarse con un hiperplano, en los siguientes teoremas se demuestra la existencia que ser´a de gran utilidad para pruebas posteriores.
Teorema 2.18. Teorema del hiperplano de soporte: Sea C ⊆ <nno vacio y convexo tal queC6=<n, yx /¯∈int(C). Entonces existea6= 0tal queaTx¯≤aTx∀x∈C
Demostraci´on. Comox /¯∈int(C)entonces existe una sucesion{xk} ⊆C¯tal quexk−→x¯
Seaxˆk =PC¯(xk) =⇒(ˆxk−xk)T(x−xˆk)≥0∀x∈C¯=⇒(ˆxk−xk)Tx≥(ˆxk−xk)Txˆk
Ahora tome la siguiente sucesi´on con su respectivo l´ımiteak = ||xxˆˆk−xk
k−xk|| −→a6= 0 Enton-cesaTkx≥akT xky tomando l´ımiteaTx≥aTx¯.
Una consecuencia del teorema del hiperplano de soporte es el siguiente teorema
Teorema 2.19. Teorema del hiperplano separador: SeanC1, C2conjuntos no vac´ıos,
con-vexos y disjuntos. Entonces existea6= 0tal queaTx1 ≤aTx2∀x1 ∈C1, x2 ∈C2
Demostraci´on. SeaC =C2−C1 ={x2−x1 |x2 ∈ C2, x1 ∈C1}note que es convexo y
no vac´ıo y0∈/ Cpues son disjuntos, entonces por el teorema 2.18 se tiene que existea6= 0 tal queaT(x2−x1)≥0
=⇒aTx
1 ≤aTx2 ∀x1 ∈C1, x2 ∈C2
Teorema 2.20. SeaCun conjunto no vac´ıo, convexo y cerrado, seax0 ∈/Centonces existe
a6= 0ybtal que
aTx0 < b < aTx ∀x∈C
Demostraci´on. Seax¯=PC(x0)a= x¯−2x0 ,xˆ= x02−¯x yb =aTxˆ
Por 2.17 se tiene que(x−x0)T(¯x−x)≤0∀x∈C. As´ı,
2aT(¯x−x)≤0, (2.6)
aTx¯≤aTx, (2.7)
aTxˆ+aT(¯x−xˆ)≤aTx, (2.8)
b+||a||2 ≤aTx (2.9)
Esta ´ultima desigualdad se tiene porquex¯−xˆ= x¯−x0
2 =aentoncesb < a
Tx
Ahora, note queaTx0 =aTxˆ+aT(x0−xˆ)entonces
aTx0 =b− ||a||2
Esta ´ultima se tiene puesx0−xˆ= x02−x¯ =−aentoncesaTx0 < b
Teniendo los resultados de existencia de hiperplanos, podemos encontrar la clara relaci´on entre las derivadas direccionales y los subdiferenciales por medio de la funci´on de soporte. Proposici´on 2.21. Sea f una funci´on convexa, six∈int(domf)entonces
f0(x;y) =σ∂f(x)(y) ∀y∈ <n
Demostraci´on. ”≥” Seag ∈∂f(x)entonces∀α≥0,y∈ <nf(x+αy)≥f(x)+gT(αy)
⇐⇒ f(x+αy)−f(x)
α ≥g
Ty
Como esta desigualdad es para todoα, yentonces tomando l´ımite cuandoα&0se obtiene que:
f0(x;y)≥gTy
Por ende, sig ∈∂f(x) =⇒f0(x;y)≥gTy
⇒f0(x;y)≥ sup
g∈∂f(x)
gTy=σ∂f(x)(y)
”≤” Sea C1 := {(z, w)|z ∈ dom(f) y f(z) < w} y C2 := {(z, w)|z = x+αy ∈
dom(f) para α≥0 y w =f(x) +f0(x;y)}
C1, C2 son convexos, no vac´ıos y disjuntos ya que∀α ≥0se tiene:
f(x+αy)−f(x)
α ≥f
0
(x;y) =⇒f(x+αy)≥f(x) +αf0(x;y)
Entonces por el teorema 2.19 existe un vector(µ, γ)6= 0µ∈ <n, γ ∈ <tal que
µTz+γw≥µT(x+αy) +γ(f(x) +αf0(x;y)) ∀(z, w)∈C1, α≥0,∀x+αy∈dom(f)
De aqui se puede ver queγ ≥ 0porque de lo contrario podr´ıa hacerγ tan peque˜no como sea posible hasta que incumpla la desigualdad.
Ahora, suponga por contradicci´on queγ = 0, entonces se tendr´ıa que
µTz ≥µT(x+αy) ∀z ∈dom(f),∀x+αy ∈dom(f)
Pero esto s´olo puede pasar si µ = 0 lo cual es una contradicci´on, entonces tenemos que
entonces:
µTz+w≥µT(x+αy) +f(x) +αf0(x;y) ∀z ∈dom(f), α ≥0,∀x+αy∈dom(f)
Ahora si tomaα = 0y el l´ımite dewhaciaf(z)se tiene que
µTz+f(z)≥µTx+f(x)⇐⇒f(z)≥f(x) +µT(x−z) ∀z ∈dom(f)
Luego podemos concluir que−µ∈∂f(x)
Ahora se toma z=x, y el l´ımite dewhacia f(x) conα >0entonces
µTx+f(x)≥µT(x+αy) +f(x) +αf0(x;y)
⇐⇒ −αµTy≥αf0(x;y)
⇐⇒ sup
g∈∂f(x)
gTy ≥ −µTy≥f0(x;y)
Finalmente,σg∈∂f(x)(y)≥f0(x;y)
Proposici´on 2.22. SeanC, D⊆ <nconjuntos cerrados y convexos entonces
C =D⇐⇒σC(y) = σD(y) ∀y∈ <n
Demostraci´on. ” =⇒ ”Suponga que C=D y sea y ∈ <n entoncesσ
C(y) = supc∈CcTy=
supd∈DdTy=σD(y)
” ⇐= ” Suponga por contradiccion queσC(y) = σD(y) ∀y ∈ <n pero que C 6= D, sin
perdida de generalidad se puede tomar el primer caso, entonces existex0 tal quex0 ∈Cy
x0 ∈/ Dentonces por el Teorema 2.20 existea 6= 0tal queaTx0 > aTx∀x∈Dlo cual es
una contradicci´on⇒⇐. Entonces C=D
La anterior proposici´on muestra la importancia de la funci´on de soporte puesto que, gra-cias a los teoremas de separaci´on se puede demostrar con mayor facilidad la igualdad de conjuntos convexos y cerrados.
Lema 2.23. Sea Seaf :Rn −→ (−∞,∞]propia y convexa. Entoncesf|
dom es continua
sobre el interior relativo dedom(f)
Demostraci´on. Suponga que 0 ∈ ri(dom(f)), esta hip´otesis no afecta la prueba pues la funci´on se puede trasladar. Suponga ademas que X = {x : ||x||∞ ≤ 1} ⊆ dom(f)
entonces cualquierx ∈ X se puede escribir como la combinaci´on convexa de las caras de su dominiox=P2n
i=1αiei, comof es convexa se tiene por la desgiualdad de Jensen que
f(x) = f(
2n
X
i=1
αiei)≤
2n
X
i=1
αif(ei)≤m´ax
i f(ei) =A
Se quiere ver que la funcion es continua en 0, entonces sea {xk} una sucesi´on tal que
xk −→0y seanyk = ||xxk
k||∞,zk =
−xk
||xk||∞ Entonces 0 yxk estan en el segmento que unezk
conykAhora aplicando convexidad enxk = (1− ||xk||∞)0 +||xk||∞yk
f(xk)≤(1− ||xk||∞)f(0) +||xk||∞f(yk)
=⇒l´ım sup
k−→∞
f(xk)≤f(0)
Por la desigualdad de Jensen f(yk) es acotado, entonces aplicando convexidad a 0 =
||xk||∞
1+||xk||∞zk+
1
1+||xk||∞xkse tiene que
f(0) ≤ ||xk||∞ 1 +||xk||∞
f(zk) +
1 1 +||xk||∞
f(xk)
f(0)≤lim ´ınf
k−→∞f(xk)
=⇒ l´ım
k→∞f(xk) = f(0)
Entoncesf es continua.
Observaci´on 2.24. Una propiedad importante es que sifi :<n →(−∞,∞]coni∈Ison
funciones convexas,Ies un conjunto finito, entoncesf(x) = supi∈I{fi(x)}es una funci´on
Lema 2.25. Seanfi :<n→ <, i=1,..,m funciones convexas. Sea f(x)=max{f1(x), .., fm(x)}
y parax∈ <nel conjunto I(x)={i:f
i(x) =f(x)}. Entonces∀x, y ∈ <nse tiene que
f0(x;y) = m´ax{fi0(x;y)|i∈I(x)}
Demostraci´on. ”≥”
f0(x;y) = l´ım
α&0
f(x+αy)−f(x)
α ≥αl´ım&0
fi(x+αy)−f(x)
α = l´ımα&0
fi(x+αy)−fi(x)
α
La ´ultima igualdad se tiene ´unicamente para losi∈I(x), as´ı
f0(x;y)≥max{fi0(x;y)|i∈I(x)}
”≤” Sea {αk}∞k=1 una sucesi´on que tiende a cero, αk ≥ 0, tome xk = x +αky y sea
f(x1) =fi1(x1),...,f(xn) = fin(xn),... para cadaxkalg´un ´ındice de funci´on que alcance el m´aximo. Dado que son m funciones, alg´un ´ındice m0 est´a infinitas veces, y por ende,
hay una subsucesi´on {xkj}
∞
j=1 ⊂ {xk}∞k=1 tal que f(xkj) = fmo(xkj) ∀j Note que la subsucesi´on converge a x, entonces por convexidad y por 2.23 f es continua y f(x) =
fm0(x), luegom0 ∈I(x). As´ı
f(xkj)−f(x)
αkj
= fm0(xkj)−fm0(x)
αkj
, (2.10)
l´ım
αkj&0
f(x+αkjy)−f(x)
αkj
= l´ım
αkj&0
fm0(x+αkjy)−fm0(x)
αkj
, (2.11)
f0(x;y) =fm0 0(x;y) (2.12) Entonces
m´ax{fi0(x;y)|i∈I(x)} ≥fm0
0(x;y) = f
0
(x;y)
Como se tienen las dos desigualdades, se demuestra la igualdad.
Teorema 2.26. Sea f como en el teorema anterior yx∈int(dom(f)), entonces:
∂f(x) =conv( [
i∈I(x)
∂fi(x))
Demostraci´on. Por el lema 2.25 y la proposici´on 2.21 se tiene que
f0(x, y) = m´ax
i∈I(x)f
0
i(x, y) = m´ax
i∈I(x)gim´∈∂faxi(x) {yTgi}
Se sabe que para una sucesi´on{aj}de n´umeros reales
m´ax
j aj = m´λax{
X
j
λjaj|λj ≥0,
X
j
λj = 1}
Entonces usando esta propiedad se tiene que:
f0(x, y) = m´ax
λ
X
i∈I(x)
λi m´ax gi∈∂fi(x)
yTgi (2.13)
= m´ax{yT(X
i∈I(x)
λigi)|λ ≥0,
X
λj = 1, gi ∈∂fi(x)} (2.14)
= m´ax{yTd|d= X
i∈I(x)
λigi, λ≥0,
X
λj = 1, gi ∈∂fi(x)} (2.15)
= m´ax{yTd|d∈conv{∂fi(x)|i∈I(x)} (2.16)
=⇒σ∂f(x)(y) = σconv{∂fi(x)|i∈I(x)}(y) Entonces por la proposici´on 2.22
∂f(x) = conv{∂fi(x)|i∈I(x)} (2.17)
=⇒∂f(x) = conv( [
i∈I(x)
∂fi(x)) (2.18)
Bajo ciertas condiciones se tiene una caracter´ıstica similar a la regla de la cadena para subdiferenciales, ´esta se puede observar en la siguiente proposici´on.
Proposici´on 2.27. Seaf : Rn −→(−∞,∞)convexa,A ∈Mn×m, b∈ Rny seaF(x) =
f(Ax+b)entonces∂F(x) = AT∂f(Ax+b).
Demostraci´on. Por definici´on de derivada direccional tenemos que:
F0(x, y) = l´ım
α&0
F(x+αy)−F(x)
α = l´ımα&0
f(A(x+αy) +b)−f(Ax+b)
= l´ım
α&0
f((Ax+b) +αAy)−f(Ax+b)
α =f
0
(Ax+b, Ay)
Entonces por la proposici´on 2.21
F0(x, y) = f0(Ax+b, Ay) = m´ax
d∈∂f(Ax+b)d
TAy= m´ax
¯
d∈AT∂f(Ax+b) ¯
dTy
=⇒σ∂F(x)(y) =σAT∂f(Ax+b)(y) =⇒∂F(x) = AT∂f(Ax+b)
Teniendo estos importantes resultados sobre los subdiferenciales, se podr´a observar una nueva forma de caracterizar el ´optimo de el problema dual usando los subgradientes. Lema 2.28. ( [2], Teorema 5.2) Suponga el programa lineal mincTx s.aAx = b∗, x ≥ 0
es factible y su costo optimo es finito. SeaP(b) = {x:Ax=b, x ≥0}yS ={b :P(b)6= ∅}. Sea
F(b) := m´ın
x∈P(b)c
Tx= m´ax
{p:pTA≤cT}p
Tb
Entoncespes solucion ´optima del dual si y solo sip∈∂F(b∗)
Demostraci´on. ” ⇒ ” Seapla soluci´on ´optima del problema dual entonces por dualidad fuertepTb∗ =F(b∗)
Por dualidad d´ebil tenemos∀b ∈S, x∈P(b) :
pTb ≤cTx, (2.19)
pTb ≤ m´ın
x∈P(b)c
T
x=F(b), (2.20)
pTb−pTb∗ ≤F(b)−F(b∗), (2.21)
F(b∗) +pT(b−b∗)≤F(b) ∀b ∈S, (2.22) ⇒p∈∂F(b∗).
” ⇐ ”Seap ∈ ∂F(b∗) entoncesF(b∗) +pT(b−b∗) ≤ F(b) ∀b ∈ S Seax ≥ 0tal que
Ax=bentoncesF(b)≤cTx. Comopes subgradiente tenemos:
Como esto sucede para cualquierx≥0entonces:
pTA≤cT
Entoncespes una soluci´on factible del problema dual, ahora si tomamosx= 0tenemos:
0≤ −F(b∗) +pTb∗,
F(b∗)≤pTb∗,
m´ax
{q:qTA≤cT}q
Tb∗ ≤
pTb∗ ∀q ∈S
Entoncespes soluci´on ´optima del problema dual.
Finalmente, con las demostraciones previas, se puede empezar a trabajar con el problema estoc´astico de dos etapas. Para encontrar el subdiferencial del problema de la primera etapa, es necesario caracterizar el subdiferencial de los problemas de la segunda etapa como se muestra a continuaci´on:
Teorema 2.29. Sean x0 un punto factible en X y ξ en el soporte del vector aleatorio,
entonces ( [3],2.2 ) :
∂Q(x0, ξ) =−TTD(x0, ξ)
donde
D(x0, ξ) :=arg m´ax
π∈Π(q)π
T(h−T x)
Demostraci´on. Considere el problema lineal de la segunda etapa
m´ın
y∈Rmq
T
y
s.a T x+W y=h
y≥0.
Se define :
Por dualidad fuerte se tiene que
sq(χ) = m´ax π∈Π(q)π
T
x,
dondeΠ(q) ={π :WTπ≤q,}entonces se tiene
Q(x0, ξ) =sq(h−T x).
Finalmente usando la proposici´on 2.27 se obtiene
∂Q(x0, ξ) =−TT∂sq(h−T x).
Pero note que la funci´onsq es la misma funci´onF del lema anterior entonces
∂sq(h−T x) =arg m´ax π∈Π(q)π
T(h−T x)
El valor esperado de la primera etapa del programa estoc´astico es una suma de funciones para las cuales ya se encontr´o su subdiferencial, por ende, es necesaria la siguiente propo-sici´on que indica las condiciones para que el subdiferencial de la suma de funciones sea la suma de ´estos mismos. Cabe aclarar, que en este contexto la suma aplica a conjuntos. Proposici´on 2.30. Seanf, h:<n→(∞,−∞]funciones convexas tal queint(dom(f))∩
int(dom(h))6=∅y seanµ1, µ2 ∈ <dondeµ1 ≥0, µ2 ≥0entonces∀x∈ <n:
µ1∂f(x) +µ2∂h(x) =∂(µ1f+µ2h)(x)
Demostraci´on. Sea x ∈ int(dom(f))∩ int(dom(h)) y sea w(x) = µ1f(x) +µ2h(x),
entonces:
w0(x, y) =µ1∂f0(x, y) +µ2∂h0(x, y)
= m´ax{µ1yTg1|g1 ∈∂f(x)}+ m´ax{µ2yTg2|g2 ∈∂h(x)}
= m´ax{yT(µ1g1 +µ2g2)|g1 ∈∂f(x), g2 ∈∂h(x)}
=⇒σµ1∂f(x)+µ2∂h(x)(y) = σ(µ1∂f+µ2∂h)(x) Entonces por el teorema 2.22 se tiene
µ1∂f(x0) +µ2∂h(x) = ∂(µ1f +µ2h)(x)
Dado que las probabilidades son positivas, por la Proposicion 2.30 tenemos
∂Q(x) =
n
X
i=1
pi∂Qi(x),
y finalmente se obtiene una expresi´on para el subdiferencial de la funci´on del problema de la primera etapa
∂(cTx+Q(x)) =c+
n
X
i=1
pi∂Qi(x)
Proposici´on 2.31. ( [3],Teorema 2.7) Suponga que en un problema estoc´astico de dos etapas Wi = W ∀i ∈ {1, .., N}, que el conjunto Π(q) = {π : WTπ ≤ q} es no vac´ıo
y que los vectores aleatoriosξtienen varianza finita, entonces la funci´on de valor esperado
Q(x)es propia y de Lipschitz en su dominio.
Esta proposici´on es muy importante en cuanto a que lleva a una constante de Lipschitz muy ´util en los teoremas de convergencia del metodo inexacto que veremos m´as adelante. Proposici´on 2.32. Seaf : <n −→ (0,∞]convexa y propia. Entoncesx∗ minimizaf en
<nsi0∈∂f(x∗)
M´etodos
En la optimizaci´on estoc´astica de dos etapas, existen algunos m´etodos para hallar una so-luci´on ´optima, uno de ´estos utiliza herramientas de optimizaci´on lineal, el cual es la des-composici´on de Benders. Antes de hablar del m´etodo inexacto conviene entender como funciona un m´etodo exacto y que ventajas o desventajas puede tener
Para los siguientes m´etodos se har´an dos hip´otesis importantes, el primero es que Wi =
W, qi =q∀i∈ {1, .., N}, el segundo es que los vectores aleatorios tienen varianza finita.
3.1.
Descomposici´on de Benders
Recuerde el programa lineal estoc´astico de dos etapas
m´ın
x∈Rnc
Tx+
E[Qi(x)],
s.a Ax=b
x≥0,
donde xrepresenta la variable de la primera etapa cuyo valor afecta directamente el
blema de la segunda etapa
Qi(x) = m´ın y∈Rmq
T
y
s.a Tix+W y=hi
y≥0
Con su problema dual asociado:
m´ax
π π
T
(hi−Tix)
s.a π ∈P ={π :WTπ ≤q}
Definici´on 3.1. Punto extremo: SeaP un poliedro, un vectorx ∈P es un punto extremo de P si no existen dos vectores y, z ∈ P diferentes de xy un escalar λ ∈ [0,1]tal que
x=λx+ (1−λ)y
Definici´on 3.2. Cono de recesi´on: Considere un poliedro en la siguiente formaP ={x∈ <n|Ax=b, x ≥0}entonces se define su cono de recesi´on como:R ={d:Ad= 0}
Geometricamente, el cono de recesi´on se puede entender como las direcciones en las cuales se puede mover indefinidamente en el poliedro sin salir del mismo. Es decir si x ∈ P
entoncesA(x+αd) = b∀α≥0
Definici´on 3.3. Rayo extremo: Un rayo extremo de un poliedro P es un puntox∈ <nen el
cono de recesi´on que tienen−1restricciones linealmente independientes que se cumplen con igualdad
Teorema 3.4. ( [2],Teorema 4.15) Sea P un poliedro entonces existe un conjunto ´unico de puntos extremosx1, x2, ..., xkyw1, w2, ..., wrde rayos extremos tal que:
P =
( k X
i=1
λixi+ r
X
j=1
θiwj
λi ≥0∀i, θj ≥0∀j, k
X
i=1
λi = 1
)
Teniendo en cuenta lo anterior el poliedroP del problema de la segunda etapa se puede ca-racterizar por sus puntos extremos y rayos extremos. As´ı,seanel, l = 1, ..., Lestos puntos
Seazi(x)el ´optimo del i-´esimo problema dual de la segunda etapa, entonces se puede ver
quezi(x)<∞si y solo si:
wjT(hi−Tix)≤0 ∀j ∈ {1...J}.
Sizi(x)es un valor finito, entonces existe un punto extremo del poliedro que es ´optimo y
por ende:
zi(x) = m´ax l=1...Le
T
l (hi−Tix).
Entonces este problema de dos etapas es equivalente al siguiente problema maestro donde loszison variables y lospi son las probabilidades asociadas a cada escenario.
m´ıncTx+
N
X
i=1
pizi
s.a Ax=b
wTj(hi−Tix)≤0 ∀j ∈ {1...J}, i∈ {1...I}
eTl(hi−Tix)≤zi ∀l ∈ {1...L}, i∈ {1...I}
x≥0
Note que la tercera restricci´on garantiza quezi sea el m´aximo, sin embargo, este problema
maestro tiene potencialmente muchas restricciones, puesto que un poliedro suele tener una cantidad muy alta de puntos y rayos extremos. Por ende, el m´etodo de la descomposici´on de Benders plantea una relajaci´on al problema maestro y un algoritmo como el siguiente que se muestra en ( [2],6.5):
Paso 0: Inicializaci´on: Se corre el problema maestro relajado con las restriccionesAx=b
para obtener unx∗inicial. Luego para algunos escenarios i=1,..,K del vector aleatorioξse resuelven los subproblemas lineales de la segunda etapa y se hallan losQi(x∗)resolviendo
un punto extremo de la regi´on factible dualpl, si el problema dual es no acotado se
iden-tifica un rayo extremo wj. Con estos puntos y rayos extremos se arman las restricciones
descritas anteriormente. (Se explicar´a de forma m´as detallada en el paso 3).
Paso 1: Problema maestro: Con las restricciones nuevas, se corre el problema maestro y se obtiene un vector ´optimo(x∗, z∗).
Paso 2: Criterio de parada: Para todo escenario i se resuelve el problema de segunda etapa. Si el ´optimo es acotado yQi(x∗)≤z∗i entonces el algoritmo termina de lo contrario
siga al paso 3.
Paso 3: Agregar restricciones al problema maestro: Si alg´un problema incumpli´o la condici´on del paso anterior pero el problema dual tiene soluci´on acotada, entonces se en-cuentra un nuevo punto extremoelque es el ´optimo de este problema, y debe ser a˜nadido a
las restricciones, entonces se agrega la siguiente restriccion al problema maestro:
eTl (hi−Tix)≤zi(x).
Por otra parte, si el problema dual es no acotado, entonces ´este proporciona un rayo extremo
wj del poliedro y se debe agregar la siguiente restricci´on:
wjT(hi−Tix)≤0,
con las restricciones agregadas volver al paso 1.
Las ventajas de la descomposici´on de Benders es que permite relajar la gran cantidad de restricciones que tiene el problema maestro. Sin embargo, tiene la gran desventaja que en su criterio de parada exige resolver tantos problemas lineales como escenarios que se tengan, y esto, en ciertos casos puede tomar mucho tiempo computacional. Por ende, es deseable
un m´etodo que maneje inexactitudes y ahorre la soluci´on de tantos problemas lineales.
3.2.
M´etodo inexacto ”Bundle”
El m´etodo ”Bundle” inexacto es un m´etodo general para optimizar funciones convexas no suaves sobre conjuntos convexos. A continuacion se har´a una descripci´on del m´etodo y su uso ser´a adaptado a los problemas particulares de optimizaci´on estoc´astica.
Sea >0, se define
∂f(x) := {g :f(w)≥f(x) + (w−x)Tg−, ∀w}
Definici´on 3.5. Or´aculo: Un or´aculo inexacto de una funci´on f para este m´etodo, es una parejafx, gx tal que:
fx∈[f(x)−f, f(x) +g],
gx ∈∂f+gf(x), dondef ≥0yg ≥0son desconocidos pero acotados.
Pasos del algoritmo:
Inicializaci´on: Se empieza con un punto factiblex ∈ X ={x|Ax = b, x ≥ 0}se desig-nar´ax1 =z1,J1 = 1.
Planos cortantes y paso siguiente:Se calcula fxk gxk usando el or´aculo se construye la aproximaci´on af con planos cortantes.
fk(w) := fxk+ (w−xk)Tgxk
˜
fk(w) := m´ax j∈Jk
fj(w) , Jk ⊆ {1, ..., k}
Ahora, note que por la definici´on de or´aculo inexacto se tiene que:
Por la desigualdad del subgradiente inexacto se tiene que
f(xk) + (w−xk)Tgxk ≤f(w) +f +g,
fk(w)≤f(w) +f + 2g,
entonces
˜
fk(w) = m´ax j∈Jk
fj(w)≤f(w) +f + 2g
Ahora, ya teniendo la cota para la funci´on de planos cortantes se halla el posible punto siguiente:
zk+1 =arg m´ın
w∈<nφk(w) (3.1)
donde (3.2)
φk(w) : = ˜fk(w) +iX(w) +
1 2tk
kw−xk k2, (3.3)
Dondetk∈(0,10)pero puede ir variando en diferentes iteraciones y:
iX(w) =
0 w∈X
∞ w /∈X
Entonces tenemos un problema cuadr´atico con regi´on factible poliedral, esta funci´on obje-tivo se justifica porque se necesita que el punto est´e en el poliedroXy adem´as que no est´e muy lejos del punto anterior para as´ı evitar que sea un problema no acotado.
Manejo de inexactitudSe tiene por la definici´on deφkqueφk(zk+1)≤f˜k(xk)pues
φk(zk+1) = ˜fk(zk+1)+iX(zk+1)+
1 2tk
kzk+1−xk k2≤f˜k(xk)+iX(xk)+
1 2tk
kxk−xk k2
Sin embargo, puede suceder quefxk < φk(zk+1)por la inexactitud de los or´aculos, pues si fuesen exactos, la convexidad de f no permitir´ıa que esto suceda. Si esto pasa, entonces, se aumenta el valor de tk para que el ´optimo al alejarse de xk, eventualmente logre que
decrezca el valor deφk(zk+1)hasta lograr quefxk ≥φk(zk+1). El tama˜no del pasotkse in-crementar´a a10∗tky se vuelve a calcularzk+1, de acuerdo a la recomendaci´on en ( [8],2.7).
Iteraci´on v´alida: Tome un par´ametroc ∈ [0,1], entonces se declara una iteraci´on v´alida (”punto serio”) si se cumple la siguiente condici´on:
fzk+1 ≤fxk −cvk
donde
vk=fxk−f˜k(zk+1).
Note quevk siempre es positiva pues gracias al manejo de inexactitud tenemos quefxk ≥
φk(zk+1). As´ı
fxk ≥ f˜k(zk+1) +iX(zk+1) + 1 2tk
kzk+1−xk k2≥f˜k(zk+1)
Esta ´ultima desigualdad se tiene pues la norma es un valor positivo, si se cumple entonces
xk+1 =zk+1, de lo contrario la iteracion se declara nula.
El par´ametro c se puede interpretar como la proporci´on de la disminuci´on de f˜k(zk+1)a
˜
fk(xk+1)que se le exige al or´aculo para hacer la iteraci´on v´alida
Manejo de ´ındices: Dado quezk+1es el ´optimo deφk entonces por 2.32,
0∈∂f˜k(zk+1) +∂iX(zk+1) +
zk+1−xk
tk
.
Se sabe que existenpk
f ∈∂f˜k(zk+1)ypkX ∈∂iX(zk+1);asi
0 = (pkf +pkX) + zk+1−xk
tk
⇒zk+1 =xk−tk(pkf +p k
X)
Adicionalmente se tiene por el teorema que el subgradiente del m´aximo de funciones es la combinaci´on convexa de los subgradientes de las funciones donde se alcanza el m´aximo, entonces usando el or´aculo inexacto del subgradiente tenemos:
pkf = X
j∈Jk
λkjgxk
X
j∈Jk
Esta ´ultima condici´on garantiza que las funciones que alcancen el m´aximo sean las que se tengan en cuenta, en el algoritmo se puede prescindir de los multiplicadores que sean 0.
Actualizacion y criterio de parada:
Se define el subgradiente agregado comopk :=pkf+p k
X y el error de linearizaci´on agregado
comoαk:=vk−tk||pk||2.
Adicionalmente, se define la aproximaci´on lineal af˜kde la siguiente forma, para cualquier
w∈X
¯
fk(w) := ˜fk(zk+1) +pTk(w−zk+1).
Observaci´on 3.6.
¯
fk(w)≤f˜k(w).
Demostraci´on. Dado quepk ∈∂f˜k(zk+1)entonces
˜
fk(w)≥f˜k(zk+1) +pkT(w−zk+1) = ¯fk(w) ∀w∈X
Observaci´on 3.7.
αk =fxk −f¯k(xk).
Demostraci´on.
αk :=vk−tk||pk||2
=fxk −f˜k(zk+1)−p
T ktkpk
Se sabe que xk−zk+1
tk =pk, entonces
=fxk−f˜k(zk+1)−p
T
k(xk−zk+1)
⇒αk=fxk−f¯k(xk).
Para este paso 6 es necesario demostrar otras cuentas. Note lo siguiente: ¯
fk(w) := ˜fk(zk+1) +pTk(w−zk+1);
= ˜fk(zk+1) +pTk(w−xk+xk−zk+1);
=pTk(w−xk) + ˜fk(zk+1) +pTk(xk−zk+1);
=pTk(w−xk) + ¯fk(xk);
=fxk+p
T
k(w−xk)−(fxk −f¯k(xk));
=fxk +p
T
k(w−xk)−αk.
Pero ya se tiene quef¯k(w)≤f˜k(w)≤f(w) +f + 2gentonces
¯
fk(w) =fxk +p
T
k(w−xk)−αk ≤f(w) +f + 2g,
fxk ≤f(w) +f + 2g+p
T
k(xk−w) +αk,
fxk ≤f(w) +f + 2g+||pk||w−xk|+αk ∀w∈X.
Finalmente se obtiene el criterio de parada pues:
fxk ≤f(w) +f + 2g+Vk(||w−xk||+ 1),
dondeVk := m´ax{||pk||, αk}Por ende siVk es cero podemos decir quexk es ´optimo. En
cualquier caso si no est´a en el ´optimo hay que volver al paso 1, sin embargo, en caso que la iteraci´on no sea declarada seria entonces se disminuye el tama˜no del paso, como se ex-plicar´a m´as adelante en el pseudoc´odigo.
Finalmente se dar´a una observaci´on adicional para programar el manejo de la inexactitud. Observaci´on 3.8.
vk <−αk⇐⇒fxk < φk(zk+1).
Demostraci´on. Suponga quevk<−αk, esto sucede si y solo si
⇐⇒vk<
tk
2||pk||
2.
Nuevamente si se usa que zk+1−xk
−tk =pk
⇐⇒fxk−f˜k(zk+1)< 1 2tk
|zk+1−xk|2
⇐⇒fxk < φk(zk+1)
Paso 0 inicializaci´on:
Se inicia conx1 ∈X, V ≥0,c∈(0,1),τ1 = 10,t1 ∈(0, τ1)z1 =x1,fx1 =fz1,
gx1 =gz1
Paso 1 Paso siguiente:
Encuentrezk+1resolviendo (3.1) calcule losλkj, Vk, vk, αk
Paso 2 Criterio de parada: Parar siVk ≤V
Paso 3 Criterio de parada: ifvk<−αkthen
tk = 10tk,τk = m´ax{τk, tk}y vuelva al paso 1
else
τk+1 =τk
end
Paso 4 Oraculo y validez iteraci´on: Con el or´aculo calculefzk+1 ygzk+1 iffzk+1 ≤fxk −cvkthen
Se declara un punto serio y actalizamos los valores
xk+1 =zk+1, fxk+1 =fzk+1, gxk+1 =gzk+1 else
Se declara nula la iteraci´onxk+1 =xk
end
Paso 5 Manejo de indices:
Jk+1 ={j ∈Jk:λj 6= 0} ∪ {j + 1}
Paso 6 Actualizaci´on:
ifSi el punto se declar´o seriothen
tk+1 ∈[tk, τk+1]k =k+ 1vuelve al paso 1
else
tk+1 ∈[0,1tk, tk]k =k+ 1vuelve al paso 1
end
Algorithm 1:Metodo inexacto
algorit-mo, y se menciona un teorema sobre la convergencia hacia el ´optimo.
Lema 3.9. ( [1],3.1) Para un or´aculo inexacto como 3.5, tenemos lo siguiente: i) En cada iteracion el error de linearizaci´on est´a acotado en la siguiente forma:
αk =vk−tk|pk|2 ≥ −2=−2(f +g).
ii) Para cada iteraci´on k si cumple la condici´on del paso 3 entonces la medida de optimali-dad satisface:
Vk ≤m´ax{[(vk−αk)/tk]1/2, αk}<(−2αk/tk)1/2 ≤(4/tk).
Demostraci´on. i) Para una iteraci´on k recuerde quezk+1 =xk+tkpk, entonces:
αk =vk−tkpTkpk =vk−pTk(xk−zk+1) =vk−pTk(xk−zk+1) =fxk−f˜(zk+1)−p
T
k(xk−zk+1),
dado quepk∈∂{f˜k(zk+1) +iX(zk+1)}entoncesf˜(xk)≥f˜(xk) +pTk(xk−zk+1)Asi,
αk ≥fxk−f˜k(xk)≥fxk −f(xk)−f −2g ≥f(xk)−f −f(xk)−f −2g = 2.
ii) Si se cumple la condici´on del paso 3 entonces vk < −αk, adicionalmente, dado que
αk+tk|pk|2 = vk =⇒ αk ≤ vkde estas dos desigualdades podemos observar queα ≤ 0.
Entonces dado que|pk| ≥0,
0≤Vk = m´ax{|pk|, αk}=|pk|=
vk−αk
tk
1/2
Ahora, note quevk−αk ≤ −2αk entonces
vk−αk
tk
1/2
<
−2
αk
tk
1/2
≤
−2
tk
1/2
Esta ´ultima desigualdad la tenemos por el literal i. de este Lema.
Teorema 3.10. ( [4];3.9) Sea fxk ↓ f
∞
x := l´ımkfxk y f
∗ := ´ınf
x∈Xf(x) Entonces
fx∞ ≤ f∗ +g. De hecho l´ım supkf(xk) ≤ f∗ + tal que para todo punto de
Or´aculo inexacto:
La funci´on que se quiere optimizar es:
f(x) = cTx+
N
X
i=1
piQi(x)
Donde pi es la probabilidad de cada escenario aleatorio. Adicionalmente, por el cap´ıtulo
anterior su subgradiente es de la forma
g(x) = c−
N
X
i=1
piTiui,
dondeui ∈Di(x) =argm´ax{uT(hi−Tix) :WiTu≤qi}.
Se quiere buscar un oraculo para la funci´on, para que de esta forma se evite tener que resolver N problemas lineales. Considere el problema dual de cada problema de segunda etapa:
m´ax
u (hi −Tix)
Tu
s.a. WTu≤q
Dado que en todos los subproblemas duales la regi´on factible es la misma, entonces se va a aproximar los problemas que tengan funciones objetivo colineares en el siguiente sentido:
cosθij :=
(hi−Tix)T(hj −Tjx)
||hi−Tix||||hj −Tjx||
= 1
Algoritmo or´aculo inexacto
Paso 0 inicializaci´on: Para unxfijo, tome un subconjuntoI ⊆ {1, ..., N}preferiblemente que haya un representante por cada grupo de funciones objetivo aproximadamente colinea-res.
Paso 1 C´alculo exacto: Sea D = ∅ entonces para todo i ∈ I se encuentra ui ´optimo
Paso 2 Estimaciones: Por cadaj /∈Ise calcula
θj :=argm´ax
u∈D u
T
(hj −Tjx),
Y se obtiene la funci´on aproximada:
fx=cTx+
X
i∈I
piuTi (hi−Tix) +
X
j /∈I
pjθjT(hj −Tjx).
Para obtener el subgradiente, recuerde que si ui es soluci´on ´optima del problema dual del
escenario i, entonces el subgradiente de su funci´on objetivo es−TT
i uipor 2.29 entonces
gx =c+
X
i∈I
piTiTui+
X
j /∈I
Pseudoc´odigo: Empezamos el or´aculo con unzk ∈Xfijo
Paso 0 inicializaci´on: fori=1 to Ndo
ifi∈ILP then
forj=1+1 to Ndo ifj ∈ILP then
Calculocosθij
if1−cosθij < cthen
ILP :=ILP \ {j}
end end end end end
Paso 1 c´alculos exactosDLP :=∅
fori∈ILP do
Se soluciona el problema i, encontrando la soluci´on ´optimaui y se agrega aDLP
end
Paso 2 c´alculos estimados forj /∈ILP do
θj =argm´axu∈DLPu
T(h
j−Tjzk)
end
Algorithm 2:Or´aculo inexacto ( [1],4.1)
Definici´on 3.11. Seax∈ <n, se dice que una restricci´on est´a activa en x siaT
i x=bi
Definici´on 3.12. Dado un poliedro P, el vector x ∈ <n, es una soluci´on b´asica factible
si: (i) Todas las restricciones de igualdad estan activas. (ii) De las restricciones que estan activas en x, hay n linealmente independientes. (iii) x satisface todas las restricciones de P Lema 3.13. ( [1],4.1) Dado un poliedro no vacio Π(q) := {u : WTu ≤ q}, considere la
funci´on de soporte
sq(d) = m´ax{uTd:u∈Π(q)},
Entonces existe una constante K=K(q,W) tal que para toda soluci´on b´asica factible v ∈ Π(q)se tiene que:
sq(d)−K(q, W)|d| ≤vTd≤sq(d),
para todod∈Π :={d∈ <m :dTu≤0 ∀u∈Π(0)}
Demostraci´on. La segunda desigualdad se tiene trivialmente, puesv ∈ Π(q)ysq(d)es el
m´aximo.
Seaud∈Π(q)una soluci´on b´asica factible ´optima tal quesq(d) =uTdd, entonces:
0≤sq(d)−vTd≤ |ud−v||d|
Ahora, como el poliedro es no vac´ıo, hay una cantidad finita de soluciones basicas factibles, entonces si:
K(q, W) = m´ax
ud∈Π(q)
|ud−v||d|
0≤sq(d)−vTd≤K(q, W)|d|
y se obtiene lo deseado.
Proposici´on 3.14. ( [1],4.2) Si el costo q est´a fijo para todos los escenarios, el solver de programacion lineal encuentra soluciones b´asicas ´optimas. Entonces si X es acotado y todos son finitos los Q(x)luego la inexactitud es acotada y el or´aculo inexacto satisface 3.5
Demostraci´on. Sea x ∈ X, j ∈ {1, .., N} \ILP entonces como Q(x) es finito todos los
Qj(x) = sq(hj−Tjx)son finitos. Sabemos adem´as por el supuesto sobre el solver que los
θj son soluciones b´asicas factibles enΠ(q)entonces podemos aplicard = hj −Tjxen el
lema anterior tenemos que:
Por la proposici´on 2.31 tenemos que Q(x) es de Lipschitz y por ende existe una cota uni-forme para los||hj −Tjx|| ∀j ∈ {1, .., N}, adem´as como X es acotado entonces j ≤ f
para alguna constantef ∀j ∈ {1, .., N}
Primero veremos quegx ∈∂f para esto considere el siguiente problema
m´ax
u (hi−Tiz) T
u,
s.a. WTu≤q,
dondez∈X y seau0j la soluci´on ´optima, entonces:
Qj(z) =(hj−Tjz)Tu0j (3.4)
≥(hj−Tjz)Tθj (3.5)
=Qj(x)−zTTjθj −[Qj(x) +xTTjθj −hTjθj] (3.6)
=Qj(x)−(z−x)TTjTθj −j (3.7)
Ahora, dado que−uTi Ti ∈∂Qi(z)dondeuies una soluci´on ´optima paraQi(z)coni∈ILP,
entonces:
f(z) =cTz+ X
i∈ILP
piQi(z) +
X
j /∈ILP
pjQj(z) (3.8)
≥cTz+ X
i∈ILP
pi[Qi(x)−uTi Ti(z−x)] +
X
j /∈ILP
pj[Qj(x)−θjTj(z−x)−j] (3.9)
=cTx+
N
X
i=1
piQi(x)− N
X
j /∈ILP
pjj +
cT − X
i∈ILP
piuTi Ti−
X
j /∈ILP
pjθjTTj
(z−x)
(3.10) =f(x)− X
j /∈ILP
pjj +gTx(z−x) (3.11)
ClaramenteP
j /∈ILPpjj ≤f entoncesf(z)≥f(x)−f+g
T
Finalmente:
f(x) =cTx+ X
i∈ILP
piQi(x) +
X
j /∈ILP
pjQj(x) (3.12)
=cTx+ X
i∈ILP
piQi(x) +
X
j /∈ILP
θTj(hj−Tjx) +
X
j /∈ILP
[Qj(x)−θjT(hj−Tjx)]
(3.13) =fx+
X
j /∈ILP
pjj ≤fx+f (3.14)
=⇒f(x)−f ≤fx
Aplicaci´on pr´actica
La aplicaci´on pr´actica que se realiz´o en este trabajo de grado se bas´o en un sistema que proporciona energ´ıa hidroel´ectrica, este servicio p´ublico es producido desde unos genera-dores que buscan suministrar energ´ıa el´ectrica a las ciudades.
Sin embargo, estos s´olo pueden generar de acuerdo a la capacidad que se les instale y a la disponibilidad que depende del agua que posea el sistema gracias a las lluvias y otros facto-res; adicionalmente, la demanda de energ´ıa tambien es una variable aleatoria que depende del momento del d´ıa. En caso de no tener la suficiente energia para abastecer el sector, se puede comprar en el mercado la energia restante.
Por otra parte, la empresa debe decidir cu´anta energ´ıa producir en cada periodo del d´ıa conociendo la demanda y su disponibilidad. Sin embargo la compa˜nia debe decidir previa-mente y sin conocer las demandas futuras cu´anta capacidad le instala a cada generador. A continuaci´on se muestra la formulaci´on matem´atica a este problema:
Conjuntos:
J:= Conjunto de generadores={1, .., M}
I:= Conjunto de partes del d´ıa={1, .., N}
Par´ametros:
cj:= Costo fijo por capacidad instalada en el generador j
fij:= Costo operativo del generador j en la parte del d´ıa i
gi:= Costo de comprar capacidad adicional en el momento del d´ıa i
bj:= Capacidad m´ınima requerida del generador j.
dω
i:= Demanda de energ´ıa en el momento i del dia bajo el escenarioω.
pωi:= Probabilidad del escenario de demandaωen el momento i del dia.
aω
j:= Disponibilidad del generador j bajo el escenarioω.
qω
j:= Probabilidad del escenario de disponbilidadωpara el generador j.
Variables de desici´on:
xj:= Capacidad instalada para el generador j.
yωij:=Cantidad a producir en el momento i del dia con el generador j en el escenarioω zω
i := Cantidad de enrgia a comprar en la parte del d´ıa i bajo el escenarioω.
Restricciones:
1. La capacidad instalada de los generadores es mayor a la requerida:
xj ≥bj ∀j ∈J
2. En un escenario fijo, puedo producir tanto como lo permita la disponibilidad y la capa-cidad instalada
yijω ≤aωjxj ∀j ∈J, i∈I
3. Para un escenario fijo se debe cumplir la demanda:
M
X
j=1
yωij +ziω ≥dωi ∀i∈I
Teniendo esto en cuenta se tiene el siguiente problema de segunda etapa:
Q(x, ω) = m´ınX
i∈I
(X
j∈J
fijyωij +z ω i )
yijω ≤aωjxj ∀j ∈J, i∈I
M
X
j=1
yωij +ziω ≥dωi ∀i∈I
y, z ≥0
Y el siguiente problema de primera etapa
m´ınX
j∈J
cjxj +E[Q(x, ω)]
s.a xj ≥bj ∀j ∈J
x≥0
Note que en el siguiente problema, los par´ametros que acompa˜nan a las variables del pro-blema de la segunda etapa no dependen del escenario, por ende la matriz W del propro-blema de segunda etapa es la misma sin importar el escenario al igual que los costos. Note adem´as que las varianzas de las variables aleatorias son finitas al ser variables discretas y por ende se puede aplicar el m´etodo con el oraculo explicado en la seccion 3.2.
La implementaci´on de este algoritmo aplicado a este problema se desarroll´o en MATLAB con ayuda del paquete CVX que ayuda a solucionar el problema cuadr´atico que se mencio-na anteriormente. El c´odigo se muestra en el Anexo 1.
4.1.
Resultados
Se implement´o el m´etodo Bundle en Matlab para el problema de energia con 1032 escena-rios.cos= 0,00005
Se obtuvo una funci´on de costos m´ınima de 543.77 y una soluci´on ´optima de (20,56.72). Sin embargo para observar la sensibilidad del m´etodo, se modifico el par´ametrocos.
Se obtuvo una funci´on de costos m´ınima de 527.1864 y una soluci´on ´optima de (20,53.5743)
Esto muestra la sensibilidad del par´ametro y como el or´aculo aproxima por debajo la fun-ci´on. Adem´as, el tiempo computacion se ve comprometido como muestra la siguiente tabla: Para diferentes valores decosse resolv´ıan diferentes cantidades de los 1032 problemas.
cos |ILP|
0.01 7
0.001 182 0.0001 991 0.00005 1020
Se pudo observar que para valores decosmuy altos el m´etodo es altamente inexacto y no
converge. Adem´as para valores decosmuy bajos cada iteraci´on es muy costosa en tiempo
computacional.
El valor de V alcanzo un m´ınimo de de 0.07917, sin embargo se corri´o el m´etodo sin el manejo de indices y este par´ametro fue creciendo incluso en el valor optimo.
Con manejo de indices
Este resultado muestra que el manejo de indices no solo mejora el tiempo computacional al reducir las restricciones en el problema cuadr´atico, sino que tambi´en evita que se acumule la inexactitud al tener muchos hiperplanos alejando la iteraci´on de la funci´on or´aculo real.
Finalmente se muestra el error de linearizaci´on.
El par´ametroαes negativo unicamente cuando hay problemas de inexactitud, esto sucedia principalmente cuando el par´ametrocosera suficientemente grande.
Conclusiones
Las variables con soporte finito permiten una aproximaci´on convexa al problema El m´etodo de Benders adem´as de tener que solucionar todos los escenarios para el criterio de parada, debe solucionar un problema maestro relajado con un numero cre-ciente de restricciones.
El algoritmo bundle con una inexactitud manejable, logra resolviendo menos proble-mas, llegar a un ´optimo aproximado.
Si no se realiza el manejo de ´ındices, el problema cuadr´atico podr´ıa tardar demasiado tiempo computacional.
Se puede concluir adicionalmente que el m´etodo inexacto es mucho m´as eficiente que el m´etodo de Benders pues incluso si se tiene un valor de cos muy peque˜no se deben
solu-cionar tantos escenarios como se calcule en el oraculo y despu´es se debe solusolu-cionar un problema cuadr´atico que no es muy complejo. Por otra parte, como ya se menciono en la descomposici´on de Benders se deben solucionar una cantidad mucho mayor de problemas.
.1.
Anexo 1
El c´odigo se dividio en 3 funci´ones y un archivo principal. La primera funci´on, se encargo de tomar los par´ametros, armar la matriz, vectores y pedir a matlab que utilice simplex para resolver.
1 f u n c t i o n [ pd , QA] = Q( x , w , a , d , f , g ) 2 A=e y e( 3 ) ;
3 B=z e r o s ( 3 ) ;
4 C= [A B A ; B A A ; B B A ] ; 5 u n o s = o n e s ( 3 ) ;
6 un= u n o s ( 1 , : ) ;
7 c o s t o s = [ a (w ( 1 ) , 1 ) *x ( 1 ) * un a (w( 2 ) , 2 ) *x ( 2 ) * un d (w( 3 ) , 1 ) d (w( 4 ) , 2 ) d (w ( 5 ) , 3 ) ] ;
8 d e r e = [ t r a n s p o s e ( f ( : , 1 ) ) t r a n s p o s e ( f ( : , 2 ) ) g ] ; 9 Aeq = [ ] ;
10 beq = [ ] ;
11 l b =[−I n f* un −I n f* un 0* un ] ; 12 ub = [ 0 * un 0* un I n f* un ] ;
13 pd= l i n p r o g (−c o s t o s , C , d e r e , Aeq , beq , l b , ub ) ; 14 QA= c o s t o s * pd ;
15 end
La siguiente funci´on, calculaba el oraculo dado un punto x.
1 f u n c t i o n [ f o , go ] = o r a c u l o ( x ) 2 c = [ 2 . 5 , 2 . 6 ] ;
3 f = [ 0 . 1 , 0 . 1 ; 0 . 2 , 0 . 1 ; 0 . 1 , 0 . 0 5 ] ; 4 g = [ 1 , 2 , 1 ] ;
5 b = [ 2 0 , 5 0 ] ;
7 p = [ 0 . 2 , 0 . 2 , 0 . 3 ; 0 . 2 , 0 . 3 , 0 . 3 ; 0 . 1 , 0 . 3 , 0 . 1 ; 0 . 5 , 0 . 2 , 0 . 3 ] ; 8 a = [ 0 . 5 , 0 . 6 ; 0 . 8 , 0 . 7 ; 1 , 0 . 8 ; 0 . 3 , 0 . 9 ] ;
9 q = [ 0 . 3 , 0 . 2 5 ; 0 . 3 , 0 . 2 5 ; 0 . 2 , 0 . 2 5 ; 0 . 2 , 0 . 2 5 ] ; 10
11 k = 0 ; 12 ILP = [ ] ;
13 e c o s = 0 . 0 0 0 0 5 ; 14 f o r i 1 = 1 : 4 15 f o r i 2 = 1 : 4 16 f o r i 3 = 1 : 4 17 f o r i 4 = 1 : 4 18 f o r i 5 = 1 : 4 19 k=k + 1 ;
20 ILP = [ ILP k ] ;
21 e{k}= [ i 1 , i 2 , i 3 , i 4 , i 5 ] ;
22 p r o b ( k ) =q ( i 1 , 1 ) *q ( i2 , 2 ) *p ( i3 , 1 ) *p ( i4 , 2 ) *p ( i5 , 3 ) ; 23 end
24 end
25 end
26 end
27 end
28 u n o s = o n e s ( 3 ) ; 29 un= u n o s ( 1 , : ) ; 30
31 f o r i = 1 : 1 0 2 4
32 i f any( i == ILP ) 33 f o r j = i + 1 : 1 0 2 4 34 i f any( j == ILP )
35 c o s t 1 = [ a ( e{i}( 1 ) , 1 ) *x ( 1 ) * un a ( e{i}( 2 ) , 2 ) *x ( 2 ) * un d ( e{i }( 3 ) , 1 ) d ( e{i }( 4 ) , 2 ) d ( e{i }( 5 ) , 3 ) ] ;
36 c o s t 2 = [ a ( e{j}( 1 ) , 1 ) *x ( 1 ) * un a ( e{j}( 2 ) , 2 ) *x ( 2 ) * un d ( e{j }( 3 ) , 1 ) d ( e{j }( 4 ) , 2 ) d ( e{j }( 5 ) , 3 ) ] ;
37 c o s= ( c o s t 1 * t r a n s p o s e ( c o s t 2 ) ) / (norm( c o s t 1 ) *
norm( c o s t 2 ) ) ; 38 i f 1−c o s<e c o s
39 ILP = s e t d i f f ( ILP , [ j ] ) ;
40 end
41 end
42 end
43 end
44 end
45
46 k1 = 0 ;
47 f o r i = 1 : 1 0 2 4
48 i f any( i == ILP ) 49 k1=k1 + 1 ;
50 [ pd , QA] =Q( x , e{i}, a , d , f , g ) ; 51 D{k1}= pd ;
52 u{i}= pd ; 53 e l s e
54 u{i}= [ ] ; 55 end
56 end
58 t e t a = [ ] ;
59 NILP= s e t d i f f ( 1 : 1 0 2 4 , ILP ) ; 60 f o r j = 1 : 1 0 2 4
61 i f any( j ==NILP )
62 c o s t 2 = [ a ( e{j}( 1 ) , 1 ) *x ( 1 ) * un a ( e{j }( 2 ) , 2 ) *x ( 2 ) * un d ( e {j}( 3 ) , 1 ) d ( e{j}( 4 ) , 2 ) d ( e{j}( 5 ) , 3 ) ] ;
63 f o r k2 = 1 : k1
64 t ( k2 ) = t r a n s p o s e (D{k2}) * t r a n s p o s e ( c o s t 2 ) ;
65 end
66 [ a r g v a l u e , argmax ] = max( t ) ; 67 t e t a ( j ) = argmax ;
68 o b j ( j ) = a r g v a l u e ; 69 end
70 end
71
72 %Suma r e p r e s e n t a n t e s c o l i n e a r e s I P
73 SUMACOL= 0 ; 74 f o r i = 1 : 1 0 2 4
75 c o s t 1 = [ a ( e{i }( 1 ) , 1 ) *x ( 1 ) * un a ( e{i }( 2 ) , 2 ) *x ( 2 ) * un d ( e{i }( 3 ) , 1 ) d ( e{i }( 4 ) , 2 ) d ( e{i }( 5 ) , 3 ) ] ;
76 i f i s e m p t y( u{i}) ==0
77 SUMACOL=SUMACOL+ p r o b ( i ) * t r a n s p o s e ( u{i }) * t r a n s p o s e ( c o s t 1 ) ;
78 end
79 end
80 %Suma E s t i m a d o s
81 SUMAEST= 0 ;
83 f o r j = 1 :s i z e ( o b j )
84 SUMAEST=SUMAEST+ p r o b ( j ) * o b j ( j ) ; 85 end
86 end
87 %C a l c u l o f o r a c u l o
88 f o = c * t r a n s p o s e ( x ) +SUMACOL+SUMAEST 89
90 u n o s = o n e s ( 3 ) ; 91 un= u n o s ( 1 , : ) ; 92 z e r o =z e r o s ( 3 ) ; 93 z e = z e r o ( 1 , : ) ;
94 %Suma r e p r e s e n t a n t e s c o l i n e a r e s I P p a r a s u b g
95 SUMACOL2= t r a n s p o s e ( [ 0 0 ] ) ; 96 f o r i = 1 : 1 0 2 4
97 TT=[−a ( e{i}( 1 ) , 1 ) * un ze ze ; ze −a ( e{i}( 2 ) , 2 ) * un ze ] ; 98 i f i s e m p t y( u{i}) ==0
99 SUMACOL2=SUMACOL2−p r o b ( i ) *TT*u{i}; 100 end
101 end
102 %Suma E s t i m a d o s p a r a s u b g
103 SUMAEST2= t r a n s p o s e ( [ 0 0 ] ) ; 104 i f i s e m p t y( t e t a ) ==0
105 f o r j = 1 :s i z e ( t e t a )
106 TT=[−a ( e{j }( 1 ) , 1 ) * un ze ze ; ze −a ( e{j}( 2 ) , 2 ) * un ze ] ; 107 i f t e t a ( j )>0
108 SUMAEST2=SUMACOL2−p r o b ( j ) *TT*D{t e t a ( j ) }; 109 end
111 end
112 %C a l c u l o g o r a c u l o
113 go= t r a n s p o s e ( c ) + (SUMACOL2+SUMAEST2 ) 114
115 end
La tercera funci´on se encargaba de calcular el m´aximo dadas las aproximaci´ones, adem´as ayudaba con el manejo de ´ındices.
1 f u n c t i o n [ a r g v a l u e , f m a x i , JP1 ] = fmax ( s o l , xo , f o r a c u l o , subg , J ) 2
3 %f u n c i o n f mono
4 z = s o l ( 1 : 2 ) ; 5
6 fm = [ ] ;
7 f o r i = 1 :s i z e ( f o r a c u l o ) 8 i f J ( i ) ==1
9 fmn= f o r a c u l o ( i ) + ( t r a n s p o s e ( z )−xo{i}) * ( subg{i}) ; 10 fm = [ fm fmn ] ;
11 end
12 end
13
14 [ f m a x i , a r g v a l u e ] =max( fm ) ; 15
16 f o r i = 1 :s i z e ( f o r a c u l o )
17 i f f o r a c u l o ( i ) + ( t r a n s p o s e ( z )−xo{i}) * ( subg{i}) == f m a x i 18 JP ( i ) = 1 ;
19 e l s e
20 JP ( i ) = 0 ; 21 end
22 end
23 JP1 = JP ;
El c´odigo se dividio en 3 funci´ones y un archivo principal. La primera funci´on, se encargo de tomar los par´ametros, armar la matriz, vectores y pedir a matlab que utilice simplex para resolver.
1 %I n i c i a l i z a c i o n
2 b = [ 2 0 , 5 0 ] ; 3 x=b ;
4 [ f o , go ] = o r a c u l o ( x ) ; 5 s u b g{1}= go ;
6 f u n c s = [ f o ] ; 7 s o l{1}= x ;
8 A= [ 1 0 0 ; 0 1 0 ] ; 9 B= [ go ( 1 ) go ( 2 ) −1]; 10 BP = [ go ( 1 ) go ( 2 ) −1];
11 d e r B = [ t r a n s p o s e ( go ) * t r a n s p o s e ( x )−f o ] ; 12 derBP = [ t r a n s p o s e ( go ) * t r a n s p o s e ( x )−f o ] ; 13 n = 3 ;
14 t ( 1 ) = 0 . 9 ; 15 v ( 1 ) = 0 ; 16 a l f a ( 1 ) =−1; 17 s o l{1}= x ; 18 s u b g{1}= go ; 19 f u n c s ( 1 ) = f o ; 20 J = [ 1 ] ;
21
22 f o r k = 1 : 1 0 0 23 c v x b e g i n
24 v a r i a b l e r ( n ) ;
25 m i n i m i z e ( r ( 3 ) + ( 1 / ( 2 * t ( k ) ) ) * ( r ( 1 )−x ( 1 ) ) ˆ 2 + ( 1 / ( 2 * t ( k ) ) ) * ( r ( 2 )−x ( 2 ) ) ˆ 2 )
26 s u b j e c t t o
27 A* r >= t r a n s p o s e ( b ) 28 BP* r <= derBP
29 r ( 1 ) >= 0 30 r ( 2 ) >= 0 31 c v x e n d
32 %U s a r f mono
33 [ a r g v a l , fmono , JP ] = fmax2 ( r , s o l , f u n c s , subg , J ) ; 34 v ( k ) = f o−fmono ;
35 z = r ( 1 : 2 ) ;
36 p{k}= ( t r a n s p o s e ( z )−x ) *(1/−t ( k ) ) ; 37 a l f a ( k ) =v ( k )−t ( k ) *norm( p{k}) ˆ 2 ; 38 V( k ) =max(norm( p{k}) , a l f a ( k ) ) ; 39 max(norm( p{k}) , a l f a ( k ) )
40 %Manejo i n e x a c t i t u d
41 i f v ( k )<−a l f a ( k ) 42 t ( k + 1 ) =3* t ( k ) ; 43 v ( k + 1 ) =v ( k ) ;
44 a l f a ( k + 1 ) = a l f a ( k ) ; 45 e l s e
46 %V e r i f i c a r que d e s c i e n d e , l l a m a r o r a c u l o
47 c = 0 . 0 1 ; 48 f o a = f o ; 49 goa =go ;
51 s u b g{k +1}= go ; 52 f u n c s ( k + 1 ) = f o ;
53 s o l{k +1}= t r a n s p o s e ( z ) ; 54
55 i f f o<=f o a−c *v ( k )
56 %A c t u a l i z a r p a s o s i g u i e n t e p u n t o s e r i o :
57 t ( k + 1 ) = t ( k ) ; 58 x= t r a n s p o s e ( z ) ;
59 B= [B ; go ( 1 ) go ( 2 ) −1];
60 d e r B = [ d e r B ; t r a n s p o s e ( go ) * t r a n s p o s e ( x )−f o ] ; 61 BP = [ ] ;
62 derBP = [ ] ;
63 f o r i = 1 :s i z e ( JP ) 64 i f JP ( i ) ==1
65 BP = [ BP ; B ( i , : ) ] ;
66 derBP = [ derBP ; d e r B ( i ) ] ;
67 end
68 end
69 BP = [ BP ; go ( 1 ) go ( 2 ) −1];
70 derBP = [ derBP ; t r a n s p o s e ( go ) *z−f o ] ; 71 J = JP ;
72 J ( k + 1 ) = 1 ; 73 e l s e
74 %A c t u a l i z a r i t e r a c i o n n u l a
75 t ( k + 1 ) = 0 . 9 * t ( k ) ;
76 B= [B ; go ( 1 ) go ( 2 ) −1];
77 d e r B = [ d e r B ; t r a n s p o s e ( go ) *z−f o ] ; 78 BP = [ ] ;
79 derBP = [ ] ;
80 f o r i = 1 :s i z e ( JP ) 81 i f JP ( i ) ==1
82 BP = [ BP ; B ( i , : ) ] ;
83 derBP = [ derBP ; d e r B ( i ) ] ;
84 end
85 end
86 BP = [ BP ; go ( 1 ) go ( 2 ) −1];
87 derBP = [ derBP ; t r a n s p o s e ( go ) *z−f o ] ; 88 J = JP ;
89 J ( k + 1 ) = 1 ; 90 end
91
92 v ( k + 1 ) =v ( k ) ;
93 a l f a ( k + 1 ) = a l f a ( k ) ; 94 end
[1] W. Oliveira, C. Sagastizabal, y S. Scheimberg.Inexact Bundle Methods for Stochastic Programming. SIAM J. Optim Vol 21 No 2 pp 517-544, 2011.
[2] Dimitris Bertsimas, Jhon Tsitsiklis. Introduction to Linear Optimization. Massachu-setts Institute of Technology, Athena Scientific, 1997.
[3] A. Shapiro, D. Dentcheva, A. RuszczynskiLectures on Stochastic Programming. Mo-deling and theory. SIAM, Mathematical Programming Society, 2009.
[4] Krzysztof C. KiwielA proximal bundle method with approximate subgradient lineari-zations. SIAM J. Optim Vol 16 No 4 pp 1007-1023, 2006.
[5] D. Bertsekas, A. Nedic, A. OzdaglarConvex analysis and optimization. Massachusetts Institute of Technology, Athena Scientific, 2003.
[6] A. JuditskyConvex Optimization, Theory and Algorithmes Lecture Notes 3. Universit´e Joseph Fourier, 2015
[7] J. Birge, F. LoveauxIntroduction to Stochastic Programming. 2 ed, Springer Series in Operations Research and Financial Engineering, 2011
[8] Krzysztof C. KiwielProximity control in bundle methods for convex nondifferentiable minimization. Math. Programming, 46 (1990), pp 105-122
