Funciones convexas y optimizaci´ on convexa

Tema 4

Funciones convexas y optimizaci´ on convexa

Jos´e R. Berrendero

Departamento de Matem´aticas Universidad Aut´onoma de Madrid

Contenidos del tema 4

I Repaso de algunos resultados sobre optimizaci´on de funciones.

I Funciones convexas. Caracterizaciones.

I Operaciones que preservan la convexidad.

I Resultados generales sobre optimizaci´on convexa.

Notaci´ on

Para una funci´onf :Rⁿ→R, denotamos

I Derivada direccional: sead∈Rⁿcond6= 0,

f⁰(x,d) = lim

λ→0

f(x+λd)−f(x)

λ .

I Derivadas parciales: f_i⁰(x) =f⁰(x,ei) conei = (0, . . . ,1, . . . ,0)^>. I Gradiente:∇f(x) = (f₁⁰(x), . . . ,f_n⁰(x))^>.

I Matriz Hessiana:

Hf(x) =







f₁₁⁰⁰(x) · · · f_1n⁰⁰(x) ..

. . .. ... f_n1⁰⁰(x) · · · f_nn⁰⁰(x)







Propiedades b´ asicas

I f tiene derivadas parciales continuas⇒f es diferenciable⇒f tiene derivadas parciales.

I f diferenciable⇒f⁰(x,d) =∇f(x)^>d.

I f es diferenciable en ¯xsi y solo si

f(x) =f(¯x) +∇f(¯x)^>(x−x) +¯ kx−¯xkR(¯x;x−¯x), donde limx→¯xR(¯x;x−¯x) = 0.

I f es diferenciable dos veces en ¯xsi y solo si

f(x) =f(¯x) +∇f(¯x)^>(x−¯x) +1

2(x−x)¯^>Hf(¯x)(x−x) +¯ kx−xk¯ ²R(¯x;x−x),¯ donde limx→¯xR(¯x;x−¯x) = 0.

I Sif es diferenciable en ¯x y∇f(¯x)^>d<0 (resp. >0), entonces existeδ >0 tal quef(¯x)>f(¯x+λd) (resp.<) si 0< λ < δ.

Condiciones para ´ optimos locales

Condici´on necesaria de primer orden: Sea f diferenciable en ¯x.

Si ¯x es un m´ınimo o m´aximo local de f entonces∇f(¯x) = 0.

Condiciones necesarias de segundo orden: Seaf dos veces diferenciable en ¯x. Si ¯x es un m´ınimo local def entonces

1. ∇f(¯x) = 0

2. Hf(¯x) es semidefinida positiva

Condiciones suficientes de segundo orden: Sea f dos veces diferenciable en ¯x. Si

1. ∇f(¯x) = 0

2. Hf(¯x) es definida positiva

entonces ¯x es un m´ınimo local (estricto) def.

Funciones convexas

Unafunci´onf :D →Resconvexa si su dominio D⊂Rⁿ es convexo, y para todox,y ∈D, para todoλ∈[0,1], se verifica

f(λx+ (1−λ)y)≤λf(x) + (1−λ)f(y).

I Laconvexidad estricta requiere <en lugar de≤.

I Una funci´onf es(estrictamente) c´oncavasi−f es (estrictamente) convexa.

I f es convexa si y solo si para todo x yu,g(t) =f(x+tu) es convexa (en su dominio, es decir, {t : x+tu∈D}).

Algunos ejemplos

I f(x) =x² es convexa.

I f(x) = max{x₁, . . . ,x_n} dondex = (x₁, . . . ,x_n)^> es convexa.

I Las funciones afines f(x) =Ax+b son c´oncavas y convexas.

I Cualquier norma f(x) =kxkes una funci´on convexa.

I Si S es convexo, la distancia aS, f(x) =d(x,S) = inf

s∈Skx−sk es una funci´on convexa.

Desigualdad de Jensen

Teorema: Si f :D →Res convexa, entonces para todox1, . . . ,xk

de su dominio yλ1, . . . , λn≥0 conλ1+· · ·+λ_k = 1 se cumple f(λ1x1+· · ·+λkxk)≤λ1f(x1) +. . .+λkf(xk).

Demostraci´on:Por inducci´on sobrek, observando que six=λ1x1+· · ·+λ_k+1x_k+1, entoncesx=λy+ (1−λ)xk+1, dondey=Pk

i=1(λ1/λ)xi, conλ= 1−λk+1.

SiX es una v.a. que toma los valoresx_i con probabilidad λ_i, entoncesf[E(X)]≤E[f(X)].

Epigrafo

Elepigrafode una funci´onf :D→R se define como:

epi(f) ={(x,t) : x ∈D,f(x)≤t} ⊂Rⁿ⁺¹.

Teorema: Una funci´on es convexa si y solo si su epigrafo es un conjunto convexo.

Teorema: Sea {f_i : i ∈I} una familia de funciones convexas definidas sobre un conjunto convexo no vac´ıoS tal que para todo x∈S, el conjunto {f_i(x) : i ∈I} est´a acotado superiormente.

Entonces la funci´onf(x) = sup{f_i(x) : i ∈I},x ∈S, es convexa.

Demostraci´on:epi(f) =T

i∈Iepi(fi).

Funciones convexas diferenciables

Teorema: Sea f :D →Rdiferenciable sobre un dominio convexo y abiertoD. Entonces, f es convexa si y solo si

f(x)≥f(¯x) +∇f(¯x)^>(x−x),¯ para todox,x¯∈D.

Demostraci´on:

(⇒) Six,x¯∈Dyf es convexa enD,

f(λx+ (1−λ)¯x)≤λf(x) + (1−λ)f(¯x)⇔[f ¯x+λ(x−¯x)

−f(¯x)]/λ≤f(x)−f(¯x).

Se toman l´ımites cuandoλ→0.

(⇐) Six6=yyλ∈[0,1], se aplica la condici´on axeycon ¯x=λx+ (1−λ)y:

f(x)≥f(¯x) +∇f(¯x)(x−¯x) yf(y)≥f(¯x) +∇f(¯x)(y−x). Se multiplica la primera¯ desigualdad porλ, la segunda por 1−λy se suman.

Funciones convexas diferenciables dos veces

Teorema: Sea f :D →Rcon dos derivadas continuas sobre un dominio convexo y abiertoD. Entonces,f es convexa si y solo si Hf(x) es semidefinida positiva para todox ∈D.

Demostraci´on:Paran= 1 se demuestra en los ejercicios. Paran>1 se considera g(λ) =f(x+λd) y se tiene en cuenta queg⁰⁰(λ) =d^>Hf(x+λd)d.

I Una funci´on dos veces diferenciable es c´oncava si D es convexo y Hf(x) es semidefinida negativa para todox ∈D.

I Si Hf(x) es definida positiva para todo x ∈D, la funci´on es estrictamente convexa, pero el rec´ıproco no es cierto (por ejemplo, f(x) =x⁴).

Operaciones que preservan la convexidad

I Elsupremo de funciones convexas es una funci´on convexa.

I Sumas ponderadas no negativas: Sif_i convexa y w_i ≥0, para i = 1, . . . ,n, entoncesf =w₁f₁+. . .+w_nf_n es convexa.

I Composici´on con una aplicaci´on af´ın: g(x) =f(Ax+b) es convexa sif es convexa.

I Composici´on: Sea D⊂Rⁿ yf :D →Rconvexa. Sea I ⊂f(D) un intervalo tal queg :I →Res creciente y convexa. Entonces la composici´ong ◦f es convexa.

I Minimizaci´on parcial: Sif es convexa en (x,y) y C es un conjunto convexo no vac´ıo, la funci´ong(x) = infy∈Cf(x,y) es convexa en x.

M´ as ejemplos de funciones convexas

I f(x) =−logx es convexa.

I f(x) =e^ax es convexa en Rpara todoa∈R.

I f(x) =x^a (x >0) es convexa sia≤0 oa≥1, y c´oncava si 0≤a≤1.

I f(x) =x^>Ax +a^>x+c, donde Aes sim´etrica, es convexa si y solo si Aes semidefinida positiva.

I Sea X una matriz n×p y seanβ ∈R^p e y ∈Rⁿ, entonces f(β) =ky−Xβk es convexa, dondek · k es cualquier norma.

Problema general de optimizaci´ on convexa

Laoptimizaci´on convexa trata el problema general de minimizar una funci´on convexa, sobre un conjunto factible tambi´en convexo:

minimizar f(x) s.a. x∈S, (1) dondef :D →R es convexa yS ⊂D⊂Rⁿ es convexo.

Casos particulares:

I Optimizaci´on lineal.

I Optimizaci´on cuadr´atica.

I M´ınimos cuadrados.

Teorema local-global

En un problema convexo no hay distinci´on entre m´ınimos globales y locales.

Teorema: Todo m´ınimo local de (1) es tambi´en un m´ınimo global de (1).

Demostraci´on:

I Sea ¯xun m´ınimo local. ExisteR>0 tal quef(¯x)≤f(x), para todo x∈S∩B(¯x,R).

I Spg. que existey∈Stal quef(y)<f(¯x).

I Consideramosz= (1−θ)¯x+θy, paraθ >0 suficientemente peque˜no.

I z∈S∩B(¯x,R) perof(z)<f(¯x).

M´ınimos globales bajo convexidad y diferenciabilidad

Teorema: Consideremos el problema (1) en el que se supone adem´as quef es diferenciable. Un punto ¯x∈S es m´ınimo global de (1) si y solo si

∇f(¯x)^>(x−x)¯ ≥0, para todo x∈S.

Demostraci´on:

(⇐) Por la convexidad def, para todox∈S,

f(x)≥f(¯x) +∇f(¯x)^>(x−x)¯ ≥f(¯x).

(⇒)

1. Spg. existex∈Scon∇f(¯x)^>(x−¯x)<0. Entonces,x−¯xes una direcci´on de descenso local.

2. Existe 0< λ <1 tal quef(¯x)>f ¯x+λ(x−¯x)

=f(λx+ (1−λ)¯x).

3. λx+ (1−λ)¯x∈SporqueS es convexo.

4. Por lo tanto, ¯xno es un m´ınimo global.

Observaciones

1. Si S es abierto (por ejemplo,S =Rⁿ) entonces la condici´on del teorema anterior se reduce a∇f(¯x) = 0.

(Considera x= ¯x−λ∇f(¯x), paraλ >0 suf. peque˜no.) 2. Sin embargo, si S no es abierto la condici´on sirve para

detectar ´optimos en la frontera. (minx² s.a. 1≤x≤2.) 3. Si ∇f(¯x)6= 0, entonces−∇f(¯x) define un hiperplano soporte

a S en ¯x.

4. Aplicaci´on a un problema de optimizaci´on lineal.

5. Aplicaci´on a un problema convexo con restricciones de igualdad:

minf(x) s.a. Ax =b, donde f es convexa y diferenciable.

Ejemplo

Resuelve gr´aficamente el problema:

minimizar (x1−4)²+ (x2−6)² s.a. x2 ≥x₁²

x₂ ≤4

Demuestra anal´ıticamente que la soluci´on obtenida gr´aficamente es el m´ınimo global del problema.

Una versi´ on m´ as expl´ıcita del problema convexo

En la pr´actica consideramos problemas convexos para los que el conjunto factible se conoce m´as expl´ıcitamente:

minimizar f(x)

s.a. fi(x)≤0, i = 1, . . . ,m a^>_i x =b_i, i = 1, . . . ,p, donde las funcionesf,f1, . . . ,fn son convexas.

Equivalentemente,

minimizar f(x)

s.a. f_i(x)≤0, i = 1, . . . ,m Ax =b,

donde las filas deAson los vectores a_i^>.

Denotamos porD la intersecci´on de los dominios de todas las funciones del problema.