3. Juegos estoc´ asticos ARAT
3.4. Resultados preliminares
r1φ2(x, a) ∶= ¯r1(x, a, φ2), Qφ2(⋅/x, a) ∶= ¯Q(⋅/x, a, φ2), Vφ12(x, π1) ∶= V1(x, π1, φ2), Vφ12(x) ∶= sup π1∈Π1 Vφ12(x, π1).
Entonces por la Proposici´on 3.3.3(a) existe un selector medible f ∈ F tal que Vφ12(x) = V1(x, f, φ2)
y por el Lema 3.3.2 se tiene que ∥V1 φ2∥W = sup x∈X ∣V1(x, f, φ2)∣ W(x) (3.6) ≤ 2K 1− αβ, (3.7) es decir, Vφ1
2(⋅) es un elemento de BW(X). Similarmente, si fijamos φ1 ∈ Φ1, una pol´ıtica
estacionaria para el jugador 1, entonces podemos considerar a (3.1) como el Problema de Control de Markov(X, B, Qφ1, r
2
φ1) con su respectivo ´ındice de funcionamiento V
2
φ1(x, π2).
Definimos para cada i= 1, 2 y para cada (φ1, φ2) ∈ Φ el operador en BW(X) por
Tφi1,φ2u(x) ∶= ¯ri(x, φ1, φ2) + α ∫ Xu(y) ¯Q(dy/x, φ1, φ2), y la multifunci´on Ψ∶ Φ1× Φ2↠ 2Φ1×Φ2 por Ψ(φ1, φ2) ∶= {(φ∗1, φ ∗ 2) ∶ Vφ12(x) = T 1 φ∗1,φ2V 1 φ2(x) µ − c.d. y Vφ21(x) = Tφ21,φ∗ 2V 2 φ1(x) µ − c.d.}.
3.4.
Resultados preliminares
Como el espacio Φ1× Φ2 es un espacio metrizable, la semicontinuidad superior de Ψ es
equivalente a demostrar que si(φ1n, φ2n) es una sucesi´on convergente a (φ1, φ2) ∈ Φ y si (ˆφ1
3.4 Resultados preliminares 39
es una sucesi´on convergente a(ˆφ1, ˆφ2) ∈ Φ, entonces (ˆφ1, ˆφ2) ∈ Ψ(φ1, φ2).
Por lo tanto, se probar´a que se satisfacen las siguientes ecuaciones: Vφ12(x) = Tφˆ1,φ2V 1 φ2(x) µ − c.d., (3.8) Vφ21(x) = Tφ1, ˆφ2V 2 φ1(x) µ − c.d. (3.9)
Para la demostraci´on de (3.8), den´otese por un(x) ∶= Vφ12
n(x) x ∈ X, n ∈ N. (3.10)
Lema 3.4.1. Para la sucesi´on (un)∞n=1 definida en (3.10) existe una subsucesi´on(unk)
∞ k=1 y
una funci´on u0∈ BW(X) tal que para cada D ∈ B(X),
∫X1D(x)unk(x)µ(dx) → ∫
X1D(x)u0(x)µ(dx). (3.11)
Demostraci´on. Definimos para cada n∈ N, ˆ
un(⋅) ∶=
un(⋅)
W(⋅),
obs´ervese que por (3.6),
∣ˆun(⋅)∣ ≤
2K
1− αβ ∀n ∈ N, (3.12)
es decir, ˆun∈ L∞(X, µ) ∀n ∈ N.
Por el Teorema de representaci´on de Riesz, cada funci´on g en U∶= {g ∈ M(X) ∶ ∣g(⋅)∣ ≤ 2K
1− αβ µ− c.d.} ⊂ L∞(µ), se identifica con la funcional lineal Γg∈ L∗1(X, µ) definida por
Γg(h) ∶= ∫
Xh(x)g(x)µ(dx),
que pertenece a la bola cerrada B 2K 1−αβ(0) = {Γ ∈ L ∗ 1(µ) ∶ ∥Γ∥ ≤ 2K 1− αβ} .
3.4 Resultados preliminares 40
Por lo tanto, para toda n∈ N,
Γuˆn ∈ B 2K 1−αβ(0).
Por el Lema 1.4.1 en [1] p.16 y por la separabilidad del espacio L1(µ), la bola cerrada B 2K 1−αβ(0)
es compacta y m´etrizable con la topolog´ıa d´ebil estrella en L∗
1(µ); en consecuencia, existe
una subsucesi´on (Γuˆnk) de (Γuˆn) convergente a Γuˆ0 con ˆu0 ∈ U, entonces
∫Xh(x)ˆunk(x)µ(dx) → ∫
Xh(x)ˆu0(x)µ(dx) ∀h ∈ L1(µ).
Finalmente, por la definici´on de ˆuny como para cada D∈ B(X) la funci´on 1D(⋅)W(⋅) ∈ L1(µ)
se sigue que
∫X1D(x)unk(x)µ(dx) → ∫
X1D(x)u0(x)µ(dx),
donde u0(x) ∶= W(x)ˆu0(x) ∈ BW(X).
Obs´ervese que, sin p´erdida de generalidad, podemos remplazar (3.11) por ∫X1D(x)un(x)µ(dy) → ∫
X1D(x)u0(x)µ(dy) ∀D ∈ B(X).
Lema 3.4.2. Sean (un)∞n=1 la sucesi´on definida en (3.10) y u0 la funci´on en el Lema 3.4.1.
Entonces para cada x∈ X, fn(x) ∶= m´ax
a∈A(x),b∈B(x)∣∫X[un(y) − u0(y)]Q(dy/x, a, b)∣ → 0. (3.13)
Demostraci´on. Primero n´otese que la funci´on fn(n = 1, 2, ...) en (3.13) est´a bien definida
ya que la funci´on∫X[un(y) − u0(y)]Q(dy/x, ⋅, ⋅) es continua en el compacto A(x) × B(x) (ver
Proposici´on 4.0.10).
Sea x ∈ X un punto arbitrario y sea (an, bn) en A(x) × B(x) tal que el m´aximo en la
definici´on de fn(x) se alcanza en (an, bn). Entonces, por la compacidad de A(x)×B(x), existe
una subsucesi´on(ank, bnk) y (a0, b0) en A(x)×B(x) tal que ank → a0∈ A(x) y bnk → b0∈ B(x).
Consideremos, sin p´erdida de generalidad, (an, bn) en lugar de (ank, bnk) y sean
hn(x) ∶= ∣∫ Xun(y)Q(dy/x, an, bn) − ∫Xun(y)Q(dy/x, a0, b0)∣ , gn(x) ∶= ∣∫ Xun(y)Q(dy/x, a0, b0) − ∫Xu0(y)Q(dy/x, a0, b0)∣ , kn(x) ∶= ∣∫ Xu0(y)Q(dy/x, a0, b0) − ∫Xu0(y)Q(dy/x, an, bn)∣ .
3.4 Resultados preliminares 41
Entonces,
fn(x) ∶= ∣∫
X[un(y) − u0(y)]Q(dy/x, an, bn)∣
≤ hn(x) + gn(x) + kn(x).
Se demostrar´a que cada una da las sucesiones (hn(x)), (gn(x)) y (kn(x)) convergen a cero
cuando n→ .
Por (3.2) y (3.12) se sigue que hn(x) = ∣∫
X[ˆun(y)W(y)z(x, an, bn, y)µ(dy) − ∫X[ˆun(y)W(y)z(x, a0, b0, y)µ(dy)∣
≤ 2K
1− αβ ∫X∣z(x, an, bn, y) − z(x, a0, b0, y)∣ W(y)µ(dy) → 0.
Como W(⋅)z(x, a, b, ⋅) ∈ L1(µ) y por (3.4),
∫XW(y)z(x, a, b, y)µ(dy) = ∫
XW(y)Q(dy/x, a, b) ≤ βW(x),
de la convergencia d´ebil estrella de (ˆun) a ˆu0 se sigue que
gn(x) = ∣∫
X[ˆun(y) − ˆu0(y)]W(y)Q(dy/x, a0, b0)∣
= ∣∫X[ˆun(y) − ˆu0(y)]W(y)z(x, a, b, y)µ(dy)∣ → 0.
Finalmente, con argumentos similares a los anteriores se demuestra que la sucesi´on (kn(x))
converge a cero. Se concluye entonces que para cada x ∈ X, la sucesi´on (fn(x)) converge a
cero.
Lema 3.4.3. Para cada funci´on u∈ BW(X) y para cada conjunto D ∈ B(X) se tiene que
∫X1D(x) ∫ X u(y) ¯Q(dy/x, ˆφ 1 n, φ2n)µ(dx) ↓ ∫X1D(x) ∫ X u(y) ¯Q(dy/x, ˆφ 1, φ2)µ(dx).
Demostraci´on. Se denota por h1(x, a) ∶= ∫
3.4 Resultados preliminares 42
N´otese que la funci´on h1 es medible en X× A y continua en A(x) para cada x ∈ X y cada
a∈ A(x),
∣∫Xu(y)Q1(dy/x, a)∣ ≤ ∫
X∣u(y)∣ Q1(dy/x, a) ≤ ∥u∥W∫ XW(y)Q1(dy/x, a) = ∥u∥W∫ XW(y)Q(dy/x, a, b) ≤ ∥u∥WβW(x). En consecuencia, m´ax
a∈A(x)∣∫Xu(y)Q1(dy/x, a)∣ ≤ ∥u∥WβW(x),
por lo tanto, como W(⋅) ∈ L1(µ) y ∥u∥W < tenemos que h1∈ B1 y
m´ax
a∈A(x)∣∫Xu(y)Q1(dy/x, a)∣ ∈ BW(X).
An´alogamente, obtenemos que h2∈ B2 y
m´ax
b∈B(x)∣∫Xu(y)Q2(dy/x, b)∣ ∈ BW(X).
Por lo tanto, usando el Lema 4.0.11, se concluye la demostraci´on.
Lema 3.4.4. Para la sucesi´on (un)∞n=1 definida en (3.10) y la funci´on u0 definida en Lema
3.4.1, se tiene que para D∈ B(X), ∫X1D(x) ∫ X un(y) ¯Q(dy/x, ˆφ 1 n, φ2n)µ(dx) ↓ ∫X1D(x) ∫ X u0(y) ¯Q(dy/x, ˆφ 1, φ2)µ(dx).
Demostraci´on. Sea D∈ B(X) fijo. Definimos para cada u ∈ BW(X), ˆφ ∈ Φ1 y φ∈ Φ2,
g(u, ˆφ, φ) ∶= ∫
X1D(x) ∫Xu(y) ¯Q(dy/x, ˆφ, φ)µ(dx).
Como
∣g(un, ˆφ1n, φn2) − g(u0, ˆφ1, φ2)∣ ≤ ∣g(un, ˆφ1n, φ2n) − g(u0, ˆφ1n, φ2n)∣
3.4 Resultados preliminares 43
basta demostrar que cada uno de los sumandos converge a cero. Para probar dicha afirmaci´on, obs´ervese que por el Lema 3.4.2 la sucesi´on
fn(x) = m´ax
a∈A(x),b∈B(x)∣∫X[un− u0]Q(dy/x, a, b)∣ → 0.
Adem´as, como un− u0∈ BW(X) existe M > 0 tal que
∣fn(x)∣ ≤ MW(x) ∀x ∈ X,
entonces por el Teorema de la convergencia dominada tenemos que ∫Xfn(x)µ(dx) → 0.
Por lo tanto,
∣g(un, ˆφ1n, φ2n) − g(u0, ˆφ1n, φ2n)∣ ≤ ∫
Xfn(x)µ(dx) → 0.
La convergencia a cero de ∣g(u0, ˆφ1n, φn2) − g(u0, ˆφ1, φ2)∣ se sigue del Lema 3.4.3.
Proposici´on 3.4.5. La funci´on u0 en Lema 3.4.1 satisface que
u0(x) = Tφˆ11,φ2u0(x) µ − c.d. (3.14) y u0(x) = m´ax λ∈P(A(x))T 1 λ,φ2u0(x) µ − c.d. (3.15)
Demostraci´on. Por la Proposici´on 3.3.3(c) y por (3.10), para la estrategia ˆφ1n y para cada n= 1, 2, ... tenemos que
un(x) = Vφ12 n(x) = ¯r1(x, ˆφ1n, φ 2 n) + α ∫ XV 1 φ2 n(y) ¯Q(dy/x, ˆφ 1 n, φ 2 n).
Por lo tanto, por Lema 4.0.11, Lema 3.4.1 y Lema 3.4.3 se sigue que ∫X1D(x)u0(x)µ(dx) = ∫
X1D(x)T 1 ˆ
φ1,φ2u0(x)µ(dx) ∀D ∈ B(X).
Esto implica que
3.5 Existencia del equilibrio de Nash 44 es decir, u0(x) ≤ m´ax λ∈P(A(x))[¯r1(x, λ, φ 2 ) + α ∫Xu0(y) ¯Q(dy/x, λ, φ2)] µ − c.d.
Por otra parte, por la Proposici´on 3.3.3(b) tenemos que Vφ12 n(x) ≥ ¯r1(x, a, φ 2 n) + α ∫ XV 1 φ2 n(y) ¯Q(dy/x, a, φ 2 n) ∀a ∈ A(x),
aplicando l´ımite y tomando m´aximo en P(A(x)) tenemos que u0(x) ≥ m´ax λ∈P(A(x))[¯r1(x, λ, φ 2 ) + α ∫Xu0(y) ¯Q(dy/x, λ, φ2)] µ − c.d. Por lo tanto, u0(x) = m´ax λ∈P(A(x))[¯r1(x, λ, φ 2 ) + α ∫Xu0(y) ¯Q(dy/x, λ, φ2)] µ − c.d.
Observaci´on 3.4.6. Procediendo similarmente, se demuestra la existencia de una funci´on v0 ∈ BW(X) tal que v0(x) = Tφˆ21,φ2v0(x) µ − c.d. (3.16) y v0(x) = m´ax γ∈P(B(x))T 2 ˆ φ1,γv0(x) µ − c.d. (3.17)
3.5.
Existencia del equilibrio de Nash
Demostraci´on del Teorema 3.1.3. La multifunci´on Ψ es semicontinua superiormente en Φ1 × Φ2, lo cual se sigue directamente de la Proposici´on 3.4.5 y la Observaci´on 3.4.6. Entonces por el Teorema de Glicksberg, existe un punto fijo (φ∗
1, φ∗2) ∈ Φ1× Φ2 de ψ, esto es, Vφ1∗ 2(x) = T 1 φ∗1,φ∗2V 1 φ∗2(x) µ − c.d. y V 2 φ∗1(x) = T 2 φ∗1,φ∗2V 2 φ∗1(x) µ − c.d. (3.18)
Sea D1 el conjunto donde (3.18) se satisface, y f1 ∈ F1, f2 ∈ F2 tales que para cada x∈ X
se cumple que m´ax a∈A(x)[¯r1(x, a, φ ∗ 2) + α ∫ XV 1 φ∗2(y) ¯Q(dy/x, a, φ ∗ 2)] = ¯r1(x, f1(x), φ∗2) + α ∫ XV 1 φ∗2(y)Q(dy/x, f1(x), φ∗2)
3.5 Existencia del equilibrio de Nash 45 y m´ax b∈B(x)[¯r2(x, φ ∗ 1, b) + α ∫ XV 2 φ∗1(y)Q(dy/x, φ ∗ 1, b)] = ¯r2(x, φ∗1, f2(x)) + α ∫ XV 2 φ∗1(y) ¯Q(dy/x, φ ∗ 1, f2(x)). Definimos ˆ φ1(⋅/x) ∶= { φ∗ 1(⋅/x) si x ∈ D1 f1(x) si x∈ D1c, ˆ φ2(⋅/x) ∶= { φ∗ 2(⋅/x) si x ∈ D1 f2(x) si x∈ D1c, V∗ 0(x) ∶= ⎧⎪⎪⎪ ⎪⎨ ⎪⎪⎪⎪ ⎩ Vφ1∗ 2(x) si x∈ D1 ¯ r1(x, ˆφ1, ˆφ2)+ α∫XVφ1∗ 2(y) ¯Q(dy/x, ˆφ1, ˆφ2) si x ∈ D c 1 y U∗ 0(x) ∶= ⎧⎪⎪⎪ ⎪⎨ ⎪⎪⎪⎪ ⎩ Vφ2∗ 1(x) si x∈ D1 ¯ r2(x, ˆφ1, ˆφ2)+ α∫XVφ2∗ 1(y) ¯Q(dy/x, ˆφ1, ˆφ2) si x ∈ D c 1.
Combinando lo anterior se tiene que para cada x∈ X, V∗ 0 (x) = m´ax λ∈P(A(x))[¯r1(x, λ, ˆφ2) + α ∫XV ∗ 0 (y)Q(dy/x, λ, ˆφ2)] = ¯r1(x, ˆφ1, ˆφ2) + α ∫ XV ∗ 0(y)Q(dy/x, ˆφ1, ˆφ2), y U∗ 0(x) = m´ax γ∈P(B(x))[¯r2(x, ˆφ1, γ) + α ∫XU ∗ 0(y) ¯Q(dy/x, ˆφ1, γ)] = ¯r2(x, ˆφ1, ˆφ2) + α ∫ XU ∗ 0(y) ¯Q(dy/x, ˆφ1, ˆφ2).
Esto implica que
V∗
0(x) = Vφˆ12(x) = V1(x, ˆφ1, ˆφ2) ∀x ∈ X,
U∗
3.6 Ejemplo de un juego estoc´astico ARAT 46
por lo tanto, el par (ˆφ1, ˆφ2) ∈ Φ1× Φ2 es un equilibrio de Nash para G, el juego estoc´astico
ARAT.
3.6.
Ejemplo de un juego estoc´astico ARAT
Sean X= R, A y B subconjuntos compactos de R, > 0 y sean f1∶ R×A → R y f2 ∶ R×B →
R funciones continuas tales que para cada x∈ X
∣f1(x, a)∣2≤ + x2 ∀a ∈ A
∣f2(x, b)∣2≤ + x2 ∀b ∈ B.
Sean σ> 0 y γ ∈ (0, 1) fijos. Definimos el kernel estoc´astico Q ∈ P(X∣K) por Q((−∞, y]/x, a, b) = γν1(y/x, a) + (1 − γ)ν2(y/x, b)
donde ν1(⋅/x, a) [ν2(⋅/x, b)] es la funci´on de distribuci´on normal N(f1(x, a), σ2) [N(f2(x, b), σ2)].
Denotemos Q1(⋅/x, a) ∶= γν1(⋅/x, a) y Q2(⋅/x, b) ∶= (1 − γ)ν2(⋅/x, b).
Sean r1, r2∶ K → R finciones definidas por
ri(x, a, b) = θix2+ δi1a2+ δi2b2
con θi, δij(i, j = 1, 2) constantes en R.
Si (Ω, F, P) es un espacio de probabilidad y {Wt1} y {Wt2} son sucesiones de variables aleatorias i.i.d. con distribuci´on com´un N(0, σ2), entonces la din´amica del juego est´a repre- sentada por el proceso {xt} definido por x0= 0 y
xt+1= [f1(xt, at) + Wt1]1Ω1+ [f2(xt, bt) + W
2 t]1Ω2
con Ω1, Ω2∈ F tal que Ω1∪ Ω2= Ω y Ω1∩ Ω2 = ∅, P(Ω1) = γ y P(Ω2) = 1 − γ.
Consideremos el juego estoc´astico de dos jugadores G∶= (R, A, B, Q, r1, r2)
y un factor de descuento, α < 1/[1 + σ2+ ]. Es claro que se satisface la condici´on (C1) ya que R es un espacio de Borel y A, B son m´etricos compactos. Demostraremos que el juego G satisface las Hip´otesis 3.1.1 y 3.1.2. Sea µ la medida de probabilidad en B(R) definida por
µ(B) ∶= 1
σ√2π ∫Be
−ω2 2σ2dω,
3.6 Ejemplo de un juego estoc´astico ARAT 47
entonces µ es una medida sin ´atomos y Q es absolutamente continua con respecto a µ; sea B ∈ B(R) con µ(B) = 0 entonces Q1(B/x, a) = ∫ B γ σ√2πe −(ω−f1(x,a))2 2σ2 dω = ∫Bγe2ωf1(x,a)−f1(x,a) 2 2σ2 µ(dω) = 0.
An´alogamente Q2 << µ, por lo tanto, Q << µ. Adem´as, para cada C ∈ B(X), las funciones
Q1(C/x, ⋅) y Q2(C/x, ⋅) son continuas en A(x) y B(x) respectivamente.
La funci´on de densidad z∶ K × X → R de Q con respecto a µ est´a definida por z(x, a, b, y) = γe2yf1(x,a)−f1(x,a) 2 2σ2 + (1 + γ)e 2yf2(x,b)−f2(x,b)2 2σ2 . Denotemos por z1(x, a, y) = γe 2yf1(x,a)−f1(x,a)2 2σ2 , z2(x, b, y) = (1 − γ)e 2yf2(x,b)−f2(x,b)2 2σ2 .
Definimos W ∶ X → [1, ∞) por W(x) ∶= x2 + 1. Entonces W es integrable con respec- to a µ. Adem´as, como exp(−(ω − f1(x, ⋅))2/2σ2) es continua en A, la sucesi´on exp(−(ω −
f1(x, an))2/2σ2) converge a exp(−(ω − f1(x, a))2/2σ2) cuando an→ a. Asimismo, para cada
ω∈ R y para cada x ∈ X la funci´on g(ω) ∶=⎧⎪⎪⎨⎪⎪ ⎩ e−(ω+x2+))22σ2 si ∣ω∣ ≥ x2+ 1/√2πσ si ∣ω∣ < x2+ satisface que ∣e−(ω−f1(x,an))2 2σ2 ∣ ≤ g(ω) ∀n ∈ N.
3.6 Ejemplo de un juego estoc´astico ARAT 48 Esto implica ∣e−(ω−f1(x,an))2 2σ2 − e −(ω−f1(x,a))2 2σ2 ∣ ≤ 2g(ω).
Por el teorema de la convergencia dominada tenemos que γ √ 2πσ ∫R∣e −(ω−f1(x,an))2 2σ2 − e −(ω−f1(x,a))2 2σ2 ∣ W(ω)dω → 0. An´alogamente, 1− γ √ 2πσ ∫R∣e −(ω−f2(x,bn))2 2σ2 − e −(ω−f2(x,b))2 2σ2 ∣ W(ω)dω → 0.
Por lo tanto, se tiene que para cada x∈ X, l´ım
n→∫R∣z(x, an, bn, y) − z(x, a, b, y)∣ W(y)µ(dy) = 0,
cuando an→ a en A(x) y bn→ b en B(x).
Claramente podemos encontrar K tal que ri(x, a, b) ≤ KW (x)∀(x, a, b) ∈ R × A × B (i =
1, 2) as´ı cada funci´on ganancia ri∈ BW(X).
Si β∶= 1 + σ2+ , entonces 1 ≤ β < α1 y adem´as ∫
R
W(y)Q(dy/x, a, b) ≤ βW(x) ∀(x, a, b) ∈ K. (3.19)
Para demostrar (3.19) n´otese que ∫ R W(ω)Q1(dω/x, a) = ∫ R[ω 2+ 1] γ σ√2πe −(ω−f1(x,a))2 2σ2 dω = ∫ R ω2 γ σ√2πe −(ω−f1(x,a))2 2σ2 dω+ γ ≤ γ[1 + σ2+ + x2] ≤ γβ[x2+ 1].
An´alogamente se demuestra que ∫
RW(y)Q1(dy/x, a) ≤ (1 − γ)β[x
2+ 1]. Por lo tanto, por
el Teorema 3.1.3 el juego estoc´astico G tiene un equilibrio de Nash en el conjunto de las multi-estrategias estacionarias.
Conclusiones
En este trabajo de tesis se estudiaron los trabajos pioneros de la teor´ıa de juegos no- cooperativos de J.F. Nash y L. Glicksberg, en los que se demostr´o la existencia de equilibrios para juegos est´aticos donde los espacios de acciones son finitos o compactos, respectivamente. Se estudiaron tambi´en los juegos estoc´asticos no-cooperativos y la extensi´on del concepto de equilibrio de Nash para este tipo de juegos. Nuestra principal aportaci´on fu´e estable- cer algunos resultados sobre la existencia de equilibrios de Nash para juegos estoc´asticos no-cooperativos con funciones de pago no necesariamente acotadas y con criterio de pago de- scontado. Se estudi´o el caso de espacio de estados numerable y el caso de espacio de estados de Borel con estructura ARAT.
El teorema de punto fijo de Glicksberg es un resultado que ha sido crucial en el desarrollo de las demostraciones sobre la existencia de equilibrios de Nash en el conjunto de la multi- estrategias estacionarias Φ. Para la existencia de un equilibrio es necesario demostrar que el espacio de las multi-estrategias estacionarias es un subconjunto compacto y convexo de un espacio vectorial topol´ogico Hausdorff localmente convexo. Tambi´en es necesario demostrar la semicontinuidad superior de una multifunci´on Ψ definida del espacio Φ en s´ı mismo. N´otese que el teorema de punto fijo no tiene como hip´otesis que el espacio de las multi-estrategias estacionarias sea un espacio metrizable, sin embargo, esta condici´on facilita la demostraci´on de algunos resultados como la semicontinuidad superior de las multifunciones y la compaci- dad de Φ. En las demostraciones se utilizaron resultados que son caracterizaciones por medio de sucesiones para la semicontinuidad superior y la compacidad en espacio m´etricos. Si el espacio Φ no es metrizable se tiene que demostrar la compacidad y la semicontinuidad su- perior utilizando las definiciones para espacios topol´ogicos en general, lo cual puede ser muy complicado.
Para los juegos estoc´asticos con espacios de estados numerable presentados en el cap´ıtulo 2, demostrar que el espacio de las multi-estrategias estacionarias es un espacio metrizable fue posible gracias a que el producto numerable de una familia de espacios metrizables es metriz- able. En el caso de una familia no numerable de espacios metrizables, el espacio producto no es metrizable.
En los juegos estoc´asticos ARAT, demostrar que el espacio de las multi-estrategias esta-
3.6 Ejemplo de un juego estoc´astico ARAT 50
cionarias es un espacio metrizable y compacto no fue sencillo ya que esta propiedad depende fuertemente de la estructura del espacio de estados y de los conjuntos de acciones admisi- bles, por lo que fu´e necesario clasificar condiciones en dos clases de juegos (C1) y (C2). La separabilidad del espacio B1 es determinante para que la bola cerrada B∗1(0) ⊂ B
∗
1 en el dual
de B1 sea compacta y metrizable, lo cual es necesario ya que Φ puede identificarse como un
subconjunto de B∗
1(0). As´ı, solo fue necesario demostrar que el espacio Φ es cerrado y esto
para las dos clases de juegos que clasificamos. Por la estructura del espacioB1, el punto fijo
de la multifunci´on Ψ es s´olo un µ−equilibrio, pero gracias a la teor´ıa de selectores, el equilibrio de Nash se completa para todo el juego.
Claramente a´un queda mucho trabajo por recorrer para asegurar la existencia de equilib- rios de Nash en la teor´ıa de juegos estoc´asticos no-cooperativos. Suerte.. ∶D
Cap´ıtulo 4
Ap´endice
Teorema 4.0.1. (Teorema de Kakutani) Sea U un subconjunto compacto y convexo de Rm. Sea Ψ ∶ U ↠ U una multifunci´on semicontinua superiormente tal que para cada ν ∈ U el conjunto Ψ(ν) es no vac´ıo y convexo. Entonces Ψ tiene un punto fijo, es decir, exite un punto µ∈ U tal que µ ∈ Ψ(µ).
Demostraci´on. Klein y Thompson [14], p.102.
Teorema 4.0.2. (Teorema de Glicksberg) Sea U un conjunto compacto y convexo contenido en un espacio vectorial topol´ogico Hausdorff localmente convexo. Si Ψ∶ U ↠ U es una mul- tifunci´on semicontinua superiormente, entonces existe un punto fijo para Ψ, esto es, existe µ∈ U tal que µ ∈ Ψ(µ).
Demostraci´on. Glicksberg en [10]
Proposici´on 4.0.3. Sea (X, B) un espacio medible y (µn)∞n=1 una sucesi´on de medidas en
X que converge para cada conjunto D ∈ B(X) a una medida µ. Sean (fn)∞n=1 y (gn)∞n=1
sucesiones de funciones medibles, las cuales convergen puntualmente a f y g respectivamente. Si ∣fn∣ ≤ gn ∀n ∈ N y l´ım n→∞∫Xgn(x)µn(dx) = ∫Xg(x)µ(dx) < , entonces l´ım n→∞∫Xfn(x)µn(dx) = ∫Xf(x)µ(dx) < .
Demostraci´on. Proposici´on 18 en [23], p. 232.
Proposici´on 4.0.4. Sea {Xj}j∈J una familia de espacios vectoriales topol´ogicos localmente
convexos. El producto cartesiano X = ∏j∈JXj es tambi´en un espacio vectorial topol´ogico
localmente convexo.
52
Demostraci´on. Es facil probar que el producto cartesiano X es un espacio vectorial topol´ogico; la base para la topolog´ıa producto definida en X, con elementos b´asicos convexos est´a dada por:
F = { ˆX∈ X ∶ ˆX= Uα1× ⋯ × Uαn× ∏ {Xj∶ j ∈ J − {α1, ..., αn}} , Uαr ∈ Fj} .
donde Fj es la base de la topolog´ıa de b´asicos convexos en Xj, j∈ J.
Proposici´on 4.0.5. Sea {Xj}j∈J una familia de espacios m´etricos. El producto cartesiano
de esta familia es metrizable si, y s´olo si, J es un conjunto numerable. Demostraci´on. Corolario 7.3 y 7.1 en [6], p. 189.
Proposici´on 4.0.6. Para cada x ∈ X y cada i ∈ I, el espacio M(Ai(x)) es un espacio
vectorial topol´ogico Hausdorff localmente convexo.
Demostraci´on. Sea f ∈ C(Ai(x)). Para cada µ ∈ M(Ai(x)) definamos la semi-norma
Pf(µ) ∶= ∣∫ Ai(x)
f(a)µ(da)∣ ,
y para > 0
Uµ,f, ∶= {ν ∈ M(Ai(x)) ∶ Pf(ν − µ) < } .
Denotemos por τ a la topolog´ıa generada por los conjuntos Uµ,f,. Por el Teorema 5.14 en
[8] p. 166, el espacio (M(Ai(x)), τ) es un espacio vectorial topol´ogico localmente convexo.
Adem´as, si µ≠ 0 entonces existe E ∈ B(Ai(x)) tal que µ(E) ≠ 0 y para
f(a) ∶= { 1 si a∈ E 0 si a∈ Ec se sigue que Pf(µ) = ∣∫ Ai(x) f(a)µ(da)∣ = µ(E) ≠ 0,
as´ı, por la Proposici´on 5.16 en [8] p. 167, el espacio(M(Ai(x)), τ) es Hausdorff.
Proposici´on 4.0.7. Sea X un conjunto adbitrario. El producto cartesiano
N
∏
i=1x∈X∏
M(Ai(x))
53
Demostraci´on. Por la Proposici´on 4.0.6, Proposici´on 4.0.4 y la Proposici´on 4.10 en [8] p. 120, el producto cartesiano
∏
x∈X
M(Ai(x))
es un espacio vectorial topol´ogico Hausdorff localmente convexo. Con los mismos argumentos se tiene que
N
∏
i=1x∈X∏
M(Ai(x))
es un espacio vectorial topol´ogico Hausdorff localmente convexo
Lema 4.0.8. Sea u∶ X × A → R, con u(⋅, a) una funci´on medible en X y u(x, ⋅) una funci´on continua en A(x) un conjunto compacto.
(a) Existe f∈ F1 tal que para cada x∈ X,
u∗(x) ∶= m´ax
a∈A(x)u(x, a) = u(x, f(x)),
y u∗ es una funci´on medible.
(b) Para u(x, λ) ∶= ∫Au(x, a)λ(da), u∗(x) =
m´ax
λ∈P(A(x))u(x, λ) ∀x ∈ X.
Demostraci´on. (a) La existencia del maximizador y la medibilidad de la funci´on u∗ se
sigue del Lema 8.3.8(a) en [12] p. 50.
(b) Obs´ervese que para cada a∈ A(x) y para cada x ∈ X, u∗(x) = m´ax
a∈A(x)u(x, δa) ≤ λ∈P(A(x))m´ax u(x, λ) ∀x ∈ X,
donde δaes la medida de Dirac concentrada en a. Para la otra desigualdad, sea λ∈ P(A(x)),
entonces u(x, λ) = ∫ A(x)u(x, a)λ(da) ≤ u ∗(x), y por lo tanto, m´ax λ∈P(A(x))u(x, λ) ≤ u ∗(x) ∀x ∈ X.
54
Lema 4.0.9. Para cada φ∈ Φ y k = 1, 2, ... y Hφk(⋅) definida en (2.10) tenemos que Vi(x, φ) = Hφk(x) + α
k
∑
y∈X
Vi(y, φ) ¯Qk(y/x, φ(⋅/x))
Demostraci´on. T´engase en cuenta que a) Por definici´on para n≥ 1,
¯ Qn(y/x0, φ(⋅/x0)) = ∑ x1∈X ¯ Qn−1(y/x1, φ(⋅/x1)) ¯Q(x1/x0, φ(⋅/x0)). b) Para cada k∈ N, Hφk(xn) = k−1 ∑ n=0 αnHφ1(xn) ¯Qn(xn/x0, φ(⋅/x0)).
Entonces por a), Vi(x0, φ) = ∑ y∈X ¯ ri(y, φ(⋅/y)) + ∑ x1∈X α1[ ∑ n=0 αn ∑ y∈X ¯
ri(y, φ(⋅/y)) ¯Qn(y/x1, φ(⋅/x1))] ¯Q(x1/x0, φ(⋅/x0))
= H1
φ(x0) + ∑ x1∈X
α1Vi(x1, φ) ¯Q(x1/x0, φ(⋅/x0)).
Si iteramos k veces la funci´on Vi(⋅, φ), obtenemos que
Vi(x0, φ) = k−1 ∑ n=0 αnHφ1(xn) ¯Qn(xn/x0, φ(⋅/x0)) + ∑ xk∈X αkVi(xk, φ) ¯Qk(xk/x0, φ(⋅/x0)).
Por lo tanto, por b), obtenemos
Vi(x, φ) = Hφk(x) + αk ∑ y∈X
Vi(y, φ) ¯Qk(y/x, φ(⋅/x)).
Proposici´on 4.0.10. Bajo las Hip´otesis 3.1.1 y 3.1.2, para cada u∈ BW(X) la funci´on
(a, b) ↦ ∫Xu(y)Q(dy/x, a, b) es continua en A(x) × B(x).
55
Demostraci´on. Primero n´otese que si (fn)∞n=1 ⊂ Mb(X) es una sucesi´on de funciones
semicontinuas inferiormente que converge crecientemente a una funci´on f ∈ Mb(X), entonces
el conjunto {x ∈ X ∶ fn(x) > α} es abierto y por lo tanto, la uni´on de ellos tambi´en lo ´es;
{x ∈ X ∶ f(x) > α} = ⋃
n∈N
{x ∈ X ∶ fn(x) > α}
en consecuencia, f es semicontinua inferiormente. Similarmente, se prueba que si (fn)∞n=1 es
una sucesi´on de funciones semicontinuas superiormente que converge decrecientemente a una funci´on f, entonces f es semicontinua superiormente.
Para cada v∈ BW(X) tenemos la siguiente desigualdad
∣v(x)∣ ≤ ∥v∥WW(x) (4.1)
Por (4.1) tenemos que
v∗(x) ∶= v(x) + ∥v∥
WW(x) ≥ 0.
Consideremos (v∗
n) ⊂ Mb(X) una sucesi´on que converge crecientemente a v∗. Por el Teorema
de la convergencia monotona tenemos que ∫Xv∗
n(y)Q(dy/x, a, b) ↑ ∫ Xv
∗(y)Q(dy/x, a, b),
y por la Hip´otesis 2.1.2 (d) obtenemos que la funci´on (a, b) ↦ ∫Xv∗(y)Q(dy/x, a, b) es semi-
continua inferiormente en A(x) × B(x). Adem´as, por la Hip´otesis 2.1.2 (c) la funci´on (a, b) ↦ ∫XW(y)Q(dy/x, a, b)
es continua en A(x) × B(x). Entonces tenemos que (a, b) ↦ ∫Xv(y)Q(dy/x, a, b) = ∫
Xv
∗(y)Q(dy/x, a, b)
− ∥v∥W∫
XW(y)Q(dy/x, a, b)
es semicontinua inferiormente en A(x) × B(x). An´alogamente, por (4.1) tenemos que v∗∗(x) ∶= −v(x) + ∥v∥
WW(x) ≥ 0,
consideramos ahora (v∗∗
n ) ↓ v∗∗ en Mb(X). Por el Teorema de la convergencia monotona
tenemos que
∫Xv∗∗
n (y)Q(dy/x, a, b) ↓ ∫ Xv
56
y por la Hip´otesis 2.1.2 (c) y (d) la funci´on (a, b) ↦ ∫Xv(y)Q(dy/x, a, b) es semicontinua superiormente en A(x) × B(x).
Lema 4.0.11. Sea (φ1n, φ2n) convergente a (φ1, φ2) en Φ1× Φ2 ⊂ B1× B2 (Bi(i = 1, 2) como
en las Proposiciones 3.2.1 y 3.2.2) y sea h∶ K → R tal que
h(x, a, b) = h1(x, a) + h2(x, b) ∀(x, a, b) ∈ K,
con h1∈ B1 y h2∈ B2 tal que
m´ax
a∈A(x)h1(x, a) y m´axb∈B(x)h2(x, b)
pertenece a BW(X). Entonces para cada D ∈ B(X).
∫X1D(x)h(x, φ1n, φ2n)µ(dx) → ∫
X1D(x)h(x, φ
1, φ2)µ(dx)
Demostraci´on. Sean f ∈ L1(µ) y D ∈ B(X) arbitrarios. Como f(x)h1(x, ⋅)/W(x) es
continua en A(x) y h1∈ BW(X), existe M tal que ∣h1(x, a)∣ ≤ MW(x) y por lo tanto,
∫X m´ax a∈A(x)1D(x) ∣f(x) h1(x, a) W(x) ∣ µ(dx) ≤ ∫XM f(x)µ(dx) < , entonces 1D(x)f(⋅) h1(⋅, ⋅) W(⋅) ∈ B1,
con un argumento similar se prueba que 1D(x)f(⋅)h2(⋅, ⋅)/W(⋅) ∈ B2. Por la convergencia de
(φ1 n, φ2n) a (φ1, φ2) se tiene que ∫X1D(x) f(x) h1(x, φ1n(x)) W(x) µ(dx) ↓ ∫X1D(x) f(x) h1(x, φ1(x)) W(x) µ(dx), y ∫X1D(x) f(x) h2(x, φ2n(x)) W(x) µ(dx) ↓ ∫X1D(x) f(x) h2(x, φ2(x)) W(x) µ(dx).
57
por lo tanto, obtenemos que
∫X1D(x) f(x) h(x, φ1n(x), φ2n(x)) W(x) µ(dx) ↓ ∫X1D(x) f(x) h(x, φ1(x), φ2(x)) W(x) µ(dx)
Proposici´on 4.0.12. Sea(X, Σ) un espacio medible. Si para cada E ∈ Σ la ley de transici´on Q(E/x, ⋅, ⋅) es continua en A(x) × B(x), entonces Q es fuertemente continua.
Demostraci´on. Para cada f ∈ Mb(X), existe (un)∞n=1 una sucesi´on de funciones simples
que convergen uniformente a f , adem´as, si M es una cota para f , entonces∣un(x)∣ ≤ M ∀n ∈
N. Definimos
hn(a, b) ∶= ∫
Xun(y)Q(dy/x, a, b).
Por hip´otesis, hn(⋅) es continua en A(x) y por el Teorema de la convergencia acotada
hn(a, b) = ∫
Xun(y)Q(dy/x, a, b) → h(a, b) ∶= ∫Xf(y)Q(dy/x, a, b).
Adem´as, esta convergencia es uniforme, pues para cada > 0 existe N ∈ N tal que ∣hn(a, b) − h(a, b)∣ ≤ ∫
X∣un(y) − f(y)∣ Q(dy/x, a, b) < .
Finalmente, como hn es continua en A(x) × B(x), la funci´on l´ımite h es continua en
A(x) × B(x).
Teorema 4.0.13. Sean X y A espacios m´etricos compactos, ϕ una multifunci´on de X al conjunto potencia P(A) y µ una medida de probabilidad sin ´atomos. Si ϕ es µ−medible y
Γ ∶= {σ ∈ B∗
1∣σ(ϕ(x)/x) = 1 µ − c.d} ,
B∗
1 como en la demostraci´on de la Proposici´on 3.2.1. Entonces Γ es metrizable, convexo y
compacto.
Bibliograf´ıa
[1] F. Albiac y N. J. Kalton, Topics in Banach Space Theory. Springer, (2006).
[2] C. D. Aliprantis y K. C. Border, Infinite Dimensional Analysis. Springer-Berlag, Berlin, (2006).
[3] E. Altman, A. Hordijk y F. M. Spieksma, Contraction conditions for average and α- discont optimality in countable state Markov games with unbounded rewards. Math. Oper. Res., 22 (1997), 588-618.
[4] D. P. Bertsekas y S. E. Shreve, Stochastic Optimal Control: The Discrete Time Case. Academic Press, New York, (1978).
[5] P. Billingsley, Convergence of Probability Measures. Wiley, New York. [6] J. Dugundji, Topology. Allin and Bacon, Inc. Boston, (1966).
[7] A. Federgruen, On n-person stochastic game with denumerabe state space. Adv. Appl. Prob., 10 (1978), 452-471.
[8] G. B. Folland, Real Analysis, Modern Techniques and Their Applications. Wiley, 2nd edn. New York, (1999).
[9] M. K. Ghosh and A. Bagchi, Stochastic games with average payoff criterion. Appl. math. Optim., 38 (1998), 283-301.
[10] L. Glicksberg, A further generalization of the Kakutani fixed point theorem, with appli- cation to Nash equilibrium points. Proc. Amer. Math. Soc., 3 (1951), 170-174.
[11] O. Hern´andez-Lerma y J. B. Lasserre, Discrete Time Markov Control Processes. Springer-Verlag. New York, (1996).
[12] O. Hern´andez-Lerma y J. B. Lasserre, Further Topics on Discrete Time Markov Control Processes. Springer-Verlag. New York, (1999).
[13] C. J. Himmelberg, T. Parthasarathy, T. E. S. Raghavan y F. S. Van Vleck, Existence of p-equilibrium and optimal stationary strategies in stochastic games. Proc. Amer. Math. Soc., 60 (1976), 245-251.
BIBLIOGRAF´IA 59
[14] E. Klein y A. C. Thompson, Theory of Correspondences. Wiley. New York, (1984). [15] J. F. Nash, Non-cooperative games. Ann. of Math., 54 (1951), 286-295.
[16] A. S. Nowak, Existence of equilibrium stationary strategies in discounted noncooperative stochastic games with uncountable state space. J. Optim. Theory Appl., 45 (1985), 591- 602.
[17] A. S. Nowak, Nonrandomized strategy equilibria in noncooperative stochastic games with additive transition and reward structure. J. Optim. Theory Appl., 52 (1987), 429-441. [18] A. S. Nowak, On a new class of nonzero-sum discounted stochastic games having sta-
tionary Nash equilibrium points. J. Game Theory, 32 (2003), 121-132.
[19] T. Parthasarathy, Discounted, positive and noncooperative stochastic games. Internat. J. Game Theory, 2 (1973), 25-37.
[20] T. Parthasarathy, Existence of equilibrium stationary strategies in discounted stochastic games. Shankya: The Indian Journal of Statistics Series A., 44 (1982) 114-127.
[21] L. A. Petrosjan, Game Theory. World Scientific, Singapore, (1996).
[22] P. D. Rogers, Nonzero-sum stochastic games. University of California, Berkeley, PhD Thesis, (1969).
[23] H. L. Royden, Real Analysis. Macmillan, New York, (1988).
[24] M. J. Sobel, Noncooperative stochastic games. Ann. Math. Statist., 42 (1971), 1930-1935. [25] J. Warga, Functions of relaxed controls. SIAM J. Control, 5, 4, (1967), 268-641.
[26] J. Warga, Optimal Control of Differential and Funtional Equations. Academic Press, New York, (1972).