Introducci´on a la Teor´ıa de la Informaci´on Asymptotic Equipartition Property.

Introducci´ on a la Teor´ıa de la Informaci´ on

Asymptotic Equipartition Property.

Facultad de Ingenier´ıa, UdelaR

Equipartici´ on asint´ otica

Consideramos X

1

. . . X

n

variables aleatorias independientes e identicamente distribuidas (i.i.d.) con entrop´ıa finita, X

_i

∼ p(x), x ∈ X .

Definimos p(x

₁

. . . x

_n

) =

n

Y

i=1

p(x

_i

) .

“Casi toda la probabilidad se concentra en eventos que son casi equiprobables”

P n

(x

₁

. . . x

_n

) : p(x

₁

. . . x

_n

) = 2

^−n(H±)

o

≈ 1 .

AEP

Teorema

Sean X

₁

. . . X

_n

variables aleatorias i.i.d., X

_i

∼ p(x), cada una de ellas con entrop´ıa H = H(X

i

) finita. Se cumple

− 1

n log p(X

₁

. . . X

_n

) → H en probabilidad.

Demostraci´ on.

− 1

n log p(X

₁

. . . X

_n

) = 1 n

n

X

i=1

− log p(X

_i

) (independencia)

→ E [− log p(X)] (Ley G. N´ umeros)

= H

Conjunto T´ıpico de Secuencias

Definici´ on

Sean X

₁

. . . X

_n

variables aleatorias i.i.d., X

_i

∼ p(x), H = H(X

_i

). El conjunto t´ıpico A

⁽ⁿ⁾

con respecto a p(x) es el conjunto de secuencias que satisfacen

2

^−n(H+)

≤ p(x

₁

. . . x

n

) ≤ 2

^−n(H−)

.

Conjunto T´ıpico de Secuencias

Propiedades del Conjunto T´ıpico

Teorema

Sean X

₁

. . . X

_n

variables aleatorias i.i.d., X

_i

∼ p(x), H = H(X

_i

). El conjunto t´ıpico A

⁽ⁿ⁾

satisface

1

(x

₁

. . . x

_n

) ∈ A

⁽ⁿ⁾_

⇔ H −  ≤ −

¹_n

log p(x

₁

. . . x

_n

) ≤ H + 

2

P {A

⁽ⁿ⁾

} > 1 −  para n suficientemente grande.

3

|A

⁽ⁿ⁾_

| ≤ 2

^n(H+)

4

|A

⁽ⁿ⁾_

| ≥ (1 − )2

^n(H−)

para n suficientemente grande.

Propiedades del Conjunto T´ıpico

Demostraci´ on.

1

H −  ≤ −

_n¹

log p(x

1

. . . x

n

) ≤ H +  es la def. de A

⁽ⁿ⁾

2

Como −

_n¹

log p(X

1

. . . X

n

) → H , para todo δ > 0 existe N

0

tal que P

   

− 1

n log p(X

1

. . . X

n

) − H    

< 



> 1 − δ , n > N

0

.

Tomando δ =  obtenemos P {A

⁽ⁿ⁾

} > 1 −  para n > N

0

.

3

1 ≥ P

x∈A⁽ⁿ⁾

p(x) ≥ P

x∈A⁽ⁿ⁾

2

^−n(H+)

= |A

⁽ⁿ⁾

|2

^−n(H+)

⇒ |A

⁽ⁿ⁾_

| ≤ 2

^n(H+)

.

4

1 −  ≤ P

x∈A⁽ⁿ⁾

p(x) ≤ P

x∈A⁽ⁿ⁾

2

^−n(H−)

= |A

⁽ⁿ⁾

|2

^−n(H−)

⇒ |A

⁽ⁿ⁾_

| ≥ (1 − )2

^n(H−)

.

Ejemplo

n = 25 p(1) = 0,6

 = 0,1

h(p) = 0,97095 h(p) −  = 0,87095 h(p) +  = 1,07095

P {A

⁽ⁿ⁾_

} = 0,9362

|A

⁽ⁿ⁾_

| = 26,366,510

2

²⁵

= 33,554,432

Aplicaci´ on a Compresi´ on

Denotamos X

ⁿ

al conjunto de secuencias de largo n y x

ⁿ

= (x

1

. . . x

n

).

Si a cada secuencia de X

ⁿ

le asignamos un n´ umero en el rango 0 . . . 2

^{n log |X |}

− 1, cada secuencia se puede representar como una secuencia binaria de dn log |X |e bits.

De forma similar, podemos enumerar las secuencias del conjunto A

⁽ⁿ⁾_

, asign´ andoles n´ umeros 0 . . . |A

⁽ⁿ⁾_

| − 1, donde recordamos que

|A

⁽ⁿ⁾_

| ≤ 2

^n(H+)

.

Si nos restringimos a A

⁽ⁿ⁾

, que tiene probabilidad mayor o igual a

1 − , alcanza con dn(H + )e bits para identifica cada secuencia

t´ıpica.

Aplicaci´ on a Compresi´ on

Aplicaci´ on a Compresi´ on

Teorema

Sean X

₁

. . . X

_n

variables aleatorias i.i.d., X

_i

∼ p(x), H = H(X

_i

).

Sea 

⁰

> 0 arbitrario. Para todo natural n suficientemente grande, existe un c´ odigo binario para X

ⁿ

cuyo largo de c´ odigo esperado, l(X

ⁿ

), satisface

E  1 n l(X

ⁿ

)



≤ H + 

⁰

.

Aplicaci´ on a Compresi´ on

Demostraci´ on.

E [l(X

ⁿ

)] ≤ P {A

⁽ⁿ⁾

}[n(H + ) + 2] + (1 − P {A

⁽ⁿ⁾_

})[n log |X | + 2]

≤ n(H + ) + 2 + [n log |X | + 2]

= n



H + (1 + log |X |) +

^2(1+)_n



≤ n(H + 

⁰

)

( eligiendo  suficientemente chico y n grande)

A

⁽ⁿ⁾

vs. Otros Conjuntos de Alta Probabilidad

Teorema

Sean X

₁

. . . X

_n

variables aleatorias i.i.d. con entrop´ıa H = H(X

_i

). Sea tambi´ en, para cada natural n, B

⁽ⁿ⁾_δ

un subconjunto de X

ⁿ

que satisface

P {B

_δ⁽ⁿ⁾

} ≥ 1 − δ , δ < 1 . Entonces, para todo δ

⁰

> 0 se cumple

1

n log |B

_δ⁽ⁿ⁾

| > H − δ

⁰

,

si n es suficientemente grande.

Demostraci´ on

B

_δ⁽ⁿ⁾

∩ A

⁽ⁿ⁾_

=



B

_δ^(n)c

∪ A

⁽ⁿ⁾_ ^c



c

P {B

_δ⁽ⁿ⁾

∩ A

⁽ⁿ⁾_

} = 1 − P n

B

_δ^(n)c

∪ A

⁽ⁿ⁾_ ^c

o P

xⁿ∈B_δ⁽ⁿ⁾∩A⁽ⁿ⁾

P (x

ⁿ

) ≥ 1 − P {B

_δ^(n)c

} − P {A

⁽ⁿ⁾_ ^c

} P

xⁿ∈B⁽ⁿ⁾_δ ∩A⁽ⁿ⁾_

2

^−n(H−)

≥ 1 − δ −  , n > N ()

|B

_δ⁽ⁿ⁾

|2

^−n(H−)

≥ 1 − δ − 

|B

_δ⁽ⁿ⁾

| ≥ (1 − δ − )2

^n(H−)

1

n

log |B

_δ⁽ⁿ⁾

| ≥

_n¹

log(1 − δ − ) + H −  ,  < 1 − δ

>

_n¹

log(

^1−δ₂

) + H −

^δ₂⁰

,  < m´ın{

^δ₂⁰

,

^1−δ₂

}

> −

^δ0

+ H −

^δ0

, n > m´ ax{N (), N

⁰

} .

Ejemplo

B

⁽ⁿ⁾

menor conjunto con P {B

⁽ⁿ⁾

} ≥ 1 −  = 0,9

P {#1 ≥ 12} = 0,9222 P {#1 ≥ 13} = 0,84623

P {A

⁽ⁿ⁾_

} = 0,9362

|A

⁽ⁿ⁾_

| = 26,366,510

|B

_⁽ⁿ⁾

| = 20,457,889

AEP para Procesos Estoc´ asticos

Teorema

Si {X

_i

} es un proceso estacionario y erg´ odico (por ejemplo Markov irreducible y aperi´ odico estacionario)

− 1

n log p(X

₁

. . . X

_n

) → H(X )

con probabilidad 1.