IMITES FUNDAMENTALES EN LOS SISTEMAS DE COMUNICACIONES DIGITALES Marcelino L´azaro

(1)

Teor´ıa de la Comunicaci´on

Grado en Ingenier´ıa en Tecnolog´ıas de Telecomunicaci´on

C

AP

´

ITULO

5

L´

IMITES FUNDAMENTALES EN LOS SISTEMAS DE

COMUNICACIONES DIGITALES

Marcelino L´azaro

Departamento de Teor´ıa de la Se˜nal y Comunicaciones

Universidad Carlos III de Madrid

Creative Commons License

1 / 50

´Indice de contenidos

Modelado de fuentes de informaci´on

Modelos probabil´ısticos de canal

Medidas cuantitativas de informaci´on

Capacidad de canal

I

Capacidad de un canal digital

I

Capacidad de un canal gausiano

L´ımites en un sistema digital de comunicaciones

(2)

Definici ´on de un sistema de comunicaciones

Finalidad de un sistema de comunicaciones:

I

Transmisi´on de informaci´on

Informaci´on

transmitida

Informaci´on

recibida

Fuente de

Informaci´on

-s

(

t

)

Medio de

Transmisi´on

r

(

t

-

)

Informaci´on

Destino de

Cuantificaci´on de la informaci´on

I

Medidas cuantitativas de informaci´on

I

An´alisis de un sistema de comunicaciones

F

Cantidad de informaci´on generada

F

L´ımites fundamentales en la transmisi´on de informaci´on

Organizaci´on del cap´ıtulo:

I

Modelos (probabil´ısticos) para las fuentes de informaci´on

I

Modelos (probabil´ısticos) del sistema (de canal)

I

Medidas cuantitativas de informaci´on

I

L´ımites fundamentales en los sistemas de comunicaci´on

c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 3 / 50

Modelado de fuentes de informaci ´on

Salida de la fuente: flujo de informaci´on

I

En tiempo continuo: se˜nal

x

₍

t

₎

I

En tiempo discreto: se˜nal

x

_[

n

_]

Modelo de la salida de la fuente (informaci´on)

I

Proceso aleatorio,

X

₍

t

₎

, ´o

X

_[

n

_]

Modelo para fuentes en tiempo continuo (anal´ogicas)

I

Proceso aleatorio en tiempo continuo

X

₍

t

₎

F

Caracter´ızaci´on: densidad espectral de potencia

S

_X

₍

j

_!

₎

- Normalmente son procesos limitados en banda

- Refleja el comportamiento espectral medio de la fuente

Modelo para fuente en tiempo discreto

I

Proceso aleatorio en tiempo discreto

X

_[

n

_]

I

Tipos de alfabeto de la fuente

F

Continuo (e.g., se˜nales muestreadas)

F

Discreto (fuentes digitales)

- Modelo m´as simple: fuente discreta sin memoria

(3)

Fuente discreta sin memoria

DMS :

Discrete Memoryless Source

Proceso aleatorio en tiempo discreto

X

[

n

]

I

Alfabeto discreto de

M

_X

valores

I

Sin memoria:

_{

X

_[

n

_]

_}

son variables aleatorias independientes

e id´enticamente distribuidas (i.i.d.)

Descripci´on del proceso (caracterizaci´on estad´ıstica)

I

Variable aleatoria

X

(al ser

X

_[

n

_]

i.i.d., la estad´ıstica es la

misma para todo

n

)

F

Alfabeto

_A

_X

=

_{

x

0 ,

x

1 ,

· · ·

,

x

M

X

1 }

F

Probabilidades

p

_X

₍

x

_i

_{) =}

P

₍

X

₌

x

_i

₎

para

i

₌

0 _,

1 _,

_{· · ·}

_,

M

_X

1 Ejemplo: fuente binaria sim´etrica

BSS:

Binary Symmetric Source

I

Alfabeto

_A

_X

₌

_{

x

₀

_,

x

₁

_}

, t´ıpicamente

x

₀

₌

0 ,

x

₁

₌

1 I

Probabilidades

p

_X

₍

x

₀

_{) =}

p

_X

₍

x

₁

_{) =}

1

2 c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 5 / 50

Modelos probabil´ısticos de canal

B

b

[

`

]

!

B

-

[

n

]

_Codificador

A

[

-

n

]

_Modulador

s

(

t

)

?

Canal

r

(

t

)

Decisor

q

[

n

]

Demodulador

r

(

t

)

ˆ

B

b

[

`

]

ˆ

B

[

n

]

Demodulador Digital

Modulador Digital

Modelos probabil´ısticos de canal

I

Establecen la relaci´on probabil´ıstica entre la informaci´on recibida y la transmitida

en distintos puntos de este modelo general del sistema de comunicaciones

F

Distintos niveles de abstracci´on en la definici´on de

canal

F

Modelo probabil´ıstico: Entrada

X

, salida

Y

, distribuci´on

f

_Y

_|

_X

(

y

|

x

)

Modelos definidos

I

_{Canal gaussiano}

F

Representa el canal f´ısico:

Y

⌘

r

(

t

)

|

X

⌘

s

(

t

)

I

_{Canal gaussiano con entrada digital}

F

Representa el canal discreto equivalente:

Y

⌘

q

[

n

]

|

X

⌘

A

[

n

]

I

_{Canal digital}

F

Representa la transmisi´on de s´ımbolos:

Y

⌘

ˆ

B

[

n

]

|

X

⌘

B

[

n

]

(´o

A

ˆ

[

n

]

|

A

[

n

]

)

I

Canal digital binario

F

Representa la transmisi´on de bits:

Y

⌘

ˆ

B

b

[

`

]

|

X

⌘

B

b

[

`

]

(4)

Modelos probabil´ısticos de canal - Representaci ´on

Codificador

Modulador

Canal

Demodulador

Decisor

B

[

n

]

A

[

n

]

s

(

t

)

r

(

t

)

q

[

n

]

ˆ

B

[

n

]

B

b

[

`

]

ˆ

B

b

[

`

]

Canal gausiano

con entrada digital

Canal digital

binario

Codificador

Modulador

Canal

Demodulador

Decisor

B

[

n

]

A

[

n

]

s

(

t

)

r

(

t

)

q

[

n

]

ˆ

B

[

n

]

B

b

[

`

]

ˆ

B

b

[

`

]

Canal gausiano

con entrada digital

Canal digital

binario

c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 7 / 50

Canal gaussiano

Relaci´on entrada / salida

I

Entrada:

X

_⌘

s

₍

t

₎

, para un instante dado

t

I

Salida:

Y

_⌘

r

(

t

)

, para el mismo instante dado

t

Modelo canal gaussiano

r

(

t

) =

s

(

t

) +

n

(

t

)

I

n

(

t

)

: proceso aleatorio blanco y gaussiano con

S

n

(

j

!

) =

N

₂

0

,

R

n

(

⌧

) =

N

₂

0

· (

⌧

)

Limitaci´on de la potencia de ruido - Filtrado a la entrada del receptor

I

_{Se˜nal de ancho de banda}

B

Hz (

W

=

2 ⇡

B

rad/s)

F

Filtro

g

(

t

)

ideal de ancho de banda

B

Hz: potencia de ruido

N

₀

_·

B

-

_f

6 n

(

t

)

s

(

t

)

-g

(

t

)

/

G

(

j

!

)

r

(

t

)

-Distribuci´on de los valores de la se˜nal

r

(

t

)

dada la se˜nal

s

(

t

)

en un

cierto instante

t

(distribuci´on

Y

_|

X

cuando

Y

_⌘

r

(

t

)

y

X

_⌘

s

(

t

)

I

_{Distribuci´on de}

Y

cuando

X

=

x

=

s

(

t

)

I

Gaussiana, de media

s

(

t

)

en el instante dado y varianza

2 =

N

₀

_·

B

f

_Y

_|

_X

(

y

|

x

) =

p

1

2 ⇡

e

(y x)2

2 2

(5)

Canal gaussiano con entrada digital

Es el equivalente al canal discreto equivalente

Relaci´on entrada / salida

I

Entrada:

X

_⌘

A

_[

n

_]

, para un instante dado

n

F

Vector de

N

variables aleatorias discretas

F

Si

A

[

n

] =

a

_i

_!

X

=

x

_i

I

Salida:

Y

_⌘

q

_[

n

_]

, para el mismo instante dado

n

F

Vector de

N

variables aleatorias continuas

Modelo del canal gaussiano con entrada digital

q

=

A

+

z

I

Distribuci´on de los

N

elementos del vector de ruido

F

V.A.’s Independientes, gaussianas, media nula, varianza

N

₀

_/

2 Distribuci´on de la salida dada la entrada

I

Gaussiana de media el s´ımbolo transmitido (

x

_i

_⌘

a

i)

f

_q

_|

_A

(

q

_|

a

i

) =

1 (

⇡N

0 )

N

/

2 e

||

q a

_i

||

2 N

₀

_!

f

Y

|

X

(

y

|

x

i

) =

1 (

⇡

N

0 )

N

/

2 e

||

y x

_i

||

2 N

₀

c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 9 / 50

Canal digital

Relaci´on entrada / salida

I

Entrada:

X

_⌘

B

_[

n

_]

, para un instante dado

n

I

Salida:

Y

_⌘

B

ˆ

_[

n

_]

, para el mismo instante dado

n

F

Alfabeto de

X

e

Y

-

M

elementos del alfabeto de

B

[

n

]

:

_{

x

i

=

y

i

⌘

b

i

}

M

_i

₌₀

1 Modelo probabil´ıstico: canal discreto sin memoria

DMC:

Discrete Memoryless Channel

-X

_p

_Y

|

X

(

y

,

x

)

Y

-I

Definici´on estad´ıstica del canal discreto sin memoria

1 Alfabeto de entrada

A

X

=

{

x

i

}

,

i

=

0 ,

· · ·

,

M

X

1

2 Alfabeto de salida

A

Y

=

{

y

j

}

,

j

=

0 ,

· · ·

,

M

Y

1

3 Conjunto de probabilidades condicionales (de transici´on)

p

Y

_|

X

(

y

j

|

x

i

)

,

8 i

,

j

(6)

Representaci ´on de las probabilidades de transici ´on

Matriz de canal

P

=

2

6

4 p

Y

_|

X

(

y

0 |

x

0 )

p

Y

_|

X

(

y

1 |

x

0 )

· · ·

p

Y

_|

X

(

y

M

Y

1 |

x

0 )

p

Y

_|

X

(

y

0|

x

1 )

p

Y

_|

X

(

y

1 |

x

1 )

· · ·

p

Y

_|

X

(

yM

Y

1|

x

1 )

...

p

Y

_|

X

(

y

0|

x

M

_X

1 )

p

Y

_|

X

(

y

1 |

x

M

_X

1 )

· · ·

p

Y

_|

X

(

y

M

_Y

1|

x

M

_X

1 )

3

7

5 I

Elementos de una fila suman 1

Diagrama de flechas

s

x

0 x

1 x

M

X

1 y

0 y

1 y

M

Y

1 XXXX

XXXX

_XXXX

Z

_Z

-z

~

.

p

Y|X

(

y

0

|

x

0

)

p

Y|X

(

y

1

|

x

0

)

p

Y|X

(

y

_MY 1

|

x

0

)

⇠⇠⇠

⇠⇠

⇠

HH

_H

H

-:

j

.

p

Y|X

(

y

0

|

x

1

)

p

Y|X

(

y

1

|

x

1

)

p

Y|X

(

y

_MY 1

|

x

1

)

⇢

-> *

.

p

Y|X

(

y

1

|

x

_MX 1

)

p

Y|X

(

y

0

|

x

_MX 1

)

p

Y|X

(

y

MY 1

|

x

_MX 1

)

I

Flechas que salen de un mismo nodo suman 1

c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 11 / 50

Aplicaci ´on del DMC al canal digital

Alfabetos de

X

e

Y

I

M

s´ımbolos del alfabeto de

B

_[

n

_]

,

_{

b

₀

_,

b

₁

_,

_{· · ·}

_,

b

_M

₁

_}

x

i

⌘

b

i

,

y

j

⌘

b

j

,

M

X

=

M

Y

=

M

,

i

,

j

2 {

0 ,

1 ,

· · ·

M

1 }

Probabilidades de transici´on

p

Y

|

X

(

y

j

|

x

i

)

⌘

p

_B

ˆ

_|

_B

(

b

j

|

b

i

) =

p

_A

ˆ

_|

_A

(

a

j

|

a

i

)

I

Valores ideales: matriz de transici´on / diagrama de flechas

P

=

I

=

2

6

4 1 0

· · ·

0 0 1

· · ·

0 ... ...

1 ...

0 0

· · ·

1

3

7

5 r

r

x

0 x

1 x

M

1 y

0 y

1 y

M

1 -

1

(7)

C´alculo de las probabilidades de transici ´on - Ejemplo

M

=

4 , s´ımbolos equiprobables

p

A

(

a

i

) =

1 ₄

I

Constelaci´on:

a0

=

3 ,

a1

=

1 ,

a2

= +

1 ,

a3

= +

3 I

_{Regiones de decisi´on: umbrales}

q

_u

₁

=

2 ,

q

_u

₂

=

0 ,

q

_u

₃

= +

2 I

0 = (

1 ,

2 ]

,

I

1 = (

2 ,

0 ]

,

I

2 = (

0 ,

+

2 ]

,

I

3 = (+

2 ,

+

1 )

t

3

2

1

0 +

1 +

2 +

3 q

a

0 a

1 a

2 a

3 I

0 _-

I

1 _-

I

2 _-

I

3 -Probabilidades de transici´on (matriz de canal)

P

=

2

6

4

1 Q

✓

1

p

No/2

◆ Q

✓

1

p

No/2

◆ Q

✓

3

p

No/2

◆ Q

✓

3

p

No/2

◆ Q

✓

5

p

No/2

◆ Q

✓

5

p

No/2

◆ Q

✓

1

p

No/2

◆

1

2 Q

✓

1

p

No/2

◆ Q

✓

1

p

No/2

◆ Q

✓

3

p

No/2

◆ Q

✓

3

p

No/2

◆ Q

✓

3

p

No/2

◆ Q

✓

1

p

No/2

◆ Q

✓

3

p

No/2

◆

1

2 Q

✓

1

p

No/2

◆ Q

✓

1

p

No/2

◆ Q

✓

5

p

No/2

◆ Q

✓

3

p

No/2

◆ Q

✓

5

p

No/2

◆ Q

✓

1

p

No/2

◆ Q

✓

3

p

No/2

◆

1 Q

✓

1

p

No/2

◆

3

7

5 c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 13 / 50

Elementos de la primera fila:

p

Y

_|

X

(

y

j

|

x

0 )

,

8 j

3

2 1 0

+

1 +

2 +

3 t

a

0 I

0 -I

1 -I

2 -I

3 -...

...

_...

...

_...

.

...

....

...

.

...

.

...

q

Distribuci´on

f

q

|

A

(

q

|

a

0 )

: gaussiana de media

a

0 y varianza

N

0 /

2 p

_Y

_|

_X

(

y

0 |

x

0 ) =

1 P

e

|

a

0

=

1 Q

1 p

N

₀

/

2 !

p

_Y

_|

_X

(

y

1 |

x

0 ) =

P

e

|

a

0!

a

1

=

Q

1 p

N

₀

/

2 !

Q

p

3 N

₀

/

2 !

p

_Y

_|

_X

(

y

2 |

x

0 ) =

P

e

|

a

0!

a

2

=

Q

3 p

N

0 /

2 !

Q

p

5 N

0 /

2 !

p

_Y

_|

_X

(

y

3 |

x

0 ) =

P

e

|

a

0!

a

3

=

Q

5 p

N

0 /

2 !

(8)

Elementos de la segunda fila:

p

Y

|

X

(

y

j

|

x

1 )

,

8 j

3

2 t

1 0

+

1 +

2 +

3 I

0 -I

1 -I

2 -I

3 -...

...

_...

.

...

.

...

....

...

.

...

....

...

.

...

q

Distribuci´on

f

_q

_|

_A

(

q

_|

a

1 )

: gaussiana de media

a

1 y varianza

N

0 /

2 p

_Y

_|

_X

(

y

0 |

x

1 ) =

P

e

|

a

1!

a

0

=

Q

1 p

N

0 /

2 !

p

_Y

_|

_X

(

y

₁

|

x

₁

) =

1 P

_e

_|

_a

₁

=

1 2Q

_p

1 N

0 /

2 !

p

_Y

_|

_X

(

y

₂

_|

x

₁

) =

P

_e

_|

_a

_1!

_a

₂

=

Q

_p

1 N

₀

/

2 !

Q

_p

3 N

₀

/

2 !

p

_Y

_|

_X

(

y

₃

_|

x

₁

) =

P

_e

_|

_a

_1!

_a

₃

=

Q

_p

3 N

₀

/

2 !

c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 15 / 50

Elementos de la tercera fila:

p

Y

_|

X

(

y

j

|

x

2 )

,

8 j

3

2 1 0

+

t

1 +

2 +

3 I

0 -I

1 -a

2 I

2 -I

3 -...

...

_...

...

.

...

.

...

....

...

.

...

....

...

q

Distribuci´on

f

q

|

A

(

q

|

a

2 )

: gaussiana de media

a

2 y varianza

N

0 /

2 p

_Y

_|

_X

(

y

0 |

x

2 ) =

P

e

|

a

2!

a

0

=

Q

3 p

N

₀

/

2 !

p

_Y

_|

_X

(

y

1 |

x

2 ) =

P

e

|

a

2!

a

1

=

Q

1 p

N

₀

/

2 !

Q

p

3 N

₀

/

2 !

p

_Y

_|

_X

(

y

2 |

x

2 ) =

1 P

e

|

a

2

=

1 2Q

1 p

N

0 /

2 !

p

_Y

_|

_X

(

y

3 |

x

2 ) =

P

e

|

a

2!

a

3

=

Q

1 p

N

0 /

2 !

(9)

Elementos de la cuarta fila:

p

Y

|

X

(

y

j

|

x

3 )

,

8 j

3

2 1 0

+

1 +

2 +

t

3 I

0 -I

1 -I

2 -I

3 -...

...

_...

...

.

...

.

...

.

...

.

...

....

...

q

Distribuci´on

f

_q

_|

_A

(

q

_|

a

3 )

: gaussiana de media

a

3 y varianza

N

0 /

2 p

_Y

_|

_X

(

y

0 |

x

3 ) =

P

e

|

a

3!

a

0

=

Q

5 p

N

0 /

2 !

p

_Y

_|

_X

(

y

₁

|

x

₃

) =

P

_e

_|

_a

_3!

_a

₁

=

Q

_p

3 N

0 /

2 !

Q

_p

5 N

0 /

2 !

p

_Y

_|

_X

(

y

₂

_|

x

₃

) =

P

_e

_|

_a

_3!

_a

₂

=

Q

_p

1 N

₀

/

2 !

Q

_p

3 N

₀

/

2 !

p

_Y

_|

_X

(

y

₃

_|

x

₃

) =

1 P

_e

_|

_a

₃

=

1 Q

_p

1 N

₀

/

2 !

c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 17 / 50

Canal digital binario

Relaci´on entrada / salida

I

Entrada:

X

_⌘

B

_b

_[

_`

_]

, para un instante dado

_`

I

Salida:

Y

_⌘

B

ˆ

_b

_[

_`

_]

, para el mismo instante dado

n

F

Alfabeto de

X

e

Y

: Bits

x

₀

₌

y

₀

_⌘

0 ,

x

₁

₌

y

₁

_⌘

1 Modelo probabil´ıstico

I

Particularizaci´on del DMC para

M

₌

2 I

Probabilidades condicionales

p

_Y

_|

_X

₍

y

_j

_|

x

_i

₎

F

Probabilidades de acierto de bit (

j

=

i

)

F

Probabilidades de error de bit (

j

₆

₌

i

)

I

Habitualmente, se asume que la probabilidad de error de bit

es igual para los dos bits

(

0 ,

1 )

F

Canal binario sim´etrico

(BSC:

Binary Symmetric Channel

)

F

Probabilidad de error de bit (BER):

BER

₌

_"

-*

HH

_H

HH

_H

_j

r

x

0 x

₁

y

₀

y

₁

1 "

"

P

=



_p

Y

|

X

(

y

0 |

x

0 )

p

Y

|

X

(

y

1 |

x

0 )

p

_Y

_|

_X

(

y

₀

_|

x

₁

)

p

_Y

_|

_X

(

y

₁

_|

x

₁

)

=



1 "

"

1 "

(10)

M

EDIDAS

C

UANTITATIVAS

DE

I

NFORMACI

ON

´

c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 19 / 50

Autoinformaci ´on

Medida de la informaci´on contenida en un suceso aislado

de una variable aleatoria discreta (

X

=

x

i

)

Requerimientos para esta medida

1 _I

_X

₍

_x

_i

₎

_{depende de la probabilidad del suceso}

I

X

(

x

i

) =

f

(

p

X

(

x

i

))

2 _{Debe ser una funci´on decreciente de la probabilidad}

p

X

(

x

i

)

>

p

X

(

x

j

)

!

I

X

(

x

i

)

<

I

X

(

x

j

)

3 _{Debe ser una funci´on continua de la probabilidad}

F

_{Sucesos con probabilidades similares tienen una informaci´on similar}

4 _{Para sucesos independientes}

X

=

x

_i

,

Y

=

y

_j

(

p

_X

,

Y

(

x

i

,

y

j

) =

p

X

(

x

i

)

· p

Y

(

y

j

)

I

X

,

Y

(

x

i

,

y

j

) =

I

X

(

x

i

) +

I

Y

(

y

j

)

Funci´on que cumple estas propiedades - Autoinformaci´on

I

X

(

x

i

) =

log

_b

(

p

X

(

x

i

))

I

La base del logaritmo define las unidades de la medida

F

Base 2 : bits

F

_Base

e

(logaritmo natural o neperiano

ln

): nats

NOTA: Relaci´on

log

_b

(

x

) =

ln

(

x

)

/

ln

(

b

)

(11)

Entrop´ıa

Medida de la incertidumbre contenida en una variable aleatoria

(discreta)

I

Promedio de la autoinformaci´on de cada suceso

F

Alfabeto:

_A

_X

=

_{

x

0 ,

x

1 ,

· · ·

,

x

M

X

1 }

F

Probabilidades:

_{

p

_X

₍

x

₀

₎

_,

p

_X

₍

x

₁

₎

_,

_{· · ·}

_,

p

_X

₍

x

_M

_X

₁

₎

_}

H(X) =

M

_X

X

1 i

=

0 p

X

(x

i

)

· log

p

X

(x

i

) =

M

_X

X

1 i

=

0 p

X

(x

i

)

· log

✓

₁

p

X

(x

i

)

◆ NOTA: Por convenci´on:

0 ⇥

log 0

=

0 I

Unidades: bits/s´ımbolo ´o nats/s´ımbolo

Valores l´ımite de la entrop´ıa de variables aleatorias discretas

1 H

₍

X

₎

0 Ya que

0 

p

X

(

x

i

)



1 y, consecuentemente,

log

(

1 /

p

X

(

x

i

))

0 F

_H

₍

_X

_{) =}

₀

cuando no hay incertidumbre en

_X

p

X

(

x

i

) =

1 ,

p

X

(

x

j

) =

0

8 j

6 =

i

2 H

₍

X

₎

_

log

₍

M

_X

₎

La igualdad se produce ´unicamente si los s´ımbolos son

equiprobables,

p

X

(

x

i

) =

_M

1

_X

F

M´axima situaci´on de incertidumbre

c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 21 / 50

Ejemplo - Entrop´ıa binaria

Variable aleatoria binaria

I

Alfabeto:

_{

x

₀

_,

x

₁

_}

I

Probabilidades:

_{

p

_X

₍

x

₀

_{) =}

p

_,

p

_X

₍

x

₁

_{) =}

1 p

_}

H

(

X

) =

p

_·

log

(

p

)

(

1 p

)

_·

log

(

1 p

)

=

p

_·

log

✓

₁

p

◆ + (

1 p

)

_·

log

✓

₁

1 p

◆ ⌘

H

b

(

p

)

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1 .

...

.

...

.

...

.

...

... .

...

... . ...

...

... . ...

... ...

... . ...

. .

... .

...

... .

...

_.

...

.

...

.

...

Probabilidad

p

Entropia

binar

ia

H

b

(

p

)

(12)

Entrop´ıa conjunta

Medida de la informaci´on conjunta de dos (o m´as) variables

aleatorias

H

(

X

,

Y

) =

M

_X

1 i

=

0 M

_X

_Y

1 j

=

0 p

X

,

Y

(

x

i

,

y

j

)

· log

✓

₁

p

X

,

Y

(

x

i

,

y

j

)

◆ Variables aleatorias independientes

I

Probabilidad conjunta:

p

_X

_,

_Y

₍

x

_i

_,

y

_j

_{) =}

p

_X

₍

x

_i

₎

_·

p

_Y

₍

y

_j

₎

I

Entrop´ıa conjunta

H

(

X

,

Y

) =

M

_X

X

1 i

=0

M

_X

Y

1 j

=0

p

_X

(

x

_i

)

_·

p

_Y

(

y

_j

)

_·

log

1 p

X

(

x

i

)

· p

Y

(

y

j

)

=

M

_X

X

1 i

=0

M

_X

Y

1 j

=0

p

X

(

x

i

)

· p

Y

(

y

j

)

· log

_p

1 X

(

x

i

)

+

M

_X

X

1 i

=0

M

_X

Y

1 j

=0

p

X

(

x

i

)

· p

Y

(

y

j

)

· log

_p

1 Y

(

y

j

)

=

M

_X

X

1 i

=0

p

X

(

x

i

)

· log

_p

1 X

(

x

i

)

+

M

_X

Y

1 j

=0

p

Y

(

y

j

)

· log

_p

1 Y

(

y

j

)

=

H

(

X

) +

H

(

Y

)

c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 23 / 50

Entrop´ıa condicional

Mide la incertidumbre en una variable aleatoria cuando se

conoce el valor de la otra

I

Promedio de

H

₍

X

_|

Y

₌

y

_j

₎

para cada valor del alfabeto de

Y

H

(

X

_|

Y

) =

M

_X

Y

1 j

=

0 p

Y

(

y

j

)

· H

(

X

|

Y

=

y

j

)

=

M

_X

Y

1 j

=

0 p

Y

(

y

j

)

M

_X

X

1 i

=

0 p

X

|

Y

(

x

i

|

y

j

)

· log

_p

1 X

_|

Y

(

x

i

|

y

j

)

=

M

_X

X

1 i

=

0 M

_X

Y

1 j

=

0 p

X

,

Y

(

x

i

,

y

j

)

· log

_p

1 X

_|

Y

(

x

i

|

y

j

)

I

Para variables aleatorias independientes

H

(

X

_|

Y

) =

H

(

X

)

(13)

Relaci ´on entre entrop´ıa conjunta y condicional

H

(

X

,

Y

) =

M

_X

X

1 i

=0

M

_X

Y

1 j

=0

p

X

,

Y

(

x

i

,

y

j

)

· log

_p

1 X

,

Y

(

x

i

,

y

j

)

=

M

_X

X

1 i

=0

M

_X

Y

1 j

=0

p

X

,

Y

(

x

i

,

y

j

)

· log

_p

1 X

(

x

i

)

· p

Y

|

X

(

y

j

|

x

i

)

=

M

_X

X

1 i

=0

M

_X

Y

1 j

=0

p

X

,

Y

(

x

i

,

y

j

)

· log

_p

1 X

(

x

i

)

+

M

_X

X

1 i

=0

M

_X

Y

1 j

=0

p

X

,

Y

(

x

i

,

y

j

)

· log

_p

1 Y

|

X

(

y

j

|

x

i

)

=

M

_X

X

1 i

=0

p

X

(

x

i

)

· log

_p

1 X

(

x

i

)

+

M

_X

X

1 i

=0

M

_X

Y

1 j

=0

p

X

,

Y

(

x

i

,

y

j

)

· log

_p

1 Y

|

X

(

y

j

|

x

i

)

=

H

(

X

) +

H

(

Y

_|

X

)

H

(

X

,

Y

) =

H

(

X

) +

H

(

Y

_|

X

) =

H

(

Y

) +

H

(

X

_|

Y

)

c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 25 / 50

Informaci ´on mutua

Mide la informaci´on que aporta una variable aleatoria

X

sobre el conocimiento de otra variable aleatoria

Y

I

(

X

,

Y

) =

M

_X

X

1 i

=0

M

_X

Y

1 j

=0

p

X

,

Y

(

x

i

,

y

j

)

· log

_p

p

X

,

Y

(

x

i

,

y

j

)

X

(

x

i

)

· p

Y

(

y

j

)

Propiedades

1 _I

₍

_X

_,

_Y

_{) =}

_I

₍

_Y

_,

_X

₎

₀

La igualdad se cumple en el caso de que

X

e

Y

sean independientes

2 I

(

X

,

Y

)

_

m´ın

(

H

(

X

)

,

H

(

Y

))

3 _{Se puede definir informaci´on mutua condicional}

I

(

X

,

Y

_|

Z

) =

M

_X

Z

1 i

=0

p

Z

(

z

i

)

· I

(

X

,

Y

|

Z

=

z

i

)

I

(

X

,

Y

|

Z

) =

H

(

X

|

Z

)

H

(

X

|

Y

,

Z

)

4 _{La regla de la cadena para la informaci´on mutua es}

I

((

X

,

Y

)

,

Z

) =

I

(

X

,

Z

) +

I

(

Y

,

Z

|

X

)

I

((

X

1 ,

X

2 ,

· · ·

,

X

N

)

,

Y

) =

I

(

X

1 ,

Y

) +

I

(

X

2 ,

Y

|

X

1 ) +

· · ·

+

I

(

X

N

,

Y

|

X

1 ,

· · ·

,

X

N

1 )

5 _{A partir de la definición de información mutua se obtiene la definición de entrop´ıa}

I

(

X

,

X

) =

H

(

X

)

(14)

Relaciones informaci ´on mutua y entrop´ıa

I

(

X

,

Y

) =

M

_X

X

1 i

=0

M

_X

Y

1 j

=0

p

X

,

Y

(

x

i

,

y

j

)

· log

_p

p

X

,

Y

(

x

i

,

y

j

)

X

(

x

i

)

· p

Y

(

y

j

)

=

M

_X

X

1 i

=0

M

_X

Y

1 j

=0

p

X

,

Y

(

x

i

,

y

j

)

· log

p

_X

_|

_Y

(

x

_i

,

y

_j

)

p

X

(

x

i

)

=

M

_X

X

1 i

=0

M

_X

Y

1 j

=0

p

X

,

Y

(

x

i

,

y

j

)

· log

_p

1 X

(

x

i

)

+

M

_X

X

1 i

=0

M

_X

Y

1 j

=0

p

X

,

Y

(

x

i

,

y

j

)

· log

(

p

X

|

Y

(

x

i

,

y

j

))

=

M

_X

X

1 i

=0

p

X

(

x

i

)

· log

_p

1 X

(

x

i

)

M

_X

X

1 i

=0

M

_X

Y

1 j

=0

p

X

,

Y

(

x

i

,

y

j

)

· log

_p

1 X

|

Y

(

x

i

,

y

j

)

=

H

(

X

)

H

(

X

|

Y

)

I

(

X

,

Y

) =

H

(

X

)

H

(

X

_|

Y

) =

H

(

Y

)

H

(

Y

_|

X

) =

H

(

X

) +

H

(

Y

)

H

(

X

,

Y

)

c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 27 / 50

Relaciones informaci ´on mutua y entrop´ıa (II)

I

(

X

,

Y

) =

H

(

X

)

H

(

X

_|

Y

) =

H

(

Y

)

H

(

Y

_|

X

) =

H

(

X

) +

H

(

Y

)

H

(

X

,

Y

)

Representaci´on en un diagrama de Venn

I

Entrop´ıas e informaci´on mutua representadas por ´areas

... ... ... ... ..._..._..._...

... ... ... ...

... ... ... ..

... ... ...

... ... ..

... ... ... ... ... ... ... ... ...

... ...

.. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ..._...... ... ... ....

... ...

... .

... ...

... ... ... ... ... ... ...

... ... ... .

... ... ...

... ... .

... ...

... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...