IMITES FUNDAMENTALES EN LOS SISTEMAS DE COMUNICACIONES DIGITALES Marcelino L´azaro

25 

Texto completo

(1)

Teor´ıa de la Comunicaci´on

Grado en Ingenier´ıa en Tecnolog´ıas de Telecomunicaci´on

C

AP

´

ITULO

5

IMITES FUNDAMENTALES EN LOS SISTEMAS DE

COMUNICACIONES DIGITALES

Marcelino L´azaro

Departamento de Teor´ıa de la Se˜nal y Comunicaciones

Universidad Carlos III de Madrid

Creative Commons License

1 / 50

´Indice de contenidos

Modelado de fuentes de informaci´on

Modelos probabil´ısticos de canal

Medidas cuantitativas de informaci´on

Capacidad de canal

I

Capacidad de un canal digital

I

Capacidad de un canal gausiano

L´ımites en un sistema digital de comunicaciones

(2)

Definici ´on de un sistema de comunicaciones

Finalidad de un sistema de comunicaciones:

I

Transmisi´on de informaci´on

Informaci´on

transmitida

Informaci´on

recibida

Fuente de

Informaci´on

-s

(

t

)

Medio de

Transmisi´on

r

(

t

-

)

Informaci´on

Destino de

Cuantificaci´on de la informaci´on

I

Medidas cuantitativas de informaci´on

I

An´alisis de un sistema de comunicaciones

F

Cantidad de informaci´on generada

F

L´ımites fundamentales en la transmisi´on de informaci´on

Organizaci´on del cap´ıtulo:

I

Modelos (probabil´ısticos) para las fuentes de informaci´on

I

Modelos (probabil´ısticos) del sistema (de canal)

I

Medidas cuantitativas de informaci´on

I

L´ımites fundamentales en los sistemas de comunicaci´on

c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 3 / 50

Modelado de fuentes de informaci ´on

Salida de la fuente: flujo de informaci´on

I

En tiempo continuo: se˜nal

x

(

t

)

I

En tiempo discreto: se˜nal

x

[

n

]

Modelo de la salida de la fuente (informaci´on)

I

Proceso aleatorio,

X

(

t

)

, ´o

X

[

n

]

Modelo para fuentes en tiempo continuo (anal´ogicas)

I

Proceso aleatorio en tiempo continuo

X

(

t

)

F

Caracter´ızaci´on: densidad espectral de potencia

S

X

(

j

!

)

- Normalmente son procesos limitados en banda

- Refleja el comportamiento espectral medio de la fuente

Modelo para fuente en tiempo discreto

I

Proceso aleatorio en tiempo discreto

X

[

n

]

I

Tipos de alfabeto de la fuente

F

Continuo (e.g., se˜nales muestreadas)

F

Discreto (fuentes digitales)

- Modelo m´as simple: fuente discreta sin memoria

(3)

Fuente discreta sin memoria

DMS :

Discrete Memoryless Source

Proceso aleatorio en tiempo discreto

X

[

n

]

I

Alfabeto discreto de

M

X

valores

I

Sin memoria:

{

X

[

n

]

}

son variables aleatorias independientes

e id´enticamente distribuidas (i.i.d.)

Descripci´on del proceso (caracterizaci´on estad´ıstica)

I

Variable aleatoria

X

(al ser

X

[

n

]

i.i.d., la estad´ıstica es la

misma para todo

n

)

F

Alfabeto

A

X

=

{

x

0

,

x

1

,

· · ·

,

x

M

X

1

}

F

Probabilidades

p

X

(

x

i

) =

P

(

X

=

x

i

)

para

i

=

0

,

1

,

· · ·

,

M

X

1

Ejemplo: fuente binaria sim´etrica

BSS:

Binary Symmetric Source

I

Alfabeto

A

X

=

{

x

0

,

x

1

}

, t´ıpicamente

x

0

=

0

,

x

1

=

1

I

Probabilidades

p

X

(

x

0

) =

p

X

(

x

1

) =

1

2

c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 5 / 50

Modelos probabil´ısticos de canal

B

b

[

`

]

!

B

-

[

n

]

Codificador

A

[

-

n

]

Modulador

s

(

t

)

?

Canal

r

(

t

)

Decisor

q

[

n

]

Demodulador

r

(

t

)

ˆ

B

b

[

`

]

ˆ

B

[

n

]

Demodulador Digital

Modulador Digital

Modelos probabil´ısticos de canal

I

Establecen la relaci´on probabil´ıstica entre la informaci´on recibida y la transmitida

en distintos puntos de este modelo general del sistema de comunicaciones

F

Distintos niveles de abstracci´on en la definici´on de

canal

F

Modelo probabil´ıstico: Entrada

X

, salida

Y

, distribuci´on

f

Y

|

X

(

y

|

x

)

Modelos definidos

I

Canal gaussiano

F

Representa el canal f´ısico:

Y

r

(

t

)

|

X

s

(

t

)

I

Canal gaussiano con entrada digital

F

Representa el canal discreto equivalente:

Y

q

[

n

]

|

X

A

[

n

]

I

Canal digital

F

Representa la transmisi´on de s´ımbolos:

Y

ˆ

B

[

n

]

|

X

B

[

n

]

(´o

A

ˆ

[

n

]

|

A

[

n

]

)

I

Canal digital binario

F

Representa la transmisi´on de bits:

Y

ˆ

B

b

[

`

]

|

X

B

b

[

`

]

(4)

Modelos probabil´ısticos de canal - Representaci ´on

Codificador

Modulador

Canal

Demodulador

Decisor

B

[

n

]

A

[

n

]

s

(

t

)

r

(

t

)

q

[

n

]

ˆ

B

[

n

]

B

b

[

`

]

ˆ

B

b

[

`

]

Canal gausiano

Canal gausiano

con entrada digital

Canal digital

Canal digital

binario

Codificador

Modulador

Canal

Demodulador

Decisor

B

[

n

]

A

[

n

]

s

(

t

)

r

(

t

)

q

[

n

]

ˆ

B

[

n

]

B

b

[

`

]

ˆ

B

b

[

`

]

Canal gausiano

Canal gausiano

con entrada digital

Canal digital

Canal digital

binario

c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 7 / 50

Canal gaussiano

Relaci´on entrada / salida

I

Entrada:

X

s

(

t

)

, para un instante dado

t

I

Salida:

Y

r

(

t

)

, para el mismo instante dado

t

Modelo canal gaussiano

r

(

t

) =

s

(

t

) +

n

(

t

)

I

n

(

t

)

: proceso aleatorio blanco y gaussiano con

S

n

(

j

!

) =

N

2

0

,

R

n

(

) =

N

2

0

·

(

)

Limitaci´on de la potencia de ruido - Filtrado a la entrada del receptor

I

Se˜nal de ancho de banda

B

Hz (

W

=

2

B

rad/s)

F

Filtro

g

(

t

)

ideal de ancho de banda

B

Hz: potencia de ruido

N

0

·

B

-

f

6

n

(

t

)

s

(

t

)

-g

(

t

)

/

G

(

j

!

)

r

(

t

)

-Distribuci´on de los valores de la se˜nal

r

(

t

)

dada la se˜nal

s

(

t

)

en un

cierto instante

t

(distribuci´on

Y

|

X

cuando

Y

r

(

t

)

y

X

s

(

t

)

)

I

Distribuci´on de

Y

cuando

X

=

x

=

s

(

t

)

I

Gaussiana, de media

s

(

t

)

en el instante dado y varianza

2

=

N

0

·

B

f

Y

|

X

(

y

|

x

) =

p

1

2

e

(y x)2

2 2

(5)

Canal gaussiano con entrada digital

Es el equivalente al canal discreto equivalente

Relaci´on entrada / salida

I

Entrada:

X

A

[

n

]

, para un instante dado

n

F

Vector de

N

variables aleatorias discretas

F

Si

A

[

n

] =

a

i

!

X

=

x

i

I

Salida:

Y

q

[

n

]

, para el mismo instante dado

n

F

Vector de

N

variables aleatorias continuas

Modelo del canal gaussiano con entrada digital

q

=

A

+

z

I

Distribuci´on de los

N

elementos del vector de ruido

F

V.A.’s Independientes, gaussianas, media nula, varianza

N

0

/

2

Distribuci´on de la salida dada la entrada

I

Gaussiana de media el s´ımbolo transmitido (

x

i

a

i)

f

q

|

A

(

q

|

a

i

) =

1

(

⇡N

0

)

N

/

2

e

||

q a

i

||

2

N

0

!

f

Y

|

X

(

y

|

x

i

) =

1

(

N

0

)

N

/

2

e

||

y x

i

||

2

N

0

c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 9 / 50

Canal digital

Relaci´on entrada / salida

I

Entrada:

X

B

[

n

]

, para un instante dado

n

I

Salida:

Y

B

ˆ

[

n

]

, para el mismo instante dado

n

F

Alfabeto de

X

e

Y

-

M

elementos del alfabeto de

B

[

n

]

:

{

x

i

=

y

i

b

i

}

M

i

=0

1

Modelo probabil´ıstico: canal discreto sin memoria

DMC:

Discrete Memoryless Channel

-X

p

Y

|

X

(

y

,

x

)

Y

-I

Definici´on estad´ıstica del canal discreto sin memoria

1

Alfabeto de entrada

A

X

=

{

x

i

}

,

i

=

0

,

· · ·

,

M

X

1

2

Alfabeto de salida

A

Y

=

{

y

j

}

,

j

=

0

,

· · ·

,

M

Y

1

3

Conjunto de probabilidades condicionales (de transici´on)

p

Y

|

X

(

y

j

|

x

i

)

,

8

i

,

j

(6)

Representaci ´on de las probabilidades de transici ´on

Matriz de canal

P

=

2

6

6

6

4

p

Y

|

X

(

y

0

|

x

0

)

p

Y

|

X

(

y

1

|

x

0

)

· · ·

p

Y

|

X

(

y

M

Y

1

|

x

0

)

p

Y

|

X

(

y

0|

x

1

)

p

Y

|

X

(

y

1

|

x

1

)

· · ·

p

Y

|

X

(

yM

Y

1|

x

1

)

...

...

...

...

p

Y

|

X

(

y

0|

x

M

X

1

)

p

Y

|

X

(

y

1

|

x

M

X

1

)

· · ·

p

Y

|

X

(

y

M

Y

1|

x

M

X

1

)

3

7

7

7

5

I

Elementos de una fila suman 1

Diagrama de flechas

s

s

s

s

s

s

x

0

x

1

x

M

X

1

y

0

y

1

y

M

Y

1

XXXX

XXXX

XXXX

Z

Z

Z

Z

Z

Z

Z

Z

Z

Z

Z

Z

-z

~

.

.

.

p

Y|X

(

y

0

|

x

0

)

p

Y|X

(

y

1

|

x

0

)

p

Y|X

(

y

MY 1

|

x

0

)

⇠⇠⇠

⇠⇠⇠

⇠⇠⇠

⇠⇠

HH

HH

HH

HH

HH

H

H

-:

j

.

.

.

p

Y|X

(

y

0

|

x

1

)

p

Y|X

(

y

1

|

x

1

)

p

Y|X

(

y

MY 1

|

x

1

)

-> *

.

.

.

p

Y|X

(

y

1

|

x

MX 1

)

p

Y|X

(

y

0

|

x

MX 1

)

p

Y|X

(

y

MY 1

|

x

MX 1

)

I

Flechas que salen de un mismo nodo suman 1

c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 11 / 50

Aplicaci ´on del DMC al canal digital

Alfabetos de

X

e

Y

I

M

s´ımbolos del alfabeto de

B

[

n

]

,

{

b

0

,

b

1

,

· · ·

,

b

M

1

}

x

i

b

i

,

y

j

b

j

,

M

X

=

M

Y

=

M

,

i

,

j

2

{

0

,

1

,

· · ·

M

1

}

Probabilidades de transici´on

p

Y

|

X

(

y

j

|

x

i

)

p

B

ˆ

|

B

(

b

j

|

b

i

) =

p

A

ˆ

|

A

(

a

j

|

a

i

)

I

Valores ideales: matriz de transici´on / diagrama de flechas

P

=

I

=

2

6

6

6

4

1 0

· · ·

0

0 1

· · ·

0

... ...

1

...

0 0

· · ·

1

3

7

7

7

5

r

r

r

r

r

r

x

0

x

1

x

M

1

y

0

y

1

y

M

1

-

1

-

1

-

1

(7)

C´alculo de las probabilidades de transici ´on - Ejemplo

M

=

4

, s´ımbolos equiprobables

p

A

(

a

i

) =

1

4

I

Constelaci´on:

a0

=

3

,

a1

=

1

,

a2

= +

1

,

a3

= +

3

I

Regiones de decisi´on: umbrales

q

u

1

=

2

,

q

u

2

=

0

,

q

u

3

= +

2

I

0

= (

1

,

2

]

,

I

1

= (

2

,

0

]

,

I

2

= (

0

,

+

2

]

,

I

3

= (+

2

,

+

1

)

t

t

t

t

3

2

1

0

+

1

+

2

+

3

q

a

0

a

1

a

2

a

3

I

0

-

I

1

-

I

2

-

I

3

-Probabilidades de transici´on (matriz de canal)

P

=

2

6

6

6

6

6

6

6

6

6

4

1

Q

1

p

No/2

Q

1

p

No/2

Q

3

p

No/2

Q

3

p

No/2

Q

5

p

No/2

Q

5

p

No/2

Q

1

p

No/2

1

2

Q

1

p

No/2

Q

1

p

No/2

Q

3

p

No/2

Q

3

p

No/2

Q

3

p

No/2

Q

1

p

No/2

Q

3

p

No/2

1

2

Q

1

p

No/2

Q

1

p

No/2

Q

5

p

No/2

Q

3

p

No/2

Q

5

p

No/2

Q

1

p

No/2

Q

3

p

No/2

1

Q

1

p

No/2

3

7

7

7

7

7

7

7

7

7

5

c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 13 / 50

Elementos de la primera fila:

p

Y

|

X

(

y

j

|

x

0

)

,

8

j

3

2

1 0

+

1

+

2

+

3

t

a

0

I

0

-I

1

-I

2

-I

3

-...

...

...

...

...

...

...

...

...

...

...

.

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

....

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

.

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

.

...

q

Distribuci´on

f

q

|

A

(

q

|

a

0

)

: gaussiana de media

a

0

y varianza

N

0

/

2

p

Y

|

X

(

y

0

|

x

0

) =

1

P

e

|

a

0

=

1

Q

1

p

N

0

/

2

!

p

Y

|

X

(

y

1

|

x

0

) =

P

e

|

a

0!

a

1

=

Q

1

p

N

0

/

2

!

Q

p

3

N

0

/

2

!

p

Y

|

X

(

y

2

|

x

0

) =

P

e

|

a

0!

a

2

=

Q

3

p

N

0

/

2

!

Q

p

5

N

0

/

2

!

p

Y

|

X

(

y

3

|

x

0

) =

P

e

|

a

0!

a

3

=

Q

5

p

N

0

/

2

!

(8)

Elementos de la segunda fila:

p

Y

|

X

(

y

j

|

x

1

)

,

8

j

3

2

t

1 0

+

1

+

2

+

3

I

0

-I

1

-I

2

-I

3

-...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

.

...

...

...

.

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

....

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

.

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

....

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

.

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

q

Distribuci´on

f

q

|

A

(

q

|

a

1

)

: gaussiana de media

a

1

y varianza

N

0

/

2

p

Y

|

X

(

y

0

|

x

1

) =

P

e

|

a

1!

a

0

=

Q

1

p

N

0

/

2

!

p

Y

|

X

(

y

1

|

x

1

) =

1

P

e

|

a

1

=

1

2Q

p

1

N

0

/

2

!

p

Y

|

X

(

y

2

|

x

1

) =

P

e

|

a

1!

a

2

=

Q

p

1

N

0

/

2

!

Q

p

3

N

0

/

2

!

p

Y

|

X

(

y

3

|

x

1

) =

P

e

|

a

1!

a

3

=

Q

p

3

N

0

/

2

!

c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 15 / 50

Elementos de la tercera fila:

p

Y

|

X

(

y

j

|

x

2

)

,

8

j

3

2

1 0

+

t

1

+

2

+

3

I

0

-I

1

-a

2

I

2

-I

3

-...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

.

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

.

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

....

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

.

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

....

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

q

Distribuci´on

f

q

|

A

(

q

|

a

2

)

: gaussiana de media

a

2

y varianza

N

0

/

2

p

Y

|

X

(

y

0

|

x

2

) =

P

e

|

a

2!

a

0

=

Q

3

p

N

0

/

2

!

p

Y

|

X

(

y

1

|

x

2

) =

P

e

|

a

2!

a

1

=

Q

1

p

N

0

/

2

!

Q

p

3

N

0

/

2

!

p

Y

|

X

(

y

2

|

x

2

) =

1

P

e

|

a

2

=

1

2Q

1

p

N

0

/

2

!

p

Y

|

X

(

y

3

|

x

2

) =

P

e

|

a

2!

a

3

=

Q

1

p

N

0

/

2

!

(9)

Elementos de la cuarta fila:

p

Y

|

X

(

y

j

|

x

3

)

,

8

j

3

2

1 0

+

1

+

2

+

t

3

I

0

-I

1

-I

2

-I

3

-...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

.

...

...

...

...

...

...

...

...

.

...

...

.

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

.

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

....

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

q

Distribuci´on

f

q

|

A

(

q

|

a

3

)

: gaussiana de media

a

3

y varianza

N

0

/

2

p

Y

|

X

(

y

0

|

x

3

) =

P

e

|

a

3!

a

0

=

Q

5

p

N

0

/

2

!

p

Y

|

X

(

y

1

|

x

3

) =

P

e

|

a

3!

a

1

=

Q

p

3

N

0

/

2

!

Q

p

5

N

0

/

2

!

p

Y

|

X

(

y

2

|

x

3

) =

P

e

|

a

3!

a

2

=

Q

p

1

N

0

/

2

!

Q

p

3

N

0

/

2

!

p

Y

|

X

(

y

3

|

x

3

) =

1

P

e

|

a

3

=

1

Q

p

1

N

0

/

2

!

c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 17 / 50

Canal digital binario

Relaci´on entrada / salida

I

Entrada:

X

B

b

[

`

]

, para un instante dado

`

I

Salida:

Y

B

ˆ

b

[

`

]

, para el mismo instante dado

n

F

Alfabeto de

X

e

Y

: Bits

x

0

=

y

0

0

,

x

1

=

y

1

1

Modelo probabil´ıstico

I

Particularizaci´on del DMC para

M

=

2

I

Probabilidades condicionales

p

Y

|

X

(

y

j

|

x

i

)

F

Probabilidades de acierto de bit (

j

=

i

)

F

Probabilidades de error de bit (

j

6

=

i

)

I

Habitualmente, se asume que la probabilidad de error de bit

es igual para los dos bits

(

0

,

1

)

F

Canal binario sim´etrico

(BSC:

Binary Symmetric Channel

)

F

Probabilidad de error de bit (BER):

BER

=

"

-*

HH

HH

HH

HH

H

H

HH

HH

HH

H

j

r

r

r

r

x

0

x

1

y

0

y

1

1

"

1

"

"

"

P

=

p

Y

|

X

(

y

0

|

x

0

)

p

Y

|

X

(

y

1

|

x

0

)

p

Y

|

X

(

y

0

|

x

1

)

p

Y

|

X

(

y

1

|

x

1

)

=

1

"

"

"

1

"

(10)

M

EDIDAS

C

UANTITATIVAS

DE

I

NFORMACI

ON

´

c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 19 / 50

Autoinformaci ´on

Medida de la informaci´on contenida en un suceso aislado

de una variable aleatoria discreta (

X

=

x

i

)

Requerimientos para esta medida

1

I

X

(

x

i

)

depende de la probabilidad del suceso

I

X

(

x

i

) =

f

(

p

X

(

x

i

))

2

Debe ser una funci´on decreciente de la probabilidad

p

X

(

x

i

)

>

p

X

(

x

j

)

!

I

X

(

x

i

)

<

I

X

(

x

j

)

3

Debe ser una funci´on continua de la probabilidad

F

Sucesos con probabilidades similares tienen una informaci´on similar

4

Para sucesos independientes

X

=

x

i

,

Y

=

y

j

(

p

X

,

Y

(

x

i

,

y

j

) =

p

X

(

x

i

)

·

p

Y

(

y

j

)

)

I

X

,

Y

(

x

i

,

y

j

) =

I

X

(

x

i

) +

I

Y

(

y

j

)

Funci´on que cumple estas propiedades - Autoinformaci´on

I

X

(

x

i

) =

log

b

(

p

X

(

x

i

))

I

La base del logaritmo define las unidades de la medida

F

Base 2 : bits

F

Base

e

(logaritmo natural o neperiano

ln

): nats

NOTA: Relaci´on

log

b

(

x

) =

ln

(

x

)

/

ln

(

b

)

(11)

Entrop´ıa

Medida de la incertidumbre contenida en una variable aleatoria

(discreta)

I

Promedio de la autoinformaci´on de cada suceso

F

Alfabeto:

A

X

=

{

x

0

,

x

1

,

· · ·

,

x

M

X

1

}

F

Probabilidades:

{

p

X

(

x

0

)

,

p

X

(

x

1

)

,

· · ·

,

p

X

(

x

M

X

1

)

}

H(X) =

M

X

X

1

i

=

0

p

X

(x

i

)

·

log

p

X

(x

i

) =

M

X

X

1

i

=

0

p

X

(x

i

)

·

log

1

p

X

(x

i

)

NOTA: Por convenci´on:

0

log 0

=

0

I

Unidades: bits/s´ımbolo ´o nats/s´ımbolo

Valores l´ımite de la entrop´ıa de variables aleatorias discretas

1

H

(

X

)

0

Ya que

0

p

X

(

x

i

)

1

y, consecuentemente,

log

(

1

/

p

X

(

x

i

))

0

F

H

(

X

) =

0

cuando no hay incertidumbre en

X

p

X

(

x

i

) =

1

,

p

X

(

x

j

) =

0

8

j

6

=

i

2

H

(

X

)

log

(

M

X

)

La igualdad se produce ´unicamente si los s´ımbolos son

equiprobables,

p

X

(

x

i

) =

M

1

X

F

M´axima situaci´on de incertidumbre

c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 21 / 50

Ejemplo - Entrop´ıa binaria

Variable aleatoria binaria

I

Alfabeto:

{

x

0

,

x

1

}

I

Probabilidades:

{

p

X

(

x

0

) =

p

,

p

X

(

x

1

) =

1

p

}

H

(

X

) =

p

·

log

(

p

)

(

1

p

)

·

log

(

1

p

)

=

p

·

log

1

p

+ (

1

p

)

·

log

1

1

p

H

b

(

p

)

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

.

...

...

...

.

...

...

.

...

...

.

...

...

...

... .

...

... . ...

...

... . ...

... . ...

... ...

... . ...

. .

... .

...

...

... .

...

...

...

...

.

...

...

...

.

...

...

...

.

...

...

...

...

...

Probabilidad

p

Entropia

binar

ia

H

b

(

p

)

(12)

Entrop´ıa conjunta

Medida de la informaci´on conjunta de dos (o m´as) variables

aleatorias

H

(

X

,

Y

) =

M

X

X

1

i

=

0

M

X

Y

1

j

=

0

p

X

,

Y

(

x

i

,

y

j

)

·

log

1

p

X

,

Y

(

x

i

,

y

j

)

Variables aleatorias independientes

I

Probabilidad conjunta:

p

X

,

Y

(

x

i

,

y

j

) =

p

X

(

x

i

)

·

p

Y

(

y

j

)

I

Entrop´ıa conjunta

H

(

X

,

Y

) =

M

X

X

1

i

=0

M

X

Y

1

j

=0

p

X

(

x

i

)

·

p

Y

(

y

j

)

·

log

1

p

X

(

x

i

)

·

p

Y

(

y

j

)

=

M

X

X

1

i

=0

M

X

Y

1

j

=0

p

X

(

x

i

)

·

p

Y

(

y

j

)

·

log

p

1

X

(

x

i

)

+

M

X

X

1

i

=0

M

X

Y

1

j

=0

p

X

(

x

i

)

·

p

Y

(

y

j

)

·

log

p

1

Y

(

y

j

)

=

M

X

X

1

i

=0

p

X

(

x

i

)

·

log

p

1

X

(

x

i

)

+

M

X

Y

1

j

=0

p

Y

(

y

j

)

·

log

p

1

Y

(

y

j

)

=

H

(

X

) +

H

(

Y

)

c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 23 / 50

Entrop´ıa condicional

Mide la incertidumbre en una variable aleatoria cuando se

conoce el valor de la otra

I

Promedio de

H

(

X

|

Y

=

y

j

)

para cada valor del alfabeto de

Y

H

(

X

|

Y

) =

M

X

Y

1

j

=

0

p

Y

(

y

j

)

·

H

(

X

|

Y

=

y

j

)

=

M

X

Y

1

j

=

0

p

Y

(

y

j

)

M

X

X

1

i

=

0

p

X

|

Y

(

x

i

|

y

j

)

·

log

p

1

X

|

Y

(

x

i

|

y

j

)

=

M

X

X

1

i

=

0

M

X

Y

1

j

=

0

p

X

,

Y

(

x

i

,

y

j

)

·

log

p

1

X

|

Y

(

x

i

|

y

j

)

I

Para variables aleatorias independientes

H

(

X

|

Y

) =

H

(

X

)

(13)

Relaci ´on entre entrop´ıa conjunta y condicional

H

(

X

,

Y

) =

M

X

X

1

i

=0

M

X

Y

1

j

=0

p

X

,

Y

(

x

i

,

y

j

)

·

log

p

1

X

,

Y

(

x

i

,

y

j

)

=

M

X

X

1

i

=0

M

X

Y

1

j

=0

p

X

,

Y

(

x

i

,

y

j

)

·

log

p

1

X

(

x

i

)

·

p

Y

|

X

(

y

j

|

x

i

)

=

M

X

X

1

i

=0

M

X

Y

1

j

=0

p

X

,

Y

(

x

i

,

y

j

)

·

log

p

1

X

(

x

i

)

+

M

X

X

1

i

=0

M

X

Y

1

j

=0

p

X

,

Y

(

x

i

,

y

j

)

·

log

p

1

Y

|

X

(

y

j

|

x

i

)

=

M

X

X

1

i

=0

p

X

(

x

i

)

·

log

p

1

X

(

x

i

)

+

M

X

X

1

i

=0

M

X

Y

1

j

=0

p

X

,

Y

(

x

i

,

y

j

)

·

log

p

1

Y

|

X

(

y

j

|

x

i

)

=

H

(

X

) +

H

(

Y

|

X

)

H

(

X

,

Y

) =

H

(

X

) +

H

(

Y

|

X

) =

H

(

Y

) +

H

(

X

|

Y

)

c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 25 / 50

Informaci ´on mutua

Mide la informaci´on que aporta una variable aleatoria

X

sobre el conocimiento de otra variable aleatoria

Y

I

(

X

,

Y

) =

M

X

X

1

i

=0

M

X

Y

1

j

=0

p

X

,

Y

(

x

i

,

y

j

)

·

log

p

p

X

,

Y

(

x

i

,

y

j

)

X

(

x

i

)

·

p

Y

(

y

j

)

Propiedades

1

I

(

X

,

Y

) =

I

(

Y

,

X

)

0

La igualdad se cumple en el caso de que

X

e

Y

sean independientes

2

I

(

X

,

Y

)

m´ın

(

H

(

X

)

,

H

(

Y

))

3

Se puede definir informaci´on mutua condicional

I

(

X

,

Y

|

Z

) =

M

X

Z

1

i

=0

p

Z

(

z

i

)

·

I

(

X

,

Y

|

Z

=

z

i

)

I

(

X

,

Y

|

Z

) =

H

(

X

|

Z

)

H

(

X

|

Y

,

Z

)

4

La regla de la cadena para la informaci´on mutua es

I

((

X

,

Y

)

,

Z

) =

I

(

X

,

Z

) +

I

(

Y

,

Z

|

X

)

I

((

X

1

,

X

2

,

· · ·

,

X

N

)

,

Y

) =

I

(

X

1

,

Y

) +

I

(

X

2

,

Y

|

X

1

) +

· · ·

+

I

(

X

N

,

Y

|

X

1

,

· · ·

,

X

N

1

)

5

A partir de la definici´on de informaci´on mutua se obtiene la definici´on de entrop´ıa

I

(

X

,

X

) =

H

(

X

)

(14)

Relaciones informaci ´on mutua y entrop´ıa

I

(

X

,

Y

) =

M

X

X

1

i

=0

M

X

Y

1

j

=0

p

X

,

Y

(

x

i

,

y

j

)

·

log

p

p

X

,

Y

(

x

i

,

y

j

)

X

(

x

i

)

·

p

Y

(

y

j

)

=

M

X

X

1

i

=0

M

X

Y

1

j

=0

p

X

,

Y

(

x

i

,

y

j

)

·

log

p

X

|

Y

(

x

i

,

y

j

)

p

X

(

x

i

)

=

M

X

X

1

i

=0

M

X

Y

1

j

=0

p

X

,

Y

(

x

i

,

y

j

)

·

log

p

1

X

(

x

i

)

+

M

X

X

1

i

=0

M

X

Y

1

j

=0

p

X

,

Y

(

x

i

,

y

j

)

·

log

(

p

X

|

Y

(

x

i

,

y

j

))

=

M

X

X

1

i

=0

p

X

(

x

i

)

·

log

p

1

X

(

x

i

)

M

X

X

1

i

=0

M

X

Y

1

j

=0

p

X

,

Y

(

x

i

,

y

j

)

·

log

p

1

X

|

Y

(

x

i

,

y

j

)

=

H

(

X

)

H

(

X

|

Y

)

I

(

X

,

Y

) =

H

(

X

)

H

(

X

|

Y

) =

H

(

Y

)

H

(

Y

|

X

) =

H

(

X

) +

H

(

Y

)

H

(

X

,

Y

)

c Marcelino L´azaro, 2014

Teor´ıa de la Comunicaci´on

Teor´ıa de la Informaci´on 27 / 50

Relaciones informaci ´on mutua y entrop´ıa (II)

I

(

X

,

Y

) =

H

(

X

)

H

(

X

|

Y

) =

H

(

Y

)

H

(

Y

|

X

) =

H

(

X

) +

H

(

Y

)

H

(

X

,

Y

)

Representaci´on en un diagrama de Venn

I

Entrop´ıas e informaci´on mutua representadas por ´areas

... ... ... ... ............

... ... ... ...

... ... ... ..

... ... ...

... ... ...

... ... ..

... ... ... ... ... ... ... ... ...

... ...

.. ... ... ... ... ... ... ... ... ... ... ... ... ... ... ......... ... ... ....

... ...

... .

... ...

... ...

... ... ... ... ... ... ...

... ... ... .

... ... ...

... ... ...

... ... .

... ...

... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...

... ... ... ...

... ... .... ...

... ... ...

.... ...

H

(

X

|

Y

)

I

(

X

,

Y

)

H

(

Y

|

X

)

H

(

X

)

H

(

Y

)

H

(

X

,

Y

)

Figure

Actualización...

Referencias

Actualización...

Descargar ahora (25 página)