Tema 6: Capacidad de Canal

(1)

Tema 6: Capacidad de Canal

Parte 1. Canales Continuos

(2)

2

Maximización de la velocidad de transmisión

Teorema de capacidad de canal de Shannon

• Máxima cantidad de información que puede transmitirse por un canal sin errores

− Ejemplo: capacidad de un canal gaussiano limitado en banda (bits/seg)

2 2

0

log 1

^R

log 1

^b ^b

N

E R

C B P B

P N B

⎛ ⎞ ⎛ ⎞

= ⎜ + ⎟ = ⎜ + ⎟

⎝ ⎠ ⎝ ⎠

Región en la que R

_b

<C Región en la que R

_b

>C

-1.6

Límite de Shannon

0 10 20 30 E_b/N₀dB

R_b/B (bits/s/Hz)

1 10 20

0.1

( ^/ ) _[ _]

0 2 1

bits/seg./Hz

C B b

b

R B E

N

= −

0

2

^b

1

R B

b b

E

R N

B

⎛ − ⎞

⎜ ⎟

⎝ ⎠ ≤

( )

x t y t ( )

( ) ( )

0 N

2 N t → S f = N

f

B

0 f

c

2 f + B

Límite de capacidad R

_b

=C

0

2

^b

1

R B b

b

R B E

N

⎛ − ⎞

⎜ ⎟

⎝ ⎠

=

(3)

Maximización de la velocidad de transmisión

En algunos canales la SNR depende de la frecuencia

• Ejemplo: canales ADSL

• donde

− Típicamente

^k

₁

^=1.158

^d

_Ref

^{=6 Km.}

• Ruido

− Modelo

Típicamente β=10

^-9

Ruido: NEXT

2 ( )

( ) ^{k d} ^f H f c = e ⁻

1 Ref

( ) d k d k

= d

. 2 . 3/ 2

( ) ^Interf ( ) ( ) ^Interf ( )

N T XT T

S f S f H f S f f W

β ^⎡ Hz ^⎤

= = ⎢ ⎣ ⎥ ⎦

( ) ^Usuario ( ) ^{k d} ( ) ^f ( )

R T N

S f S f e S f W

Hz

− ⎡ ⎤

= + ⎢ ⎣ ⎥ ⎦

Usuario ( )

s T t

(4)

4

Ejemplo: canal ADSL

En canales ADSL

• Relación señal a ruido

− Es una función de la frecuencia

Ruido: NEXT S _N ( ) f = S _T ^Interf ^. ( ) f β f ^{3/ 2}

2 2

2 2 3/ 2

( ) ( ) ( )

Usuario k f

T C C

Interf

R T XT XT

S f H f H f

S e

N S f H f H f β f

⎛ ⎞ = ≈ =

−

⎜ ⎟ ⎝ ⎠

Ruido: NEXT

Usuario ( )

s T t s _R ( ) t

2 ( )

( ) ^{k d} ^f

H f c = e ⁻ ^S ^R ^{( )} ^f ⁼ ^S ^T ^Usuario ^{( )} ^{f e} ⁻ ^{k d} ^{( )} ^f ⁺ ^S ^N ^{( )} ^f

0 10 20 30 40 50 60 70 80 90 100

-120 -100 -80 -60 -40 -20 0

Frecuencia (MHz)

Densidad espectral de potencia (dB)

f 3/ 2

β e ⁻ k f

( )

R

S f N

⎛ ⎞ ⎜ ⎟

⎝ ⎠

( )

( ) 3/ 2

k d f

R

S e

SNR f

N β f

⎛ ⎞ = = −

⎜ ⎟ ⎝ ⎠

(5)

Capacidad en canales con SNR variable

Modelo de canal

• Capacidad

− Ejemplo: canal gaussiano y distribución uniforme de potencia:

{ } 2 ( ) _{{ }} 2 ²

( ) ( )

1 1

log 1 ( ) log 1

2 2 ( )

T C

f B f B

N

S f H f

C SNR f df df

S f

∈ ∈

⎛ ⎞

= + = ⎜ + ⎜ ⎟ ⎟

⎝ ⎠

∫ ∫

N

( ) S f

Ruido

T ( )

s t ₂ s _R ( ) t

C ( ) H f

( ) ( ) ( ) 2 ( )

R T C N

S f = S f H f + S f

{ }

² ²

1 log 1 2 log 1

2

R

R f B

P B P

C df B

N N B

∈

⎛ ⎞ ⎛ ⎞

⎜ ⎟

= ∫ ⎜ ⎜ + ⎟ ⎟ = ⎜ ⎝ + ⎟ ⎠

( ) ( )

2

R

T C

S f H f P

= B

( ) ( )

0 N

2 N t → S f = N

f

B

0 f

c

2 f + B T ( )

s t s _R ( ) t

B

f

c

−

( )

2

H f

C

(6)

6

Capacidad en canales con SNR variable

Modelo de canal

• Capacidad

− Si queremos maximizar la velocidad de transmisión, el único

“parámetro” que se puede ajustar es la distribución de potencia transmitida: S _T ( f )

− Objetivo: encontrar S _T ( f ) (distribución de potencia transmitida) que maximiza

Restricción: la potencia total está limitada a P _X vatios

{ } ( )

{ }

2

2 2

1 log 1 ( ) 2

( ) ( ) 1 log 1

2 ( )

f B

T C

f B

N

C SNR f df

S f H f S f df

∈

= +

⎛ ⎞

= ⎜ + ⎜ ⎝ ⎟ ⎟ ⎠

∫

{ }

2 ( ) 2

( ) ( ) max 1 log 1

2 ( )

T

T C

f B S f

N

S f H f

C df

S f

∈

⎧ ⎛ ⎞ ⎫

⎪ ⎪

= ⎨ ⎪ ⎩ ∫ ⎜ + ⎜ ⎝ ⎟ ⎟ ⎠ ⎬ ⎪ ⎭

{ } ( )

X T

f B

P = ∫ S f df

N

( ) S f

∈

Ruido

T

( )

s t s

_R

( ) t

( ) 2

H f C

(7)

frecuencia Densi dad Espectral

R

S N

⎛ ⎞ ⎜ ⎟

⎝ ⎠

Encontrar la S _T ( f ) que maximiza:

es un problema muy complejo

La solución consiste en dividir el espectro en intervalos en los que la relación señal a ruido pueda considerarse constante.

• Modulaciones multiportadora

, ( )

N i N i

P S f f

Distribución de potencia transmitida

= Δ

2 , ( ) , , ( )

T i T i R i T i C i

P = S f Δ → f P = P H f

, 2

,

log 1 ^{R i}

i

N i

C f P

P

⎛ ⎞

= Δ ⎜ ⎜ + ⎟ ⎟

⎝ ⎠

i i

C = ∑ C

Intervalo i-ésimo

Δ f

{ }

2 ( ) 2

( ) ( ) max 1 log 1

2 ( )

T

T C

f B S f

N

S f H f

C df

S f

∈

⎧ ⎛ ⎞ ⎫

⎪ ⎪

= ⎨ ⎪ ⎩ ∫ ⎜ + ⎜ ⎝ ⎟ ⎟ ⎠ ⎬ ⎪ ⎭

f

i

(8)

8

Distribución de la potencia transmitida

• Objetivo: Maximizar la capacidad

− Encontrar la distribución de potencia recibida P _R,i que maximiza la capacidad es equivalente a calcular la P _T,i óptima: sólo difieren en una constante ( H _C (f _i ) )

• Restricciones

− La potencia total está limitada

− Puede haber bandas en las que no se transmita potencia ( P _T,i =0 ⇔ P _R,i = 0)

,

, 2

,

max log 1

R i

P i N i

f P

P

⎛ ⎞

Δ ⎜ ⎜ ⎝ + ⎟ ⎟ ⎠

∑

, ,

T i T R i R

i i

P = P ⇔ P = P

∑ ∑

, 0

P R i ≥

, ( )

N i N i

P = S f Δ f

2 2

, ( ) ( ) , ( )

R i T i C i T i C i

P = S f H f Δ = f P H f Ruido S _N ( ) f

Ruido

T ( )

s t s _R ( ) t

( )

2

H f

C

_,

2 ,

log 1 ^{R i}

i

N i

C f P

P

⎛ ⎞

= Δ ⎜ ⎜ + ⎟ ⎟

⎝ ⎠

Δf ,

P

R i

(9)

Water-filling discreto

Distribución de potencia en canales “paralelos”

• Objetivo: Maximizar la capacidad

• Restricciones

• El lagrangiano permite encontrar una solución que maximice la capacidad y que cumpla las restricciones.

− Lagrangiano

^{Si P}

_R,i

^↑↑ ^pero

,

, 2

,

max log 1

R i

R i

P i N i

f P

P

⎛ ⎞

Δ ⎜ ⎜ ⎝ + ⎟ ⎟ ⎠

∑

,

R i R

i

P = P

∑ ^P ^{R i} ^, ^≥ ⁰

, ,

,

, 2 ,

,

max ( , ) max log 1

R i R i

R i

R i R R i

P P

i N i i

L P f P P P

λ = ^⎧ ^⎪ ⎨ ⎪ ⎩ ∑ Δ ^⎛ ⎜ ⎜ ⎝ + P ^⎞ ⎟ ⎟ ⎠ + λ ^⎛ ⎜ ⎝ − ∑ ^⎞ ⎟ ⎠ ^⎫ ^⎪ ⎬ ⎪ ⎭

, 2

,

log 1 ^{R i}

N i

P P

⎛ ⎞

+ ↑↑

⎜ ⎟

⎝ ⎠ λ ^⎛ ⎜ P ^R − ⁱ P ^{R i} ^, ^⎞ ⎟ ↓↓

⎝ ∑ ⎠

(10)

10

Waterfilling discreto

Distribución de potencia en canales “paralelos”

• Objetivo: Maximizar la capacidad

• Restricciones

• Lagrangiano

− Realizando la derivada parcial respecto de P _R,i

− e igualando a 0

,

, 2

,

max log 1

R i

R i

P i N i

f P

P

⎛ ⎞

Δ ⎜ ⎜ ⎝ + ⎟ ⎟ ⎠

∑

,

R i R

i

P = P

∑ ^P

^{R i}^,

^≥ ⁰

, ,

,

, 2 ,

,

max ( , ) max log 1

R i R i

R i

R i R R i

P P

i N i i

L P f P P P

λ = ^⎧ ^⎪ ⎨ ⎪ ⎩ ∑ Δ ^⎛ ⎜ ⎜ ⎝ + P ^⎞ ⎟ ⎟ ⎠ + λ ^⎛ ⎜ ⎝ − ∑ ^⎞ ⎟ ⎠ ^⎫ ^⎪ ⎬ ⎪ ⎭

(

, ,

) cte. [W]

R i N i

ln 2

P P f λ

λ

Δ ′

+ = = =

( ) ( )

, ,

, , , ,

,

1 ( , )

ln 2 ln 2

1

R i N i

R i R i R i N i

N i

L P f P f

P P P P

P

λ λ λ

∂ Δ Δ

= − = −

∂ ⎛ ⎞ +

⎜ + ⎟

⎜ ⎟

⎝ ⎠

(11)

Waterfilling discreto

• Distribución de potencia

− Water Filling

Método subóptimo.

frecuencia Intervalo i-ésimo

Δ f

1

R

S N

⎛ ⎞ ⎜ ⎟

⎝ ⎠

λ ^′

( ^, ^, ) ^cte. ^[W]

R i N i ln 2

P P f λ

λ

Δ ′

+ = = =

,

P

N i ,

P

R i

[W]

(12)

12

Waterfilling discreto

Ejemplo de distribución de potencia en canales “paralelos”

• Para maximizar la capacidad

• ... y cumplir las restricciones

• Solución

,

, 2

,

max log 1

R i

P i N i

f P

P

⎛ ⎞

Δ ⎜ ⎜ ⎝ + ⎟ ⎟ ⎠

∑

,

R i R

i

P = P

∑ ^P

^{R i}^,

^≥ ⁰

( ^, ^, ) ^cte.

R i N i ln 2

P P f λ

λ

Δ ′

+ = = =

,1

P

R

,2

P

R

^P

^R^,4

λ ^′

,5

0 P

R

<

,1 ,2 ,4

R R R R

P + P + P = P

Δ f ^P

^N^,4

,3

P

N

,3

0 P

R

<

[W]

(13)

Water-filling discreto

Algoritmo Matlab

function wline=wfill(vec, pcon, tol)

% WFILL: The Water Filling algorithm.

% WLINE = WFILL(VEC, PCON, TOL) performs the water filling algorithm

% VEC is a noise absolute or relative level in LINEAR units at different frequencies,

% space or whatever bins.

% PCON is a total power constrain given in the same units as the VEC.

% TOL is an acceptable tolerance in the units of VEC.

% WLINE indicates the WATERLINE level in units of VEC so that:

% abs(PCON-SUM(MAX(WLINE-VEC, 0)))<=TOL N=length(vec);

%first step of water filling

wline=min(vec)+pcon/N; %initial waterline

ptot=sum(max(wline-vec,0)); %total power for current waterline

%gradual water filling while abs(pcon-ptot)>tol

wline=wline+(pcon-ptot)/N;

ptot=sum(max(wline-vec,0));

end

λ ′ ≈ 3.7

Δ f

>> lambda_p=wfill([3.1 1.8 4.5 2.3 3.9], 4.0, 0.001);

3.1

1.8

4.5

2.3

3.9 [W]

(14)

14

Water Filling continuo

En canales

− Water Filling

• Capacidad de canal

T ( )

s t s _R ( ) t

( ) 2

H f C

f

2 1 ( )

( )

N

C R

S f

S H f

N

⎛ ⎞ ⎜ ⎟

⎝ ⎠

∼

( ) _N ( ) n t → S f

λ ^′

{ } { }

2

2 2

2 ( ) ( ) 0 2

( )

( ) ( ) ( )

1 1

log 1 log

2 ( )

_T ^N ^C

2 ( )

C

T C C

S f

f B f H f

S f

N N

H f

S f H f H f

C df df

S f

λ

S f

∈ = −′ ∈ ≠

λ

⎛ ⎞ ⎛ ⎞

= ∫ ⎜ + ⎜ ⎝ ⎟ ⎟ ⎠ = ∫ ⎜ ⎜ ⎝ ′ ⎟ ⎟ ⎠

{

^C

^{( ) 0} } ^N _{( )} ^{( )} ²

T f H f

C

S f

P df

H f

∈ ≠ λ

⎛ ⎞

= ⎜ − ⎜ ′ ⎟ ⎟

⎝ ⎠

∫

2 ( ) ( )

( )

N T

C

S f S f

H f λ ^′

= −

W Hz

⎡ ⎤

⎢ ⎥

⎣ ⎦

(15)

Water Filling continuo

Ejemplo

− Water Filling

• Capacidad de canal

λ ^′

f

2 ( ) ( )

N

c

S f H f

2

( ) 2

( )

N

( )

c

N S f

T f

H f c

S f

P df

λ λ H f

⎧ ⎫

⎪ ′ ⎪

∈ > ⎨ ⎬

⎪ ⎪

⎩ ⎭

⎛ ⎞

= ∫ ⎜ − ⎜ ⎝ ′ ⎟ ⎟ ⎠

2

2 ( ) 2

( )

1 ( )

2 log ( )

N c

c S f

f H f N

C H f df

S f

λ λ

⎧ ⎫

⎪ ′ ⎪

∈ > ⎨ ⎬

⎪ ⎪

⎩ ⎭

⎛ ⎞

= ∫ ⎜ ⎜ ⎝ ′ ⎟ ⎟ ⎠

W Hz

⎡ ⎤

⎢ ⎥

⎣ ⎦

(16)

16

Water Filling continuo

Ejemplo: ruido blanco gaussiano de ancho de banda B

− Water Filling

• Capacidad de canal

T

( )

s t 2 ^s

^R

^{( )} ^t

( ) 1 H f c =

2

( ) 1

( )

N

c R

S f

S H f

N

⎛ ⎞ ⎜ ⎟

⎝ ⎠

∼ ( ) n t

λ ^′

{ }

2 0

2 2 2

1 log ( ) log 2 2 log 1

T

c T

N P

H f B P

C df B B

( ) 0

0 0

2 ( )

2

f Hc f

N

S f N B

∈ ≠

⎜ ⎝ ⎟ ⎠ ⎜ ⎟ ⎝ ⎠

⎝ ⎠

λ

⎛ + ⎞

⎛ ′ ⎞ ⎜ ⎟ ⎛ ⎞

= ∫ ⎜ ⎟ = ⎜ ⎟ = ⎜ + ⎟

{

^{( ) 0}

}

²

0

( ) ( )

2 2

c

N

T f H f

c

S f

P df

H f N B

λ λ

∈ ≠

⎛ ⎞

= ⎜ − ′ ⎟

⎜ ⎟

⎝ ⎠

⎛ ′ ⎞

= ⎜ ⎝ − ⎟ ⎠

∫

0

2 2

T

N

P

λ ′ = ^⎛ ⎜ ⎝ B + ^⎞ ⎟ ⎠

0

2 N W

Hz

⎡ ⎤

⎢ ⎥

⎣ ⎦

f

c c

2 f − B

c

2 f + B

0

(17)

Water Filling continuo

Ejemplo: ruido coloreado de ancho de banda B

− Water Filling

• Capacidad de canal

T ( )

s t ₂ s _R ( ) t

c ( ) H f

{ }

2 ( ) 0 2

1 ( )

2 log ( )

C

C f H f

N

H f

C df

S f

∈ ≠

λ

⎛ ⎞

= ⎜ ⎜ ′ ⎟ ⎟

⎝ ⎠

∫

2

( ) 1

( ) ( )

N

c

S f

SNR f H f

∼

f f − f c

f

c

2 f + B

λ ^′

( ) n t

log ( )

_b

log

_b

x .

x dx x cte

e

= ⎛ ⎞ ⎜ ⎟ +

∫ ⎝ ⎠

( )

²

X

2 P = λ ^′

f

c

− λ ^′

2 λ ^′

0

(18)

Parte 2. Canales Discretos

(19)

Entropía de la fuente/símbolos recibidos:

• Incertidumbre asociada a los símbolos de entrada/salida

Entropías condicionales

• Incertidumbre en los símbolos de entrada cuando se conocen los de salida

• Incertidumbre en los símbolos de salida cuando se conocen los de entrada

Capacidad Canales sin memoria (DMC)

2 2

1 1

( ) ( ) log log

( ) ( )

x X

H X p x E

p x p x

∈

⎛ ⎞

= = ⎜ ⎟

⎝ ⎠

∑

2

2 ( ) ( ) ( | ) ( ) ( | )log 1

( | ) ( , )log 1 ( )

( | )

y Y y Y x X

x X y Y

H X Y p y H X Y y p y p x y

p x y

p x y H X

p x y

∈ ∈ ∈

∈ ∈

= = =

= ≤

∑ ∑ ∑

∑∑

2 ( ) ( ) log 1

y Y ( )

H Y p y

∈ p y

= ∑

Canal discreto

X Y

2 ( | ) ( , )log 1 ( )

( | )

x X y Y

H Y X p x y H Y

p y x

∈ ∈

= ∑∑ ≤

(20)

20

Interpretaciones

• Si H(X|Y) = 0 (ó H(Y|X) = 0), el canal NO introduce errores.

− Si H(X|Y) > 0 (ó H(Y|X) > 0), el canal SÍ introduce errores

• Cuando conocer los símbolos de entrada no reduce la incertidumbre de los de salida (H(Y) = H(Y|X)), la información transmitida por el canal es 0.

Calculo de la capacidad para DMC

( )

H X H Y ( )

( | ) H X Y

( | ) H Y X

( ; ) I X Y

Entropía de la fuente

Información recibida

Equivocación:

Información perdida en la transmisión

Irrelevancia

Incertidumbre que no procede de la fuente (ruido)

Información transmitida

( ; ) ( ) ( | ) I X Y = H X − H X Y

( ) ( ; ) ( | )

H Y = I X Y + H Y X

(21)

Información transmitida

• Es la reducción en la incertidumbre sobre los símbolos de salida (entrada) cuando se conocen los de entrada (salida)

2 2

2 ( ; ) ( ) ( | )

1 1

( )log ( , )log ,

( ) ( | )

( , ) log 1 ( , )log ( | ), ( )

( | ) ( , ) log

( )

y Y x X y Y

x X y Y x X y Y

x X y Y

I X Y H Y H Y X

p y p x y

p y p y x

p x y p x y p y x

p y p y x p x y

p y

∈ ∈ ∈

∈ ∈ ∈ ∈

∈ ∈

= −

= +

=

∑ ∑∑

∑∑ ∑∑

∑∑

Calculo de la capacidad para DMC

2 ( | ) ( ; ) ( ) ( | ) ( ) ( | )log

x X y Y ( )

p y x I X Y H Y H Y X p x p y x

∈ ∈ p y

= − = ∑∑

(22)

22

La capacidad de un canal es la máxima información mutua

• Como en los canales continuos,

− p(y|x) depende de las características del canal.

− Para maximizar I(X;Y) solo podemos actuar sobre p _X (x) → transmisor

|

| 2

( | )

( ; ) ( ) ( | ) ( ) ( | )log ,

( )

Y X

X Y X

x X y Y Y

p y x I X Y H Y H Y X p x p y x

∈ ∈ p y

= − = ∑∑

|

( 0| 0) 1 , ( 0| 1) , ( 1| 0) , ( 1| 1) 1 .

Y X

Calculo de la capacidad para DMC

p y x p

= = = −

= = =

= = = −

0

1

0 1 1-p

1-p p

X={0,1} BSC Y={0,1}

max ( ; ), ( ) _X ( ) 0, , _X ( ) 1.

p x x X

C I X Y p x x X p x

∈

= ≥ ∀ ∈ ∑ =

(23)

Para canales binarios simétricos

• Capacidad

− Capacidad → w=½

Calculo de la capacidad para DMC

X={0,1} BSC Y={0,1}

0

1

0 1 1-p

1-p p

|

| 2

( )

( | )

max ( ) ( | ) log ,

( )

X

Y X

X Y X

p x

x X y Y Y

p y x

C p x p y x

∈ ∈ p y

= ∑∑

p _X (x=0)=w

p _Y (y=1)=wp+(1-w)(1-p) p _Y (y=0)=w(1-p)+(1-w)p

2 2

1 log (1 )log (1 ) 1 ( ) C = + p p + − p − = − p H p

| |

( 0) ( 0) ( 0| 0) ( 1) ( 0| 0)

Y X Y X X Y X

p y = = p x = p y = x = + p x = p y = x = ( ) ( )

|

( | ),

Y X Y X

x X

p y p x p y x

∈

= ∑

(24)

24

Para canales binarios simétricos

Calculo de la capacidad para DMC

X={0,1} BSC Y={0,1}

2 2

1 log (1 )log (1 ) 1 ( ) C = + p p + − p − = − p H p

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

p

C (bits/uso del canal)

(25)

Capacidad de canal

Teorema de Shannon

• Para un canal discreto sin memoria, la capacidad de canal tiene la siguiente propiedad

− Para cualquier ε > 0 y R < C existe un código bloque de longitud n y tasa R y un algoritmo de descodificación para el que la probabilidad de error está acotada por ε

max ( ; ) ( )

C = p x I X Y

R k

= n

Codificador bloque

(n,k) n>k bits

k n bits

Información canal

Descodificador

bits

n k bits

Información canal

( )

Pr error < ε

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

C(p) (bits/uso canal)

Capacidad

( ) C p

1 R=3

1 R=5

1 R=2 2 R=3

R C <

• El uso de un codificador bloque permite “proteger”

la información.

Si empleamos

codificación bloque (n,k), siendo n>k

» Redundancia: entran

“k” bits de

información, salen “n”

p ( ) C p

0 0

1 1

(26)

26

“Cut-off” Rate

El “cut-off” rate es una medida empleada en la Teoría de la

Información para cuantificar la máxima tasa de datos que en la práctica puede transmitirse por un canal empleando un

codificador de complejidad “moderada”.

• Se define como:

• Se cumple que

2 0 2 |

max ( ) log ( ) ( | )

X

X Y X

p x

y Y x X

R p x p y x

∈ ∈

⎧ ⎡ ⎛ ⎞ ⎤ ⎫

⎪ ⎪

= ⎨ − ⎢ ⎜ ⎟ ⎥ ⎬

⎝ ⎠

⎢ ⎥

⎪ ⎣ ⎦ ⎪

⎩ ∑ ∑ ⎭

R 0 ≤ C

(27)

“Cut-off” Rate

Ejemplo

( ) ( )

{ }

2 0 2 |

( )

2 2

2 max log ( ) ( | )

max log 1 (1 ) (1 ) 1

X

X Y X

p x

y Y x X

w

R p x p y x

w p w p w p w p

∈ ∈

⎧ ⎡ ⎛ ⎞ ⎤ ⎫

⎪ ⎪

= ⎨ − ⎢ ⎜ ⎟ ⎥ ⎬

⎝ ⎠

⎢ ⎥

⎪ ⎣ ⎦ ⎪

⎩ ⎭

⎡ ⎤

= − ⎢ ⎣ − + − + + − − ⎥ ⎦

∑ ∑

BSC

X={0,1} Y={0,1}

0

1

0 1 1-p

1-p p

p p _X (x=0)=w

p _X (x=1)=1-w

| |

( 0 | 0) 1 , ( 1| 0) ,

( 0 | 1) , ( 1| 1) 1 .

Y X Y X

p y x p p y x p

= = = − = = =

= = = = = = −

(28)

28

0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.5

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

R 0 (bits/uso canal)

p w=0.5

C

Ejemplo

“Cut-off” Rate

( ) ( )

{

² ²

}

0

max log

2

1 (1 ) (1 ) 1

w

R = − ⎡ ⎢ ⎣ w − + − p w p + w p + − w − p ⎤ ⎥ ⎦

X={0,1} BSC Y={0,1}

0

1

0 1 1-p

1-p p

p

p _X (x=0)=w

p _X (x=1)=1-w

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

w R0 (bits/uso canal)

p=10^-5

p=10^-2

p=0,1

2 2

1 log (1 )log (1 ) C = + p p + − p − p

R

0

≤ C

0

1 log 1 2

2

(1 )

R = − ⎡ ⎣ + p − p ⎤ ⎦

Máximos en w=½

(29)

“Cut-off rate” y Probabilidad de Error

El uso de un codificador bloque permite “proteger” la información.

Cuando se transmite un bloque de “n” bits, la probabilidad de error

− Siendo R ₀ (bits/uso del canal) el “cut-off” rate

− y R (bits/uso del canal) la tasa de bits de información ofrecida al canal

• Compromiso:

− Si hacemos n grande, reducimos la Pr(error) pero tardamos más en transmitir los bits de información

0

( ) 1 log 1 2

2

(1 ) R p = − ⎡ ⎣ + p − p ⎤ ⎦

( ) ⁽

⁰

^{( )} ⁾

Pr error ≤ 2 ⁻ ^{n R p} ⁻ ^R

R k

= n

0 0

1 ^p 1

Codificador bloque

(n,k) n>k bits

k n bits

Información canal

0

( ) R p

canal

Descodificador

bits

n k bits

Información canal

( )

Pr error

(30)

30

0 0.02 0.04 0.06 0.08 0.1 0.12 0.14 0.16 0.18 0.2 0

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

p R0(p) (bits/uso canal)

Cut-off Rate

Función de fiabilidad E(R)

• ^E(R)=R ₀ ^(p)-R

− Cuando la tasa de bits R es pequeña, la fiabilidad es alta.

La probabilidad de error es pequeña

− Cuando nos aproximamos a la capacidad, la fiabilidad se reduce.

“Cut-off” Rate y Función de fiabilidad

E(R)

0 C R

R ₀ Pr(error)

0 n R

1 R ₂

R ₁ <R ₂ <C

( )

^{( )}

Pr error ≤ 2

⁻^{nE R}

R k

= n

0 0

1 p 1

Codificador bloque

(n,k) n>k bits

k n bits

Información canal

0( ) R p

canal

Descodificador

bits

n k bits

Información canal

( )

Pr error

0( ) R p

1

1 R=3

2

1 R =5 ( )1

E R

( 2) E R

(31)

Codificación y Probabilidad de Error

Calcular “n” para que la Pr(error) < Pr _Umbral

( ) ⁽

⁰

^{( )} ⁾

Pr error ≤ 2 ⁻ ^{n R} ^p ⁻ ^R

R k

= n

0 0

1 1

p

Codificador

(n,k) n>k bits

k n bits

[ ]

2 Umbral 0

log Pr ( ) k

n R p

n

⎛ ⎞

≤ − ⎜ ⎝ − ⎟ ⎠

0 20 40 60 80 100 120 140 160 180 200

10^-10 10^-8 10^-6 10^-4 10^-2 10⁰ 10²

n 2-n(R 0 - R)

2 Umbral 0

log (Pr ) ( )

n k

R p

≥ −

0

( ) 1 log 1 2

2

(1 ) R p = − ⎡ ⎣ + p − p ⎤ ⎦

4 umbral

Pr = 10

⁻

95 n =

Para acotar la Probabilidad de Error

( )

( ) ⁽

⁰

⁾ ⁽

⁰

⁾

Umbral ( )

Pr error Pr

2 Pr

Pr error 2

n R p R n R p R

− −

< ⎫⎪ ⎬ → <

≤ ⎪⎭

0

( ) R p

canal

(32)

32

Propuestas de ejercicio

Calcular la capacidad de un canal con borrado

Calcular la capacidad de un concatenación de canales BSC

1-p-q 0

1

0 1-p-q 1 p

p

? q

q

X={0,1} BSC Y={0,1}

BSC

p

1

p

₂

0 0

1 1

p

₁

0 0

1 1

p

₂

| |

( 0 | 0) ( 1| 1) 1

( 0 | 1) ( 1| 0)

( ? | 1) ( ? | 0)

Y X Y X

p y x p y x p q

p y x p y x p

p y x p y x q

= = = = = = − −

= = = = = =

12 1 2

¿ C ≤ min( , C C )?

|

| 2

( )

( | )

max ( ) ( | )log ,

( )

X

Y X

X Y X

p x

x X y Y Y

p y x

C p x p y x

∈ ∈ p y

= ∑∑

(33)

Propuestas de ejercicio

Calcular la capacidad de un canal con borrado

1-p-q 0

1

0 1-p-q 1 p

p

? q

q

( ) 2 2

1 2

1 log 1 log 1

1 1 1 1

w

p p p p

C q

q q q q

=

⎡ ⎛ ⎞ ⎛ ⎞ ⎛ ⎞ ⎤

= − ⎢ ⎣ − ⎜ ⎝ − ⎟ ⎜ ⎠ ⎝ + − − ⎟ ⎠ ⎜ ⎝ − − ⎟ ⎠ ⎥ ⎦

p _X (x=0)=w

p _X (x=1)=1-w

| |

( 0 | 0) ( 1| 1) 1

( 0 | 1) ( 1| 0)

( ? | 1) ( ? | 0)

Y X Y X

p y x p y x p q

p y x p y x p

p y x p y x q

= = = = = = − −

= = = = = =

|

| 2

( )

( | )

max ( ) ( | )log ,

( )

X

Y X

X Y X

p x

x X y Y Y

p y x

C p x p y x

∈ ∈ p y

= ∑∑

( ) ( )

|

( | ),

Y X Y X

x X

p y p x p y x

∈

= ∑

(34)

34

Propuestas de ejercicio

Calcular la capacidad de un concatenación de canales BSC

X={0,1} BSC Y={0,1}

BSC

p

1

p

₂

0 0

1 1

p

₁

0 0

1 1

p

₂

( )( )

( ) ( )

1 2 1 2 12

1 2 2 1 12

(0 | 0) (1|1) 1 1 1

(0 |1) ( 1| 0) 1 1

p p p p p p p

p p y x p p p p p

= = − − + = −

= = = = − + − =

( ) ( )

12 1 1 2 1 2 1 1 2 2 1 2

p = − p p + − p p = + − p p p p

0

0.5 1

0.2 0 0.6 0.4

1 0.8 0 0.2 0.4 0.6 0.8 1

p₁ p

p 12

(35)

Propuestas de ejercicio

Calcular la capacidad de un concatenación de canales BSC

X={0,1} BSC Y={0,1}

BSC p

1

p

2

0 0

1 1

p

₁

0 0

1 1

p

₂

¿ C ¹² ≤ min( , C C ¹ ² )?

( )( )

( ) ( )

1 2 1 2 12

1 2 2 1 12

(0 | 0) (1|1) 1 1 1

(0 |1) ( 1| 0) 1 1

p p p p p p p

p p y x p p p p p

= = − − + = −

= = = = − + − =

( ) ( )

12 1 1 2 1 2 1 1 2 2 1 2

p = − p p + − p p = + − p p p p

12 1 12 log 12 (1 12 )log(1 12 ) C = + p p + − p − p

0.2 0.4

0.6 0.8

1 0.5

1 0 0.2 0.4 0.6 0.8 1

C 12

(36)

36

Capacidad: canales con memoria

Los errores introducidos por el canal se pueden modelar como si fuesen generados por una fuente de error

( ) ( ) ( )

( ) ( ) ( ) ( )

; |

| |

I X Y H Y H Y X

H Y H X E X H Y H E X

= −

= − ⊕ = −

( ^; ) ( ) ( )

I X Y = H Y − H E

( )

H X H Y ( )

( | ) H X Y

( | ) H Y X

( ; ) I X Y

Entropía de

la fuente Información

recibida Equivocación

Irrelevancia Información transmitida

⊕ ^Y ^{= ⊕} ^X ^E X

E

Fuente de error

(37)

Capacidad: canales con memoria

El objetivo es maximizar la Información Transferida

• Como no podemos “controlar los errores”

• El valor máximo de H(Y) se consigue cuando los bits a la salida son equiprobables.

• En este caso, H(Y)=1:

( ) ( )

( )

max ( ; ) max

C = I X Y ⇔ H Y − H E

( ) ( )

( ) ^{( )}

max ( ; ) max max ( )

p

Y

y

C = I X Y ⇔ H Y − H E ⇔ H Y

( ) ^E

− H

=1

C

(38)

38

Capacidad: canales con memoria

Modelo de Gilbert

• Capacidad “teórica”

− donde

− Ejemplo: P =0.01, p =0.1 y h =0.7→

S

₀

=Bueno Pr(e=1)=0

S

₁

=Malo Pr(e=1)=1-h

P

1 P −

p

1 p −

1

1 P P

p p

⎡ − ⎤

= ⎢ ⎣ − ⎥ ⎦ P

2 0

1 ( ) 1 Pr(1) ( )log ( )

GE

k

C H E v k v k

∞

=

= − = + ∑

Pr(1) = π P ^T ⋅ (1) ⋅ 1

(1)· (0) (1)·

Pr(10 1) ( ) Pr(0 1|1)

Pr(1) (1)

T k

k k

v k ⋅ T ⋅

= = =

⋅ ⋅

π P P P 1 π P 1

(0) 1

(1 )

P P

hp h p

⎡ − ⎤

= ⎢ ⎣ − ⎥ ⎦ P

0 0

(1) (1 h p ) (1 h )(1 p )

⎡ ⎤

= ⎢ ⎣ − − − ⎥ ⎦ P

2 0

1 Pr(1) ( )log ( ) 0,88

GE

k

C v k v k

∞

=

= + ∑ =

(39)

Capacidad: canales con memoria

Aproximación de la capacidad

• Canal con “M” estados

− Capacidad “aproximada”

donde

( ) ( ) ( )

0 0 1 1 1 1

1 ( | ) 1 ( | ) 1 ( | )

GE M M

M M

C H E S H E S H E S

C C C

π π π

− −

= − + − + + −

= + + +

"

0 1 M − 1

es la capacidad en el estado " "

C i i

( | _i ) es la perdida de informacion en el estado " "

H E S i

GE GE

C < C

(40)

40

Capacidad: canales con memoria

Ejemplo

10

2

P =

⁻

10

1

p =

⁻

0,9 1 10 −

⁻2

S

0

S

¹

0 0

1 1

1-10

^-5

p

₀

=10

^-5

1-10

^-5

En en el estado , ( | ): BSC S P b a

0

0 0

1 1

0,7

p

₁

=0,3

En en el estado , ( | ): BSC S P b a

1

( )

1 2

Pr P

S = = π P p

( )

0 1

+

Pr p

S = = π P p +

( )

⁵

0 1 0 log 2 0 (1 0 )log (1 2 0 )

0

10 0,99982

C p p p p p

₋

= + + − − = =

( )

1 1 1 log 2 1 (1 1 )log (1 2 1 )

1

0,3 0,12

C p p p p p

= + + − − = =

0 1 0.9091 0,99982 0.0909 0.12 0.9198

GE

p P

C C C

P p P p

= + = × + × =

+ +

2 0

1 Pr(1) ( )log ( ) 0,88

GE

k

C v k v k

∞

=

= + ∑ =

Tema 6: Capacidad de Canal