ejercicios sobre teoria de comunicacion

12 

Texto completo

(1)

5. Una FIMN tiene un alfabeto fuente 𝑺 = {𝑨, 𝑩, 𝑪, 𝑫}, donde las probabilidades de los símbolos son 𝟏 𝟐

,

𝟏 𝟒

,

𝟏 𝟖

𝒚

𝟏 𝟖 respectivamente. Determinar: 𝑆 = {𝐴, 𝐵, 𝐶, 𝐷} 𝑃(𝐴) = 𝑃1 =1 2 𝑃(𝐵) = 𝑃2 = 1 4 𝑃(𝐶) = 𝑃3 = 1 8 𝑃(𝐷) = 𝑃4 = 1 8 a) La entropía de la fuente S. 𝐻(𝑆) = ∑ 𝑃𝑖 ∗ 𝑙𝑜𝑔2( 1 𝑃𝑖) 4 𝑖=1 = 𝑃1 ∗ 𝑙𝑜𝑔2( 1 𝑃1) + 𝑃2 ∗ 𝑙𝑜𝑔2( 1 𝑃2) + 𝑃3 ∗ 𝑙𝑜𝑔2( 1 𝑃3) + 𝑃4 ∗ 𝑙𝑜𝑔2( 1 𝑃4) =1 2∗ 𝑙𝑜𝑔2( 1 1 2 ) +1 4∗ 𝑙𝑜𝑔2( 1 1 4 ) +1 8∗ 𝑙𝑜𝑔2( 1 1 8 ) +1 8∗ 𝑙𝑜𝑔2( 1 1 8 ) =1 2∗ 𝑙𝑜𝑔2(2) + 1 4∗ 𝑙𝑜𝑔2(4) + 1 8∗ 𝑙𝑜𝑔2(8) + 1 8∗ 𝑙𝑜𝑔2(8) =1 2∗ (1) + 1 4∗ (2) + 1 8∗ (3) + 1 8∗ (3) =1 2+ 1 2+ 3 8+ 3 8 =𝟕 𝟒𝒃𝒊𝒕𝒔/𝒔í𝒎𝒃𝒐𝒍𝒐 ≈ 𝟏. 𝟕𝟓 𝒃𝒊𝒕𝒔/𝒔í𝒎𝒃𝒐𝒍𝒐

b) La cantidad de información transmitida en el mensaje BDA

𝐵𝐷𝐴 ⟶ 𝑃(𝐵𝐷𝐴) = 𝑃(𝐵) ∗ 𝑃(𝐷) ∗ 𝑃(𝐴) Por ser elementos estadísticamente independientes 𝑃(𝐵𝐷𝐴) = 𝑃2∗ 𝑃4∗ 𝑃1 = ( 1 4) ( 1 8) ( 1 2) = 1 64 𝐼(𝐵𝐷𝐴) = 𝑙𝑜𝑔2( 1 𝑃(𝐵𝐷𝐴)) = 𝑙𝑜𝑔2( 1 1 64 ) = 𝑙𝑜𝑔2(64) = 𝑙𝑜𝑔2(26) = 𝟔 𝒃𝒊𝒕𝒔

c) Encontrar un código Huffman binario para codificar dicha fuente y su correspondiente longitud promedio.

𝑆𝑒𝑎 𝑋 = {0,1} el alfabeto código

Fuente original Codificación de Huffman

Símbolo Probabilidad Código S1 C1 S2 C2

P1 1/2 0 1/2 0 1/2 0

P2 1/4 10 1/4 10 1/2 1

P3 1/8 110 1/4 11

(2)

𝐿̅ = ∑4𝑖=1𝑃𝑖 ∗ 𝑙𝑖 ; 𝑠𝑖𝑒𝑛𝑑𝑜 ∶ 𝑙1= longitud de la palabra código de S1 𝑙2= longitud de la palabra código de S2 𝑙3= longitud de la palabra código de S3 𝑙4= longitud de la palabra código de S4 𝐿̅ =1 2∗ (1) + 1 4∗ (2) + 1 8∗ (3) + 1 8∗ (3) 𝐿̅ =1 2+ 1 2+ 3 8+ 3 8 𝑳̅ =𝟕 𝟒 𝒃𝒊𝒕𝒔/𝒔í𝒎𝒃𝒐𝒍𝒐 ≈ 𝟏. 𝟕𝟓 𝒃𝒊𝒕𝒔/𝒔í𝒎𝒃𝒐𝒍𝒐

d) Encontrar el código Huffman binario para codificar la segunda extensión de dicha fuente y su correspondiente longitud promedio.

𝑆 = {𝐴, 𝐵, 𝐶, 𝐷} Para su segunda extensión se tiene:

𝑛 = 2, 𝑞 = 4 ⟶ 𝑞𝑛 = 42= 16 𝑒𝑙𝑒𝑚𝑒𝑛𝑡𝑜𝑠 𝑒𝑛 𝑙𝑎 𝑒𝑥𝑡𝑒𝑛𝑠𝑖ó𝑛 Símbolo 𝝈𝒊 𝝈𝒊 = (𝑺𝒊𝟏, 𝑺𝒊𝟐) 𝑷(𝝈𝒊) = 𝑷(𝑺𝒊𝟏) ∗ 𝑷(𝑺𝒊𝟐) 1 𝜎1 AA 𝑃1 ∗ 𝑃1 = (1 2) ∗ ( 1 2) = 1 4 2 𝜎2 AB 𝑃1 ∗ 𝑃2 = (1 2) ∗ ( 1 4) = 1 8 3 𝜎3 AC 𝑃1 ∗ 𝑃3 = (1 2) ∗ ( 1 8) = 1 16 4 𝜎4 AD 𝑃1 ∗ 𝑃4 = (1 2) ∗ ( 1 8) = 1 16 5 𝜎5 BA 𝑃2 ∗ 𝑃1 = (1 4) ∗ ( 1 2) = 1 8 6 𝜎6 BB 𝑃2 ∗ 𝑃2 = (1 4) ∗ ( 1 4) = 1 16 7 𝜎7 BC 𝑃2 ∗ 𝑃3 = (1 4) ∗ ( 1 8) = 1 32 8 𝜎8 BD 𝑃2 ∗ 𝑃4 = (1 4) ∗ ( 1 8) = 1 32 9 𝜎9 CA 𝑃3 ∗ 𝑃1 = (1 8) ∗ ( 1 2) = 1 16 10 𝜎10 CB 𝑃3 ∗ 𝑃2 = (1 8) ∗ ( 1 4) = 1 32 11 𝜎11 CC 𝑃3 ∗ 𝑃3 = (1 8) ∗ ( 1 8) = 1 64 12 𝜎12 CD 𝑃3 ∗ 𝑃4 = (1 8) ∗ ( 1 8) = 1 64 13 𝜎13 DA 𝑃4 ∗ 𝑃1 = (1 8) ∗ ( 1 2) = 1 16 14 𝜎14 DB 𝑃4 ∗ 𝑃2 = (1 8) ∗ ( 1 4) = 1 32 15 𝜎15 DC 𝑃4 ∗ 𝑃3 = (1 8) ∗ ( 1 8) = 1 64 16 𝜎16 DD 𝑃4 ∗ 𝑃4 = (1 8) ∗ ( 1 8) = 1 64

(3)

Para el código Huffman tenemos: Fuente

Símbolos Probabilidad Código final S1 C1 S2 C2 S3 C3 S4 C4 𝜎1 1/4 10 1/4 10 1/4 10 1/4 10 1/4 10 𝜎2 1/8 110 1/8 110 1/8 110 1/8 110 1/8 110 𝜎5 1/8 111 1/8 111 1/8 111 1/8 111 1/8 111 𝜎3 1/16 0111 1/16 0111 1/16 0111 1/16 0110 1/16 0101 𝜎4 1/16 0000 1/16 0000 1/16 0000 1/16 0111 1/16 0110 𝜎6 1/16 0001 1/16 0001 1/16 0001 1/16 0000 1/16 0111 𝜎9 1/16 0010 1/16 0010 1/16 0010 1/16 0001 1/16 0000 𝜎13 1/16 0011 1/16 0011 1/16 0011 1/16 0010 1/16 0001 𝜎7 1/32 01010 1/32 01001 1/32 01000 1/16 0011 1/16 0010 𝜎8 1/32 01011 1/32 01010 1/32 01001 1/32 01000 1/16 0011 𝜎10 1/32 01100 1/32 01011 1/32 01010 1/32 01001 1/32 01000 𝜎14 1/32 01101 1/32 01100 1/32 01011 1/32 01010 1/32 01001 𝜎11 1/64 010000 1/32 01101 1/32 01100 1/32 01011 𝜎12 1/64 010001 1/64 010000 1/32 01101 𝜎15 1/64 010010 1/64 010001 𝜎16 1/64 010011 S5 C5 S6 C6 S7 C7 S8 C8 S9 C9 S10 C10 1/4 10 1/4 10 1/4 10 1/4 10 1/4 10 1/4 10 1/8 110 1/8 001 1/8 000 1/8 011 1/8 010 1/4 11 1/8 111 1/8 110 1/8 001 1/8 000 1/8 011 1/8 010 1/16 0100 1/8 111 1/8 110 1/8 001 1/8 000 1/8 011 1/16 0101 1/16 0100 1/8 111 1/8 110 1/8 001 1/8 000 1/16 0110 1/16 0101 1/16 0100 1/8 111 1/8 110 1/8 001 1/16 0111 1/16 0110 1/16 0101 1/16 0100 1/8 111 1/16 0000 1/16 0111 1/16 0110 1/16 0101 1/16 0001 1/16 0000 1/16 0111 1/16 0010 1/16 0001 1/16 0011 S11 C11 S12 C12 S13 C13 S14 C14 1/4 10 1/4 10 1/2 0 1/2 0 1/4 11 1/4 11 1/4 10 1/2 1 1/4 00 1/4 00 1/4 11 1/8 010 1/4 01 1/8 011 𝐿2 ̅̅̅ = ∑ 𝑙𝜎𝑖∗ 𝑃(𝜎𝑖) ; 𝑙𝜎𝑖 = 𝐿𝑜𝑛𝑔𝑖𝑡𝑢𝑑 𝑑𝑒 𝑙𝑎 𝑝𝑎𝑙𝑎𝑏𝑎𝑟𝑎 𝑐ó𝑑𝑖𝑔𝑜 𝑑𝑒 𝜎𝑖 16 𝑖=1

(4)

p

q

𝐿2 ̅̅̅ =1 4∗ (2) + 1 8∗ (3) + 1 8∗ (3) + 1 16∗ (4) + 1 16∗ (4) + 1 16∗ (4) + 1 16∗ (4) + 1 16∗ (4) + 1 32∗ (5) + 1 32∗ (5) + 1 32∗ (5) + 1 32∗ (5) + 1 64∗ (6) + 1 64∗ (6) + 1 64∗ (6) + 1 64∗ (6) 𝐿2 ̅̅̅ =1 4∗ (2) + 1 8∗ (3)(2) + 1 16∗ (4)(5) + 1 32∗ (5)(4) + 1 64∗ (6)(4) 𝐿2 ̅̅̅ =1 2+ 3 4+ 5 4+ 5 8+ 3 8 𝑳𝟐 ̅̅̅ =𝟕 𝟐 𝒃𝒊𝒕𝒔/𝒔í𝒎𝒃𝒐𝒍𝒐

6. Considerar una fuente de Markov binaria de primer orden, en la cual la probabilidad de salir o quedarse en el estado 0 es p y la probabilidad de salir o quedarse en el estado 1 es q. Dibujar el diagrama de estados, calcular la probabilidad de los estados, la entropía la entropía del a fuente afín. 𝑆𝑀1= {0,1} 𝑞 = 2, 𝑚 = 1 𝑞𝑚 = 21= 2 𝑒𝑠𝑡𝑎𝑑𝑜𝑠 𝑝𝑜𝑠𝑖𝑏𝑙𝑒𝑠 Diagrama de estados Probabilidad de estados 𝑃(0/0) = 𝑃(1/0) = 𝑝 𝑃(1/1) = 𝑃(0/1) = 𝑞 𝑃(0/0) + 𝑃(1/0) = 1 𝑃(1/1) + 𝑃(0/1) = 1

0

1

q

p

(5)

P(0/0)=0.5

P(1/1)=0.5

𝑝 + 𝑝 = 1 𝑞 + 𝑞 = 1 2𝑝 = 1 2𝑞 = 1 𝑝 = 1/2 𝑞 = 1/2

Entonces, el nuevo diagrama de estados será:

𝑃(0) = 𝑃(0/0)𝑃(0) + 𝑃(0/1)𝑃(1) 𝑃(1) = 𝑃(1/1)𝑃(1) + 𝑃(1/0)𝑃(0) { 𝑃(0) =1 2𝑃(0) + 1 2𝑃(1) 𝑃(1) =1 2𝑃(1) + 1 2𝑃(0) 𝑃(0) + 𝑃(1) = 1 𝑃(0) + 𝑃(0) = 1 2𝑃(0) = 1 ⟶ 𝑃(0) =1 2 ⇒ 𝑷(𝟎) = 𝑷(𝟏) =𝟏 𝟐

0

1

P(0/1 )= 0.5 P(1/0 )= 0.5 𝑃(0) = 𝑃(1) 𝑃(0) + 𝑃(1) = 1 1 2𝑃(0) = 1 2𝑃(1) 𝑃(0) + 𝑃(1) = 1

(6)

La entropía 𝑺𝒋 𝑺𝒊 𝑷(𝑺_𝒊/𝑺_𝒋 ) 𝑷(𝑺𝒋) 𝑷(𝑺𝒋, 𝑺𝒊) = 𝑷(𝑺_𝒊/𝑺_𝒋 )𝑷(𝑺𝒋) 0 0 1/2 1/2 1/4 0 1 1/2 1/2 1/4 1 0 1/2 1/2 1/4 1 1 1/2 1/2 1/4 𝐻(𝑆) = ∑ 𝑷(𝑺𝒋, 𝑺𝒊) ∗ 𝒍𝒐𝒈𝟐[ 𝟏 𝑷(𝑺𝒊/𝑺𝒋) ] 𝑆𝑀+1 =1 4𝑙𝑜𝑔2( 1 1 2 ) +1 4𝑙𝑜𝑔2( 1 1 2 ) +1 4𝑙𝑜𝑔2( 1 1 2 ) +1 4𝑙𝑜𝑔2( 1 1 2 ) = (4)1 4𝑙𝑜𝑔2( 1 1 2 ) = 𝑙𝑜𝑔2(2) = 1𝑏𝑖𝑡𝑠/𝑠í𝑚𝑏𝑜𝑙𝑜 En este caso, las probabilidades de estado resultan ser las probabilidades de la fuente, entonces, para la fuente afín:

𝐻(𝑆𝑀1∗) = ∑ 𝑃𝑖 ∗ 𝑙𝑜𝑔2( 1 𝑃𝑖) 1 𝑖=0 ; 𝑑𝑜𝑛𝑑𝑒 𝑃𝑜= 𝑃(0) = 1/2 𝑃1= 𝑃(1) = 1/2

Como los símbolos son equiprobables la entropía también la podemos obtener mediante la expresión:

𝐻(𝑆𝑀1∗) = 𝑙𝑜𝑔2(𝑞) = 𝑙𝑜𝑔2(2) = 1 𝑏𝑖𝑡𝑠/𝑠í𝑚𝑏𝑜𝑙𝑜

7. Problema de Abramson: Considerar una fuente de Markov binaria de segundo orden en que la probabilidad de emitir un 0 o un 1 no depende del símbolo anterior sino del emitido dos lugares antes. La probabilidad de que un símbolo coincida con el emitido dos lugares antes es igual a 0.9 y, la probabilidad de que sea distinto es 0.1. Dibujar el diagrama de estados, calcular la probabilidad de los estados, la entropía de la fuente original y de la fuente afín correspondiente.

(7)

Diagrama de estados 1) 2) 3) 4) { 𝑃(00) = 𝑃(0/00)𝑃(00) + 𝑃(0/10)𝑃(10) 𝑃(01) = 𝑃(1/00)𝑃(00) + 𝑃(1/10)𝑃(10) 𝑃(11) = 𝑃(1/01)𝑃(01) + 𝑃(1/11)𝑃(11) 𝑃(10) = 𝑃(0/11)𝑃(11) + 𝑃(0/01)𝑃(01) { 𝑃(00) = 0.9𝑃(00) + 0.1𝑃(10) 𝑃(01) = 0.1𝑃(00) + 0.9𝑃(10) 𝑃(11) = 0.1𝑃(01) + 0.9𝑃(11) 𝑃(10) = 0.1𝑃(11) + 0.9𝑃(01) Para mayor comodidad se hará representarán las probabilidades de la siguiente manera:

𝑎 = 𝑃(00) 𝑏 = 𝑃(01) 𝑐 = 𝑃(10) 𝑑 = 𝑃(11)

00

11

01

10

𝑷(𝟎/𝟎𝟎) = 𝟎. 𝟗 𝑷(𝟏/𝟏𝟏) = 𝟎. 𝟗 𝑷(𝟎/𝟎𝟏) = 𝟎. 𝟗 𝑷(𝟏/𝟏𝟎) = 𝟎. 𝟗 { 𝑎 = 0.9𝑎 + 0.1𝑐 𝑏 = 0.1𝑎 + 0.9𝑐 𝑑 = 0.1𝑏 + 0.9𝑑 𝑐 = 0.1𝑑 + 0.9𝑏 { 0.1𝑎 = 0.1𝑐 𝑏 = 0.1𝑎 + 0.9𝑐 0.1𝑑 = 0.1𝑏 𝑐 = 0.1𝑑 + 0.9𝑏 1) 2) 3) 4) { 𝑎 = 𝑐 𝑏 = 0.1𝑎 + 0.9𝑐𝑐 𝑑 = 𝑏 𝑐 = 0.1𝑑 + 0.9𝑏𝑏 1) 𝑒𝑛 2) 𝑏 = 0.1𝑐 + 0.9𝑐 = 𝑐 3) 𝑒𝑛 4) 𝑐 = 0.1𝑑 + 0.9𝑑 = 𝑑 𝑇𝑎𝑚𝑏𝑖é𝑛 𝑎 + 𝑏 + 𝑐 + 𝑑 = 1 ⇒ 𝑐 + 𝑐 + 𝑐 + 𝑐 = 1 4𝑐 = 1 ⇒ 𝑐 =1 4 ⇒ 𝑎 = 𝑏 = 𝑐 = 𝑑 = 1/2

(8)

Entonces las probabilidades de estado son: 𝑃(00) =1 4 𝑃(01) = 1 4 𝑃(10) = 1 4 𝑃(11) = 1 4 𝑆𝑗1 𝑆𝑗1 𝑆𝑖 𝑃(𝑆𝑖/𝑆𝑗1, 𝑆𝑗2) 𝑃(𝑆𝑗1, 𝑆𝑗2) 𝑃(𝑆𝑗1, 𝑆𝑗2, 𝑆𝑖) 0 0 0 0.9 1/4 0.225 0 0 1 0.1 1/4 0.025 0 1 0 0.9 1/4 0.225 0 1 1 0.1 1/4 0.025 1 0 0 0.1 1/4 0.025 1 0 1 0.9 1/4 0.225 1 1 0 0.1 1/4 0.025 1 1 1 0.9 1/4 0.225 ∑ = 1 𝐻(𝑆𝑀2) = ∑ 𝑃( 𝑆𝑀+1 𝑆𝑗1, 𝑆𝑗2, 𝑆𝑖) ∗ 𝑙𝑜𝑔2( 1 𝑃(𝑆𝑖/𝑆𝑗1 , 𝑆𝑗2) ) 𝐻(𝑆𝑀2) = 0.225𝑙𝑜𝑔2( 1 0.9) + 0.025𝑙𝑜𝑔2( 1 0.1) + 0.225𝑙𝑜𝑔2( 1 0.9) + 0.025𝑙𝑜𝑔2( 1 0.1) + 0.025𝑙𝑜𝑔2( 1 0.1) + 0.225𝑙𝑜𝑔2( 1 0.9) + 0.025𝑙𝑜𝑔2( 1 0.1) + 0.225𝑙𝑜𝑔2( 1 0.9) 𝐻(𝑆𝑀2) = 4(0.225)𝑙𝑜𝑔2( 1 0.9) + 4(0.025)𝑙𝑜𝑔2( 1 0.1) 𝐻(𝑆𝑀2) = 0.4689956 𝑏𝑖𝑡𝑠/𝑠í𝑚𝑏𝑜𝑙𝑜

Para la entropía de la fuente afín necesitamos las probabilidades de los elementos de la fuente, y los obtenemos mediante la siguiente expresión:

𝑃(𝑆𝑖) = ∑ 𝑃(𝑆𝑗, 𝑆𝑖) 1 𝑗=0 ; 𝑆𝑖𝑒𝑛𝑑𝑜 𝑆𝑆0= 0 1= 1 𝑃(𝑆0) = 𝑃(𝑆0, 𝑆0) + 𝑃(𝑆1, 𝑆0) 𝑃(𝑆1) = 𝑃(𝑆0, 𝑆1) + 𝑃(𝑆1, 𝑆1) 𝑃(0) = 𝑃(00) + 𝑃(10) =1 4+ 1 4= 1 2 𝑃(1) = 𝑃(01) + 𝑃(11) = 1 4+ 1 4= 1 2 ⇒ 𝐻(𝑆𝑀2∗) = ∑ 𝑃𝑖∗ 𝑙𝑜𝑔2( 1 𝑃𝑖 ) 𝑞 𝑖=1

Pero como las probabilidades de los elementos de la fuente son equiprobables también podemos usar:

(9)

8. Demuestre que Hr(S) < L

Utilicemos la expresión que define la entropía para una fuente de información de memoria nula para comenzar con nuestra demostración:

Sea una fuente de información de memoria nula (FIMN) S, cuyos símbolos 𝑠1, 𝑠2, 𝑠3, … , 𝑠𝑞tienen probabilidades 𝑃1, 𝑃2, 𝑃3, … , 𝑃𝑞 respectivamente. Tenemos, entonces:

𝐻(𝑆) = ∑ 𝑃𝑖 ∗ 𝑙𝑜𝑔2( 1 𝑃𝑖) 𝑞

𝑖=1

Expresión que para un manejo más sencillo lo podemos escribir de la siguiente manera:

𝐻(𝑆) = ∑ 𝑃𝑖 ∗ 𝑙𝑜𝑔2(𝑃𝑖)−1 𝑞 𝑖=1 = − ∑ 𝑃𝑖 ∗ 𝑙𝑜𝑔2(𝑃𝑖) 𝑞 𝑖=1

También: Sean 𝑄1, 𝑄2, … , 𝑄𝑞 números tales que 𝑄𝑖 ≥ 0 con valores de 𝑖 = 1,2,3, … , 𝑞 y cuya

sumatoria

𝑞𝑖=0

𝑄

𝑖

= 1

. Con todas estas especificaciones, recordemos la desigualdad de Gibbs, pues trataremos de aplicarla para nuestra demostración:

∑ 𝑃𝑖∗ 𝑙𝑜𝑔 ( 1 𝑃𝑖 ) ≤ 𝑞 𝑖=1 ∑ 𝑃𝑖∗ 𝑙𝑜𝑔 ( 1 𝑄𝑖 ) 𝑞 𝑖=1

Cuya igualdad se cumple solo si 𝑃𝑖 = 𝑄𝑖. La parte derecha de esta expresión, se ve claramente que es la definición de entropía, así que:

𝐻(𝑆) ≤ ∑ 𝑃𝑖∗ 𝑙𝑜𝑔 ( 1 𝑄𝑖 ) 𝑞 𝑖=1 ⟶ 𝐻(𝑆) ≤ − ∑ 𝑃𝑖∗ 𝑙𝑜𝑔(𝑄𝑖) 𝑞 𝑖=1 (1)

Ahora supongamos un código bloque que codifica estos símbolos en un alfabeto de r símbolos y 𝑙𝑖la longitud de la palabra correspondiente a 𝑠𝑖.

Como se dijo antes, la ecuación (1) es válida solamente para el conjunto de valores de 𝑄𝑖 cuya suma sea la unidad. Por lo tanto, este conjunto de números también se pueden expresar como:

𝑄

𝑖

=

𝑟

−𝑙𝑖

𝑞 𝑟−𝑙𝑖

𝑖=1

Si reemplazamos la ecuación (2) en la (1) tenemos:

𝐻(𝑆) ≤ − ∑ 𝑃𝑖∗ 𝑙𝑜𝑔 (

𝑟

−𝑙𝑖 ∑𝑞 𝑟−𝑙𝑗 𝑗=1 ) 𝑞 𝑖=1 𝐻(𝑆) ≤ − ∑ 𝑃𝑖∗ log(

𝑟

−𝑙𝑖)

+

𝑞 𝑖=1 ∑ 𝑃𝑖∗ log (∑ 𝑟−𝑙𝑗 𝑞 𝑗=1 ) 𝑞 𝑖=1 𝐻(𝑆) ≤ ∑ 𝑃𝑖∗

𝑙

𝑖

log(

𝑟

)

+

𝑞 𝑖=1 ∑ 𝑃𝑖∗ log (∑ 𝑟−𝑙𝑗 𝑞 𝑗=1 ) 𝑞 𝑖=1 ; 𝑃𝑒𝑟𝑜 ∑ 𝑃𝑖 𝑞 𝑖=1 = 1 (2)

(10)

𝑷(𝟎/𝟎𝟎) = 𝟎. 𝟓 𝑷(𝟏/𝟏𝟏) = 𝟎. 𝟖 𝑷(𝟎/𝟎𝟏) = 𝟎. 𝟑 𝑷(𝟏/𝟏𝟎) = 𝟎. 𝟑 𝐻(𝑆) ≤ log(

𝑟

) ∑ 𝑃𝑖∗

𝑙

𝑖

+

𝑞 𝑖=1 log (∑ 𝑟−𝑙𝑗 𝑞 𝑗=1 ) ; 𝑃𝑒𝑟𝑜 𝐿̅ = ∑ 𝑃𝑖∗

𝑙

𝑖 𝑞 𝑖=1 𝐻(𝑆) ≤ 𝐿̅ ∗ log(

𝑟

) + log (∑ 𝑟−𝑙𝑗 𝑞 𝑗=1 )

Si quiero que mi código sea instantáneo, entonces, el segundo logaritmo de la parte derecha de la expresión contiene el término ∑𝑞 𝑟−𝑙𝑗

𝑗=1 que según la inecuación de Kraft, tiene que ser menor o igual que 1 y como cualquier logaritmo dentro de ese rango es menor o igual que cero, entonces podemos omitirlo quedando finalmente nuestra expresión así:

𝐻(𝑆) ≤ 𝐿̅ ∗ log(

𝑟

) También

𝐻(𝑆) log (𝑟)≤ L̅

Siendo la parte izquierda, la entropía expresada en unidades r-arias, lo que se escribe de la forma: 𝑯𝒓(𝑺) ≤ 𝐋̅

Que es lo que queríamos demostrar.

9. Considere una fuente de Markov binaria de segundo orden con probabilidades condicionales: 𝑷(𝟏/𝟎𝟎) = 𝑷(𝟎/𝟎𝟎) = 𝟎. 𝟓 𝑷(𝟏/𝟎𝟏) = 𝑷(𝟎/𝟏𝟎) = 𝟎. 𝟕 𝑷(𝟏/𝟏𝟏) = 𝟎. 𝟖 𝑷(𝟎/𝟎𝟏) = 𝑷(𝟏/𝟏𝟎) = 𝟎. 𝟑 𝑷(𝟎/𝟏𝟏) = 𝟎. 𝟐 Determinar:

a) El correspondiente diagrama de estados

siendo 𝐿̅ la longitud promedio de palabra código

00

11

01

10

(11)

b) La entropía de la fuente de Markov 𝐻(𝑆𝑀2) = ∑ 𝑃( 𝑆𝑀+1 𝑆𝑗1, 𝑆𝑗2, 𝑆𝑖) ∗ 𝑙𝑜𝑔2( 1 𝑃(𝑆𝑖/𝑆𝑗1 , 𝑆𝑗2) )

Pero para obtener 𝑃(𝑆𝑗1, 𝑆𝑗2, 𝑆𝑖) necesitamos las probabilidades de estado: 1) 2) 3) 4) { 𝑃(00) = 𝑃(0/00)𝑃(00) + 𝑃(0/10)𝑃(10) 𝑃(01) = 𝑃(1/00)𝑃(00) + 𝑃(1/10)𝑃(10) 𝑃(11) = 𝑃(1/01)𝑃(01) + 𝑃(1/11)𝑃(11) 𝑃(10) = 𝑃(0/11)𝑃(11) + 𝑃(0/01)𝑃(01) { 𝑃(00) = 0.5𝑃(00) + 0.7𝑃(10) 𝑃(01) = 0.5𝑃(00) + 0.3𝑃(10) 𝑃(11) = 0.7𝑃(01) + 0.8𝑃(11) 𝑃(10) = 0.2𝑃(11) + 0.3𝑃(01) Para mayor comodidad se hará representarán las probabilidades de la siguiente manera:

𝑎 = 𝑃(00) 𝑏 = 𝑃(01) 𝑐 = 𝑃(10) 𝑑 = 𝑃(11) 𝑆𝑗1 𝑆𝑗1 𝑆𝑖 𝑃(𝑆𝑖/𝑆𝑗1, 𝑆𝑗2) 𝑃(𝑆𝑗1, 𝑆𝑗2) 𝑃(𝑆𝑗1, 𝑆𝑗2, 𝑆𝑖) 0 0 0 0.5 0.203 0.1015 0 0 1 0.5 0.203 0.1015 0 1 0 0.3 0.145 0.0435 0 1 1 0.7 0.145 0.1015 1 0 0 .7 0.145 0.1015 1 0 1 0.3 0.145 0.0435 1 1 0 0.2 0.5075 0.1015 1 1 1 0.8 0.5075 0.406 ∑ = 1 { 𝑎 = 0.5𝑎 + 0.7𝑐 𝑏 = 0.5𝑎 + 0.3𝑐 𝑑 = 0.7𝑏 + 0.8𝑑 𝑐 = 0.2𝑑 + 0.3𝑏 { 0.5𝑎 = 0.7𝑐 𝑏 = 0.5𝑎 + 0.3𝑐 0.2𝑑 = 0.7𝑏 𝑐 = 0.2𝑑 + 0.3𝑏 1) 2) 3) 4) { 𝑎 = 1.4𝑐 𝑏 = 0.5𝑎 + 0.3𝑐 𝑑 = 3.5𝑏 𝑐 = 0.2𝑑 + 0.3𝑏 1) 𝑒𝑛 2) 𝑏 = 0.7𝑐 + 0.3𝑐 = 𝑐 3) 𝑒𝑛 4) 𝑐 = 0.7𝑏 + 0.3𝑏 = 𝑏 𝑇𝑎𝑚𝑏𝑖é𝑛 𝑎 + 𝑏 + 𝑐 + 𝑑 = 1 ⇒ 1.4𝑐 + 𝑐 + 𝑐 + 3.5𝑐 = 1 6.9𝑐 = 1 ⇒ 𝑐 = 1 6.9= 0.145 ⟹ 𝑎 = 1.4𝑐 = 0.203 𝑏 = 𝑐 = 0.145 𝑐 = 0.145 𝑑 = 3.5𝑐 = 0.5075 𝑎 = 1.4𝑐 𝑏 = 𝑐 𝑐 = 𝑐 𝑑 = 3.5𝑐

(12)

𝐻(𝑆𝑀2) = ∑ 𝑃( 𝑆𝑀+1 𝑆𝑗1, 𝑆𝑗2, 𝑆𝑖) ∗ 𝑙𝑜𝑔2( 1 𝑃(𝑆𝑖/𝑆𝑗1 , 𝑆𝑗2) ) 𝐻(𝑆𝑀2) = 0.1015𝑙𝑜𝑔2( 1 0.5) + 0.1015𝑙𝑜𝑔2( 1 0.5) + 0.0435𝑙𝑜𝑔2( 1 0.3) + 0.1015𝑙𝑜𝑔2( 1 0.7) + 0.1015𝑙𝑜𝑔2( 1 0.7) + 0.0435𝑙𝑜𝑔2( 1 0.3) + 0.1015𝑙𝑜𝑔2( 1 0.2) + 0.406𝑙𝑜𝑔2( 1 0.8) 𝐻(𝑆𝑀2) = 0.1015 + 0.1015 + 0.0756 + 0.0522 + 0.0522 + 0.0756 + 0.2357 + 0.1307 𝑯(𝑺𝑴𝟐) = 𝟎. 𝟖𝟐𝟓 𝒃𝒊𝒕𝒔/𝒔í𝒎𝒃𝒐𝒍𝒐 c) La probabilidad de los símbolos

𝑃(𝑆𝑖) = ∑ 𝑃(𝑆𝑗, 𝑆𝑖) 1 𝑗=0 ; 𝑆𝑖𝑒𝑛𝑑𝑜 𝑆𝑆0= 0 1= 1 𝑃(𝑆0) = 𝑃(𝑆0, 𝑆0) + 𝑃(𝑆1, 𝑆0) 𝑷(𝟎) = 𝑷(𝟎𝟎) + 𝑷(𝟏𝟎) = 𝟎. 𝟐𝟎𝟑 + 𝟎. 𝟏𝟒𝟓 = 𝟎. 𝟑𝟒𝟖 𝑃(𝑆1) = 𝑃(𝑆0, 𝑆1) + 𝑃(𝑆1, 𝑆1) 𝑷(𝟏) = 𝑷(𝟎𝟏) + 𝑷(𝟏𝟏) = 𝟎. 𝟏𝟒𝟓 + 𝟎. 𝟓𝟎𝟕𝟓 = 𝟎. 𝟔𝟓𝟐𝟓 d) La entropía de la fuente afín

⇒ 𝐻(𝑆𝑀2∗) = ∑ 𝑃𝑖∗ 𝑙𝑜𝑔2( 1 𝑃𝑖 ) 𝑞 𝑖=1 𝐻(𝑆𝑀2∗) = 0.348𝑙𝑜𝑔2( 1 0.348) + 0.6525𝑙𝑜𝑔2( 1 0.6525) 𝐻(𝑆𝑀2∗) = 0.5299 + 0.4019 𝑯(𝑺𝑴𝟐∗) = 𝟎. 𝟗𝟑𝟏𝟖 𝒃𝒊𝒕𝒔/𝒔í𝒎𝒃𝒐𝒍𝒐

e) El alfabeto, la memoria y la entropía de la extensión de tercer orden Para la memoria de la extensión tenemos:

𝑚 = 2 , 𝑛 = 3, 𝑞 = 2 𝑞𝑛 = 23= 8 𝑒𝑠𝑡𝑎𝑑𝑜𝑠 𝑝𝑜𝑠𝑖𝑏𝑙𝑒𝑠 𝝁 =𝒎

𝒏 = 𝟐

𝟑≈ 𝟎. 𝟔𝟔𝟔𝟕 ⟶ 𝝁 = 𝟏 Entonces, la tercera extensión de la fuente de Markov es de orden 1 El alfabeto de la extensión será:

𝑺𝟑𝑴𝟏= {𝟎𝟎𝟎, 𝟎𝟎𝟏, 𝟎𝟏𝟎, 𝟎𝟏𝟏, 𝟏𝟎𝟎, 𝟏𝟎𝟏, 𝟏𝟏𝟎, 𝟏𝟏𝟏} La entropía de la extensión se puede calcular mediante la fórmula:

𝑯(𝑺𝟑

Figure

Actualización...

Referencias

Actualización...