IMITES FUNDAMENTALES EN LOS SISTEMAS DE COMUNICACIONES DIGITALES Marcelino L´azaro

25 

(1)Teor´ıa de la Comunicaci´on. Grado en Ingenier´ıa en Tecnolog´ıas de Telecomunicaci´on. C AP´I TULO 5 L´I MITES FUNDAMENTALES EN LOS SISTEMAS DE COMUNICACIONES DIGITALES Marcelino L´azaro Departamento de Teor´ıa de la Se˜nal y Comunicaciones Universidad Carlos III de Madrid. Creative Commons License 1 / 50. ´Indice de contenidos ´ Modelado de fuentes de informacion Modelos probabil´ısticos de canal ´ Medidas cuantitativas de informacion Capacidad de canal I I. Capacidad de un canal digital Capacidad de un canal gausiano. L´ımites en un sistema digital de comunicaciones. c Marcelino L´azaro, 2014. ´ Teor´ıa de la Comunicacion. ´ Teor´ıa de la Informacion 2 / 50.

(2) ´ de un sistema de comunicaciones Definicion Finalidad de un sistema de comunicaciones: I. ´ de informacion ´ Transmision ´ Informacion transmitida Fuente de ´ Informacion. s(t)-. ´ Informacion recibida Medio de ´ Transmision. r(t)- Destino de ´ Informacion. ´ de la informacion ´ Cuantificacion I I. ´ Medidas cuantitativas de informacion ´ Analisis de un sistema de comunicaciones F Cantidad de informacion ´ generada F L´ ´ de informacion ´ ımites fundamentales en la transmision. ´ del cap´ıtulo: Organizacion I I I I. ´ Modelos (probabil´ısticos) para las fuentes de informacion Modelos (probabil´ısticos) del sistema (de canal) ´ Medidas cuantitativas de informacion ´ L´ımites fundamentales en los sistemas de comunicacion c Marcelino L´azaro, 2014. ´ Teor´ıa de la Comunicacion. ´ Teor´ıa de la Informacion 3 / 50. ´ Modelado de fuentes de informacion ´ Salida de la fuente: flujo de informacion I I. ˜ x(t) En tiempo continuo: senal ˜ x[n] En tiempo discreto: senal. ´ Modelo de la salida de la fuente (informacion) I. Proceso aleatorio, X(t), o´ X[n]. ´ Modelo para fuentes en tiempo continuo (analogicas) I. Proceso aleatorio en tiempo continuo X(t) F. ´ densidad espectral de potencia SX (j!) Caracter´ızacion: - Normalmente son procesos limitados en banda - Refleja el comportamiento espectral medio de la fuente. Modelo para fuente en tiempo discreto I I. Proceso aleatorio en tiempo discreto X[n] Tipos de alfabeto de la fuente F F. ˜ Continuo (e.g., senales muestreadas) Discreto (fuentes digitales) ´ simple: fuente discreta sin memoria - Modelo mas c Marcelino L´azaro, 2014. ´ Teor´ıa de la Comunicacion. ´ Teor´ıa de la Informacion 4 / 50.

(3) Fuente discreta sin memoria DMS : Discrete Memoryless Source Proceso aleatorio en tiempo discreto X[n] I I. Alfabeto discreto de MX valores Sin memoria: {X[n]} son variables aleatorias independientes ´ e identicamente distribuidas (i.i.d.). ´ del proceso (caracterizacion ´ estad´ıstica) Descripcion I. Variable aleatoria X (al ser X[n] i.i.d., la estad´ıstica es la misma para todo n) F F. Alfabeto AX = {x0 , x1 , · · · , xMX 1 } Probabilidades pX (xi ) = P(X = xi ) para i = 0, 1, · · · , MX. 1. ´ Ejemplo: fuente binaria simetrica BSS: Binary Symmetric Source I I. Alfabeto AX = {x0 , x1 }, t´ıpicamente x0 = 0, x1 = 1 Probabilidades pX (x0 ) = pX (x1 ) = 12. ´ Teor´ıa de la Comunicacion. c Marcelino L´azaro, 2014. ´ Teor´ıa de la Informacion 5 / 50. Modelos probabil´ısticos de canal -. Bb [`] ! B[n]. Codificador. -. A[n]. Modulador. Modulador Digital Bˆb [`]. ˆ B[n]. Decisor. q[n]. Demodulador. s(t). ? Canal r(t). Demodulador Digital. Modelos probabil´ısticos de canal I. ´ probabil´ıstica entre la informacion ´ recibida y la transmitida Establecen la relacion en distintos puntos de este modelo general del sistema de comunicaciones F Distintos niveles de abstraccion ´ en la definicion ´ de canal F. ´ Modelo probabil´ıstico: Entrada X , salida Y , distribucion fY|X (y|x). Modelos definidos I I I. Canal gaussiano F Representa el canal f´ısico: Y ⌘ r(t) | X ⌘ s(t) Canal gaussiano con entrada digital F Representa el canal discreto equivalente: Y ⌘ q[n] | X ⌘ A[n] Canal digital F. I. ˆ | A[n]) ˆ | X ⌘ B[n] (o´ A[n] ´ de s´ımbolos: Y ⌘ B[n] Representa la transmision Canal digital binario ˆ b [`] | X ⌘ Bb [`] F Representa la transmision ´ de bits: Y ⌘ B c Marcelino L´azaro, 2014. ´ Teor´ıa de la Comunicacion. ´ Teor´ıa de la Informacion 6 / 50.

(4) ´ Modelos probabil´ısticos de canal - Representacion Bb [`]. B[n]. Codificador. A[n]. s(t). Modulador. Canal ˆ b [`] B. ˆ B[n]. q[n]. Decisor. Canal digital Canal digital binario. r(t). Demodulador. Canal gausiano con entrada digital. Canal gausiano. ´ Teor´ıa de la Comunicacion. c Marcelino L´azaro, 2014. ´ Teor´ıa de la Informacion 7 / 50. Canal gaussiano ´ entrada / salida Relacion I Entrada: X ⌘ s(t), para un instante dado t I Salida: Y ⌘ r(t), para el mismo instante dado t Modelo canal gaussiano r(t) = s(t) + n(t) I. n(t): proceso aleatorio blanco y gaussiano con Sn (j!) =. N0 , 2. Rn (⌧ ) =. N0 2. · (⌧ ). ´ de la potencia de ruido - Filtrado a la entrada del receptor Limitacion I. ˜ de ancho de banda B Hz (W = 2⇡B rad/s) Senal F Filtro g(t) ideal de ancho de banda B Hz: potencia de ruido N0 · B s(t)- f r(t)g(t) / G(j!). 6. n(t). ´ de los valores de la senal ˜ r(t) dada la senal ˜ s(t) en un Distribucion ´ Y|X cuando Y ⌘ r(t) y X ⌘ s(t)) cierto instante t (distribucion I I. ´ de Y cuando X = x = s(t) Distribucion Gaussiana, de media s(t) en el instante dado y varianza fY|X (y|x) = p c Marcelino L´azaro, 2014. 1 2⇡. e. (y x)2 2 2. ´ Teor´ıa de la Comunicacion. 2. = N0 · B. ´ Teor´ıa de la Informacion 8 / 50.

(5) Canal gaussiano con entrada digital Es el equivalente al canal discreto equivalente ´ entrada / salida Relacion I. I. Entrada: X ⌘ A[n], para un instante dado n F Vector de N variables aleatorias discretas F Si A[n] = a ! X = x i i Salida: Y ⌘ q[n], para el mismo instante dado n F Vector de N variables aleatorias continuas. Modelo del canal gaussiano con entrada digital q=A+z I. ´ de los N elementos del vector de ruido Distribucion F. V.A.’s Independientes, gaussianas, media nula, varianza N0 /2. ´ de la salida dada la entrada Distribucion I. Gaussiana de media el s´ımbolo transmitido (xi ⌘ ai ). 1 fq|A (q|ai ) = e (⇡N0 )N/2. ||q ai ||2 N0. 1 ! fY|X (y|xi ) = e (⇡N0 )N/2. ´ Teor´ıa de la Comunicacion. c Marcelino L´azaro, 2014. ||y xi ||2 N0. ´ Teor´ıa de la Informacion 9 / 50. Canal digital ´ entrada / salida Relacion I Entrada: X ⌘ B[n], para un instante dado n ˆ I Salida: Y ⌘ B[n], para el mismo instante dado n F. Alfabeto de X e Y 1 - M elementos del alfabeto de B[n]: {xi = yi ⌘ bi }M i=0. Modelo probabil´ıstico: canal discreto sin memoria DMC:Discrete Memoryless Channel. X - p (y, x) Y|X I. Y-. ´ estad´ıstica del canal discreto sin memoria Definicion 1. 2. 3. Alfabeto de entrada. AX = {xi }, i = 0, · · · , MX. 1. AY = {yj }, j = 0, · · · , MY. 1. Alfabeto de salida. ´ Conjunto de probabilidades condicionales (de transicion) c Marcelino L´azaro, 2014. pY|X (yj |xi ), 8i, j. ´ Teor´ıa de la Comunicacion. ´ Teor´ıa de la Informacion 10 / 50.

(6) ´ de las probabilidades de transicion ´ Representacion Matriz de canal 2 pY|X (y0 |x0 ) 6 pY|X (y0 |x1 ) 6 P=6 .. 4 . pY|X (y0 |xMX. I. pY|X (y1 |x0 ) pY|X (y1 |x1 ) .. . pY|X (y1 |xMX. 1). pY|X (yMY pY|X (yMY .. .. ··· ··· .. . 1). ···. pY|X (yMY. 1 |x0 ) 1 |x1 ). 1 |xMX 1 ). Elementos de una fila suman 1. 3 7 7 7 5. Diagrama de flechas. pY|X (y0 |x0 ) - p (y0 |x1 )⇠ x0 sXX ⇠s y0 Y|X ⇠ Z X. X ⇢ : ⇠ ⇢ ⇠ ⇠ Z .. X X ⇠ X ⇢ X pX Y|X (y1 |x0 ) Z⇠⇠ ⇠ pY|X (y1 |x1 ) X ⇢ ⇠ z X s ⇠ Xs y1 x1 H .Z ⇢ .. Z ⇢ . H Z j ⇢ pY|X (yMY 1 |x1 ) H H ⇢HZZ pY|X (y0 |xMX 1 )⇢ pY|X (yM 1 |x0 ) > * HHZ ~ Y ⇢ ⇢ ... pY|X (y1 |xMX 1 ) HZ HZ H s Zs yMY 1 H xMX 1 ⇢ H. pY|X (yMY. I. 1 |xMX. 1). Flechas que salen de un mismo nodo suman 1 ´ Teor´ıa de la Comunicacion. c Marcelino L´azaro, 2014. ´ Teor´ıa de la Informacion 11 / 50. ´ del DMC al canal digital Aplicacion Alfabetos de X e Y I. M s´ımbolos del alfabeto de B[n], {b0 , b1 , · · · , bM. 1}. xi ⌘ bi , yj ⌘ bj , MX = MY = M, i, j 2 {0, 1, · · · M. 1}. ´ Probabilidades de transicion pY|X (yj |xi ) ⌘ pB|B ˆ (bj |bi ) = pA|A ˆ (aj |ai ) I. ´ / diagrama de flechas Valores ideales: matriz de transicion 2. 6 6 P=I=6 4. 1 0 .. . 0. 0 1 .. . 0. ··· ··· 1 ···. c Marcelino L´azaro, 2014. 0 0 .. . 1. 3 7 7 7 5. x0 r x1 r. xM. 1. r. ´ Teor´ıa de la Comunicacion. 1 1 -. 1 -. r y0 r y1. r yM. 1. ´ Teor´ıa de la Informacion 12 / 50.

(7) ´ ´ - Ejemplo Calculo de las probabilidades de transicion M = 4, s´ımbolos equiprobables pA (ai ) = I I. 1 4. ´ a0 = 3, a1 = 1, a2 = +1, a3 = +3 Constelacion: ´ umbrales qu1 = 2, qu2 = 0, qu3 = +2 Regiones de decision: I0 = ( 1,. I0 a0. t. 2], I1 = ( 2, 0], I2 = (0, +2], I3 = (+2, +1). -. 3. I1 a1. -. 1. 0. t. 2. I2 a2. I3 a3. -. t. +1. -. t. +2. q. +3. ´ (matriz de canal) Probabilidades de transicion 2. 6 6 6 6 6 P=6 6 6 6 4. 1 Q Q Q. Q ✓ ✓ ✓. ✓. p1. p1. No /2 ◆. ◆. No /2 ◆. p3. No /2 ◆. p5. No /2. Q. ✓. p1. No /2. ◆. Q. ✓. p3 No /2 ◆. ◆. ✓ 2Q p 1 N✓ o /2 ✓ ◆ ◆ Q p1 Q p3 ✓ No /2 ◆ ✓ No /2 ◆ Q p3 Q p5 1. No /2. No /2. Q Q. ✓ ✓. p3. ◆. No /2 ◆. p1. No /2. Q Q. ✓ ✓. ◆. Q. No /2 ◆. p3 No /2 ◆. ✓ 2Q p 1 N✓ o /2 ✓ ◆ Q p1 Q p3 1. No /2. No /2. ´ Teor´ıa de la Comunicacion. c Marcelino L´azaro, 2014. p5. ✓. p5. ◆. No /2 ◆. 7 7 7 7 N /2 7 o ✓ ◆ 7 7 Q p1 7 ✓ No /2 ◆ 7 5 1 Q p1 Q. ◆. ✓. p3. No /2. ´ Teor´ıa de la Informacion 13 / 50. Elementos de la primera fila: pY|X (yj |x0 ), 8j .................................................. . . . . . ................... .... . . ................................... . . . . . . ................................................. .. . . . . .............................................................. ... ............................................................................. ......................................................................................... ................................. .... a0 .......................................................................................................................................................................................................... t .................................................................................................. .................................................. 3. I0. -. 2. 1. I1. 0. -. q. +1 +2 +3 I3 I2. -. ´ fq|A (q|a0 ): gaussiana de media a0 y varianza N0 /2 Distribucion pY|X (y0 |x0 ) =1. Pe|a0 = 1. pY|X (y1 |x0 ) =Pe|a0 !a1 = Q pY|X (y2 |x0 ) =Pe|a0 !a2 = Q pY|X (y3 |x0 ) =Pe|a0 !a3 = Q c Marcelino L´azaro, 2014. Q p p p. 1. p. 1 N0 /2 !. N0 /2 3 N0 /2 5. ! !. !. Q Q. N0 /2 ´ Teor´ıa de la Comunicacion. p p. 3 N0 /2 5 N0 /2. 3. ! !. ´ Teor´ıa de la Informacion 14 / 50.

(8) Elementos de la segunda fila: pY|X (yj |x1 ), 8j .............................................. . . . . . . . ...................... ........................... . . . . ..................................... . . .................................... . . . . ................................................. . . .................................................... . . ........................................................... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ......................................................................................... ........................................................................... . . . . . . ................................................................................. ........................................................................................... . . . . . . ...................................................................................................... . . . . ................................................................................................................................................................. ............................................................................................................................................... t ............................................ ....................................................... . . 3. I0. -. 2. 1. I1. 0. -. q. +1 +2 +3 I3 I2. -. ´ fq|A (q|a1 ): gaussiana de media a1 y varianza N0 /2 Distribucion pY|X (y0 |x1 ) =Pe|a1 !a0 = Q pY|X (y1 |x1 ) =1. Pe|a1 = 1. pY|X (y2 |x1 ) =Pe|a1 !a2 = Q pY|X (y3 |x1 ) =Pe|a1 !a3 = Q. p. 1 N0 /2. 2Q. p. 1. p. N0 /2 3. p. !. 1. N0 /2 !. !. Q. !. p. N0 /2 ´ Teor´ıa de la Comunicacion. c Marcelino L´azaro, 2014. 3 N0 /2. !. ´ Teor´ıa de la Informacion 15 / 50. Elementos de la tercera fila: pY|X (yj |x2 ), 8j ................................................. . . . . . . . ..................... ............................ . . . . .................................... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ................................................... .............................................. . . . . . . ................................................................ ............................................................. . . . . . . .................................................................................. ............................................................................ . . . . . . . . ...................................................................................... .............................................................................................. . . . . . . . . . ...................................................................................................................... a2 ........................................................................................................................................................ . . . . . . . . . . . . . . . . . . ................................................................................ t ........................................................................................................................................... 3. I0. -. 2. 1. I1. 0. -. q. +1 +2 +3 I3 I2. -. ´ fq|A (q|a2 ): gaussiana de media a2 y varianza N0 /2 Distribucion pY|X (y0 |x2 ) =Pe|a2 !a0 = Q pY|X (y1 |x2 ) =Pe|a2 !a1 = Q pY|X (y2 |x2 ) =1. Pe|a2 = 1. pY|X (y3 |x2 ) =Pe|a2 !a3 = Q c Marcelino L´azaro, 2014. p p. 3 N0 /2 1 N0 /2. 2Q. p. 1. ! !. p. Q. 1. N0 /2 !. N0 /2 ´ Teor´ıa de la Comunicacion. !. p. 3 N0 /2. !. ´ Teor´ıa de la Informacion 16 / 50.

(9) Elementos de la cuarta fila: pY|X (yj |x3 ), 8j ........................................... . . . . . . . . ...... ........................... ...... . . . . . . . . . . . ..... . . . . . . . . . . . . . . . . . . . . . .......................... . . ..... . . . . . . . . . .. ..................................... ..... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ........................................................................................................... . . . . . . ......................................................................................................................................... . . . . . . . . . . . . . . ................................................ t ........................................................................................................................................................................................................................... 3. I0. -. 2. 1. I1. 0. -. +1 +2 +3 I3 I2. -. ´ fq|A (q|a3 ): gaussiana de media a3 y varianza N0 /2 Distribucion pY|X (y0 |x3 ) =Pe|a3 !a0 = Q pY|X (y1 |x3 ) =Pe|a3 !a1 = Q pY|X (y2 |x3 ) =Pe|a3 !a2 = Q pY|X (y3 |x3 ) =1. Pe|a3 = 1. p p p. 5 N0 /2 3 N0 /2 1 N0 /2. Q. p. ! ! !. 1. Q Q !. p p. N0 /2 ´ Teor´ıa de la Comunicacion. c Marcelino L´azaro, 2014. 5 N0 /2 3 N0 /2. ! !. ´ Teor´ıa de la Informacion 17 / 50. Canal digital binario ´ entrada / salida Relacion I I. Entrada: X ⌘ Bb [`], para un instante dado ` ˆ b [`], para el mismo instante dado n Salida: Y ⌘ B F. Alfabeto de X e Y: Bits x0 = y0 ⌘ 0, x1 = y1 ⌘ 1. Modelo probabil´ıstico I I. ´ del DMC para M = 2 Particularizacion Probabilidades condicionales pY|X (yj |xi ) F F. I. Habitualmente, se asume que la probabilidad de error de bit es igual para los dos bits (0, 1) F. x0. x1. rH r. Probabilidades de acierto de bit (j = i) Probabilidades de error de bit (j 6= i). F. ´ Canal binario simetrico (BSC:Binary Symmetric Channel) Probabilidad de error de bit (BER): BER = ". 1. -". HH H. r y0. *" HH j H H" HH H r y1 -. 1. ". c Marcelino L´azaro, 2014. P=. . pY|X (y0 |x0 ) pY|X (y0 |x1 ). pY|X (y1 |x0 ) pY|X (y1 |x1 ). ´ Teor´ıa de la Comunicacion. =. . 1. " ". " 1. ". ´ Teor´ıa de la Informacion 18 / 50.

(10) M EDIDAS C UANTITATIVAS DE. ´ I NFORMACI ON. c Marcelino L´azaro, 2014. ´ Teor´ıa de la Comunicacion. ´ Teor´ıa de la Informacion 19 / 50. ´ Autoinformacion ´ contenida en un suceso aislado Medida de la informacion de una variable aleatoria discreta (X = xi ) Requerimientos para esta medida 1. IX (xi ) depende de la probabilidad del suceso. IX (xi ) = f (pX (xi )) 2. ´ decreciente de la probabilidad Debe ser una funcion pX (xi ) > pX (xj ) ! IX (xi ) < IX (xj ). 3 4. ´ continua de la probabilidad Debe ser una funcion F Sucesos con probabilidades similares tienen una informacion ´ similar Para sucesos independientes X = xi , Y = yj ( pX,Y (xi , yj ) = pX (xi ) · pY (yj )) IX,Y (xi , yj ) = IX (xi ) + IY (yj ). ´ que cumple estas propiedades - Autoinformacion ´ Funcion IX (xi ) = I. logb (pX (xi )). La base del logaritmo define las unidades de la medida F F. Base 2 : bits Base e (logaritmo natural o neperiano ln): nats ´ logb (x) = ln(x)/ ln(b) NOTA: Relacion. c Marcelino L´azaro, 2014. ´ Teor´ıa de la Comunicacion. ´ Teor´ıa de la Informacion 20 / 50.

(11) Entrop´ıa Medida de la incertidumbre contenida en una variable aleatoria (discreta) I Promedio de la autoinformacion ´ de cada suceso Alfabeto: AX = {x0 , x1 , · · · , xMX 1 } Probabilidades: {pX (x0 ), pX (x1 ), · · · , pX (xMX 1 )} ✓ MX MX X 1 X 1 H(X) = pX (xi ) · log pX (xi ) = pX (xi ) · log. F F. i=0. i=0. 1 pX (xi ). ◆. ´ 0 ⇥ log 0 = 0 NOTA: Por convencion:. Unidades: bits/s´ımbolo o´ nats/s´ımbolo Valores l´ımite de la entrop´ıa de variables aleatorias discretas I. 1. 2. H(X) 0 Ya que 0  pX (xi )  1 y, consecuentemente, log(1/pX (xi )) F H(X) = 0 cuando no hay incertidumbre en X pX (xi ) = 1, pX (xj ) = 0 8j 6= i H(X)  log(MX ) La igualdad se produce unicamente si los s´ımbolos son ´ 1 equiprobables, pX (xi ) = MX F Maxima ´ ´ de incertidumbre situacion ´ Teor´ıa de la Comunicacion. c Marcelino L´azaro, 2014. 0. ´ Teor´ıa de la Informacion 21 / 50. Ejemplo - Entrop´ıa binaria Variable aleatoria binaria I. Alfabeto: {x0 , x1 } Probabilidades: {pX (x0 ) = p, pX (x1 ) = 1 H(X) =. p · log(p) (1 ✓ ◆ 1 =p · log + (1 p. p}. p) · log(1 p) ✓ ◆ 1 p) · log ⌘ Hb (p) 1 p. ................................. . . . . . ..... 0.9 ..... . .... . . . 0.8 .... . . ... . . 0.7 . ... . . ... . 0.6 ... .. . . 0.5 ... ... ... . 0.4 ... .... ... 0.3 ... ... . 0.2 . ... .. ... 0.1 .. .. ... 1. Entropia binaria Hb (p). I. 0. 0. 0.1. 0.2. c Marcelino L´azaro, 2014. 0.3. 0.4 0.5 0.6 Probabilidad p. 0.7. 0.8. ´ Teor´ıa de la Comunicacion. 0.9. 1 ´ Teor´ıa de la Informacion 22 / 50.

(12) Entrop´ıa conjunta ´ conjunta de dos (o mas) ´ variables Medida de la informacion aleatorias ✓ ◆ M X 1M Y 1 X X 1 H(X, Y) = pX,Y (xi , yj ) · log pX,Y (xi , yj ) i=0 j=0 Variables aleatorias independientes I I. Probabilidad conjunta: pX,Y (xi , yj ) = pX (xi ) · pY (yj ) Entrop´ıa conjunta H(X, Y) =. MX X 1 MX Y 1 i=0. =. j=0. MX X 1 MX Y 1 i=0. =. MX X 1 i=0. j=0. pX (xi ) · pY (yj ) · log. 1 pX (xi ) · pY (yj ). pX (xi ) · pY (yj ) · log. MX X 1 MX Y 1 1 1 + pX (xi ) · pY (yj ) · log pX (xi ) pY (yj ) i=0 j=0. MX Y 1 1 1 pX (xi ) · log + pY (yj ) · log pX (xi ) pY (yj ) j=0. =H(X) + H(Y). ´ Teor´ıa de la Comunicacion. c Marcelino L´azaro, 2014. ´ Teor´ıa de la Informacion 23 / 50. Entrop´ıa condicional Mide la incertidumbre en una variable aleatoria cuando se conoce el valor de la otra I. Promedio de H(X|Y = yj ) para cada valor del alfabeto de Y. H(X|Y) =. M Y 1 X j=0. =. M Y 1 X. pY (yj ) · H(X|Y = yj ) pY (yj ). j=0. = I. i=0. M X 1M Y 1 X X i=0. M X 1 X. j=0. pX|Y (xi |yj ) · log. pX,Y (xi , yj ) · log. 1 pX|Y (xi |yj ). 1 pX|Y (xi |yj ). Para variables aleatorias independientes H(X|Y) = H(X) c Marcelino L´azaro, 2014. ´ Teor´ıa de la Comunicacion. ´ Teor´ıa de la Informacion 24 / 50.

(13) ´ entre entrop´ıa conjunta y condicional Relacion. H(X, Y) =. MX X 1M Y 1 X i=0. =. MX X 1M Y 1 X i=0. =. j=0. MX X 1M Y 1 X i=0. =. j=0. MX X 1 i=0. j=0. pX,Y (xi , yj ) · log. 1 pX,Y (xi , yj ). pX,Y (xi , yj ) · log. 1 pX (xi ) · pY|X (yj |xi ). MX X 1M Y 1 X 1 1 pX,Y (xi , yj ) · log + pX,Y (xi , yj ) · log pX (xi ) pY|X (yj |xi ) i=0. j=0. MX X 1M Y 1 X 1 1 pX (xi ) · log + pX,Y (xi , yj ) · log pX (xi ) pY|X (yj |xi ) i=0. j=0. =H(X) + H(Y|X). H(X, Y) = H(X) + H(Y|X) = H(Y) + H(X|Y) ´ Teor´ıa de la Comunicacion. c Marcelino L´azaro, 2014. ´ Teor´ıa de la Informacion 25 / 50. ´ mutua Informacion ´ que aporta una variable aleatoria X Mide la informacion sobre el conocimiento de otra variable aleatoria Y I(X, Y) =. MX X 1M Y 1 X i=0. Propiedades 1 2 3. j=0. pX,Y (xi , yj ) · log. I(X, Y) = I(Y, X) 0 La igualdad se cumple en el caso de que X e Y sean independientes I(X, Y)  m´ın(H(X), H(Y)) ´ mutua condicional Se puede definir informacion I(X, Y|Z) =. MX Z 1 i=0. pZ (zi ) · I(X, Y|Z = zi ). I(X, Y|Z) = H(X|Z) 4. pX,Y (xi , yj ) pX (xi ) · pY (yj ). H(X|Y, Z). ´ mutua es La regla de la cadena para la informacion I((X, Y), Z) = I(X, Z) + I(Y, Z|X). 5. I((X1 , X2 , · · · , XN ), Y) = I(X1 , Y) + I(X2 , Y|X1 ) + · · · + I(XN , Y|X1 , · · · , XN. 1). ´ de informacion ´ mutua se obtiene la definicion ´ de entrop´ıa A partir de la definicion I(X, X) = H(X) c Marcelino L´azaro, 2014. ´ Teor´ıa de la Comunicacion. ´ Teor´ıa de la Informacion 26 / 50.

(14) ´ mutua y entrop´ıa Relaciones informacion. I(X, Y) =. MX X 1 MX Y 1 i=0. =. MX X 1 MX Y 1 i=0. =. j=0. MX X 1 MX Y 1 i=0. =. j=0. MX X 1 i=0. j=0. pX,Y (xi , yj ) · log pX,Y (xi , yj ) · log. pX|Y (xi , yj ) pX (xi ). MX X 1 MX Y 1 1 pX,Y (xi , yj ) · log + pX,Y (xi , yj ) · log(pX|Y (xi , yj )) pX (xi ) i=0 j=0. pX (xi ) · log. I(X, Y) = H(X). pX,Y (xi , yj ) pX (xi ) · pY (yj ). 1 pX (xi ). MX X 1 MX Y 1 i=0. j=0. pX,Y (xi , yj ) · log. H(X|Y) = H(Y). c Marcelino L´azaro, 2014. 1 = H(X) pX|Y (xi , yj ). H(Y|X) = H(X) + H(Y). ´ Teor´ıa de la Comunicacion. H(X|Y). H(X, Y). ´ Teor´ıa de la Informacion 27 / 50. ´ mutua y entrop´ıa (II) Relaciones informacion I(X, Y) = H(X). H(X|Y) = H(Y). H(Y|X) = H(X) + H(Y). H(X, Y). ´ en un diagrama de Venn Representacion I. ´ mutua representadas por areas ´ Entrop´ıas e informacion H(X, Y) ..................................................................... ............................................. ............ ......... ................ ............ ......... ........................... .......... . . . . . . ........ .. .. ... ....... ....... ...... . .... . . . . . . ...... .... .. . . . . . . . .... .... .. . ..... . .... ... . . . .. .... ... .. .. .. ... ... .. .. ... ... . . ... ... ... .. .. .. .. .. .. .. .. .. .. .. .. . . ... .. . .. . . .. . . . ... . ... . . . ... ... .. .. ... .. ... .. .... .. .... ... . . . . . . . . .... .... .. ... ....... .... .... ....... ....... .... ...... ........... ....... . ...... . . . . . . . .. ....... . .. .......... ....... ....................... .......... ....................... ............. ................. .......... ................................................... ................................. H(X|Y). I(X, Y). H(X) c Marcelino L´azaro, 2014. H(Y|X). H(Y). ´ Teor´ıa de la Comunicacion. ´ Teor´ıa de la Informacion 28 / 50.

(15) ´ mutua Diagrama de Venn - Entrop´ıas e informacion H(X, Y). H(X|Y). I(X, Y). H(X). H(Y|X). H(X): H(Y): H(X, Y): H(X|Y): H(Y|X): I(X, Y):. + + +. +. H(Y). ´ Teor´ıa de la Comunicacion. c Marcelino L´azaro, 2014. ´ Teor´ıa de la Informacion 29 / 50. Entrop´ıa diferencial ´ de las definiciones de entrop´ıa a variables aleatorias Extension continuas Z 1 1 h(X) = fX (x) · log dx fX (x) 1 ´ de entrop´ıa diferencial conjunta Definicion Z 1Z 1 h(X, Y) = fX,Y (x, y) log 1. 1. 1 dx dy fX,Y (x, y). Lo mismo se hace para la entrop´ıa diferencial condicional Z 1Z 1 1 h(X|Y) = fX,Y (x, y) log dx dy fX|Y (x|y) 1 1 ´ alternativa pero equivalente A menudo se utiliza la definicion Z 1 Z 1 1 h(X|Y) = fY (y) fX|Y (x|y) log dx dy fX|Y (x|y) 1 1 c Marcelino L´azaro, 2014. ´ Teor´ıa de la Comunicacion. ´ Teor´ıa de la Informacion 30 / 50.

(16) ´ mutua - Relaciones Entrop´ıa diferencia e informacion ´ de la informacion ´ mutua Definicion Z 1Z 1 fX,Y (x, y) I(X, Y) = fX,Y (x, y) · log dx dy f (x) · f (y) X Y 1 1 Se mantienen las mismas relaciones que para variables discretas h(X, Y) = h(X) + h(Y|X) = h(Y) + h(X|Y) I(X, Y) = h(Y) h(Y|X) = h(X) h(X|Y) = h(X)+h(Y) h(X, Y). c Marcelino L´azaro, 2014. ´ Teor´ıa de la Comunicacion. ´ Teor´ıa de la Informacion 31 / 50. L´I MITES F UNDAMENTALES EN. S ISTEMAS DE C OMUNICACIONES. c Marcelino L´azaro, 2014. ´ Teor´ıa de la Comunicacion. ´ Teor´ıa de la Informacion 32 / 50.

(17) ´ fiable sobre canales no fiables - Ejemplo Transmision a ⌘ 00 b ⌘ 01 c ⌘ 11 d ⌘ 10. 2 sXX s z X XXX ⇢ ⇢ XXX > 1 1 ⇢ 1 X 2 2 X ⇢ 2 X sXX Xs z X XXX ⇢⇢ X 1 1⇢XXX 2 XX ⇢2 sX Xs XX z X⇢ X XXX ⇢ 1 XXX 1 ⇢2 2 X s ⇢ Xs 1. a ⌘ 00 b ⌘ 01 c ⌘ 11 d ⌘ 10. ´ por uso del canal 4 s´ımbolos ⌘ 2 bits de informacion El canal no es fiable - Se comenten errores I I I. Probabilidad de error de s´ımbolo es Pe = 1/2 ´ binaria de Gray BER = 1/4 Con asignacion Los errores se producen porque dada una salida no es posible identificar de forma un´ıvoca el s´ımbolo transmitido F. Por ejemplo: si se observa a, esto puede ser porque - Se ha transmitido a (sin error) - Se ha transmitido d (con error). c Marcelino L´azaro, 2014. ´ Teor´ıa de la Comunicacion. ´ Teor´ıa de la Informacion 33 / 50. ´ fiable sobre canales no fiables - Ejemplo (II) Transmision ´ para transmitir informacion ´ de forma fiable Opcion I. Transmitir un subconjunto de los s´ımbolos F. I. S´ımbolos que generen salidas “sin solapamiento”. ´ ayc Ejemplo: transmitir solo. a puede dar como salidas a o b c puede dar como salidas c o d Dada una salida no hay incertidumbre en el s´ımbolo transmitido !!! F F. ´ sobre este canal con Es posible transmitir informacion probabilidad de error nula I. ´ fiable Coste de la transmision F. ´ Por cada uso del canal se transmite menos informacion - En este caso: 2 s´ımbolos ⌘ 1 bit por uso del canal. Los canales habituales no permiten esto de forma directa I. ´ Alternativa: forzar un comportamiento similar - Codificacion F F. No se busca probabilidad de error nula (sin solapamientos) Se busca poder reducir la probabilidad de error de forma arbitraria - Solapamientos con probabilidad arbitrariamente baja. c Marcelino L´azaro, 2014. ´ Teor´ıa de la Comunicacion. ´ Teor´ıa de la Informacion 34 / 50.

(18) ´ Codificacion. 0. 1. Se utiliza el canal n veces de forma conjunta I Definicion ´ de s´ımbolos extendidos: grupo de n s´ımbolos Se busca un subconjunto de s´ımbolos (2k ) que produzcan “bajo solapamiento” en la salida I Se transportan k bits de informacion ´ por cada n usos del canal ´ Ejemplo: canal binario simetrico (BER = ") con n = 3 000 ..s..........................................................................................................................................................................................................................................s 000 s HH H s. 1 -". HH H. 1. *". s 0. HH " j H H HH Hs. ". 001. s 001. s. s 100. s. 010. s 010. s. 011 100. 1. s. . . .............................. .................. ..................... ......... .................. ............................ ............... ...... ......... ............................................................. ........................................................ .......................... ............. ............... ..... ..................... ............................. ......... . . . . . . . . . . . . . . . . . . . .. . .. ...... .... .................................................................................................................................................................................................................................................................... .............. ...... ........................................... ........................................................ ................ .............................. ... ..................................... .......................................... .................................... ................................................... ...... ........................................... ....... ............................................... ........................... ......................................... ........................................ ........................ ...................................... ...................... ..................... ......................................... ............................................................................................................................................................................................................................................................................................................ ................................................. .................... .................... ................................................. ......................... ...... ............................ ............. ........... .................................... ....................... ...................................... ........................................................... .................................... ...................................... ..................................................... ............. ........... ........... ................................................................................................................... .......................................................................................................................... . . . . . . . . . ............................................................................................................................................................................................................................................................................................................................ ................................................ .......................... ......................... ......... ..................................... ........................ .... ......................................... ................ .................................... ....................... .......................................... ............................................................... ........................................ . . . .. .... . . ... . ... . . . .. .. . . . ............................ ....................................... .......................................... ........................... . . .................................................................................... ................................................. ................................................ ............................................................................................... . . . . . .............................................................................................................................................................................................................................................. ............................................... .......................... ...................... .......... .................................. .................... .... ....................... ............ ............. .................................. .................... ..................................... ........................................................... ......................................... ................. ................ ................................................................................................ .................. ................. ............................................................................................. ....................................... .......................................................................................................................................... ................................................................................................................................................................................................. .................................. ............ ..................... ...................... ............ .... ............................ .............. .................. ........ ....... ...... ................................. ........... .......................... ......................................... . ............................................ ............................. ............................................................................................................................................................................................................................................. . . . . .. . . ................................................ ............. ............. ..... ................. ...................... ............................................................................................................................................................................................................................................................................ .......... ..... ....................... ..... . .. .. .. ............................. ................ ............................................................................. ................................ ........... ......................... .. . .. .. .. ...................... ........... ........ ......................... ............................................ .................................. ..................... .......................................... ... .. .... ........................................................... . ............................................................................................................................................. s 011. s. 101. s 101. s. 110. s 110. s. 111. s 111. ´ Teor´ıa de la Comunicacion. c Marcelino L´azaro, 2014. ´ Teor´ıa de la Informacion 35 / 50. ´ (II) Codificacion. ´ probables (para " razonablemente bajo) Situaciones mas I. 0 errores o 1 error sobre 3 bits - 4 ramas/s´ımbolo (en negro). Situaciones menos probables I. 2 errores o 3 errores sobre 3 bits - 4 ramas/s´ımbolo (en verde). Subconjunto de 2k (k < n) elementos con “bajo solapamiento” Ejemplo: 000 y 111 (k = 1) 000 000 ..q.....................................................................................................................................................................................................................................q 000 ....................................... ....................................... q .....................................................................................................................................................................................q . 001 001 ........................................................................................................................................................... 001 ............................................ ............................................ .q.............................................................................................................................................................................................................q . 010 010 ................................................................................................................................................................ 010 ............... ....................... .......................................... ............................................................................................................................................................................................................................q q . . 011 011 ............................................................................................................................................................................................ 011 ............... ...................... ...................................... .q................................................................................................................................................................................................................................q . 100 ................................................................................................................................................................................ 100 100 ................... .................. .................... ................... .q......................................................................................................................................................................................................................q . 101 101 ........................................................................................................................................................... 101 .......................................... ....................... ................... .q............................................................................................................................................................................................q . 110 110 .................................................................................................................................. 110 . . . ........................................ ...................................... ..q............................................................................................................q 111 111 111. I. q q q q q q q q. q q q q q q q q. .............................................................................................. ......................................... ... .............................. ................. ... .... ......................... ........... .............. ....... ......... ........................... ............... ...... .......... .. ... ......... ..... ....... .......... ... ......... ..... ....... ............. ...... .... ..... ...... ... ... ......... ... ... ... ..... ........ .. ... ... ... ... ...... ... ........ ... ... ... ... ..... .. ........ ... .... ...... ........ ... ...... ... ... ........ ....... ..... ... ..... .... ....... ...... ... . . .. . ... .. ..... ..... ...... ......... ....................... ............... ........... . . .................................. ............... .. .. .. .... ... ...... .. ...... ... ...... ......... ... .... ........................ ............. ...... .................... . . . . . .. .. .... . ............... ........ ........... ..... ...... .. . ............... ....... .......... ..................................................... ................................... . . ... ............................ .................. . .......................................................................................................................... 000 001 010 011 100 101 110 111. 000 001 010 011 100 101 110 111. q q q q q q q q. q q q q q q q q. ............................................................................................. ................................. ...... ........... .................... ................. ...... ........... ....... ... ...... ...... .................. .......... ...... .......... ...... ... ...... ...... ...... ...... ...... ...... ............ ..... ...... ......... . . . . . .. . . . . . ...... ...... ...... . ........ . . . . ......... .. .......... . ...... . . . . . . . . . . . . . ... ...... .......... .............. ...... ........... .................... ........................................................ . . . . . . . ................................................................................. 000 001 010 011 100 101 110 111. Despreciando los enlaces de “baja probabilidad” no hay solapamiento I I. ⇥ ⇤ Probabilidad de error: Pe = 3 ⇥ "2 · (1 ") + "3 F Ejemplo A: " = 0,1 ! Pe = 0,028 Ejemplo B: " = 0,01 ! Pe = 0,000298 ´ transmitida: 1 bit (k) de informacion ´ por cada 3 (n) usos del canal Informacion F Tasa R = k/n = 1/3. ´ aumentando n y k (con k/n constante) se puede reducir mas ´ Intuicion: I. Existe un l´ımite: Capacidad de canal c Marcelino L´azaro, 2014. ´ Teor´ıa de la Comunicacion. ´ Teor´ıa de la Informacion 36 / 50.

(19) ´ de canal para proteccion ´ frente a errores Codificacion ´ de redundancia estructurada para reducir la Introduccion probabilidad de error. ´ (conjunto de ´ındices) Bloques de k s´ımbolos de informacion se transforman en bloques de n bits (paralbras del codigo). I. F. ´ Diccionario del codigo. ´ ´ Ejemplo de diccionario del codigo para dos codigos binarios ´ ´ Conjunto de ´ındices Palabras codigo Conjunto de ´ındices Palabras codigo 0 000 00 00000 1 111 01 10101 10 01110 11 11011 ´ Codigo de ejemplo C(1, 3). ´ Codigo de ejemplo C(2, 5). Codificador DMC. B[l] -. ..... k. 12. ..... X[i] n 12. c Marcelino L´azaro, 2014. DMC. Decodific. DMC. Y[i] -. ..... 12. ˆ..... B[l] k 12. n. ´ Teor´ıa de la Comunicacion. ´ Teor´ıa de la Informacion 37 / 50. ´ de canal Teorema de codificacion C = m´ax I(X, Y) pX (xi ). ´ de canal (Shannon 1948): Teorema de codificacion 1. 2. 3. ´ R es menor que C, entonces para cualquier Si la tasa de transmision ´ > 0 existe un codigo con una longitud de bloque n suficientemente larga cuya probabilidad de error es menor que ´ Si R > C, la probabilidad de error de cualquier codigo con cualquier longitud de bloque esta´ limitada por un valor no nulo ´ Existen codigos que permiten alcanzar la capacidad del canal R = C Codificador DMC. B[l] -. ..... 12. k. ..... X[i] n 12. DMC. Decodific. DMC. Y[i] -. ..... 12. ´ Tasa del codigo: R= c Marcelino L´azaro, 2014. k n. ´ Teor´ıa de la Comunicacion. n. ˆ..... B[l] k 12. ´ Teor´ıa de la Informacion 38 / 50.

(20) Capacidad de canal ´ ´ que se puede transmitir de Maxima cantidad de informacion ´ de un canal de comunicaciones en un forma fiable a traves sistema digital de comunicaciones I I. ´ se produce una distorsion ´ En la transmision F. ´ ´ Potencial perdida de informacion. F. ´ sin perdida ´ ´ Transmision potencial de informacion ´ En la practica: capacidad para reducir la probabilidad de error tanto como sea necesario. ´ fiable - Definicion ´ Transmision F. I. Capacidad de canal F. I. L´ımite en el numero de s´ımbolos con solapamiento ´ arbitrariamente bajo cuando el numero de usos del canal ´ tiende a infinito. ´ al concepto de codificacion ´ de canal Introduccion F. ´ fiable Mecanismo que permite una transmision. ´ los siguientes casos: Se estudiaran I. Canal digital F. I. El canal digital binario se considera un caso particular. Canal gaussiano c Marcelino L´azaro, 2014. ´ Teor´ıa de la Comunicacion. ´ Teor´ıa de la Informacion 39 / 50. ´ de la informacion ´ mutua Capacidad de canal a traves ´ mutua entre la entrada y la salida de un DMC Informacion I(X, Y) = H(X). H(X|Y). ´ Analisis para un BSC con BER = " en dos casos extremos I. ´ Caso optimo: "=0 F. I. H(X|Y) = 0 ! I(X, Y) = H(X). Peor caso: " = 1/2 F. H(X|Y) = H(X) ! I(X, Y) = 0 ! X e Y independientes. Se pueden extraer las siguientes conclusiones 1. 2. ´ mutua entre entrada y salida del canal se puede ver como la La informacion ´ que pasa de la entrada a la salida cuando el canal es cantidad de informacion utilizado. En el caso en que la probabilidad de error es nula, pasa toda la ´ (I(X, Y) = H(X)), y en el caso en que la entrada y la salida son informacion ´ (I(X, Y) = 0). estad´ısticamente independientes se “pierde” toda la informacion ´ que se “pierde” en el canal, y H(X|Y) puede interpretarse como la informacion ´ que “atraviesa” el canal, I(X, Y), es igual a la informacion ´ que as´ı la informacion hay a la entrada, H(X), menos la que se pierde, H(X|Y). Cuando la probabilidad de ´ error es nula la perdida es nula, y cuando la entrada y la salida son estad´ısticamente independientes, la perdida es total, es decir, igual a la ´ a la entrada del canal. informacion c Marcelino L´azaro, 2014. ´ Teor´ıa de la Comunicacion. ´ Teor´ıa de la Informacion 40 / 50.

(21) Capacidad de canal para un canal digital ´ formal para un DMC Definicion C = m´ax I(X, Y) pX (xi ). Sus unidades son bits (o bits por uso de canal) I. ´ es respecto de las probabilidades de los La maximizacion s´ımbolos de entrada F. Hay que buscar las pX (xi ) que maximizan I(X, Y). Valores l´ımite I I I. C 0, ya que I(X, Y) 0 C  log MX , ya que C = m´ax I(X, Y)  m´ax H(X) = log MX ´ C  log MY , por la misma razon. ´ Teor´ıa de la Comunicacion. c Marcelino L´azaro, 2014. ´ Teor´ıa de la Informacion 41 / 50. ´ Ejemplo - Canal binario simetrico. Modelo para canal digital binario con BER = " ´ ´ mutua entrada / salida Calculo de la informacion I(X, Y) =H(Y). =H(Y). H(Y|X) = H(Y) 1 X i=0. =H(Y). 1 X i=0. =H(Y). 1 X i=0. 2. pX (xi ) · 4. 1 X i=0. 1 X j=0. pX (xi ) · H(Y|X = xi ) 3. pY|X (yj |xi ) · log pY|X (yj |xi )5. pX (xi ) · [ " · log("). (1. pX (xi ) · Hb (") = H(Y). ") · log(1. ")]. Hb ("). ´ Calculo de la capacidad de canal I Se busca el maximo ´ ´ mutua de la informacion F F F. ´ Para este canal, se obtiene cuando H(Y) es maxima ´ H(Y) es maxima cuando los s´ımbolos de salida son equiprobables Para este canal, ocurre cuando los s´ımbolos de entrada son equiprobables. C=1 I. Hb ("). Probabilidades de X que maximizan I(X, Y): pX (x0 ) = pX (x1 ) = c Marcelino L´azaro, 2014. ´ Teor´ıa de la Comunicacion. 1 2. ´ Teor´ıa de la Informacion 42 / 50.

(22) ´ con restricciones Capacidad: problema de maximizacion ´ El problema del calculo de la capacidad de un canal digital se ´ de una puede plantear como un problema de maximizacion ´ con restricciones funcion I. ´ a maximizar Funcion F. I. Variables sobre las que se maximiza F. I. ´ mutua entre entrada y salida del canal I(X, Y) Informacion X Probabilidades de los s´ımbolos de entrada {pX (xi )}M i=0. 1. Restricciones F. Valor de cada probabilidad 0  pX (xi )  1, para i 2 {0, 1, · · · , MX. F. 1}. Suma de todas las probabilidades MX X 1. pX (xi ) = 1. i=0. ´ anal´ıtica puede ser dif´ıcil En general encontrar una solucion I I. ´ para canales “sencillos” Soluciones anal´ıticas solo ´ ´ ´ Calculo mediante metodos numericos utilizando ordenadores c Marcelino L´azaro, 2014. ´ Teor´ıa de la Comunicacion. ´ Teor´ıa de la Informacion 43 / 50. ´ en un canal digital L´ımites para la transmision Un canal digital tiene una capacidad C bits/uso I. ´ ´ Si se utilizan codigos de canal, los codigos practicos (aquellos que permiten reducir la probabilidad de error de ´ tener una tasa de codificacion ´ forma arbitraria) deberan menor que dicha capacidad R<C. ´ practica ´ ´ ´ Limitacion en terminos de velocidad de transmision ´ para proteccion ´ efectiva cuando se utiliza codificacion frente a errores I. ˜ Sistema disenado para transmitir a Rb bits/s. ´ Refectiva = R ⇥ Rb bits de infomacion/s b F. ´ efectiva L´ımite en la tasa de transmision ´ Refectiva < C ⇥ Rb bits de infomacion/s b c Marcelino L´azaro, 2014. ´ Teor´ıa de la Comunicacion. ´ Teor´ıa de la Informacion 44 / 50.

(23) Capacidad de canal para el canal gausiano ´ entrada salida en un canal gausiano Modelo de relacion Y =X+Z Z es una variable aleatoria gausiana, de media nula y varianza PZ. Capacidad de canal en las siguientes condiciones: I I. Potencia transmitida: PX watt. Ancho de banda: B Hz F. Potencia de ruido: PZ = N0 B watt.. ´ ´ de la informacion ´ mutua Calculo a traves C=. m´ax. fX (x) | E[X 2 ]PX. I(X, Y). ´ E[X 2 ]  PX dada por la limitacion ´ en potencia Restriccion. Resultado. ✓. PX C = B · log 1 + N0 B. Se obtiene para fX (x) gausiana c Marcelino L´azaro, 2014. ◆. bits/s. ´ Teor´ıa de la Comunicacion. ´ Teor´ıa de la Informacion 45 / 50. Capacidad de canal para canal gausiano (II) Capacidad sobre canal gausiano en las siguientes condiciones: Potencia transmitida: PX watt. Ancho de banda: B Hz Hiper-esferas n-dimensionales p de radio nPZ ⌘x ⌘y=x+z. I. Potencia de ruido: PZ = N0 B watt.. Capacidad obtenida a partir del nume´ ro de secuencias sin solapamiento Mss =. Hiper-esfera n-dimensional de p radio n(PX + PZ ). c Marcelino L´azaro, 2014. ✓. PX 1+ PZ. ◆n/2. ✓ ◆ log Mss 1 PX C= = log 1 + n 2 PZ ✓ ◆ 1 PX C = · log 1 + bits/uso 2 N0 B. ⇣. C = B · log 1 + ´ Teor´ıa de la Comunicacion. PX N0 B. ⌘. bits/s. ´ Teor´ıa de la Informacion 46 / 50.

(24) ´ de la capacidad de canal Evolucion Capacidad del canal gausiano ✓ ◆ PX C = B · log 1 + bits/s N0 B ´ Depende de dos parametros I I. ˜ transmitida, PX Potencia de la senal Ancho de banda disponible en Hz, B. ´ de la potencia transmitida PX Capacidad de canal en funcion l´ım C = 1. PX !1 I I. Se puede aumentar C de forma arbitraria aumentando PX Aumento lineal de C requiere aumento exponencial de PX. ´ del ancho de banda (B Hz) Capacidad de canal en funcion P P l´ım C = log2 (e) = 1,44 · B!1 N0 N0 I. El incremento de B no permite un incremento arbitrario de C c Marcelino L´azaro, 2014. ´ Teor´ıa de la Comunicacion. ´ Teor´ıa de la Informacion 47 / 50. ´ en un canal gausiano L´ımites para la transmision Algunas definiciones I I I I I. ´ binaria: Rb bits/s Tasa de transmision ´ senal ˜ a ruido: SNR = PPXZ = NP0XB Relacion. Tasa binaria (eficiencia) espectral: ⌘ = RBb bits/s/Hz Energ´ıa media por bit: Eb = PRXb ´ Eb /N0 : NEb0 = RPb NX 0 = NP0XB ⇥ RBb = SNR Relacion ⌘. ´ Sistema de comunicaciones practico. Rb < C ! Rb < B · log (1 + SNR) bits/s I. Dividiendo por B en ambos lados y reordenando ✓ ◆ Eb ⌘ < log (1 + SNR) , ⌘ < log 1 + ⌘ · N0 Eb 2⌘ 1 ⌘ SNR > 2 1, > N0 ⌘ Cuando ⌘ ! 0. c Marcelino L´azaro, 2014. Eb N0. = ln2 = 0,693 ⇡. ´ Teor´ıa de la Comunicacion. 1,6 dB ´ Teor´ıa de la Informacion 48 / 50.

(25) Tasa binaria espectral frente a Eb /N0 Se representa sobre el plano ⌘ vs I. Eb N0. la curva. Eb N0. =. 2⌘ 1 ⌘. ´ Divide el plano en dos regiones: sistemas con Rb > C (practicos) y con Rb > C Rb B. ⌘=. bits/s/Hz Rb > C. 10+1. Rb < C. 1 5. 1,592. 10. 10. 15. 20. Eb N0. (dB). 1. ´ Teor´ıa de la Comunicacion. c Marcelino L´azaro, 2014. ´ Teor´ıa de la Informacion 49 / 50. ´ senal ˜ a ruido normalizada Relacion Cota inferior para SNR SNR > 2⌘. 1. ´ de SNR normalizada Definicion SNRnorm =. SNR 2⌘ 1. Cota inferior sobre SNRnorm SNRnorm > 1 (0 dB). c Marcelino L´azaro, 2014. ´ Teor´ıa de la Comunicacion. ´ Teor´ıa de la Informacion 50 / 50.

(26)

Nuevo documento

Durante los cuatro años de carrera he podido aprender diferentes métodos y materiales para tratar heridas, pero en estas últimas dos décadas ha surgido un tratamiento avanzado basado en

PAUTAS DE CRIANZA Y SU INCIDENCIA EN EL DESARROLLO COGNITIVO INFANTIL En primera instancia es importante establecer, que las prácticas de crianza pasan de abuelos a padres, y de padres

BUCARAMANGA CALARCÁ CALI CARTAGO ENVIGADO ESPINAL FACATATIVÁ GIRARDOT IBAGUÉ MEDELLÍN MONTERÍA NEIVA PASTO PEREIRA POPAYÁN QUIBDÓ SANTA MARTA VILLAMARÍA / CALDAS VILLAVICENCIO

Si una mujer después de haber pasado por una cesárea, decide pasar por un parto vaginal en su siguiente embarazo, las complicaciones potenciales que este pueda tener son mayores que las

Coherencia metodológica: La presente propuesta se realizará con padres víctimas de abuso sexual infantil que pertenecieron a ICBF de Villavicencio, el objetivo de esta propuesta es

Objetivos El objetivo general de esta revisión bibliográfica es conocer qué dice la literatura científica más actual acerca de las soluciones más efectivas para el sellado de las luces

Pausas activas empresariales con finalidad en mejorar la jornada laboral en la empresa Acción plus SA Introducción: Las pausas activas presentan vital importancia para el bienestar y

Realizaron un estudio de tipo descriptivo donde usaron la prueba de APGAR familiar modificado para Colombia por Arias 2006 con una consistencia interna de 0.793 el cual mide la

Efectos de la implantación del LVQ en la comunicación interdisciplinar y el trabajo en equipo: Como ya se ha mencionado antes, el LVQ es una simple y económica herramienta, a través de

La humedad por capilaridad es muy susceptible a los eventos de lluvia, es decir que frecuentemente se evidencia la zona mucho más afectada después de que ocurra el fenómeno