UNIDAD Nº 1: NOCIONES SOBRE TEORÍA DE LA INFORMACIÓN
Cantidad de información.
Recordemos que Información es todo lo que provee conocimiento sobre una entidad o sus atributos (estado, temperatura, color, cambios, pensamiento, opinión, costo, etc.)
Sabemos que no toda la información es igualmente importante o valiosa. Es intuitivo valorar más o prestar más atención a aquélla información de eventos poco probables o de menor recurrencia. Por ejemplo, percibimos como información de mayor valor saber que en la lotería del domingo ganará el número 04313 que conocer que ese domingo jugará la lotería.
Ahora bien: puede medirse en forma objetiva la cantidad de información? La respuesta es sí, y el primer ensayo para obtener una medida de la información lo efectuó Hartley en 1928.
El marco conceptual para objetivar la medición de la cantidad de información se establece valorizando la misma según su probabilidad de ocurrencia o disponibilidad, de modo que el reconocimiento de un evento con baja probabilidad de ocurrencia provee mayor información que el de otro evento con probabilidad mayor.
Como ejemplo consideremos que tenemos un dado típico de 6 caras y lo arrojamos sobre la mesa, sucediendo:
1. El dado muestra un número en la cara superior (información) 2. El dado muestra un número par en la cara superior (+ información) 3. El dado muestra el número 2 en la cara superior (++ información)
Es instintivo que el último suceso provee mayor información que el anterior, y este último que el anterior. En efecto es obvio que cada suceso tiene las siguientes probabilidades de ocurrencia:
1. 100% (el dado siempre mostrará un número) 2. 50% (la mitad de los números del dado son pares) 3. 16,7 % (cada número tiene una chance de 1 en 6 de salir)
La asociación entre la cantidad de información y la probabilidad de ocurrencia de un suceso está dada por:
donde:
u.i = unidades de información (Shanon [Sh] o "bit", que no debe confundirse con el Binary Digit). Para
no confundir nombraremos a la unidad como Sh. p = probabilidad de ocurrencia del suceso.
De acuerdo a lo anterior las cantidades de información provistas por cada suceso anterior son:
I1 [Sh] = Log2 (1/1) = 0
I2 [Sh] = Log2 (1/0,5) = 1
I3 [Sh] = Log2 [1/(1/6)] = 2,58
Ejemplo TI 1:
Un sistema provee información de 4 alarmas equiprobables de una caldera (temperatura máxima, temperatura mínima, presión máxima y presión mínima) codificadas en una palabra digital de dos dígitos binarios. Cuál es la información que provee la actuación de cualquiera de las alarmas?
p = 1/4
I [Sh] = Log2 [1/(1/4)] = 2
Ejemplo TI 2:
Cuantos colores pueden representarse con 8 dígitos binarios, y cual es la información que cada color representa considerando todos igualmente probables?
8 d. binarios = 256 colores p color = 1/256
I [Sh] = Log2 [1/(1/256)] = 8
Ejemplo TI 3:
Una fuente de señal produce los símbolos A,B, C y D con probabilidades 1/2; 1/4; 1/8 y 1/8 respectivamente. Calcular la información que provee cada símbolo. Si los símbolos son independientes calcular la información que provee el mensaje BACA.
IA [Sh] = 1; IB [Sh] = 2; IC [Sh] = 3; ID [Sh] = 3
IBACA[Sh] = 2 + 1 + 3 + 1 = 7
Velocidad (Tasa) de información
Es la cantidad de información por unidad de tiempo: R [Sh / seg] = dI / dt
Ejemplo TI 4:
Una fuente de información tiene 16 símbolos equiprobables, que transmite en bloques de esa longitud de forma continuada a razón de 1 mseg por bloque. Calcular la tasa de información de la fuente.
p símbolo = 1/16
I símbolo [Sh] = Log2 [1/(1/16)] = 4
I bloque [Sh] = 16*4 = 64 Sh
R [Sh/seg] = 64/0,001 = 64.000 Sh/seg
Ejemplo TI 5:
Una fotografía digital fue sacada con una resolución de 800 pixels horizontales por 600 verticales. La información de brillo y color de cada píxel ocupa 3 bytes. a)¿Cuánta información tiene la fotografía? b) ¿cuántos bits de memoria harían falta para almacenarla?c)¿cuánto se tardaría en traspasarla a una memoria a razón de 64 kbps?.
a)
I pixel [Sh] = 3 x 8 = 24 (porque en 1 bit cabe 1 Sh de información) I foto [Sh] = I pixel [Sh] x N° píxel = 24 x 800 x 600 = 11.520.000 [Sh] b)
N° bits foto = I foto [Sh] = 11.520.000 bits (porque 1 Sh ocupa 1 bit) c)
dT = I[Sh]/R [Sh/seg] = N° bits foto [bits] / Vel. Binaria [bits/s] = 11.520.000 / 64.000 = 180 segundos
Capacidad máxima de información sobre un canal
Un canal de comunicaciones de señal continua (analógica) posee la siguiente capacidad máxima teórica de transmisión de información:
Donde:
B = ancho de banda en Hz (limita la velocidad de Tx de señales binarias teóricamente hasta 2*B [bps] S/R = relación de potencias entre señal y ruido. Se calcula como el cociente entre la potencia de la señal y la potencia de ruido. (no confundir aquí R con la tasa de información).
Como para señales binarias con estados equiprobables cada bit (dígito binario) transporta 1 Sh, lamentablemente es común expresar C en bits/s, lo que induce al error de considerar que la capacidad calculada se aplica sólo a señales binarias.
Justificación de la fórmula:
En 1927 Nyquist determinó que el número de pulsos/seg. independientes que podían pasar a través de un canal de telégrafo estaba limitado a dos veces el ancho de banda del canal. O sea fp = 2B, donde fp es la frecuencia del pulso [pulsos/s] y B es el ancho de banda (en hercios).
En 1928 Hartley demostró que si la amplitud de la señal transmitida está limitada entre -A y +A voltios, y la resolución del receptor es +/- V voltios, entonces el número M máximo de estados distintos que se pueden reconocer en el pulso se calcula como M = 1 + A/ V. Consecuentemente la máxima información que puede haber con tal pulso sería: Imáx = log2 (1+A/ V).
Pero esto es muy optimista (da valores más grandes que la realidad) porque no se considera el efecto del ruido, que cuando se suma a la señal puede hacer que del nivel real del escalón de tensión pase a otro superior o inferior, haciendo que el receptor cometa un error de detección.
Hacia 1948 Claude Shannon completó lo estudiado por Nyquist y Hartley considerando el efecto del ruido, planteando que M es función de la relación entre los niveles de la señal y del ruido.
Si S es la potencia de la señal pura y R la potencia del ruido que se suma a la misma, al receptor llega la
potencia S + R, y como V =
P
[ ] [ ]
W
×
Z
ohm
entonces es fácil deducir que M =R
R
S
+
=. Entonces la
información máxima posible en la señal sería: Imáx = log2
R
R
S
+
.
Si tenemos en cuenta además que la velocidad máxima de símbolo (pulso de señal) es fp = 2B, tenemos la fórmula para la máxima velocidad de información posible en el canal, o sea la CAPACIDAD de INFORMACIÓN del canal C.
-1,5 -1,0 -0,5 0,0 0,5 1,0 1,5 2,0 2,5
0 5 10 15 20 25 30 35 40 45 50
Transmisión Ruido Recepción
C = fp x I(M) = 2B x log2
R
R
S
+
= 2B x log2
(
1+S R)
12 = B x log2(
1
+
S
R
)
[Sh/s]Utilidad de la fórmula
Esta fórmula también resulta optimista porque el ruido considerado no abarca todos los tipos (impulsivos, diafonía, etc.) y porque supone un canal ideal sin distorsión ni atenuación. Cuantitativamente sirve para saber que la tasa o velocidad de información por el canal será inferior a C [Sh/s] (o [bps] porque en 1 bit cabe 1 Sh).
Cualitativamente la fórmula nos indica que la tasa de información es DIRECTAMENTE proporcional al ancho de banda B del canal, y LOGARITMICAMENTE proporcional a la potencia de la señal con respecto al ruido. Por eso es importante disponer de suficiente ancho de banda, y minimizar en todo lo posible el ruido.
Las líneas telefónicas poseen un ancho de banda normalizado de 3100 Hz, con una relación S/R del orden de 1000. El cálculo nos dirá que con potencias de 1 mW no pueden transportarse más de 30.000 [Sh/s]. En cambio las fibras ópticas son medios de transmisión que se consideran de ancho de banda prácticamente infinito, y con ruido de canal despreciable. Esto explica que con potencias de señal óptica inferiores al miliwatt se pueda transmitir enormes cantidades de información por segundo, de orden superior a los Terabits/seg.
Los modems para transmisión de información digital por línea telefónica más modernos (que cumplen con la recomendación UIT V.90 o posterior) pueden alcanzar los 56.000 bits/s, pero efectuando una compresión de la información previo a modularla para su trasmisión sobre el canal telefónico. Así se logra disminuir la cantidad de información a intercambiar.
Ejemplo TI 6: Calcular
a- la capacidad teórica de transporte de información de un canal telefónico estándar, con B = 3100Hz, Ps = 1 mW y Pr = 1 microW. b- la misma capacidad expresada en bit/s equivalentes. c- la capacidad real si la velocidad de símbolo máxima sin error de recepción fuera 70% de la máxima teórica.
Resolución
a - C = 3100 x Log2 (1 + 0,001/0,000001) = 30.898 [Sh/s]
b – Como 1 bit “rinde” 1 Sh la capacidad equivalente será 30.898 [bit/s] c - Creal = C [Sh/s] * 70/100 = 21.628 [Sh/s] y la equivalente 21.628 [bit/s]
Ejemplo TI 7-a:
Un satélite pasó frente a Saturno transmitiendo imágenes hacia la tierra, con una resolución de 450 x 250 pixel, c/u con 16 niveles de gris y 32 colores. El ancho de banda del canal era de 120 Hz, la señal llegaba con una potencia de 7 x 10-17W, el ruido era de 1,9 x 10-20 W y la velocidad de información se mantenía constante en 1/3 de la máxima capacidad del canal. Calcular: a) el tiempo de transmisión para cada imagen - b) El número teórico de diferentes estados del símbolo de Transmisión.
Resolución
Cantidad total de pixel = N° pixel H x N° pixel V = 112500 pixels Ipix =log2(1/p) ; p = [1/(16 x 32)] ; Ipix = log2 (16x32) = 9,0 [Sh/pixel] Iimag =Total pixels x I pix = 1012500 [Sh]
Cmáx = Bxlog2(1+S/R) = 1431,1 [Sh/s]
R = Cmáx/3 = Tasa real de información = 477,0 [Sh/s] dT = Iimag / R = 2124 s = 35,4 min
Velocidad de símbolo máxima = 2B = 240 [símbolo/s]
N° estados símbolo = 2(Info sim [Sh/simb]) = 4,0 estados
Ejemplo TI 7-b: Para disminuir cuatro veces el dT(a) resultante anterior se podría: V - F Aumentar cuatro veces la potencia de la señal
V - F Aumentar la tasa de transmisión de la fuente de señal cuatro veces
V - F Aumentar B y S/R para usar un símbolo de 16 estados al doble de la velocidad
---
Ejercicios para el alumno
Ejercicio TI 1
El fax marca Brother modelo MFC970 transmite la imagen con una resolución de 832 líneas horizontales y 1180 puntos por línea. Si cada punto puede tomar 64 niveles equiprobables de brillo, calcular la información que transporta la imagen.
Ejercicio TI 2
El fax del ejercicio anterior transmite según la recomendación UIT V.32bis. Si transmite 2400 símbolos/seg y cada símbolo tiene 16 estados de representación, calcular cuanto tiempo se tarda en transmitir la imagen. (se desprecian compresión de imagen y bits adicionales de paridad)
Ejercicio TI 3
Recalcular el ejercicio 2 si se transmite con misma tasa de símbolo pero con símbolo de 64 estados.
Ejercicio TI 4-a: Un satélite pasó frente a Marte transmitiendo imágenes hacia la tierra, con una resolución de 250 x 450 pixel, c/u con 64 niveles de gris y 16 colores igualmente posibles. El ancho de banda del canal era de 50 Hz, la señal llegaba con una potencia de 14 x 16W, el ruido era de 3,4 x 10-19 W y la velocidad de información se mantenía constante a 1/2 de la capacidad máxima del canal. Calcular: a) el tiempo de transmisión para cada imagen - b) El número teórico de diferentes estados del símbolo de Transmisión.
(a) dT = ………. [min] | (b) N° estados = ………
Ejercicio TI 4-b: Para disminuir seis veces el dT(a) resultante anterior se podría: V - F Aumentar seis veces la potencia de la señal
V - F Aumentar seis veces el ancho de banda y trabajar con la nueva Cmáxima V - F Aumentar la tasa de transmisión de la fuente de señal seis veces
Ejercicio TI5: Un computador se telecomunica con otro por medio de un MODEM conectado a un canal con ancho de banda 0,5MHz y S/R = 24,5 dB. El modem trabaja con una velocidad de símbolo igual a ¼ de la máxima posible. Calcular: (a) La velocidad de información máxima que podría haber con la otra computadora. (b) La velocidad real a la que la información se intercambia con la otra computadora. (c) La información de cada símbolo. (d) El N° de estados del símbolo. (e) El tiempo que tardaría en transferirse un archivo de imagen con una resolución de 640H x 480V pixel, c/u con 16 niveles de gris y 256 colores igualmente posibles