El inicio de la Teoría de la Información se remonta a los trabajos de Andrei Andreyevich Markovi, en la década de 1.910 sobre procesos estocásticos; en las ideas relacionadas con la transmisión de información del telégrafo como sistema de comunicaciones de Ralp V. Hartley y Harry T. Nyqvist en 1.927-8; en la teoría de la comunicación sobre condiciones técnicas eléctricas en la transmisión de mensajes de Claude E. Shannon publicada en 1.948 y en el ensayo de Warren Weaver que exalta las bondades de la propuesta de Shannon.
En 1.948 Harold Dwight Lasswell, desde el mundo de la publicidad, propone su modelo de comunicación preguntándose: ¿Quién dice que, en que canal, a quién y con qué efecto?, Lasswell estába inmerso en el mundo de la CIA, no sabemos que más cosas buenas hizo.
A partir de aquí la Teoría fue desarrollándose mucho más, criticándose por otras ciencias debido a la parcialidad de la interpretación de información, por ejemplo:
Leon Brillouin dice que en esta teoría “el aspecto humano de la información” se ignora por completo o la idea que A.D. Ursul propone: la información es la incertidumbre eliminada.
Más cerca en el tiempo, en 1.988, Marshall McLuhan dice: “Lo que pasa hoy como teoría de la información no es la comunicación en absoluto, sino simplemente el transporte”.
No existe un marco unificado sobre la Teoria de la Información. En nuestro caso, dentro del ámbito de las TIC, tiene una base matemática importante y a su vez, es una rama también importante de la ingeniería de telecomunicación y computación. Permite entender los procesos que forman la transmisión de información preguntándose:
Qué es la información, cómo se mide, cuánto ocupa, cuándo la comprimo, es segura, etc. A continuación un gráfico con el modelo de un sistema general de comunicación.
Las acciones/actores que se representan en el gráfico son:
- Fuente: Origen o creador del mensaje
- Mensaje: Información para ser transmitida
- Transmisor: Utiliza el codificador y traslada el mensaje a un código (Sistema de símbolos para la comunicación), lo adapta al canal y lo envía.
- Señal: Contenedor en el cual se envía el mensaje (impulsos electromagnéticos, luminosos, etc).
- Canal: Medio a través del cual las señales circulan para ser transmitidas.
- Fuente de Ruido: Distorsiones que afectan a la señal.
- Receptor: Recibe la señal, utiliza el descodificador para descodificarla, analiza la influencia de ruido y la convierte en mensaje.
- Destino. Recibe el menaje.
Cuando transmitimos datos (información), hay una serie de variables que facilitan o perturban la transmisión:
Ancho de banda, velocidad de transferencia, número de canales, ruido, capacidad de almacenamiento, retardo, tasa de errores y otras. Todas estas variables tienen sus medidas y ajustes.
Proposiciones de Sahnnon:
Probablemente la mejor aportación de Shannon fue el concepto de que cada canal de comunicación tiene una cierta tasa de transmisión máxima (ancho de banda) que no se podía supera. Su fórmula para la capacidad en un canal ruidoso es:
La cantidad de información enviada podía realizarse de igual forma usando alta potencia y bajo ancho de banda o alto ancho de banda y baja potencia.
Demostró que en un canal ruidoso, con un ancho de banda bajo, la comunicación podría lograrse sin errores. La forma era mantener la velocidad de transmisión dentro del ancho de banda y almismo tiempo, añadir bits complementarios para la corrección de errores.
El contenido del mensaje es irrelevante, cómo lo representamos sí. La mejor representación es código binario que puede regenerarse sin transmitir errores. Esta es la idea que unifica los mistintos métodos que existían anteriormente en radio, telefonía y telegrafía.
La eficiencia en la representación de datos es importante y la redundancia prescindible. Propone un método de compresión en la fuente, método Shannon-Fano, que no era siempre bueno. Tres años más tarde David Huffman propone su algoritmo de compresión.
Por otro lado no debemos olvidar la entropía de Shannon, esta mide la cantidad de información que contiene una variable aleatoria, es ± la incertidumbre de una fuente de información:
- La medida de información debe ser proporcional. Es decir, un pequeño cambio en una de las probabilidades de aparición de uno de los elementos de la señal debe cambiar poco la entropía.
- Si todos los elementos de la señal son equiprobables a la hora de aparecer, entonces la entropía será máxima.
Un ejemplo en lenguaje Java:
