25 años sin Claude Shannon, el matemático que nos enseñó a medir la información

“La cabeza y en ataque frontal sobre un escritor inglés que el personaje de este punto es por lo tanto otro método”. Hoy en día, decir que la frase anterior ha sido generada de forma automática, por un algoritmo, no excusa su falta de sentido: los grandes modelos de lenguaje detrás de los chatbots que pueblan el ciberespacio son capaces de generar textos de una coherencia aparente muy superior. Sin embargo, el método mediante el que lo consiguen es, esencialmente, el mismo que el empleado para componer la frase inicial: predecir, en función de las palabras anteriores, qué palabra de su diccionario sigue la secuencia. La diferencia son décadas de sofisticación en la manera de realizar esta predicción.

En efecto, la frase que encabeza este texto fue generada, en 1948, por el ingeniero y matemático estadounidense Claude Shannon (1916-2001), para su artículo titulado Una teoría matemática de la comunicación. Shannon estudiaba el envío de mensajes desde un emisor hasta un receptor y buscaba la manera óptima de codificarlos para su transmisión. Para analizar matemáticamente el problema, imaginó al emisor como una fuente que iba lanzando mensajes según una cierta probabilidad.

Dicha probabilidad no era la misma para todos los mensajes, había observado Shannon. En efecto, se podía esperar que un telegrafista que transmitiera un texto letra a letra enviase muchas más veces la e y la a que la j o la z —en este artículo hay 1162 de las primeras frente a 51 de las segundas—. Según su probabilidad, Shannon decidió asignar a cada mensaje una cierta cantidad de información. Cuanto más improbable, es decir, cuanta más sorpresa causara al receptor, mayor cantidad de información. Por ejemplo, si al otro lado de la línea, una hija pequeña le está indicando a su padre qué le apetece para comer, las respuestas más usuales, como “pizza” o “espaguetis”, por esperables, serían poco informativas, mientras que, si la niña pide “brócoli”, su progenitor se hallará ciertamente sorprendido.

Shannon dio un valor numérico a esta idea. Definió la cantidad de información de un mensaje, medida en bits, a partir del logaritmo de la probabilidad de que el emisor escoja dicho mensaje, de manera que a mensajes más improbables corresponde una mayor cantidad de información: más sorpresa. La cantidad de información promedio de los mensajes de una fuente se llama entropía de Shannon, y cuantifica el ritmo al que ésta genera información. Por ejemplo, una fuente que emite un único mensaje (“pizza, pizza, pizza...”) no transmite ninguna información, ya que el receptor ya sabe lo que recibirá antes de que llegue: su entropía es la mínima posible, cero bits.

Pese a su aparente trivialidad, esta idea resulta crucial a la hora de comprimir la información. Para su transmisión, los mensajes del emisor han de ser codificados, ya sea como puntos y rayas en el código morse de un telégrafo, o ceros y unos en la comunicación digital. En aras de una mayor eficiencia, merece la pena codificar los mensajes más probables de forma más breve. Por ejemplo, en morse, la letra e, la más frecuente tanto en español como en inglés, se codifica con un único punto (·), mientras que la j, mucho menos común, requiere de un punto y tres rayas (·---), lo cual resulta en una velocidad de comunicación bastante más alta que si fuera al revés. Así, la longitud de la codificación de un mensaje crece con la cantidad de información del mismo.

¿Hasta qué punto podríamos, de esta manera, acelerar la transmisión de información? La respuesta de Shannon llegó en forma de teorema: demostró que el límite óptimo de la compresión, en bits por mensaje, corresponde a la entropía de la fuente. Si, por ejemplo, ésta fuera de cinco bits, una codificación perfecta con el mejor de los métodos requeriría cinco bits en promedio por mensaje. Y esto no solo se aplica a los antiguos telegrafistas: la compresión de imágenes en JPEG, canciones en MP3 u otros archivos en ZIP se basa en estos mismos principios.

Por supuesto, un emisor en la vida real no escoge cada mensaje independientemente de los demás, sino que la secuencia importa: la letra e es la más probable en general, pero no justo después de una q; y detrás de “pizza” es mucho más fácil encontrar “margarita” que “ventana”. La frase al principio de este artículo fue generada haciendo que la probabilidad de cada palabra dependiera de la inmediatamente anterior. Esta dependencia entre mensajes reduce la entropía, ya que el interlocutor tiene una mejor idea de qué va a recibir después (le sorprende menos), pero hace más difícil calcularla. En un artículo posterior, Shannon intentó medir experimentalmente la entropía del inglés, borrando letras de un texto y pidiendo a otras personas que las adivinaran en función de las anteriores: sus cálculos arrojaron un valor de en torno a un bit por carácter. Curiosamente, 75 años después, este es el método que se usa para entrenar modelos de lenguaje en inteligencia artificial, haciéndoles “jugar” a continuar la secuencia a partir de millones de textos.

Más allá de estos modelos, también los códigos correctores de errores empleados para hacer frente a interferencias en una señal wifi o los estudios sobre la capacidad de los futuros sistemas de comunicación cuánticos siguen las ideas de Shannon. 25 años después de su muerte, es difícil encontrar un área de las tecnologías de la información que no se viera de un modo u otro impactada por su teoría.

---

Adrián Franco Rubio es investigador Beatriz Galindo en la Universidad Complutense de Madrid y miembro del ICMAT.

Dimensión fractal es un espacio del Instituto de Ciencias Matemáticas (CSIC-UAM-UC3M-UCM) en el que se ofrece una mirada matemática de la actualidad de la mano de personal investigador especializado. 

Edición y coordinación: Ágata Timón García-Longoria, coordinadora de la Unidad de Cultura Científica del ICMAT