La era de la tecnología incomprensible: “Ni siquiera sus creadores la entienden”

En nuestras casas cada vez hay más máquinas y, sin embargo, solemos tener muy poca idea de cómo funcionan: no sabemos por qué el móvil ha dejado de encenderse ni cómo se explican los constantes fallos del ordenador. Cuando se trata de aparatos más enrevesados, la cosa todavía se complica. Los problemas técnicos en un telescopio espacialtelescopio espacial, en el sistema de comunicaciones de una aerolínea o en la red social Twitter causan graves quebraderos de cabeza tanto a sus responsables como a los afectados por sus consecuencias.

El científico estadounidense Samuel Arbesman recuerda en su último libro, ‘Demasiado complicado: la tecnología en los límites de la comprensión’, cómo varios errores de este tipo coincidieron en un solo día.  El 8 de julio del 2015, mientras él escribía su manuscrito, United Airlines suspendió sus vuelos a causa de un fallo informático, la bolsa de Nueva York colapsó y la web del Wall Street Journal se vino abajo. Corrieron rumores de ciberataque, pero al final resultaron ser malas pasadas tecnológicas.

“Nuestras tecnologías, desde páginas web y sistemas de comercio bursátil hasta modelos científicos e incluso cadenas de suministro, están tan interconectadas y son tan complicadas que en muchos casos ni siquiera aquellos que las construyen y mantienen pueden entenderlas del todo”, escribe Arbesman en los primeros compases de su libro, resumiendo la idea que después irá desarrollando.

“Hace falta un equipo de personas para diseñar y fabricar estos sistemas complejos; trabajan en componentes específicos o en ciertos susbsistemas que comprenden perfectamente”, aclara el escritor y bioinformático a HojaDeRouter.com. Cada grupo o integrante del mismo estará especializado en un área, pero “no hay un solo individuo que conozca a la perfección cada uno de sus componentes”, prosigue el “científico de la complejidad”, como él se autodenomina. 

Esas unidades no tienen sentido de forma aislada, sino que constituyen piezas de un enorme e imprevisible rompecabezas. “Los elementos interaccionan entre sí muchas veces de forma inesperada”, advierte el científico. En los entramados tecnológicos suficientemente grandes y no lineales, donde hay abundantes conexiones y flujos de información, “se produce un desequilibrio entre el conocimiento que tenemos sobre su fabricación, el que creemos tener sobre cómo funciona y el que tenemos realmente”, indica Arbesman.

Según el escritor, solo los errores, como agujeros de seguridad y fallos técnicos, sacan a la luz esa discordancia. Entonces, “nos damos cuenta de que estábamos muy lejos de entender el sistema completamente”, afirma.

Imprevistos y sorpresas

El mismísimo Alan Turing, padre de la informática moderna, ya predijo en los años 50 que las máquinas iban a dar muchas sorpresas a la humanidad. Arbesman coincide con el genio de las matemáticas al afirmar que siempre vamos a encontrar resultados inesperados: “Podemos controlar los sistemas complejos, pero solo parcialmente”, asegura.

Para el estadounidense, la compresión y el dominio totales son “una quimera”, por lo que encuentra mucho más acertado desterrar ese deseo. “Debemos tomar una postura más modesta, asumir lo que podemos y no podemos hacer y mantener una relación interactiva, de observación y aprendizaje”, aconseja.

Precisamente el legado de Turing dio inicio a esta era de confusión e incomprensibilidad crecientes. “La llegada de los ordenadores supuso un aumento exponencial de este tipo de situaciones; su funcionamiento es varios órdenes de magnitud más complejo que el de un coche o el de una lámpara”, señala Arbesman. La evolución de las máquinas y la tecnología ha conducido a la informatización de muchos ámbitos, desde el financiero al judicial.

En un entorno más cercano, basta fijarse en aplicaciones que actúan de manera impredecible –se cierran, se abren, fallan− o en programas en los que aparece código disfuncional sin haber sido introducido por ningún desarrollador. Y el futuro se intuye cargado de sorpresas todavía más desconcertantes: “Conocemos los algoritmos de ‘marchine learning’ en origen, pero el sistema resultante puede considerar miles de parámetros y detalles, nadie puede entender realmente cómo funciona y aprende de la información de partida”, advierte Arbesman.

Un ejemplo reciente es el del proyecto de inteligencia artificial Tay, un ‘chatbot’ diseñado por MicrosoftTay, un ‘chatbot’ para interaccionar como una adolescente con los usuarios de Twitter. Para darle “personalidad”, los ingenieros de la compañía entrenaron al sistema a partir de conversaciones de jóvenes de entre 18 y 24 años. Sin embargo, el programa asimiló más datos de los que habían previsto.

En marzo de este año, solo un par de días después de comenzar sus andanzas en la red social, sus creadores tuvieron que acallarlo porque había comenzado a publicar comentarios racistas. El robot conversacional aprendía de las menciones del resto de tuiteros; también de los que le nombraban junto a consignas discriminatorias.

En otros casos, como el de los coches autónomos, un contratiempo de este tipo podría ocasionar consecuencias mucho más graves.

“Construimos sistemas que operan a escalas temporales mucho más rápidas que las humanas”, advierte Arbesman. Y alude a un agravante más: a medida que la tecnología avanza, se añaden mejoras y extras a desarrollos previos, se construye sobre cimientos anteriores.

Así, “las únicas personas que entendían muchos de estos sistemas antiguos están jubiladas o incluso pueden haber fallecido”, dice el científico, que utiliza el concepto anglosajón ‘kluge’ para referirse a la maraña resultante. Se trata de un término usado en informática e ingeniería para designar a una solución rápida y algo chapucera para resolver un problema complejo; algo así como un apaño que funciona aunque nadie sepa muy bien cómo lo hace.

Aprendizaje constante

Pese a todo, el autor da un voto de confianza tanto a máquinas como a humanos. “Solo porque no entendamos del todo un sistema no significa que no pueda ser fiable”, asegura. No vivimos en una era de oscuridad total, sino que “podemos entender la tecnología de forma parcial y esforzamos por comprenderla un poco más”.

Con sus teorías, Arbesman no busca transmitir un mensaje de desesperanza. De hecho, aconseja evitar el “miedo a lo desconocido” que podría generar este panorama de incertidumbre. Mientras que una preocupación moderada sirve de impulso para perseverar en la búsqueda de información sobre el entorno tecnológico, “el temor extremo frena nuestra capacidad para cuestionarnos las cosas e intentar resolver esas dudas”, advierte el científico.  

En su libro, compara los sistemas artificiales con los naturales. Las redes neuronales aplicadas en inteligencia artificial simulan la dinámica de las células nerviosas y el diseño de muchos algoritmos se basa en el comportamiento de animales. Lo más acertado, según Arbesman, es tomarse en serio este símil y estudiar la tecnología con ojos de biólogo. “¿Por qué no utilizar la misma estrategia que utiliza un ecólogo para observar un ecosistema muy complejo?”, cuestiona el estadounidense.

Elegir esta estrategia de “constante interacción” con el entorno para saber más sobre lo que nos rodea puede ser la única manera de afrontar lo que se avecina: “Los sistemas siempre tienden a la complejidad y a la interconectividad”, señala Arbesman. Desenredar la madeja resulta cada vez más difícil.

-----------------------------------------------------------------------------------------------------

Las imágenes de este artículo son propiedad, por orden de aparición, de Qfamily, Samuel Arbesman y Kevin Dooley