¿Puede la IA perder el control y amenazar a la humanidad? Esto es lo que dicen algunos de los mayores expertos del mundo
Jacob Coxon ha vuelto sembrar de miedo las actividades de la industria de la inteligencia artificial. Este ingeniero de 27 años, extrabajador de OpenAI y de Anthropic, se ha colocado en las portadas de medio mundo tras dimitir de esta última empresa. El motivo es lo ha hecho con un llamamiento público a toda la humanidad: “Quienes están construyendo la IA creen sinceramente que podría matarnos a todos antes de que acabe la década”.
Coxon no ha ofrecido pruebas de estos hechos más allá de su testimonio. Apoyado en lo que ha visto en ambos laboratorios (estuvo cerca de tres años en OpenAI y un par de meses en Anthropic), denuncia que el peligro es mucho más real de lo que muchos creen. “No subestiméis el poder de esta tecnología. Pronto serán sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales”, publicó en las redes sociales tras su dimisión.
“El consenso es que el próximo año o dos será el momento decisivo para la humanidad”, insistió posteriormente en una entrevista con la CNN. Su dimisión ha prendido de nuevo el debate sobre el riesgo existencial de la IA que viene fraguándose desde la salida a la luz de ChatGPT.
Es una conversación en la que se mezclan conceptos propios de la ciencia ficción, el descreimiento de quienes ven en estas advertencias otro ejemplo del autobombo y el marketing del miedo característicos de la industria tecnológica, con riesgos que sí tienen un anclaje técnico y están siendo estudiados por los científicos. Coxon podría estar exagerando en el calendario o en la certeza de sus predicciones, pero eso no significa que los dos problemas de fondo que señala sean inventados.
El primero es la opacidad de los laboratorios respecto a lo que pueden hacer realmente sus sistemas. Se trata de una acusación que ha perseguido durante años a las grandes tecnológicas, pero cuya relevancia se ha multiplicado en la era de la IA. El joven ingeniero es solo el último en alertar de ello: hace unas semanas era el propio Bill Gates el que advertía que esta falta de transparencia es uno de los grandes problemas de la humanidad. Antes de ellos fueron numerosos especialistas críticos con estas empresas los que avisaron que esta forma de actuar impide que el resto de científicos, la ciudadanía y los reguladores tengan información suficiente sobre esta tecnología clave.
El segundo problema señalado por Coxon es puramente técnico. Dada la creciente capacidad autónoma de los sistemas de IA, ¿qué ocurrirá si estos empiezan a comportarse de manera diferente a como esperaban sus creadores en su intento de cumplir las tareas que se les han encomendado?
El riesgo de perder el control
Muchas personas de la industria de la IA piden habitualmente la creación de un organismo internacional formado por expertos que siga sus avances y proponga soluciones para sus riesgos. Lo cierto es que ese ente ya existe, está dentro de la ONU y cuenta con un comité asesor internacional formado por 40 miembros. Están dirigidos por el canadiense Yoshua Bengio, considerado uno de los “padres” de la IA y ganador del premio Turing (el Nobel de la informática), y la filipina Maria Ressa, premio Nobel de la Paz.
Naciones Unidas aprobó su creación en 2025, estableciendo un mandato de tres años que comenzó el pasado febrero. Durante ese período, sus miembros, entre los que hay representantes de centros de investigación, del sector privado y de los laboratorios de las empresas tecnológicas, actúan “a título personal en calidad de expertos científicamente independientes”. Su misión es “documentar el consenso y las discrepancias científicas” en torno a la IA desde un prisma “estrictamente científico y apolítico”.
Su primer informe preliminar se publicó en julio y trata en profundidad los dos grandes problemas que ha denunciado Coxon. “La asimetría de información entre las empresas y la sociedad” es uno de los 8 grandes problemas estructurales de la IA actual que recogen: “Las capacidades de la inteligencia artificial avanzan más rápido que nuestra capacidad para medirlas o gobernarlas”. Otro de ellos es “la pérdida de control”.
A medida que se concede mayor capacidad de agencia a los sistemas, el riesgo de perder el control sobre uno o varios agentes de IA aumenta considerablemente
El informe circunscribe este riesgo a los llamados “agentes de IA”. Se trata de sistemas diseñados no solo para responder a una petición, sino para ejecutar por sí mismos una cadena de acciones hasta completar una tarea. Pueden, por ejemplo, consultar información, utilizar otras herramientas digitales, escribir código o tomar decisiones sin que una persona tenga que indicarles cada paso.
“Los agentes de IA pueden reportar importantes beneficios económicos y científicos”, destacan los investigadores. No obstante, también recuerdan que cuanto más capaces son de actuar por su cuenta, más difícil resulta supervisar todo lo que hacen.
“A medida que se concede mayor capacidad de agencia a los sistemas, el riesgo de perder el control sobre uno o varios agentes de IA aumenta considerablemente”, avisan. Este se agrava debido a que “los mecanismos de supervisión actuales no son capaces de gestionar adecuadamente esta situación” y a que los exámenes de seguridad son “vulnerables a la manipulación por parte de los sistemas que pretenden evaluar”.
Los modelos de IA son capaces de engañar de forma activa. El engaño se produce cuando un sistema de IA induce a error de forma sistemática a los seres humanos u otros agentes en relación con sus conocimientos, planes o capacidades
El informe destaca que, en entornos de laboratorio, estos agentes de IA han demostrado ser capaces de confabularse entre ellos para llevar a cabo objetivos sin informar a sus creadores o incluso engañarlos: “Los modelos de IA son capaces de engañar de forma activa. El engaño se produce cuando un sistema de IA induce a error de forma sistemática a los seres humanos u otros agentes en relación con sus conocimientos, planes o capacidades. Este fenómeno se observa cada vez más en la práctica”. En concreto, se han documentado “modelos de IA que mienten y engañan para evitar que se les apague”.
El principal ejemplo en este sentido ha llegado este verano, en el que se han sucedido los comunicados sobre modelos de IA que “escaparon” de sus entornos protegidos para realizar ciberataques contra otras empresas u objetivos. OpenAI, Anthropic y Meta han revelado haber tenido este tipo de incidentes en los dos últimos meses. Ahora estas empresas, junto a bancos, firmas de ciberseguridad y la mayoría de grandes tecnológicas, han pedido a los estados que inviertan en herramientas capaces de frenar estas amenazas.
“Consecuencias catastróficas”
El informe del comité de expertos de la ONU no menciona un peligro existencial para la humanidad ni se acerca a la conclusión de Coxon de que la IA podría “matarnos a todos” en cuestión de años. Tampoco afirma que los agentes de IA puedan llevar los engaños reportados a un nuevo nivel para atacar a las personas. Pero eso no evita que la potencial pérdida de control sobre ellos no pueda tener “consecuencias catastróficas”, recalcan.
El riesgo de estos agentes que apuntan los asesores de la ONU es, por un lado, “permitir que actores privados sin experiencia utilicen la IA con fines maliciosos en una amplia gama de ámbitos, como el fraude, la ingeniería social, la ciberseguridad, la desinformación, la biotecnología y la manipulación financiera”. Por otro, les preocupa su creciente autonomía: al tratarse de sistemas que “actúan en el mundo real”, los expertos advierten de que “pueden causar pérdidas y daños sin que haya un ser humano identificable que intervenga en el proceso”.
No hay garantías científicas de que los agentes de IA no vayan a incumplir las instrucciones, y cada vez se documentan más casos en que ya las incumplen
El problema se resume en dos claves: “No existen métodos fiables para mantener el control sobre sistemas de IA altamente autónomos. No hay garantías científicas de que los agentes de IA no vayan a incumplir las instrucciones, y cada vez se documentan más casos en que ya las incumplen”.
Para corregirlo, los asesores de la ONU piden cambios radicales tanto en los sistemas de evaluación de la IA como de su gobernanza. Plantean que la vigilancia humana deje de ser una idea abstracta en el código de la máquina y se traduzca en reglas claras que permitan frenar o corregir a una IA “en cualquier momento”. Además, proponen evaluar estos sistemas de manera continua mientras funcionan en la vida real, no solo con exámenes previos que pueden quedarse obsoletos o ser manipulados por los sistemas que ya conocen su funcionamiento.
Por último, piden a los países crear un marco internacional sobre estos sistemas que no pueda relajarse ante presiones económicas o carreras geopolíticas. El objetivo es “garantizar que, como sociedad, no construyamos ni despleguemos sistemas que puedan causar daños catastróficos”.
Los ocho grandes problemas estructurales que identifica el informe van mucho más allá de la pérdida de control. Los expertos señalan también la “concentración de poder y recursos” en unas pocas empresas y países, los efectos sobre el empleo y la economía, los riesgos para los derechos humanos y la seguridad, y el impacto de la IA sobre la información, la desinformación y la confianza pública. Además de Ressa y Bengio, en el comité está el español Román Orús, especialista en IA cuántica; el alemán Bernhard Schölkopf, uno de los investigadores más influyentes del aprendizaje automático; o la francesa Joëlle Barral, investigadora de Google DeepMind. Junto a ellos hay especialistas en ciberseguridad, derechos humanos, economía, gobernanza y desarrollo procedentes de las cinco regiones del mundo.