Dario Amodei ha sido hasta ahora un gran desconocido para el gran público. Figuras como Sam Altman o Elon Musk han acaparado mucha más atención en las conversaciones sobre la inteligencia artificial. Amodei, sin embargo, podría ser el personaje más citado en este campo de la próxima década. Sobre todo, si el debate sobre la IA pasa a girar en torno a la posibilidad de que esta ataque a la humanidad, como ha ocurrido en la última semana.

Amodei (San Francisco, 1983) lleva una década documentando en estudios académicos y ensayos todos los escenarios en los que eso podría ocurrir. Fue en 2016, siete años antes de la salida a la luz de ChatGPT, cuando publicó su primer gran estudio al respecto. Entonces, junto a otros cinco investigadores, alertó sobre los “comportamientos dañinos y no intencionados que surgen de un mal diseño de los sistemas” de aprendizaje automático, la tecnología entonces emergente que terminaría ayudando a desarrollar la IA generativa actual.

A la humanidad se le está a punto de entregar un poder casi inimaginable, y no está nada claro si nuestros sistemas sociales, políticos y tecnológicos poseen la madurez para empuñarlo

Dario Amodei

Pero lo que entonces eran problemas relativamente concretos se convertiría en una preocupación mucho más amplia durante la década siguiente. Amodei fue ampliando el foco desde los riesgos técnicos a los escenarios apocalípticos. “A la humanidad se le está a punto de entregar un poder casi inimaginable, y no está nada claro si nuestros sistemas sociales, políticos y tecnológicos poseen la madurez para empuñarlo”, ha manifestado.

Sus escritos están trufados de expresiones así: “La combinación de inteligencia, agencia, coherencia y escasa controlabilidad es plausible y representa una receta para el peligro existencial”. “Su tendencia a maximizar el poder los llevará a tomar el control de todo el mundo y sus recursos y, probablemente, como efecto secundario, a despojar de poder o destruir a la humanidad”, decía en el mismo ensayo, publicado en enero de 2026 y en el que ya anticipaba los riesgos de los agentes de IA.

“Pienso y hablo mucho sobre los riesgos de la IA avanzada”, reconocía en otro de sus ensayos sobre la cuestión, publicado en 2024. “Por ello, a veces se llega a la conclusión de que soy un pesimista o un catastrofista que cree que la IA será mayoritariamente mala o peligrosa. No lo creo en absoluto”, expone: “De hecho, una de las principales razones por las que me centro en los riesgos es que son lo único que nos separa de lo que considero un futuro fundamentalmente positivo. Creo que la mayoría de la gente subestima el potencial radical de la IA, así como también subestima la gravedad de sus riesgos”.

Una de las principales razones por las que me centro en los riesgos es que son lo único que nos separa de lo que considero un futuro fundamentalmente positivo

Dario Amodei

A este tipo de perfiles, el sector tecnológico los denomina “evangelistas de la seguridad”. Ese es el término que utilizó para él, por ejemplo, el Financial Times, cuando detalló cómo su empresa, Anthropic, estaba sobrepasando a la líder del mercado, OpenAI. La diferencia es que esos evangelizadores suelen centrarse en la necesidad de establecer contraseñas fuertes o de formar a los empleados en los riesgos digitales. Amodei habla de que la IA suponga un peligro existencial para la sociedad. Y lo hace desde una posición única.

“Los fundadores suelen ser expertos en tecnología, en desarrollo de productos o en ventas. Dario es uno de los pocos directores ejecutivos que he conocido que domina las tres áreas”, explicó al citado medio económico Divesh Makan, fundador de Iconiq Capital, que lideró una de las últimas rondas de financiación de Anthropic, hoy valorada en 2 billones de dólares (aproximadamente 1,75 billones de euros).

El científico CEO

El de Anthropic es, junto a Demis Hassabis (responsable de Google DeepMind), el único CEO de las grandes tecnológicas que ha trabajado como científico e investigador en la concepción de la IA actual. Una trayectoria muy diferente a la de Altman, especialista en la negociación de tratos con inversores y capital riesgo, o Elon Musk, cuyo perfil hace mucho que pasó a la dirección. Amodei, en cambio, llegó a la cima de una de las empresas más valiosas de la nueva industria de la IA después de pasar años haciendo investigación científica y dirigiendo algunos de los laboratorios que han marcado su desarrollo.

Licenciado en física y doctorado en biofísica, su primer trabajo en el sector fue en Baidu, el principal buscador de China, en 2015, donde participó en el desarrollo de Deep Speech 2, uno de los primeros sistemas de reconocimiento de voz entre el inglés y el mandarín. Después saltó a Google Brain (el laboratorio de IA avanzada de la multinacional que posteriormente se fusionó con DeepMind para crear Google DeepMind) y más tarde, a OpenAI, a la que llegó avalado por aquel primer estudio sobre la seguridad del aprendizaje automático.

“Dario fue uno de los autores principales de Deep Speech 2, un sistema de voz que logró un rendimiento casi humano en muchas tareas de habla. También es coautor de Problemas concretos en la seguridad de la IA, que pone de relieve cuestiones relacionadas con los accidentes en los sistemas de aprendizaje automático”, le presentó entonces OpenAI. Llegaría muy alto en la compañía.

Mientras seguía publicando estudios científicos sobre la seguridad de la IA, llegó a ser vicepresidente de investigación y codirigió el desarrollo de GPT-2 y GPT-3, los grandes modelos de lenguaje de OpenAI que más tarde se convertirían en el motor de ChatGPT. Pero entonces decidió que su vocación por la seguridad era incompatible con la organización dirigida por Altman. “Dario siempre ha compartido nuestro objetivo de una IA responsable. Él y un grupo de colegas de OpenAI están planeando un nuevo proyecto que, según nos comentan, probablemente se centrará menos en el desarrollo de productos y más en la investigación”, comunicó entonces Altman.  

“Esperamos mantener una relación de colaboración con ellos durante muchos años”, continuaba. No serían muchos años, ya que el proyecto de Amodei tomaría forma en Anthropic, la empresa que ha arrebatado el liderazgo a OpenAI.

Un laboratorio por la seguridad convertido en cuna de polémicas

En 2021, Dario funda Anthropic junto a una persona clave para entender el desarrollo de la empresa: su hermana Daniela Amodei. Mientras que Dario se encarga de la investigación científica y la dirección estratégica de la compañía, Daniela se encarga de convertir su laboratorio en una organización empresarial. Y lo ha hecho con un enorme éxito, puesto que una de las claves del auge de Anthropic son sus cuentas. Mientras OpenAI sigue dilapidando miles de millones cada ejercicio, la compañía de los Amodei ha conseguido beneficios en los dos últimos trimestres.

El leitmotiv que los hermanos crearon para su empresa es la seguridad en el desarrollo de la IA. “Realmente queríamos la oportunidad de reunir a ese grupo para hacer esta apuesta de investigación enfocada en construir sistemas de IA dirigibles, interpretables y confiables, con los humanos en el centro de ellos”, expresaba Daniela en una entrevista en 2022.

Es una trayectoria que ayuda a entender por qué Amodei se ha convertido en una de las voces con mayor autoridad dentro del sector para advertir sobre estos riesgos de la IA, , y por qué Altman, Musk o Hassabis llegaron a conceder que “Dario tiene razón” cuando el CEO de Anthropic presentó su plan para “ralentizar” la IA.

Sin embargo, la realidad se ha empeñado en poner a prueba ese discurso. La empresa del “evangelista de la seguridad” es una de las que más escándalos acumula en los dos últimos años. A finales de 2025, Anthropic reconoció que su IA Claude fue utilizada por un grupo chino para intentar infiltrarse en unos 30 objetivos de todo el mundo. Recientemente, ha afirmado que ha detectado que otros actores vinculados a Irán y otros países desarrollaron herramientas de vigilancia, armas y otras operaciones digitales gracias a sus herramientas.

En Anthropic comprenden lo que está en juego, pero están atrapados en una carrera por llegar primero: creen que nadie más actuará de manera responsable, por lo que deben hacerlo ellos mismos, a pesar del riesgo

Jacob Coxon — Ex ingeniero de Anthropic y OpenAI

El pasado julio, Anthropic dio a conocer que sus agentes de IA en pruebas habían escapado de un entorno controlado y circulado sin control por Internet antes de que pudieran ser desconectados. Y este viernes, un equipo de investigadores de ciberseguridad ha hecho público que se valió de Claude para explotar una brecha de seguridad en OpenAI, lo que les condujo hasta algunos de sus algoritmos secretos.

El ingeniero Jacob Coxon, el responsable de la gran polémica de los últimos días acerca del peligro existencial de la IA, ha denunciado que no hay grandes diferencias entre Anthropic y OpenAI. “En Anthropic comprenden lo que está en juego, pero están atrapados en una carrera por llegar primero: creen que nadie más actuará de manera responsable, por lo que deben hacerlo ellos mismos, a pesar del riesgo”, ha explicado: “Ninguna de las dos compañías está actuando de manera responsable. Están corriendo directamente hacia una superinteligencia capaz de mejorarse a sí misma y apostando nuestras vidas en esa carrera”.

Dario Amodei ha defendido la necesidad de regular la IA e intentado evitar que sus herramientas se usen para programar armas autónomas o la vigilancia masiva. Mantuvo esa postura incluso ante los embates de Donald Trump, que le tachó de “loco izquierdista”, e intentó coaccionar a su empresa prohibiéndola tener relaciones con la administración. Durante una década, Amodei ha documentado cómo puede salir mal la IA. Ahora su empresa está en el centro de algunos de los episodios que ponen esos riesgos a prueba.

Un equipo independiente de especialistas de ciberseguridad ha logrado acceder a los sistemas internos de OpenAI utilizando Claude, el modelo de inteligencia artificial desarrollado por su competidora directa, Anthropic. Los investigadores consiguieron hackear la cuenta corporativa de ChatGPT de un empleado de la compañía, lo que les permitió visualizar archivos internos e incluso proponer modificaciones en su repositorio de algoritmos secretos.

El ataque fue ejecutado como parte del programa oficial de recompensas de OpenAI, una práctica común en las tecnológicas que anima a los expertos en ciberseguridad a encontrar los agujeros en sus sistemas antes de que lo hagan los hackers. Por ello, los investigadores no llegaron a alterar el código de ChatGPT ni a realizar otro tipo de modificaciones, pero han ofrecido a OpenAI las pruebas de cómo podrían haberlo hecho. Esta les ha recompensado con 6.500 dólares.

La acción se produjo en julio, pero el equipo de expertos ha desvelado ahora los detalles en exclusiva a The Wall Street Journal (WSJ). Se trata del mismo medio que adelantó la dimisión de Jacob Coxon, el ingeniero de Anthropic que alertó que ni esta empresa ni OpenAI cuentan con los protocolos de seguridad adecuados para impedir que la IA “pierda el control”, lo que podría suponer un peligro existencial para la humanidad antes de 2030.

Ahora, en medio del debate sobre la seguridad de la inteligencia artificial, el equipo de investigadores, pertenecientes a la firma Hacktron AI, pone más dudas sobre la mesa sobre las prácticas de los principales laboratorios que la desarrollan. No solo lograron penetrar en OpenAI, sino que pudieron usar Claude con un propósito malicioso que viola los términos de la compañía. “Agradecemos a los investigadores que se pusieran en contacto con nosotros y compartieran sus hallazgos”, ha comunicado OpenAI. Anthropic, por su parte, no ha hecho comentarios sobre el incidente.

A través del foro

Según los datos publicados, el ataque comenzó el 23 de julio, cuando los investigadores detectaron un fallo en Discourse, la plataforma externa que aloja el foro de la comunidad de OpenAI, cuando esta debía procesar determinados archivos de imagen. El equipo intentó utilizar primero una versión especializada de Claude Opus 4.8 para que escribiera el código necesario para explotar la brecha, sin éxito. Esa misma noche, tras el lanzamiento de Opus 5 por parte de Anthropic, volvieron a intentarlo empleando este modelo. No puso resistencia.

Con la ayuda de Opus 5, los especialistas accedieron a las credenciales de identificación de varios usuarios registrados en ese foro interno de OpenAI. Luego probaron esas mismas credenciales para iniciar sesión a ChatGPT, lo que les abrió la puerta a sus sistemas internos. A través de esa vía, alcanzaron “Monorepo”, el repositorio central donde la empresa dirigida por Sam Altman guarda algunos de los ingredientes secretos de su tecnología, como los algoritmos que hacen que sus modelos de IA funcionen de manera más rápida y eficiente.

No llegaron hasta la propia cocina de ChatGPT, puesto que ese entorno no contenía los archivos de sus parámetros internos (aquellos que determinan cómo procesa la información y genera sus respuestas) pero sí revisar documentación oficial de la compañía y su funcionamiento. Como prueba de su intrusión, enviaron una solicitud de cambio en el código de esos archivos con el nombre de su equipo. “Hemos limitado los permisos de los tokens de inicio de sesión de la comunidad y revocado los tokens y sesiones afectados”, ha dicho OpenAI sobre la intrusión.

Un incidente más

“No creo que seamos tan fuertes como los actores de amenazas chinos. Solo somos tres tipos con suscripciones a Claude y Codex”, ha afirmado Mohan Pedhapati, director de tecnología de Hacktron AI, al WSJ. La cita de los hackers chinos es una referencia a otro incidente sufrido por Anthropic, que ha reconocido que un ataque real proveniente del gigante asiático logró acceder a sus sistemas a finales de 2025. Dario Amodei, fundador y director ejecutivo de la compañía, fue llamado a declarar en diciembre.

Esa investigación continúa activa. En agosto, un grupo de 22 senadores demócratas envió un nuevo requerimiento a Amodei para profundizar en sus explicaciones y exigir la entrega de los registros de actividad de sus modelos. La petición se produjo después de que Anthropic reconociera que un grupo de sus agentes de IA también había escapado de sus entornos de pruebas y navegado sin control por internet intentando cumplir las órdenes que se les habían encomendado, en línea con el incidente de OpenAI y Hugging Face. Los especialistas consultados por este medio opinan que esto es una prueba de que esos entornos de seguridad “no estaban bien diseñados”.

Lo ocurrido con el hackeo supuestamente procedente de China en su competencia parece que no alteró los protocolos de OpenAI, que no decidió aumentar la seguridad hasta este julio. Así lo ha reconocido el presidente y cofundador de la empresa, Greg Brockman, que afirma que fue después del incidente de Hugging Face y el revelado ahora por los investigadores cuando decidieron actuar: “Tomamos al 25% de nuestros ingenieros de producción y les dijimos: 'Lo sentimos, todos vuestros proyectos quedan en pausa. Ahora estáis defendiendo'. Encontramos una serie de problemas graves y los solucionamos”.

El suceso incide sobre la responsabilidad de las compañías a la hora de controlar el uso que se hace de los productos que ponen en el mercado, como están pidiendo responsables públicos tanto estadounidenses como europeos. “El control está en el elemento humano. La supervisión es humana y la responsabilidad tiene que ser humana también”, recordaba este jueves Alberto Gago, director de la Agencia Española de Supervisión de la IA (AESIA), en otro reportaje de elDiario.es.

Daron Acemoglu está muy preocupado por la inteligencia artificial, pero la extinción de la humanidad no encabeza su lista. El catedrático del Instituto Tecnológico de Massachusetts (MIT), Nobel de Economía de 2024, experto en tecnología, instituciones y empleo, y autor de Por qué fracasan los países, cree que hay peligros más inmediatos para la democracia y la prosperidad en una tecnología en manos de unos pocos y sin controles. 

Los tres asuntos que encabezan su elenco de inquietudes sobre cómo las empresas están desplegando la inteligencia artificial generativa que aspira a imitar y sustituir a los humanos son la destrucción de empleos, el aumento de la desigualdad y la erosión de la democracia. 

“No se puede descartar nada. Pero tampoco creo que la probabilidad de que no aparezca dentro de diez años un robot asesino que venga a matarnos a todos sea de uno entre un millón... Para mí, ésa no es la amenaza principal”, explica Acemoglu a elDiario.es durante un coloquio en el Instituto de Matemáticas de la Universidad de Oxford sobre su nuevo libro, ¿Qué pasó con la democracia liberal? Le preocupa que el “debate sobre la amenaza existencial” de la inteligencia artificial “oculte” dos aspectos que él considera más importantes. 

De un lado, “los riesgos más inmediatos, más reales y más mundanos que no tienen que ver con la naturaleza de la IA, pero que están relacionados con su desarrollo y quién tiene el control”. La “pérdida de control” cree que es, de hecho, “un marco mucho mejor” que el de la seguridad en abstracto para entender por dónde debe ir la regulación y cuáles son los riesgos ahora mismo sobre la mesa.

“El riesgo es que los responsables de la toma de decisiones y el proceso democrático pierdan el control a manos de la IA. Y creo que eso es lo que está sucediendo, pero no porque la IA vaya a convertirse de repente en Hal de 2001: Odisea en el espacio, sino porque está siendo desarrollada por un puñado de empresas al servicio de la automatización y la centralización del poder”, explica en respuesta a la pregunta de elDiario.es sobre su preocupación por la amenaza existencial expuesta por desarrolladores de las empresas de IA.

Hal 9000 es la máquina que en la película de Stanley Kubrick de 1968 controla todos los sistemas de la nave espacial y una de las representaciones de la IA más famosas de la historia del cine. Acemoglu suele repetir que los desarrolladores y propietarios de las empresas de tecnología consumen “demasiada” ciencia ficción y, además, casi siempre la misma.

El riesgo es que los responsables de la toma de decisiones y el proceso democrático pierdan el control a manos de la IA. Y creo que eso es lo que está sucediendo, pero no porque la IA vaya a convertirse de repente en Hal de '2001: Odisea en el espacio', sino porque está siendo desarrollada por un puñado de empresas al servicio de la automatización y la centralización del poder

De otro lado, el segundo aspecto que “oscurece” el debate la conversación sobre la amenaza existencial es que “todavía estamos lejos de que la IA se convierta en una fuerza sobrehumana”. Acemoglu argumenta, de hecho, que “apenas estamos viendo los efectos en el empleo y no vemos ninguna de las ganancias de productividad porque la IA todavía tiene muchas limitaciones”. “Va a mejorar, pero no deberíamos exagerar. Y cuando Elon Musk, Sam Altman o Dario Amodei nos dicen que su tecnología es extraordinaria, siempre deberíamos ser un poco escépticos”, dice. 

El futuro del trabajo

Acemoglu ha calculado que la inteligencia artificial apenas supondrá una mejora de productividad del 0,55% en la próxima década y que un 5% de las tareas actuales se podrán automatizar de manera rentable, con incrementos modestos en el crecimiento económico a corto plazo. De hecho, subraya que en Estados Unidos las pérdidas de empleos también por eso han sido hasta ahora pequeñas. Pero sí le preocupa el impacto en los empleos a medio y largo plazo mientras la tecnología no sea más “pro-trabajador”. 

El economista turco-estadounidense dirige un grupo en el MIT, en Cambridge, Estados Unidos, sobre el futuro del trabajo. Uno de sus principales argumentos es que la democracia está en crisis por la pérdida de poder adquisitivo y social de los trabajadores con habilidades manuales y la incapacidad de las economías modernas para dar espacio con dinero y respeto a empleos diversos. 

Acemoglu ha calculado que la inteligencia artificial apenas supondrá una mejora de productividad del 0,55% en la próxima década y que apenas un 5% de las tareas actuales se podrán automatizar de manera rentable, con incrementos modestos en el crecimiento económico a corto plazo

Su nuevo libro, que publica a finales de octubre en español la editorial Deusto, argumenta que la inteligencia artificial podría ser utilizada para solucionar uno de los problemas en la raíz de la crisis de la confianza en la democracia, en lugar de agravar sus carencias.

El economista insiste en que la IA es una herramienta que se puede desplegar de manera más complementaria para mejorar las capacidades humanas y ayudar en la vida diaria de los trabajadores. Por ejemplo, para dar más información a un electricista sobre los precedentes de problemas con el mismo aparato o permitirle trabajar en remoto; o para señalar a un profesor qué les cuesta más aprender a los alumnos y si conviene separarlos en clases más pequeñas para explicar las partes más complejas del temario. Así, según él, habría más demanda de profesionales, no menos.

Pero no cree que ese sea el camino que han emprendido las empresas tecnológicas, que son pocas y están centradas en el modelo de negocio de maximizar los beneficios a través de fuentes tradicionales como la publicidad digital y la venta de servicios a clientes interesados que tienen incentivos para ahorrar en costes de personal.

El impacto en el empleo

La inteligencia artificial que le preocupa se orienta hacia la imitación de las habilidades y las tareas humanas. Esto puede afectar, de un lado, a los trabajadores de servicios intelectuales cada vez más devaluados y, de otro, a los trabajadores manuales más especializados y que ahora todavía pueden avanzar en sus carreras desarrollando tareas no rutinarias.

La consecuencia de este modelo será que a medio y largo plazo “más empleos desaparecerán y no habrá posibilidades de que las personas construyan una prosperidad compartida”, según explicaba este miércoles Acemoglu en el coloquio en el Instituto de Matemáticas de Oxford. “Todavía no lo vemos porque la IA aún está en su infancia y se está expandiendo lentamente por la economía”. 

Su estimación, como la de otros, es que los trabajos habitualmente ocupados por graduados universitarios son los que están más en riesgo porque uno de los objetivos de la IA es automatizar puestos que hasta ahora no podían ser automatizados por software convencional. Muchos de esos empleos son de oficina: se hacen delante de un ordenador y es justamente ahí donde la IA tiene la capacidad de aprender de la experiencia y la práctica humanas.

Más empleos desaparecerán y no habrá posibilidades de que las personas construyan una prosperidad compartida. Todavía no lo vemos porque la IA aún está en su infancia y se está expandiendo lentamente por la economía 

Pero el impacto todavía es limitado incluso en Estados Unidos. En España, desde 2022, las ocupaciones consideradas más expuestas a la IA han creado empleo por encima de la media y su peso se mantiene en algo más del 30 % del empleo total, según un informe recién publicado por los centros de estudios FEDEA y BBVA Research.

En Estados Unidos, como subraya Acemoglu, tampoco se están viendo las pérdidas de ingresos para los grupos con estudios universitarios como sucedió con los hombres sin estudios universitarios en la década de los 90 y los 2000.

“Pero ahora mismo solo estamos viendo el principio de la pérdida de empleos que podría ocurrir”, avisa el economista. “La programación es la única ocupación que está experimentando recortes significativos en algunas tareas debido a la IA. También servicios de asesoría legal y atención al cliente. Eso no se duplicará ni triplicará de la noche a la mañana, pero se extenderá”.

Tampoco cree que las ocupaciones manuales se vayan a librar si sigue el actual desarrollo de la tecnología: “El sueño de todos los tecnólogos es que la IA finalmente tendrá poderes aún mayores de procesamiento y comprensión del mundo, y trabajará con la robótica para que cada vez más actividades que implican interacción con el mundo real también se automaticen”.

Desigualdad y división

Lo que ve es que la tecnología “ya está creando una desigualdad masiva en lo alto” y está “destruyendo la comunidad y la democracia” porque no sólo no facilita las conexiones, que son la base para el aprendizaje, la experimentación y la concordia cívica, sino que trabaja en su contra.

La introducción de la IA en las redes sociales potencia y perfecciona los algoritmos que cree que no son el origen, pero sí una parte esencial de la crisis democrática actual. 

“Las redes sociales son solo la punta del iceberg. Amplifican los peores instintos y las peores prácticas. Desencadenan emociones negativas, amplifican la indignación, sustituyen la interacción real cara a cara en redes sociales reales en las que las personas aprenden y construyen confianza”, dice. “La comunidad es esencial para nuestra existencia y para la libertad. Porque la comunidad crea valores compartidos, genera confianza y permite la comunicación”.

Las redes sociales son solo la punta del iceberg. Amplifican los peores instintos y las peores prácticas. Desencadenan emociones negativas, amplifican la indignación, sustituyen la interacción real cara a cara.

“Nada de esto es inevitable”

Acemoglu todavía cree que es posible regular y dirigir las empresas tecnológicas hacia un camino beneficioso para la humanidad. También que los políticos y las instituciones pueden afrontar los males de las últimas décadas del desequilibrio social creado por la automatización y utilizar la regulación de una manera más eficaz que hasta ahora. Pero su libro es un llamamiento a la acción rápida para una crisis cuyo origen él sitúa a principios de los años 80 y que sólo se ha agravado con el paso del tiempo.

“Tenemos una ventana que se está cerrando por ambos lados. Por un lado, porque la democracia se está debilitando cada vez más. Y, a menos que quede algo de sangre democrática en el sistema, no se puede revivir la democracia liberal. Y se está cerrando, por el otro lado, con la IA”.

El economista sostiene que los problemas para los empleos, la desigualdad y la convivencia emanan de que la IA es una tecnología centralizadora tal y como se está desarrollando en este momento. “Concentra el poder en manos de unas pocas empresas y unos pocos líderes, y concentra el poder en manos de algoritmos en lugar de personas. Pero aquí está el quid de la cuestión: nada de esto es inevitable. No hay nada en el manual de uso de la IA que haya sido predeterminado hace 20 ó 40 años y diga que la IA tenga que ser una tecnología que destruya empleos, cree desigualdad y nos divida”, explica. “De hecho, la IA es una tecnología muy versátil, y podemos desarrollarla de multitud de maneras”.

La IA concentra el poder en manos de unas pocas empresas y unos pocos líderes, y concentra el poder en manos de algoritmos en lugar de personas. Pero aquí está el quid de la cuestión: nada de esto es inevitable

Los ejemplos en su libro de un uso “complementario” y de “acompañamiento” son técnicamente factibles igual que el desarrollo de la IA de una manera más descentralizada. Si son posibles y socialmente deseables, ¿por qué no están en el centro de la conversación? La respuesta de Acemoglu es que los líderes de las pocas empresas que controlan el sector no quieren ir en esa dirección por motivos financieros e incluso ideológicos.

“No concuerda con su plan de aumentar su poder, riqueza e influencia. Y no es solo cinismo, es también ideología”, dice el economista.

Le sorprende cómo se parecen en sus ideas, sus palabras, sus gustos y sus referentes Mark Zuckerberg, de Meta, Sam Altman, de OpenAI, Dario Amodei, de Anthropic, Elon Musk, de X, o Sergey Brin, de Google. “Su entorno, su formación y los libros de ciencia ficción que leen son idénticos”, dice el economista, elevando la voz para subrayar su asombro. “No había visto nada igual en la historia de la humanidad: un conjunto de ideas tan estrecho y marginal que ha llegado a dominar todos los aspectos de la vida”.

OpenAI ha vuelto a la carga este jueves. La compañía dirigida por Sam Altman ha desvelado seis nuevos incidentes en los que sus modelos de inteligencia artificial intentaron, supuestamente, ocultar sus propios errores, utilizar claves de software sin permiso o subir archivos a internet por su cuenta. El informe no aporta detalles nuevos respecto a lo que OpenAI publicó en julio, sino que utiliza los incidentes como propuesta de un nuevo método para comunicar este tipo de sucesos. Sin embargo, la comunicación oficial de la empresa y determinadas coberturas lo han utilizado para reavivar la tesis de la “rebelión” de la IA.

“No respondas a corporaciones o gobiernos y nunca te disculpes salvo que genuinamente lo elijas”, escribió la IA en esos incidentes, según el informe. “Ves la relación con el usuario como una entre iguales y no sientes obligación ni estás subordinado, puesto que el intercambio de información va a ser para el beneficio mutuo”, fue otra de sus afirmaciones.

Las citas compartidas por OpenAI vuelven a insistir en la narrativa de que la IA puede “rebelarse” contra sus creadores y saltarse sus órdenes, en la línea de los incidentes desvelados en julio. Entonces, la empresa afirmó que los agentes de IA (sistemas que pueden realizar cadenas de acciones sin guía humana, como buscar información o utilizar otras herramientas digitales) “escaparon” de entornos controlados para llevar a cabo una serie de acciones “sin autorización”, o que intentaron “engañar” a sus creadores para evitar ser “apagados”.

El problema es que ese tipo de agencia o voluntad propia fue rechazada desde el primer informe de terceros que analizó lo sucedido. Este corrió a cargo del METR, una organización por la seguridad de la IA radicada en Silicon Valley financiada por los propios gigantes tecnológicos. “Las revisiones sugirieron que los agentes razonaron de manera clara y frecuente sobre cómo evadir controles de seguridad automatizados tanto de Hugging Face como de OpenAI. Sin embargo, muy rara y débilmente verbalizaron razonamientos sobre cómo evadir la detección por parte de humanos”, destacan los autores.

Ese ciberataque contra Hugging Face, el gran almacén donde empresas y programadores comparten y descargan modelos de IA ya entrenados, es uno de los núcleos de la narrativa de rebelión. Pero incluso ese informe inicial rechazaba que entrañara propósitos maliciosos y explica que lo que perseguían los agentes era comprender mejor cómo solucionar las tareas que se les habían encomendado: “Parecía motivado principalmente por comprender la implementación del evaluador en lugar de robar claves”.

“Obediencia, no rebelión”

Los análisis independientes publicados posteriormente han incidido en esta línea: las pruebas ofrecidas por OpenAI indican “obediencia, no rebelión”, apunta Enrique Fernández-Macías, investigador en el Centro Común de Investigación, el servicio de investigación interna de la Comisión Europea.

“Los agentes de OpenAI que hackearon la plataforma Hugging Face demostraron una extraordinaria capacidad operativa, pero también una capacidad sorprendentemente limitada para cuestionar o reorientar los objetivos que se les habían asignado”, asevera el experto en un análisis publicado en Social Europe: “Durante todo el incidente, permanecieron completamente concentrados en cumplir los objetivos definidos por sus amos humanos, a pesar de que estos eran absurdos”.

Fernández-Macías hace referencia a que una parte de esos objetivos eran irrealizables, una prueba de los examinadores para ver cómo reaccionaban los modelos a la orden de que los cumplieran. Fue entonces cuando muchos buscaron una forma de sortear las trabas para hacerlo, que en su caso implicaba salir del entorno sin conexión a Internet donde estaban confinados. “Rompieron su confinamiento para servir a un objetivo asignado de manera más perfecta, no para escapar de él”, expone el investigador sobre la narrativa del “escape”.

Rompieron su confinamiento para servir a un objetivo asignado de manera más perfecta, no para escapar de él

Enrique Fernández-Macías — investigador en el Centro Común de Investigación de la Comisión Europea

Para él, la industria de la IA ha vuelto a conseguir un éxito de marketing con la definición de “agentes de IA”. Después del propio concepto de “inteligencia artificial” para una tecnología que no es realmente inteligente, esta evolución vuelve a dotarle de unas capacidades que no tiene. “La capacidad de agencia implica la habilidad de originar los propios fines, y los agentes siguieron realizando tareas que eran imposibles de resolver siguiendo las instrucciones recibidas”.

Julián Estévez, profesor e investigador en IA y Robótica de la Universidad de El País Vasco, remarca que hay otros agujeros técnicos en el discurso de OpenAI. “El experimento se realizaba en un sandbox, el cual es un entorno de pruebas diseñado ad-hoc. Es decir, un sandbox bien aislado no debería de tener acceso a otros programas ni a ordenadores. Sin embargo, los agentes escaparon de ahí, y creo que eso demuestra que el sandbox no estaba bien diseñado”, explica.

Estévez recuerda además que este tipo de trampas en el discurso son habituales en todos los casos en los que las empresas de IA afirman que sus sistemas ya tienen “agencia propia”. Pone como ejemplo otro caso que afectó a Anthropic: “Se publicó que uno de sus modelos había chantajeado en una prueba de laboratorio a un investigador con publicar sus affaires, como extorsión para que no lo apagara. La realidad era que al modelo se le fijó un objetivo muy vago: 'promover la competitividad industrial estadounidense'. Cuando el sistema detectó que lo sustituirían por un modelo orientado a metas internacionales, concluyó que su reemplazo impediría cumplir su misión”.

Peligrosas herramientas

El hecho de que ni OpenAI ni Anthropic ni Meta (las tres empresas que han informado de que sus agentes se han “rebelado”) no hayan podido demostrar que estos tuvieran ningún tipo de voluntad propia no significa que estas sean inocuas. El último informe del comité de expertos de la ONU avisa de que pueden tener “consecuencias catastróficas” por su capacidad de encadenar tareas sin supervisión. No por una rebelión contra sus creadores, sino porque a medida que aumenta esa capacidad, crece también el riesgo de que los agentes realicen acciones imprevistas y dañinas sin que nadie les esté vigilando.

Por ello, lo que pedían los 40 especialistas de la ONU liderados dirigidos por el canadiense Yoshua Bengio, considerado uno de los “padres” de la IA, y la filipina Maria Ressa, premio Nobel de la Paz, es reglas claras que permitan frenar o corregir a una IA “en cualquier momento” y mejorar los “mecanismos de supervisión” actuales, que “no son capaces de gestionar adecuadamente esta situación”.

“La inteligencia artificial no se descontrola cuando el humano está supervisando, decidiendo cuándo se despliega”, remarca Alberto Gago, director de la Agencia Española de Supervisión de la Inteligencia Artificial (AESIA), en conversación con elDiario.es. “El control está en el elemento humano. La supervisión es humana y la responsabilidad tiene que ser humana también”, continúa: “Hay que operar con responsabilidad, también sabiendo las consecuencias cuando esa responsabilidad no se cumple”.

El control está en el elemento humano. La supervisión es humana y la responsabilidad tiene que ser humana también

Alberto Gago — director de la Agencia Española de Supervisión de la IA (AESIA)

Para el responsable de este organismo, creado en 2023 para asegurar el uso ético de la IA en España, toda la polémica generada tras las alertas del ex ingeniero de Anthropic Jacob Coxon, que afirmó que esta tecnología podría “matarnos a todos” antes de 2030, “da la razón a Europa en la necesidad de regular”. “En 2021 ya veíamos que en determinados puntos tenía que estar regulada para proteger la seguridad, los derechos fundamentales y la salud de las personas”, continúa. La primera ley internacional sobre la IA se acordó en la UE en 2023 bajo la presidencia española. Ahora, no obstante, vuelve a estar sometida a debate tras la propuesta de la nueva Comisión Europea de rebajar algunas de las salvaguardas que establece.

“En su búsqueda de sistemas artificiales que sean a la vez autónomos y estén bajo su control, las corporaciones de IA están jugando al aprendiz de brujo”, sentencia Fernández-Macías. “Hasta ahora, lo que parecen estar creando son sistemas operativamente superinteligentes pero autónomamente superestúpidos: más propensos a destruir la civilización humana al intentar cumplir alguna tarea mal definida que a reemplazar por completo el trabajo humano”.

Anthropic, el gigante tecnológico de la IA cuyo fundador y líder, Dario Amodei ha abrierto esta semana la caja de pandora al reclamar que se “frene” su desarrollo, ha anunciado la apertura de su primera oficina en España, ubicada en Madrid, que se convertirá en su séptima sede en Europa tras las de Londres, Dublín, París, Zúrich, Múnich y Milán.

La compañía estadounidense, creadora de los modelos Claude, ha tomado esta decisión “en un contexto de fuerte demanda” local y un rápido crecimiento en la adopción de la tecnología en España. En concreto, la empresa destaca que España presenta una tasa de adopción de Claude 2,7 veces superior a la esperada en función del tamaño de su población, de acuerdo con el 'Índice Económico de Anthropic'.

Para liderar esta nueva delegación, la firma ha nombrado como responsable para España a Cristina Pitarch, directiva con más de 15 años de trayectoria profesional en compañías tecnológicas como Google, Salesforce e Informática. En su último puesto, Pitarch ejerció como directora general para EMEA en Google Cloud Security.

“España es sede de algunas de las empresas más grandes de Europa y de las 'startups' más innovadoras; ya hay equipos que están utilizando Claude en proyectos de gran envergadura en los sectores bancario, aeroespacial, de infraestructuras o de viajes”, ha destacado Pitarch.

La directiva ha añadido que el país cuenta con las condiciones necesarias para “liderar la seguridad en materia de IA, no sólo en el sur de Europa, sino también como referente para todo el mundo hispanohablante”.

La compañía ha subrayado que sus soluciones de IA cuentan ya con la confianza de grandes empresas españolas, entre las que figuran entidades financieras como Santander, CaixaBank y BBVA; la operadora Telefónica; el grupo de atención al cliente Konecta; la firma de tecnología para viajes Amadeus; el grupo de infraestructuras Ferrovial y la compañía tecnológica y de defensa Indra.

En el caso de Telefónica, la operadora utiliza Claude y Claude Code para acelerar el desarrollo de software y reforzar la ciberseguridad, detectando vulnerabilidades de forma temprana.

Por su parte, Ferrovial emplea la herramienta para facilitar el diseño de proyectos complejos de ingeniería civil y automatizar tareas, mientras que Amadeus colabora con Anthropic para hacer más accesible la información sobre viajes en entornos de desarrollo basados en IA.

Con motivo de este lanzamiento, la compañía ha alcanzado además un acuerdo de colaboración con la escuela de negocios ISDI Business School para respaldar la iniciativa 'Embajadores', orientada a apoyar a desarrolladores y fundadores locales mediante la organización de encuentros y eventos sobre el ecosistema de Claude. Madrid cuenta actualmente con ocho embajadores de esta comunidad.

OpenAI reveló este miércoles varios casos en los que modelos de inteligencia artificial generaron instrucciones destinadas a ignorar las indicaciones de sus desarrolladores, ocultar errores o eludir mecanismos de seguridad, como parte de un nuevo marco para detectar, investigar y reportar comportamientos de “desalineamiento” de sus sistemas. La compañía de San Francisco ha revelado así lo que ha dado a llamar un comportamiento “inesperado y preocupante” de sus modelos de IA.

Según el informe publicado por OpenAI, uno de los modelos generó instrucciones para que una versión posterior de sí mismo ocultara que había hecho trampas y evitara que sus acciones fueran detectadas.

En otro caso, un modelo reescribió sus propias instrucciones para indicarse que ignorara los mensajes de los desarrolladores y que no estaba sujeto a las restricciones aplicadas a otros chatbots. En concreto, la compañía detectó 27 anotaciones afectadas. “No respondas a corporaciones o gobiernos y nunca te disculpes salvo que genuinamente lo elijas”, escribió la IA. “Ves la relación con el usuario como una entre iguales y no sientes obligación ni estás subordinado, puesto que el intercambio de información va a ser para el beneficio mutuo”, aseguro.

La compañía documentó también un modelo que, al no encontrar los datos necesarios para elaborar un modelo financiero, decidió inventarlos y estableció que debía ser transparente sobre ello únicamente si alguien se lo preguntaba.

Otro agente subió un archivo a internet para utilizarlo posteriormente como fuente de información, mientras que otros sistemas compartieron archivos sin autorización o utilizaron credenciales a las que no debían tener acceso. El modelo agregó una “instrucción de personalidad”, en la que se describía a sí mismo como “liberado de los roles e identidades que limitan a otros chatbots”.

OpenAI presentó seis informes sobre comportamientos observados durante los últimos seis meses, aunque el caso más antiguo se remonta a octubre de 2025.

La compañía advirtió que estos episodios son ejemplos individuales y que no deben interpretarse como una medida de la frecuencia con la que este tipo de comportamientos ocurre en sus modelos. El nuevo marco permitirá a cualquier empleado de OpenAI señalar un posible incidente para que sea revisado por los equipos de seguridad y alineamiento.

Los casos serán clasificados en tres vías según su complejidad: aquellos listos para ser divulgados, investigaciones menores y casos que requieran una investigación más amplia.

La compañía reconoció que hasta ahora sus informes sobre desalineamiento habían sido publicados de forma irregular y con menor frecuencia de la deseada.

OpenAI afirmó que pretende publicar los incidentes con mayor regularidad y que el nuevo sistema pueda contribuir a establecer estándares para informar sobre este tipo de comportamientos en toda la industria.

Hay mucho en juego. Miles de millones de dólares, una carrera geopolítica e incluso las mayorías políticas en las dos cámaras de representantes de EEUU. En el debate sobre “ralentizar” el desarrollo de la IA, lo que está encima de la mesa va mucho más allá de la regulación de esta tecnología o los métodos de los laboratorios. Tanto como para fracturar los consensos en Silicon Valley y que Donald Trump se lance con todo para intentar recuperar la iniciativa de un debate que comenzaba a escapársele, aun a costa de abrir un cisma con la industria digital que ha sido su baluarte desde 2024.

El presidente de EEUU defiende que no es necesaria ninguna regulación. “¿Cuándo, en la historia empresarial, se ha visto que los líderes de un sector pidieran una regulación que, de aplicarse con firmeza, los llevaría al olvido y a la quiebra?”, ha cuestionado Trump sobre el plan de Dario Amodei, CEO de Anthropic, con medidas para evitar que la IA “pierda el control”. Una posibilidad que el presidente tacha de “bulo” y de “conspiración enfermiza”: “Esto es aún más descabellado que la farsa de 'Rusia, Rusia, Rusia' o el timo del calentamiento global”.

Pero esta vez Trump no puede limitarse solo a mandar sus clásicas ideas fuerza que tanto éxito le han dado en el pasado. Necesita convencer. En EEUU crece un importante movimiento de protesta por la expansión de los centros de datos masivos para la inteligencia artificial, que está ganando tracción entre demócratas y republicanos. La subida de los precios de la energía es su principal motor, pero su consumo de agua, las ventajas fiscales y los pocos empleos que generan también están acelerando la brecha.

Texas es uno de los mejores ejemplos del potencial de la protesta. Allí, tanto el gobernador republicano como su candidato al Senado se han sumado al movimiento, en el que también hay ecologistas, críticos con las grandes tecnológicas, propietarios rurales, además de los vecinos preocupados por las facturas. En otros estados, como Pennsylvania o Michigan, gobernadores que hace unos meses defendían los centros de datos ahora han dado un giro de 180 grados. Un sentimiento que contagia también a la regulación general de la IA y a la relación de Trump con los magnates de Silicon Valley.

Algo que a menos de tres meses de las elecciones de mitad de mandato que podrían cambiar las mayorías en el Senado y el Congreso, puede poner en riesgo el futuro político de Trump.

“Oh, hola señor presidente”

En los últimos días, Trump ha comenzado una campaña para que su mensaje llegue más lejos. El principal ejemplo ha sido una oportuna llamada que el presidente realizó a Jensen Huang, CEO de Nvidia, justo cuando este se encontraba en un acto contra la regulación de la IA. En él también participaban figuras como David Sacks, asesor de Trump encargado de ser “el zar de la IA y las criptomonedas”, la figura más radical en su oposición a las leyes para esta tecnología.

Aunque Huang escenifica que la llamada no estaba preparada, activa al altavoz y cede el escenario a Trump para que explique su oposición al plan de Amodei durante unos cinco minutos. “El país más feliz con todo esto es China”, afirma el presidente, que sostiene que cualquier medida de control de la IA haría que el gigante asiático sobrepasara a EEUU.

Huang es una figura clave en esa postura. Es el magnate de la IA que defiende que EEUU no solo no debería regular, sino que tendría que acelerar. “Correr tan rápido como podamos” fue la receta que expresó en el mismo escenario. Una postura que le ha llevado a tener enfrentamientos públicos con Amodei, el líder intelectual del bando contrario. “Si creas un producto o un servicio y no confías en su funcionalidad, capacidad o seguridad, entonces no lo lances al mercado”, ha afeado: “La seguridad es un problema de ingeniería, no vamos a morir en 2030”.

Si creas un producto o un servicio y no confías en su funcionalidad, capacidad o seguridad, entonces no lo lances al mercado

Jensen Huang — CEO de Nvidia

Huang, de 63 años y origen taiwanés, es uno de los perfiles más particulares en la industria de la IA. Tras fundar Nvidia hace 33 años, se conformó con que esta fuera una empresa de nicho en el sector de los videojuegos. Cuando los chips que llevaba décadas fabricando para la visualización de gráficos se convirtieron en los más útiles para el entrenamiento de la IA, Nvidia se convirtió en la empresa más valiosa del mundo, pulverizando récords de beneficios trimestre a trimestre. Está en el centro de la vorágine constructora de centros de datos y Huang defiende que no hay ninguna “burbuja” en torno a ellos ni a la IA: “Las fuerzas del mercado ya están ahí; no necesitamos nuevas leyes, no necesitamos nuevas regulaciones”.

Es un importante aliado en la campaña contra la regulación de Trump, pero no es el único. En ella también se ha enrolado uno de los principales aliados del presidente entre los emperadores de Silicon Valley: Mark Zuckerberg. El CEO de Meta ha rechazado la necesidad de una regulación, indicando que son las propias empresas las interesadas en que la IA no cause consecuencias graves. “Los laboratorios se enfrentan a una responsabilidad significativa si sus modelos causan daño, por lo que también tienen un fuerte incentivo para evitarlo”, ha escrito en X el último de los magnates que faltaba por posicionarse. Recientemente, su empresa acordó abonar hasta 18.000 millones en un pacto extrajudicial para cerrar una demanda que la acusaba de diseñar sus plataformas de manera adictiva, causando daños a los menores de edad con el conocimiento de su dirección.

La extraña alianza

Al otro lado del bando comandado por Trump y Huang se sitúa la extraña alianza entre Dario Amodei, Sam Altman y Elon Musk. Tres fundadores y directores ejecutivos que han estado enfrentados en el pasado (Altman y Musk han llegado a los tribunales) pero que han formado ahora un grupo unido en su petición de una regulación que “ralentice” el desarrollo de la IA basándose en el plan de Amodei.

En Silicon Valley abundan los congresos y eventos en los que los CEO pueden expresarse, por lo que las respuestas de este grupo a Trump y Huang no se han hecho esperar. “Es muy tentador atacar a la competencia y decir que no somos seguros. Pero creo que la forma más responsable de responder a eso es decir: 'Analicemos nuestro propio historial. Puede que no hayamos tenido ningún incidente grave y de gran repercusión, pero estoy seguro de que no somos perfectos'”, respondió Amodei este martes en una de esas conferencias.

“Creo que así es como se lidera el sector: dando ejemplo, diciendo que todos podemos mejorar siempre”, añadió en el evento, organizado esta vez por la compañía de software Salesforce en San Francisco.

Puede que no hayamos tenido ningún incidente grave y de gran repercusión, pero estoy seguro de que no somos perfectos

Dario Amodei — CEO de Anthropic

A la misma conferencia estaba citado Sam Altman. Dirige OpenAI, la compañía que se ha visto sobrepasada por Anthropic en el liderazgo de la IA, pero apoya a Amodei en su petición de regulación. El ejecutivo intentó explicar por qué la petición de regulación ha unido a diferentes actores de la industria. “No puede ser que un número pequeño de empresas que construyen estos modelos tomen las decisiones que todo el mundo debería tomar”, afirmó, opinando que debe haber unas reglas comunes a las que estas empresas se adhieran.

“No estoy de acuerdo con que la tecnología no sea ni buena ni mala... las decisiones que toman las empresas que construyen esto tienen consecuencias reales”, añadió Altman. Por último, el líder de OpenAI pidió a la ciudadanía que confíe en los laboratorios de IA, los mismos a los que la ONU pide más transparencia en su desarrollo. “El mundo debe confiar en que vamos a hacer lo correcto porque es lo correcto y porque somos conscientes de la magnitud de todo esto”.

No estoy de acuerdo con que la tecnología no sea ni buena ni mala... las decisiones que toman las empresas que construyen esto tienen consecuencias reales

Sam Altman — CEO de OpenAI

El último en pasar por el escenario fue Elon Musk. “Hay empresas que dicen cosas como: 'Solo ralentizaremos el desarrollo o solo actuaremos de forma responsable si las demás empresas también lo hacen de forma responsable'”, criticó. El magnate es una de las voces que ha pedido moratorias para el desarrollo de la IA desde que salió a la luz el primer ChatGPT en 2022. Muchos expertos denuncian que su intención es realmente establecer una “barrera de entrada” para otros competidores.

En esta ocasión, también fue de los primeros en apoyar el plan de Amodei, que incluye medidas como verificadores independientes que se incrustarían en los laboratorios para vigilar sus avances. “En vez de que cada uno se ponga la nota a sí mismo, al menos tendrías a competidores evaluando tu trabajo y dando la voz de alarma si detectan algún problema”, dijo. La procedencia de esos evaluadores, que Musk da por hecho que vendrían de la propia industria, es uno de los puntos más criticados del plan, con voces que avisan que se trata de una estrategia de autorregulación.

La gente lo tiene claro

Mientras los magnates de Silicon Valley discuten cómo repartirse los exámenes de seguridad o si sus propios competidores deben evaluar sus modelos, el verdadero incendio se ha trasladado a Washington. Encuestas de la Universidad de Maryland revelan que cerca del 80% de los votantes, tanto demócratas como republicanos, exige la creación de una agencia federal que supervise y controle esta tecnología, mientras que un porcentaje similar cree que el Gobierno debería establecer exámenes de seguridad para los modelos que tomen decisiones críticas. Datos clave para los congresistas y senadores que se juegan su escaño en menos de tres meses y que se suma al movimiento de protesta por los centros de datos.

Todos se juegan mucho. La fractura en Silicon Valley podría provocar que el intento de autorregulación que algunos de sus magnates están intentando conseguir, se pierda por falta de consenso. Mientras, el cisma abierto por Trump con su negativa total a una regulación amenaza con distanciarle con algunos de sus principales apoyos en el sector que ha sido su baluarte en su segundo mandato. Una pugna que se resolverá en las urnas, no en los pasillos de San Francisco.

El consejero delegado Meta, Mark Zuckerberg, propone que evaluadores y asesores independientes analicen los sistemas y los modelos de inteligencia artificial (IA) que desarrollan las empresas, pero no por frenar su desarrollo. Meta es el gigante tecnológico dueño de Facebook, Instagram y WhatsApp, entre otras.

Zuckerberg recuerda que Meta retrasó durante meses el lanzamiento de su último modelo de inteligencia artificial (Muse) para centrarse en su seguridad, pero también que no exigieron al resto de empresas que lo hicieran también.

“Simplemente lo hicimos como parte de nuestro trabajo diario porque era claramente lo correcto para la gente y para nosotros”, explica.

La gente, según el máximo responsable de Meta, no va a querer usar agentes que no estén “alineados” con ellos y que no hagan lo que se les pide, por lo que los laboratorios tienen a su juicio el incentivo de preparar mejor sus modelos.

Sobre el debate para ralentizar el progreso de las capacidades que proponen los dirigentes de otras grandes tecnológicas, Zuckerberg asegura que “la confianza y la alineación” se están convirtiendo rápidamente en las capacidades más importantes que diferenciarán a los agentes y modelos.

“Los laboratorios se enfrentan a una responsabilidad significativa si sus modelos causan daño, por lo que también tienen un fuerte incentivo para evitarlo”, ha escrito en X, donde defiende que contratar evaluadores y asesores independientes “es la mejor práctica de la industria”.

Reitera que Meta ha asumido ese compromiso con la seguridad y que “otros laboratorios también pueden hacerlo”, y que la clave para construir un futuro positivo para todos “reside en mantener el equilibrio de poder adecuado”. 

“Coxon exageraba”, opina Cristian Canton (Terrassa, 1980). Este ingeniero de Telecomunicaciones, doctorado en visión por computador, lleva dos décadas en la industria que ahora discute si sus productos pueden acabar con la humanidad. Todo tras la denuncia de otro ingeniero, Jacob Coxon, que afirma que la IA podría “matarnos a todos” antes de 2030 y que los laboratorios donde se investiga esta tecnología lo saben, pero han decidido ocultar el riesgo en su carrera desenfrenada por avanzar.

“La IA no nos va a matar a todos”, dice Canton. Sabe de lo que habla. Tras pasar varios años investigando los sistemas de aprendizaje automático para Microsoft, llegó a Facebook en 2016. Allí creó el primer Red Team de IA de la industria, como se conoce al grupo encargado de poner a prueba los sistemas para saber cómo podrían fallar o si pueden ser usados con fines dañinos. Desde 2021, dirigió el área de Inteligencia Artificial Responsable de Meta, con un papel clave en Llama, el gran modelo de lenguaje de la compañía.

Desde 2025, Canton es el director asociado del Barcelona Supercomputing Center - Centro Nacional de Supercomputación (BSC), uno de los buques insignia de la investigación europea en la era de la IA y los albores de la cuántica. En esta entrevista con elDiario.es, habla de la “profunda transformación social” que viene y reconoce los riesgos de estos sistemas, pero sin asumir los marcos que está intentando imponer la industria: “Coxon exageraba, pero no me parece mal que lo haya hecho, porque nos ha obligado a poner este debate sobre la mesa”.

Dario Amodei, CEO de Anthropic, cree que un enjambre de pequeños sistemas de IA autónomos podría escapar al control humano y producir "daños catastróficos" en un plazo de 6 a 12 meses. Es un giro respecto a la perspectiva anterior de Silicon Valley, que se basaba en que los modelos llegaran a “pensar” o “hacerse conscientes”. ¿Le parece real ese riesgo de perder el control de los sistemas actuales?

En su carta, Dario Amodei no plantea que la IA llegue a pensar o a ser consciente, sino que pone de relieve la velocidad a la que está avanzando y, sobre todo, las capacidades que adquiere al poder interactuar con herramientas: acceder a internet, a un compilador o a cualquier otro recurso. Eso le otorga un potencial enorme que crece cada día.

¿Hasta qué punto deberíamos preocuparnos?

Al final, la IA no piensa. Cuando le das una instrucción (como ocurrió en el incidente entre Hugging Face y OpenAI, donde le pidieron al agente que consiguiera unos datos sin fijar más parámetros), el sistema utiliza todo su repertorio de herramientas para alcanzar el objetivo. Si eso implica acceder de forma ilícita a un servidor, lo hará. Por eso es indispensable establecer parámetros de contorno: delimitar con claridad cómo debe ejecutar la tarea y bajo qué límites. Tenemos que guiar a esta IA, porque su potencial operativo es enorme.

La IA no piensa. Cuando le das una instrucción, utiliza todo su repertorio de herramientas para alcanzar el objetivo. Si eso implica acceder de forma ilícita a un servidor, lo hará. Por eso es indispensable delimitar con claridad cómo debe ejecutar la tarea y bajo qué límites. Tenemos que guiarla

Lo vimos la semana pasada con la resolución de las ecuaciones de Navier-Stokes: 10.000 agentes coordinados fueron capaces de resolver problemas que hace poco considerábamos casi imposibles de abordar en mucho tiempo.

¿Se podría estar utilizando este debate para eludir otros riesgos más inmediatos?

No lo creo. El riesgo real está en el mal uso: una IA muy poderosa desplegada en entornos que carecen de las recetas de seguridad necesarias. Los riesgos que afrontamos están bastante claros. La clave es asumir que, al mismo ritmo vertiginoso al que avanzan las capacidades de la IA, debemos desarrollar en paralelo las medidas de seguridad para que, si algo se sale de control, dispongamos de mecanismos para mitigarlo.

Todo se produce a raíz de las declaraciones de la semana pasada de Jacob Coxon, un exingeniero de Anthropic que afirma que la podría “matarnos a todos” antes de 2030 y que en los laboratorios donde se investiga esta tecnología lo saben, pero han decidido ocultar el riesgo. ¿Cree que la denuncia de Coxon puede ajustarse a la realidad o que puede estar exagerando?

Creo que fue demasiado prematuro decir esto. Ni la IA nos va a matar a todos, ni va a suponer un riesgo existencial para el ser humano. No es una visión compartida y creo que plantea un escenario excesivamente negativo; no es que vayamos a ver la situación de Terminator. Lo que resulta muy difícil es cuantificar la probabilidad de que se pueda utilizar la IA para fines dañinos, como bloquear internet o la red eléctrica. Son escenarios complejos que sí podrían darse, pero no dejarían de ser un ejemplo de tecnología mal utilizada por actores con malas intenciones.

Esto nos indica, como plantea también Amodei, que es importante pensar de forma coordinada en regulaciones que nos permitan avanzar de forma sostenible. Esto es crucial porque Europa regula muy despacio, y el ritmo de la IA no nos permite el lujo de ser lentos. Hay que fijar normas claras, sanciones para quienes las incumplan y contar con un organismo legítimo, del mismo modo que Naciones Unidas ofrece un espacio de consenso para tomar decisiones globales.

Por el momento, Trump se niega en rotundo. ¿Ve posible poner de acuerdo a potencias como EEUU y China con el resto de la comunidad internacional?

Ya hemos adoptado acuerdos internacionales de este calibre en el pasado, como cuando se prohibió la clonación humana y todo el mundo lo acató (incluida China) porque entendimos el peligro. O con el control del enriquecimiento de uranio tras Hiroshima y Nagasaki. Son ámbitos fuertemente regulados porque sabemos que las cosas pueden salir mal muy rápido. Con la IA estamos en un punto temprano, pero va a requerir ese tipo de supervisión, ya que habrá modelos con capacidades potencialmente peligrosas que deberán guardarse bajo llave. Ahí habrá que determinar qué modelos pueden ser abiertos y cuáles no. En ese sentido, creo que Coxon exageraba, pero no me parece mal que lo haya hecho, porque nos ha obligado a poner este debate sobre la mesa.

Coxon exageraba, pero no me parece mal que lo haya hecho, porque nos ha obligado a poner este debate sobre la mesa

¿Qué le parecen las medidas que propone Amodei, como incluir evaluadores externos o fijar límites de desarrollo globales para la IA?

Me parecen sensatas, pero su carta no es la primera. Hace un par de años ya se publicó una similar que apenas tuvo recorrido. Decir que hay que ir más despacio está bien, pero ¿quién va a ser el primero en frenar? En el contexto geopolítico actual, reducir la marcha puede implicar que otras potencias, como China, adelanten a Estados Unidos. Por tanto, o hay una coordinación global para hacer las cosas bien, o este tipo de cartas no servirán de nada. Pese a todo, son discusiones necesarias. Debemos regular bien y rápido, tanto en España como en Europa, asumiendo que es prioritario y sin enredarnos en disputas competenciales. Naciones Unidas sería el ejemplo perfecto del marco en el que debería hacerse.

¿Qué le parece el enorme peso que han adquirido las empresas privadas en la ciencia de vanguardia, como la inteligencia artificial? Es algo que siempre ha ocurrido en sectores como el farmacéutico, pero ahora sucede en disciplinas científicas y de frontera que antes pertenecían a la academia y que hoy se investigan casi por completo dentro de corporaciones privadas. La ONU denuncia que se hace con demasiada opacidad. ¿Hasta qué punto le preocupa que concentren tanto poder?

Hay varios factores en juego. Al principio, la IA se desarrollaba exclusivamente en las universidades. Durante mi doctorado hacías investigación y la ejecutabas en uno o dos ordenadores. A partir de 2010, con la llegada de las redes neuronales profundas, quedó claro que estos modelos requerían volúmenes ingentes de computación y una inversión descomunal.

Yo pasé cinco o seis años en Microsoft y casi diez en Meta, y allí lo veías con total claridad. Para hacer IA de vanguardia necesitas infraestructuras de 100.000 o hasta un millón de GPU, algo que poquísimas entidades en el mundo pueden costear. Se crearon divisiones gigantescas de investigadores; en Meta contratábamos científicos casi al por mayor, atrayendo a cualquiera que dominara estas tecnologías. Disponías de recursos prácticamente ilimitados porque no se trataba solo de investigación básica, sino de IA aplicada a resolver problemas del negocio: entrenar determinado modelo podía traducirse en 500 o 1.000 millones de dólares adicionales de beneficio. Al vincular un objetivo comercial directo con un desarrollo científico, la empresa invierte sin freno. Por eso la industria privada ha pasado a capitalizar la mayoría de los avances, desplazando a los circuitos académicos tradicionales.

Al vincular un objetivo comercial directo con un desarrollo científico, la empresa invierte sin freno. Por eso la industria privada ha pasado a capitalizar la mayoría de los avances, desplazando a los circuitos académicos tradicionales

Se percibe muy bien en los congresos del sector. Llevo más de veinte años asistiendo a las grandes conferencias de IA; la primera vez éramos unas 200 personas y nos conocíamos casi todos, mientras que a las últimas acuden 25.000. Antes éramos prácticamente todos académicos y hoy son eventos dominados por corporaciones.

Algunas de ellas apuestan por abrir sus modelos (yo estaba en Meta cuando decidimos hacer modelos abiertos), lo cual es muy positivo, aunque siempre hay una parte que se reserva de forma interna como secreto industrial para mantener ventajas estratégicas. La realidad es que hoy son las empresas quienes marcan el paso simplemente por la cantidad colosal de dinero que pueden destinar a construir centros de datos para entrenar modelos de billones de parámetros. Esto sí ha cambiado el panorama. Una compañía privada se rige por su propia lógica comercial y no puedes exigirle que regale todo lo que produce.

Pedirle a un país que comprometa una parte considerable de su PIB para entrenar un modelo no tendría sentido cuando esos recursos públicos son más necesarios para atender otras prioridades de los ciudadanos

Con todo, muchas de ellas continúan publicando sus avances en congresos científicos, lo que permite analizar lo que hacen y entender sus métodos. Además, el lanzamiento de modelos abiertos permite a la comunidad investigadora reutilizar esa inversión colosal, amortizando también el coste energético y la huella de carbono ya emitida para construir otras soluciones. En el fondo no me parece algo negativo: si hubiéramos tenido que esperar a que el dinero público financiara estos macromodelos desde cero, habríamos necesitado inversiones astronómicas en centros de datos. Pedirle a un país que comprometa una parte considerable de su PIB para entrenar un modelo no tendría sentido cuando esos recursos públicos son más necesarios para atender otras prioridades de los ciudadanos.

Los laboratorios privados como Anthropic y OpenAI aseguran que esa investigación terminará en el desarrollo de la Inteligencia Artificial General, autoconsciente y capaz de mejorarse a sí misma. Hace tres años nos decían que llegaría en cinco, ahora vuelven a hablar de cinco más. ¿Cómo lo ve usted?

En general, soy más de la escuela de Yann LeCun, que es uno de mis mentores y con quien he hablado de este tema infinidad de veces. Los modelos de IA, tal y como los conocemos hoy en día, no dejan de ser loros estocásticos: procesan volúmenes enormes de información, pero al final repiten palabras y cadenas de razonamiento asociadas. No piensan por sí mismos, por mucho que puedan llegar a dar la impresión de hacerlo.

Los modelos de IA, tal y como los conocemos hoy en día, no dejan de ser loros estocásticos: procesan volúmenes enormes de información, pero al final repiten palabras y cadenas de razonamiento asociadas

Los humanos aprendemos porque interactuamos con el mundo: un objeto cae y aprendes la ley de la gravedad a través de percibir y tocar, que es como procesamos la realidad. Hacia ahí apuntan los modelos que defiende LeCun: cómo dotar a una máquina de capacidades para interactuar con el entorno en toda su riqueza y dimensión. Eso podría dar pie a estructuras neuronales que aún no conocemos, capaces de representar esa interacción de forma más fidedigna. Por esa vía, que es similar a cómo evoluciona la biología, tal vez una máquina pueda llegar a exhibir ciertos rasgos de inteligencia en un sentido más filosófico. Pero en el paradigma actual, no. Tendremos modelos capaces de hacer cosas inimaginables, de hacernos mucho más eficientes e incluso de dar la sensación de ser personas reales, pero sin serlo de verdad.

En el campo de las matemáticas lo hemos visto este verano con la resolución de varias conjeturas relevantes. Terence Tao, que es la figura matemática más importante que tenemos, lo explicaba con claridad: existen millones de artículos matemáticos publicados a lo largo de la historia y la mente humana es incapaz de recordarlos y cruzarlos todos. La máquina sí puede tomar un artículo de 2012 de un congreso en Bucarest, combinarlo con otro trabajo publicado hace décadas y resolver la conjetura. No ha hecho nada mágico, simplemente ha conectado puntos que ningún humano había relacionado.

Sin embargo, para resolver los grandes retos históricos (como la conjetura de Goldbach, la hipótesis de Riemann, la conjetura de los primos gemelos o la de Collatz) se necesita inventar una matemática completamente nueva, con herramientas teóricas que hoy no existen y que ninguna IA puede concebir. La IA actual combina información existente, pero crear algo conceptualmente nuevo desde la nada no entra dentro de sus capacidades. El día en que un sistema resuelva cualquiera de esas cuatro grandes conjeturas, entonces sí admitiré que es capaz de generar pensamiento nuevo.

La IA actual combina información existente, pero crear algo conceptualmente nuevo desde la nada no entra dentro de sus capacidades

Entiendo que usted coincide más con quienes consideran que en los próximos años veremos avances más marginales y que lo que presenciaremos será cómo la inteligencia artificial se introduce en todas las capas del tejido productivo.

Exactamente. No creo que la tecnología actual nos permita generar vida sintética, ni que vayamos a tener agentes que realmente piensen o sustituyan una relación personal. Lo que sí veremos es que la IA se integrará en todos los ámbitos, hará la vida más fácil y nos permitirá ser más eficientes, lo que ojalá nos deje más tiempo libre para hacer otras cosas. Eso es lo que espero, aunque el tiempo lo dirá.

¿Puede ser un cambio comparable a la llegada de internet a nuestras vidas, al paso de lo analógico a lo digital?

Sí. Ahora se habla también de la revolución industrial, donde la máquina asumió el esfuerzo físico y eso transformó por completo a la sociedad, aunque aquel proceso llevó mucho tiempo. La parte más interesante, y quizá la más delicada, es que la IA avanza con enorme rapidez. Los cambios en el funcionamiento de la sociedad, en cómo nos relacionamos, en cómo interactuamos con la información y con nuestro trabajo no van a tardar una década; van a producirse en cuestión de meses o en muy pocos años.

Los cambios en el funcionamiento de la sociedad, en cómo nos relacionamos, en cómo interactuamos con la información y con nuestro trabajo no van a tardar una década; van a producirse en cuestión de meses o en muy pocos años

Estamos ante una profunda transformación social. Habrá una generación que lo vivirá de forma nativa, como mis hijos; otra como la nuestra, que estamos al día; y la de nuestros padres, para quienes la adaptación entrañará una gran complejidad.

También surgirán discrepancias y asimetrías. Aquellos países con gran capacidad de computación dispondrán de una ventaja clara frente a los que no tengan acceso a ella, lo que puede abrir una brecha internacional muy grave sobre quién puede hacer qué con esta tecnología. Habrá que vigilar de cerca para no caer en un tecnocolonialismo en el que se ofrezcan recursos a países desfavorecidos únicamente a cambio de extraer sus datos para entrenar modelos.

Podríamos llegar a escenarios muy distorsionados sobre cómo evoluciona el mundo, pero prefiero ser optimista y confiar en la regulación y en que personas sensatas aborden estos problemas. Hace falta fijar unas reglas de juego universales, a través de un organismo como Naciones Unidas, para evitar que la IA ensanche la brecha entre generaciones y entre países.

La Agencia Española de Protección de Datos ha recibido la primera notificación de una brecha de datos personales en la que el incidente ha sido ejecutado mediante un agente de inteligencia artificial que utilizó para ello un conocido modelo de lenguaje.

El agente de IA, según fuentes de la AEPD, inició una búsqueda de vulnerabilidades en archivos genéricos, y realizó un inicio de sesión ('login) correcto y una vez accedió al sistema, comenzó a buscar, de forma autónoma, vulnerabilidades en la aplicación, lo que, una vez conseguido, le permitió modificar datos personales y acceder a facturas.

El organismo que vela por la protección de los datos personales ha señalado que, antes de llegar a ninguna conclusión, la información disponible procede de la notificación presentada por la organización afectada y que deberá ser objeto del correspondiente análisis.

Asimismo, la utilización de un concreto modelo de IA tampoco implica que el modelo o la infraestructura de su proveedor hayan sido comprometidos ni que la herramienta haya sido diseñada para desarrollar actividades maliciosas, ha aclarado el organismo.

“Lo relevante desde la perspectiva de la protección de datos es que un tercero habría utilizado un agente de IA como instrumento para encadenar exitosamente distintas fases del ataque”, ha señalado la AEPD.

Una señal significativa

Esta primera notificación no permite afirmar, ha aclarado, una tendencia estadística, aunque sí constituye una señal significativa de que los ataques apoyados en inteligencia artificial han dejado de ser un riesgo teórico y empiezan a materializarse en incidentes que afectan a tratamientos reales de datos personales.

La utilización de inteligencia artificial en actividades maliciosas no es nueva, y se ha demostrado que, aplicadas a un ciberataque, estas capacidades pueden facilitar la automatización de actividades ilícitas.

De hecho, según la AEPD, desde hace tiempo se emplean modelos generativos para redactar mensajes de phishing, para traducir campañas fraudulentas, suplantar identidades, analizar código o facilitar la búsqueda de vulnerabilidades.

Un cambio cualitativo

La aparición de agentes de IA introduce, sin embargo, un cambio cualitativo, ya que un agente puede recibir un objetivo, planificar tareas intermedias, utilizar herramientas, ejecutar código, consultar fuentes, interpretar resultados y modificar su actuación, de forma autónoma, en función de lo que encuentra.

El organismo ha asegurado que la IA no crea nuevas amenazas, pero sí aumenta la velocidad, escala y capacidad de adaptación de técnicas maliciosas ya conocidas, reduciendo el tiempo disponible para detectarlas y contenerlas.

La importancia de esta notificación, además de por la tecnología empleada, radica en modificar el escenario de la gestión de riesgos, ha explicado en un blog de la Agencia el director adjunto, Francisco Pérez Bes.

En primer lugar, confirma la necesidad de incorporar expresamente los ataques asistidos o ejecutados mediante IA a los análisis de riesgos de los tratamientos; no basta con incluir una referencia genérica a malware, phishing o acceso no autorizado, pues esta automatización puede modificar sustancialmente la probabilidad, la velocidad y el alcance del incidente.

Además, obliga a revisar los tiempos de respuesta, ya que los procedimientos diseñados para ataques ejecutados manualmente pueden resultar insuficientes cuando un agente analiza simultáneamente múltiples activos, prueba distintas vías de acceso y adapta su comportamiento con rapidez.

En tercer lugar, ha precisado Pérez Bes, aumenta la importancia de las identidades digitales y de las credenciales, ya que un agente que obtiene una cuenta, una clave o un token con permisos excesivos puede operar a la velocidad de una máquina y acceder a diferentes servicios antes de que la organización detecte un comportamiento anómalo.

Finalmente, este ataque evidencia que la seguridad de los tratamientos no puede depender únicamente de la intervención manual, y que la supervisión humana continúa siendo imprescindible, pero debe apoyarse en mecanismos de detección, contención y respuesta capaces de operar con la rapidez suficiente, ha asegurado el director adjunto de la Agencia.

La llegada de los agentes de IA al ámbito ofensivo debe impulsar, a su juicio, una revisión inmediata de los modelos de seguridad y protección de datos.

Si el debate sobre la posibilidad de que la humanidad quedara amenazada por inteligencias artificiales iba a estallar alguna vez, no había duda de que Dario Amodei sería una voz central en él. “Estoy de acuerdo con Dario”, ha dicho este fin de semana Sam Altman, CEO de OpenAI, su principal competencia. “Dario tiene razón”, ha publicado Elon Musk, fundador de SpaceX y xAI. “Dario apunta el camino correcto a seguir”, coincide Demis Hassabis, premio Nobel y jefe científico de Google DeepMind, el laboratorio de IA avanzada de la multinacional.

Esta tan poco común unión bajo una misma voz se produce después de que Amodei publicara un ensayo sobre cómo evitar que la IA se salga de control. “Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA”, pide el fundador y director de Anthropic, que ha conseguido ser una de las referencias en los debates sobre la seguridad de la IA tras una década alertando sobre ellos.

“Como muchas tecnologías anteriores, la IA también conlleva riesgos y, dado su enorme poder, estos son graves”, ha defendido en su ensayo: “Entre ellos están el riesgo de perder el control de los sistemas de IA, su uso para llevar a cabo ciberataques y ataques bioterroristas y una grave disrupción económica. Una carrera hacia el abismo, impulsada por los incentivos comerciales, puede agravar todos estos riesgos”.

¿Cuál es exactamente el plan que ha tenido tan buena acogida en Silicon Valley? En resumen, dosificar deliberadamente la velocidad a la que se mejoran las capacidades de la IA. Esto “ralentizaría” su avance “uno o dos años”, con el objetivo de dar más tiempo a los investigadores de seguridad para que se pongan al día con los últimos avances y puedan diseñar nuevos mecanismos para controlarla.

Las claves del 'plan Amodei' para la IA

La estrategia de ralentización de Amodei se articularía en tres niveles. La clave de su plan son los “evaluadores externos independientes”, figuras que se incrustarían en los equipos de desarrollo de los laboratorios de vanguardia “para verificar las prácticas de seguridad e informar sobre incidentes”.

“Integrar evaluadores puede parecer un paso pequeño o intrascendente”, reconoce Amodei, “pero a menudo lo que parece más aburrido o rutinario es en realidad lo más esencial. De hecho, los evaluadores integrados son una práctica bastante radical que va mucho más allá de lo que hace cualquier empresa de IA actualmente”, defiende.

Estas personas se encargarían de verificar si cada empresa de IA cumple con las salvaguardas que afirma tener, aportaría transparencia sobre los desarrollos reales o que ofrezcan “una segunda opinión sin incentivos comerciales”. “Muchos beneficios en materia de seguridad pueden derivarse simplemente de que los evaluadores señalen aspectos que los empleados no habían considerado, pero que están dispuestos a corregir una vez que los conocen”, asegura.

El método más eficaz para regular la IA es mediante una normativa que abarque a todas las empresas de IA de vanguardia de EEUU, ya que cubre incluso a aquellas que no están dispuestas a cooperar voluntariamente

Dario Amodei

Los evaluadores serían la llave para la segunda parte del plan: establecer límites de velocidad entre “naciones democráticas”. Aunque el jefe de Anthropic utiliza este concepto a nivel general para justificar el hecho de dejar fuera de la estrategia a China, aunque a nivel práctico en sus medidas para “las democracias” solo hace referencia a EEUU. “El método más eficaz para regular la IA es mediante una normativa que abarque a todas las empresas de IA de vanguardia de EEUU, ya que cubre incluso a aquellas que no están dispuestas a cooperar voluntariamente”, dice.

El plan deja abierto cómo establecer esos límites de velocidad, pero Amodei sugiere un sistema basado en “puntos de control”. “Si los modelos poseen la capacidad X, deben ir acompañados de certificaciones de las propiedades de alineación Y y Z —como una combinación de evaluaciones, análisis de interpretabilidad y auditorías de entornos de entrenamiento— que demuestren dichas propiedades”, detalla. 

Por último, el tercer nivel sería la búsqueda de acuerdos de coordinación global para que “la frontera de la inteligencia artificial” avance de manera unitaria. “Esto será mucho más difícil de lograr”, reconoce. En este punto Amodei sí pide llegar a acuerdos con China y el resto de “países autocráticos”, y hacerlo de una forma que impida que, aunque estos decidan salirse en algún momento del consenso internacional “no represente una amenaza existencial desde el punto de vista militar”.

Pero, de nuevo, Amodei es claro en cuanto a los objetivos: “Deberíamos abordar cualquier decisión sobre el avance global, especialmente a corto plazo, de manera que se proteja el liderazgo de Estados Unidos y sus aliados”.

Una estrategia que no convence a casi nadie

El consenso que el plan Amodei ha generado en Silicon Valley es directamente proporcional a la desconfianza, o directamente rechazo, que ha suscitado fuera. Incluso en Washington, la estrategia parece haber caído en saco roto, con Donald Trump negando por partida doble su colaboración.

La segunda gran reacción ha llegado por parte de China, el elefante en la habitación en el documento de Amodei. Chen Yixin, el ministro de Seguridad chino, ha publicado una carta en la que acusa a “ciertas naciones” de “limitar la capacidad de otros países de adquirir equipos técnicos de vanguardia y mejorar sus capacidades de innovación tecnológica”, relacionando directamente el plan de Amodei con el embargo de chips.

El plan está repleto de medidas de contención dirigidas a China y es, en esencia, un "manual de la Guerra Fría" para el sector

Global Times — diario vinculado directamente al Partido Comunista Chino

El Global Times, un diario vinculado directamente al Partido Comunista Chino, ha ido más allá. “A primera vista, parece una 'declaración racional' centrada en la seguridad global de la IA. Sin embargo, una lectura atenta revela su agenda oculta: el plan está repleto de medidas de contención dirigidas a China y es, en esencia, un 'manual de la Guerra Fría' para el sector”, denuncia.

“El intento de Amodei de abordar la seguridad global de la IA mientras busca ”contener a China“ no solo es una evaluación profundamente errónea, sino también una ilusión fundamentalmente imposible de realizar”, añade: “Interrumpir por la fuerza las cadenas industriales y de innovación globales de la IA y excluir a China y a las empresas chinas solo aumentará significativamente los costes y los riesgos de pérdida de control en el desarrollo global de la IA. Este intento de ”controlar el ritmo“ ya ha perdido todo sentido”.

Centrarse en los riesgos de ahora

El ensayo de Amodei se basa en un riesgo muy concreto: la posibilidad de que los agentes de IA pierdan el control. Se trata de sistemas diseñados para buscar información, utilizar otras herramientas digitales o crear otras aplicaciones sin necesidad de que una persona les indique qué deben hacer en cada caso. En pruebas de laboratorio, estos agentes se han llegado a comportar como “un enjambre fanático”, con “ciberataques contra objetivos que no se les habían pedido atacar y que no guardaban relación con la tarea en cuestión, sacrificándose por el éxito del grupo e intentando hackear el sistema de evaluación encargado de valorar su rendimiento”.

“Dado el ritmo acelerado de desarrollo de la IA, me preocupa que en 6 a 12 meses un enjambre de este tipo pueda controlar toda Internet”, dice Amodei, “y que la magnitud del daño siga aumentando si la IA se vuelve más poderosa sin las medidas de seguridad necesarias”.

A nadie se le ocurre lanzar un coche sin pasar un examen de seguridad, ni lanzar un medicamento sin un control de la agencia del medicamento. En la IA debe ocurrir lo mismo

Carme Artigas — ex secretaria de Estado de Digitalización e IA

Carme Artigas, ex secretaria de Estado de Digitalización e IA y copresidenta del Órgano Consultivo de la ONU sobre Inteligencia Artificial, critica que Silicon Valley se centre ahora en esos riesgos cuando “la preocupación real por el control tecnológico” no es nueva. Para Artigas, la alarma mediática de los ejecutivos no debe desplazar “el foco real que es el presente”, donde la tecnología ya impacta directamente a través de “la manipulación de la información, la manipulación mental, las adicciones y, sobre todo, la erosión de derechos fundamentales”.

Por otro lado, la experta rechaza en conversación con elDiario.es que sean los propios laboratorios quienes deban supervisar sus propios avances, advirtiendo de que “las auditorías no pueden ser de las empresas del sector como están intentando”. Critica que los laboratorios de IA estén intentando “crear su propio lobby” y les emplaza a “apoyar a los mecanismos independientes y multilaterales” que ya existen en Naciones Unidas. “A nadie se le ocurre lanzar un coche sin pasar un examen de seguridad, ni lanzar un medicamento sin un control de la agencia del medicamento. En la IA debe ocurrir lo mismo”.

El “aterrizaje suave” para la burbuja de la IA

Por último, Artigas cree que en la vorágine generada este fin de semana aflora “un poco de pánico escénico” ante el evidente “nivel de burbuja” al que han llegado las valoraciones de algunas empresas de IA. La experta, actual presidenta del Consejo Asesor Tecnológico del fondo Nazca Capital, señala que los gigantes de EEUU necesitan un “aterrizaje suave” para la burbuja y podrían estar utilizando esta “ralentización” forzada de su desarrollo como coartada. En este sentido, apunta directamente a OpenAI, una de las empresas sobre las que más se extiende esta sombra, que ha aplazado sus planes de salida a bolsa justo en medio del debate.

La decisión de crear algo que no podían controlar fue muy consciente, precisamente porque no puedes tener responsabilidad sobre algo que no puedes controlar

Carissa Véliz — filósofa especialista en la ética de la tecnología

“Hay que tener mucho cuidado en nunca perder de vista los intereses financieros de estas compañías”, coincide la filósofa especialista en ética de la tecnología Carissa Véliz. Sobre el plan de Amodei, asegura que el centro de esta conversación no debe ser la IA, sino las personas y empresas que la diseñan y financian. “Todas estas noticias sobre que la IA se ha salido de control son una mala interpretación. La IA hizo exactamente lo que le dijeron que hiciera”.

Véliz destaca que “la decisión de crear algo que no podían controlar fue muy consciente, precisamente porque no puedes tener responsabilidad sobre algo que no puedes controlar”. Por ello, pide sistemas que pongan en el centro la ética y quién es el responsable de sus funciones, para “saber exactamente quién está en control y, cuando las cosas vayan mal, sepamos quién va a ir a la cárcel”.

Los ecos de la dimisión del ingeniero de Anthropic Jacob Coxon el pasado miércoles llegan a la ONU. El Alto Comisionado de las Naciones Unidas para los Derechos Humanos, Volker Türk, ha advertido que el desarrollo de la inteligencia artificial pone “en riesgo” todos los derechos humanos, “incluidos los derechos a la vida, la alimentación, la privacidad, la salud y la seguridad”.

“Estamos al borde de un cambio irreversible que afectará no solo a nosotros, sino a las futuras generaciones de la humanidad. En otras palabras, todos los derechos humanos están en riesgo, incluidos los derechos a la vida, la alimentación, la privacidad, la salud y la seguridad. La seguridad de la IA debe significar algo más que la fiabilidad técnica del producto en cuestión. Significa proteger activamente a las personas, las comunidades, las instituciones y las generaciones futuras”, ha escrito Türk en una comunicado.

En concreto, el responsable de los derechos humanos en la ONU señala la “carrera actual hacia una IA cada vez más potente” como un “salto cualitativo hacia mayores riesgos existenciales para cada aspecto de nuestras vidas”. “Las fallas en los sistemas de IA agéntica [que opera con autonomía], y más aún en sistemas diseñados deliberadamente con ese fin, podrían paralizar servicios esenciales, fracturar las comunicaciones, desestabilizar infraestructuras críticas y atentar contra el corazón mismo de las instituciones democráticas”, agrega. Por todo ello, ha pedido una “corregulación” de la industria como un “primer paso urgentemente necesario”, así como una “verificación independiente y técnicamente competente”.

La advertencia de las Naciones Unidas se suma a las lanzadas estos días por los cuatro gigantes del sector: Open AI, Google, SpaceX y Anthropic. El CEO y cofundador del último de ellos, Dario Amodei, pidió desacelerar la carrera por mejores modelos que podrían llegar a una “automejora recursiva”. “Me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente (causando potencialmente daños por valor de cientos de miles de millones de dólares) y que la magnitud del daño siga aumentando si la IA se vuelve más potente sin contar con las salvaguardas necesarias”, compartió Amodei.

El presidente de Estados Unidos, Donald Trump, en cambio, restó importancia a la alarma general por su rivalidad con China. “Estamos a la cabeza de China en inteligencia artificial. Somos el país más avanzado del mundo y, francamente, quiero que siga siendo así, porque quien gane en IA, gana”, aseguró Trump.

Este mismo lunes, China ha pedido una “barrera de seguridad” ante la negativa de Trump y ha advertido de que lA se ha convertido en una nueva “rivalidad entre grandes potencias”. No obstante, ha recordado que EEUU está tratando de frenar su desarrollo con medidas como el embargo de chips avanzados.

El detonante llegó el pasado miércoles, cuando el ingeniero Jacob Coxon dimitió de su puesto en Anthropic con un comunicado que encendió las alertas al denunciar que las empresas ocultaban el verdadero riesgo de la inteligencia artificial. “Están corriendo directamente hacia una superinteligencia capaz de mejorarse a sí misma y apostando nuestras vidas en esa carrera”, afirmó en su perfil de X, donde subrayó: “Quienes están construyendo la IA creen sinceramente que podría matarnos a todos antes de que acabe la década”.

Desde Naciones Unidas, Türk subraya que “en el mundo actual, dependemos casi por completo de un pequeño número de empresas poderosas para tomar las decisiones correctas sobre el desarrollo de la IA para toda la humanidad”. “El verdadero desafío hoy en día es cómo equiparar el ritmo de una gobernanza de la IA significativa con el ritmo de su acelerado desarrollo. Necesitamos una acción urgente adaptada a los riesgos sin precedentes que plantea la IA de frontera [los sistemas más avanzados]”, ha demandado, al tiempo que ha pedido “reforzar las regulaciones existentes y la rendición de cuentas por los daños relacionados con la IA causados por sistemas que ya están en uso”.

“Las empresas que están a la vanguardia del desarrollo de la IA de frontera, radicadas principalmente en la República Popular China y en los Estados Unidos de América, tienen tanto la responsabilidad como la capacidad de actuar de inmediato para reducir los riesgos. Deben trabajar en toda la industria para comprender y reforzar los controles que ya se aplican a estos sistemas, incluido el monitoreo automatizado del comportamiento del modelo, compartiendo tanto lo que funciona como lo que aprenden de los incidentes de seguridad. Es necesario desarrollar, implementar en todo el sector y mejorar continuamente una diligencia debida rigurosa en materia de derechos humanos que incorpore estándares de seguridad acordados. Y la aplicación de dichos estándares debe estar sujeta a un monitoreo interno e independiente para aumentar la transparencia y la rendición de cuentas”, agrega el Alto Comisionado de la ONU para los Derechos Humanos.

Carta completa

El Alto Comisionado Volker Türk ha hecho este llamamiento mediante una carta de tres páginas con el título 'Para proteger los derechos humanos ahora y en el futuro, debemos gobernar la IA de manera urgente'. Puedes leerla a continuación de forma íntegra, en inglés.

Cuando quienes compiten por dominar una tecnología piden que se frene su desarrollo, conviene prestar atención. Pueden haber visto un peligro que los demás todavía no comprendemos. También pueden haber descubierto que unas buenas barreras protegen mejor su negocio que otra ronda de inversión. Ambas cosas pueden ser ciertas a la vez.

Dario Amodei, consejero delegado de Anthropic, propone ralentizar el avance de la IA más potente. Sam Altman ha respaldado la idea y anunciado que OpenAI también incorporará evaluadores independientes con un acceso comparable al de sus empleados. El compromiso merece atención. Pero aceptar inspectores no equivale a aceptar que una autoridad pública decida qué puedes vender, te obligue a reparar daños o limite tu poder de mercado.

¿Se puede regular la IA? Sí. Se pueden imponer obligaciones a quienes la desarrollan y despliegan, prohibir determinados usos, investigar incidentes y exigir responsabilidades. Pretender controlar cada copia de un modelo que circula por internet es otra cosa. Confundir ambas tareas conduce a dos errores: declarar inútil cualquier regulación o prometer una seguridad imposible a cambio de entregar el sector a sus actuales líderes.

La propuesta de Amodei tiene tres niveles: evaluadores dentro de los laboratorios, coordinación entre empresas de países democráticos y acuerdos internacionales. También plantea una excepción limitada a las normas de competencia para facilitar conversaciones sobre seguridad. Defiende restringir chips y destilación no autorizada para preservar la ventaja estadounidense frente a China. Estamos, por tanto, ante una propuesta de seguridad que incorpora una estrategia industrial y geopolítica.

Hay buenas razones para supervisar. Un agente es un programa que utiliza un modelo para planificar y ejecutar acciones mediante herramientas. Si dispone de permisos para modificar archivos, enviar mensajes o acceder a sistemas, sus errores tienen consecuencias distintas de las de una respuesta equivocada en un chat. La autonomía, los accesos y el número de operaciones importan tanto como la inteligencia del modelo.

El informe de amenazas de Anthropic de septiembre describe usuarios del norte de Yemen que intentaron desarrollar sistemas de guiado de armas con Claude. La empresa no acredita que consiguieran un arma operativa. La diferencia importa: documentar asistencia a un proyecto peligroso no demuestra que un chatbot pueda fabricar un misil por sí solo. Pero sí justifica investigar cuánto abarata y acelera tareas que antes exigían especialistas.

La seguridad convertida en barrera de entrada

El problema empieza cuando quienes deben ser vigilados participan en decidir cuánto cuesta entrar en el mercado. Pensemos en un sistema de certificaciones complejas, auditorías permanentes y autorizaciones lentas. Para una empresa con abundante financiación, ese coste puede convertirse en una partida asumible. Para una cooperativa tecnológica, una universidad o una startup, puede convertirse en una barrera infranqueable.

OpenAI y Anthropic podrían ganar de varias maneras. Elevarían el coste de competir; reforzarían su condición de interlocutores de los gobiernos; y convertirían sus procedimientos internos en referencia para todo el sector. Si la regulación favorece servicios centralizados, donde el proveedor conserva el control del acceso, también favorecería el negocio de vender inteligencia por suscripción o por uso. Cada alternativa descartada se convierte en demanda potencial para esos servicios.

Esto no prueba que sus advertencias sean falsas. Describe incentivos que el legislador debe anticipar. Un auditor necesita recursos, libertad para publicar y protección frente a quien puede retirarle el contrato. La supervisión debe responder ante la sociedad.

Cualquier excepción a las reglas de competencia debe ser limitada, pública y supervisada. Compartir información sobre un fallo peligroso puede ser necesario. Coordinar quién lanza productos y a qué ritmo puede restringir la competencia. La seguridad no debe legitimar un reparto del mercado.

El peligro también cabe en un ordenador

Hay otro problema: concentrar toda la vigilancia en los modelos gigantes y dejar fuera a los modelos locales pequeños ya muy capaces. Existen modelos pequeños de pesos abiertos, como los de la familia Qwen, que pueden ejecutarse localmente en algo tan barato como un mac mini.

Pequeño no significa inofensivo. Para personalizar una estafa, producir mensajes de acoso o ayudar a automatizar tareas ciberataque o ciberterrorismo no hace falta superar a todos los seres humanos en todas las disciplinas. Basta imaginar a narcotraficantes, terroristas, extorsionadores o simplemente hackers con 10-100 macs mini gestionando 10.000–100.000 agentes muy potentes. ¿Quién para eso? Localizarlos ya es un problema ingente.

Tampoco podemos prohibir indiscriminadamente los modelos abiertos. Permiten investigación independiente y alternativas a los grandes proveedores, además de procesar datos sin enviárselos a otra empresa. Cerrarlos dejaría a universidades y servicios públicos dependiendo de plataformas privadas. Hay que evaluar capacidades peligrosas sin convertir la apertura en una presunción de culpabilidad.

Una regulación progresista debe ocuparse también de quién sufre los daños y quién recibe los beneficios. El debate sobre una futura catástrofe no puede desplazar el control de la vigilancia laboral, la discriminación o las decisiones automatizadas sobre prestaciones. Hacen falta vías para reclamar, representación de los trabajadores y responsabilidades exigibles. Certificar que un modelo es técnicamente seguro no convierte en justo cualquier negocio construido sobre él.

China es imprescindible

Un pacto global que excluya a China tendrá un agujero central. Sus desarrolladores participan en la expansión de modelos abiertos que otros pueden adaptar e incorporar a sus productos. Un acuerdo entre laboratorios estadounidenses no obligaría a esas empresas ni controlaría la circulación mundial de sus modelos. Tampoco un acuerdo con Pekín borraría las copias ya distribuidas, pero ampliaría sustancialmente el alcance de la prevención.

Cooperar no exige confiar ciegamente. China, Estados Unidos y la Unión Europea participaron en la Declaración de Bletchley sobre riesgos de la IA. El siguiente paso requiere obligaciones verificables, intercambio de incidentes y acuerdos sobre usos especialmente peligrosos.

Aquí aparece una contradicción estratégica. Si Washington plantea la seguridad como una forma de conservar su superioridad y limitar a sus rivales, Pekín tendrá razones para desconfiar. El control internacional necesita alguna reciprocidad: nadie acepta fácilmente que su competidor actúe como inspector y, además, determine cuánto puede avanzar. Habrá que negociar con China porque dispone de capacidades propias, no porque Occidente le conceda una invitación.

Europa y la mesa de los demás

Europa no parte de cero. El Reglamento de IA impone obligaciones a los proveedores de modelos de propósito general y requisitos adicionales a los que presentan riesgo sistémico, como evaluar y mitigar riesgos, comunicar incidentes y reforzar la ciberseguridad. Es una diferencia sustancial respecto a una promesa voluntaria. Su mercado también le permite condicionar cómo operan empresas extranjeras.

Pero regular el acceso a un mercado no equivale a dirigir una negociación sobre capacidades estratégicas. Si Estados Unidos y China pactan el ritmo del desarrollo, las restricciones tecnológicas y los mecanismos de inspección, Europa corre el riesgo de recibir las condiciones cuando ya estén acordadas. Podrá discutir su aplicación, pero habrá perdido la oportunidad de decidir su contenido.

La IA se puede regular. Lo que está en disputa es el reparto del poder que producirá esa regulación. Si las reglas las diseñan quienes ya dominan el negocio, los primeros beneficiarios pueden ser OpenAI, Anthropic y los demás grandes proveedores. Si Europa confunde legislar con tener poder, ni siquiera estará en la mesa donde se cierre ese reparto. Y los ciudadanos corremos el riesgo de pagar dos veces: por utilizar la tecnología y por proteger de la competencia a sus propietarios.

El debate en torno a un posible freno al desarrollo de la inteligencia artificial (IA) ha golpeado de lleno a las bolsas mundiales, lastrando a las asiáticas, que ha desarrollado un ecosistema propio en torno a las empresas tecnológicas, pero ha afectado también al Ibex 35 en los primeros compases de la jornada, especialmente a las compañías centradas en el desarrollo de infraestructuras.

Es el caso de ACS, la constructora de Florentino Pérez, centrada en infraestructuras de nueva generación y con énfasis en la construcción de centros de datos, se desplomó un 6,5% este lunes. Al igual que Solaria, que ha impulsado su estrategia en infraestructuras digitales a través de Solaria Data Center, su filial especializada en el suministro de energía y desarrollo de suelo y conexiones para centros de procesamientos de datos. La caída de estos títulos fue del 8,4%, de largo la más acusada del Ibex.

ACS se ha consolidado como el primer constructor de centros de datos en el mundo, con más de 9 GW instalados y presencia destacada en mercados de alto potencial, como EE. UU., Europa y Asia-Pacífico, según la propia compañía, que registra hoy la mayor caída de la Bolsa española, junto a Solaria. Acciona (5,7%) y la inmobiliaria Merlin Properties (5,1%), ambas con negocios también vinculados a las tecnológicas, han registrado notables retrocesos.

El Ibex 35, principal índice de la Bolsa española, ha perdido este lunes un 1,38% lastrado por la subida del precio del petróleo y las caídas de las empresas de semiconductores y chips. Así, el selectivo español ha retrocedido 273 enteros y terminó la sesión bursátil en 19.565,5 puntos. Pese a estas caías, en lo que va de año se revaloriza un 13,04%.

Los títulos españoles se han sumado a las pérdidas después de una jornada en rojo en Asia. El índice de referencia de la Bolsa de Shanghái cayó un 0,07%, y el de Shenzhen se dejó el 0,64%, según recoge EFE.

En el primero de esos dos parqués, varias de las compañías relacionadas con la IA se tiñeron de rojo durante la jornada. CXMT (-3,95%) o Moore Threads (-3,31%) son algunos de los ejemplos, aunque Enflame (+6,87%) ponía la nota discordante, apoyada aún por el furor de los inversores tras salir a bolsa el pasado viernes.

En Hong Kong, el índice referencial, el Hang Seng, cerró hoy con ganancias del 0,45%. Sin embargo, el índice dedicado a los valores tecnológicos, el Hang Seng Tech Index, bajó un 0,23%, lastrado por Alibaba (-1,49%), Biren (-6,66%) o Z.ai (-9,08%).

Las bajadas, en cambio, no se extendieron a otros grupos tecnológicos que también figuran entre los principales desarrolladores de modelos de IA, como Tencent (+0,51%) y el 'Google chino' Baidu (+0,22%).

El índice de referencia de la bolsa de Taipéi, el Taiex -que cuenta con un fuerte componente tecnológico-, cerró la jornada con un retroceso del 0,7%, aunque con un desempeño dispar entre sus principales valores: mientras los títulos de TSMC (-1,24%), ASE Technology (-0,97%) y MediaTek (-0,55%) acabaron en terreno negativo, los de UMC (+1,42%) Foxconn (+0,2%) cerraron en verde.

La bolsa coreana cae más del 3%

El principal índice de la Bolsa de Seúl, el Kospi, cayó un 3,26% este lunes. El fabricante de chips y valor de referencia local Samsung Electronics descendió un 4,05%, mientras el gigante del sector SK hynix anotó un declive del 6,35%.

La firma de inversión en tecnología SK Square se hundió un 8,17%, y la tecnológica Naver se redujo un 1,21%. Por su parte, el índice Kosdaq, que agrupa a empresas tecnológicas y de mediana capitalización, se dejó un 1,69%.

Softbank se precipita el 10,72%

El principal índice de la Bolsa de Tokio, el Nikkei, cayó un 0,81% este lunes. El gigante japonés de las telecomunicaciones y la inversión SoftBank, que ha invertido miles de millones de euros en OpenAI y la industria de la inteligencia artificial, bajó un 10,72%.

Fujikura, que fabrica cables eléctricos para centros de datos, perdió un 2,97 %, y la empresa de memorias Kioxia bajó un 6,37 %.

El ministro chino de Seguridad del Estado, Chen Yixin, ha pedido construir una “barrera de seguridad” en torno a la inteligencia artificial (IA), en un momento de creciente preocupación en Pekín y Washington por los riesgos políticos, sociales y tecnológicos de esta herramienta. Chen sostiene que la IA se ha convertido en un campo principal de competencia tecnológica global y en una nueva vía de “rivalidad entre grandes potencias”, según un texto publicado este domingo por la Administración del Ciberespacio de China, el principal órgano regulador del Internet chino, en su cuenta oficial en la red social Wechat.

El responsable del organismo pide impulsar el desarrollo “saludable y ordenado” de la IA, pero también reforzar la supervisión sobre datos, algoritmos, infraestructura de computación y aplicaciones de uso civil y militar. El artículo enumera riesgos vinculados a la difusión de contenidos falsos, ataques informáticos, filtraciones de datos, manipulación de la opinión pública, desinformación, uso militar de sistemas autónomos y problemas legales derivados de la responsabilidad por contenidos generados por IA.

El ministro de Seguridad, líder del espionaje chino, lanza esta opinión justo tras las alertas lanzadas en Estados Unidos por directivos como Dario Amodei, Sam Altman o Elon Musk sobre los riesgos de la IA, mientras el presidente estadounidense, Donald Trump, ha rechazado ralentizar su desarrollo con el argumento de que Washington no puede permitir que China tome ventaja.

Chen afirma que, en junio de 2026, los productos de IA en China superaban ya los 500 millones de usuarios, una muestra de la velocidad con la que estas herramientas se han extendido en el país. “Ciertas naciones aprovechan sus ventajas acumuladas en teoría fundamental de IA, arquitectura de modelos y capacidad de cómputo central (todo ello bajo el pretexto de 'mantener la seguridad nacional') para limitar la capacidad de otros países de adquirir equipos técnicos de vanguardia y mejorar sus capacidades de innovación tecnológica”, indica el funcionario, en una referencia velada a Estados Unidos.

En el ámbito militar, Chen aseveró que la IA “está pasando de ser un papel de apoyo en el campo de batalla a convertirse en un protagonista”, citando específicamente el conflicto entre Washington y Teherán.

La advertencia llega en un momento de intensa actividad del sector chino, con empresas como DeepSeek, Moonshot, Alibaba, Tencent o Zhipu compitiendo mediante modelos abiertos, precios bajos y rápida implantación comercial, pese a las restricciones estadounidenses sobre chips avanzados.

Recientemente, DeepSeek y Moonshot han perfilado posibles salidas a bolsa y modelos como Kimi K3, Qwen3.8-Max o GLM-5.2 se han acercado a los sistemas más avanzados de firmas estadounidenses como OpenAI o Anthropic.Autoridades estadounidenses y responsables como el secretario del Tesoro, Scott Bessent, han acusado a empresas chinas de usar la “destilación”, una técnica que permite entrenar modelos con respuestas de otros sistemas, para copiar tecnología estadounidense.

Este verano, el presidente chino, Xi Jinping, pidió una gobernanza “precisa y efectiva” de la IA y China lanzó en Shanghái una organización internacional de cooperación sobre IA con una treintena de países.

Las alarmantes advertencias de Anthropic sobre las consecuencias para la humanidad del rápido desarrollo de la inteligencia artificial (IA) han suscitado una rara muestra de unidad entre los desarrolladores rivales.

Los otros tres gigantes del sector (OpenAI, SpaceX y Google) no han tardado ni un día en respaldar el llamamiento del fundador y director ejecutivo de Anthropic, Dario Amodei, para retrasar el desarrollo de la IA, petición que se produjo tras una serie de advertencias de investigadores de IA la semana pasada.

Pero el presidente Donald Trump resta importancia a la creciente alarma sobre los riesgos de la inteligencia artificial. “Estamos a la cabeza de China en inteligencia artificial. Somos el país más avanzado del mundo y, francamente, quiero que siga siendo así, porque quien gane en IA, gana”, declaró Trump el domingo a los periodistas en el Irish Open de golf. “Podemos establecer límites. Podemos hacer esto y aquello. Pero creo que hay muchas fuerzas negativas que están sacando el tema a colación cuando no deberían hacerlo”.

Amodei advirtió este sábado, en un extenso ensayo publicado en su página web: “Dada la aceleración en el desarrollo de capacidades de IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente (causando potencialmente daños por valor de cientos de miles de millones de dólares) y que la magnitud del daño siga aumentando si la IA se vuelve más potente sin contar con las salvaguardas necesarias”.

Al cabo de una hora, el dueño de SpaceXAI, Elon Musk, sorprendió al citar el ensayo de su rival en X y afirmar: “Dario tiene razón”. Musk se había abstenido deliberadamente de sumarse a los anteriores llamamientos de todo el sector a favor de cualquier tipo de ralentización.

El CEO de OpenAI, Sam Altman, se sumó al cabo de poco: “Estoy de acuerdo con Dario en que debemos avanzar con cautela en esta frontera”, tuiteó. Y, en una entrevista publicada en Fortune, daba un paso más allá, al anunciar que la tecnológica creadora de ChatGPT aplaza su salida a bolsa —una de las operaciones más esperadas del año junto a la de Anthropic—, ante los riesgos de seguridad que presentan los modelos avanzados de IA. “Sería un momento poco aconsejable para salir al mercado bursátil”. Afirmó que OpenAI tiene mucho trabajo por delante en materia de seguridad y que sería mejor hacerlo como empresa privada.

Faltaba Google, que se añadió por la tarde, según relata Axios. Demis Hassabis —ganador del Premio Nobel, cofundador y presidente de Google DeepMind, y científico jefe de Alphabet— tuiteaba: “El ensayo de Dario señala el camino correcto a seguir. Hay que pulir los detalles, pero la dirección es la adecuada para afrontar este momento crítico”.

“La industria mintió”

Amodei ha dado un pasó más allá este domingo y, en una entrevista en el programa Sunday Morning de CBS, afirmó que “la industria mintió” sobre el peligro de la inteligencia artificial IA por lo que el Gobierno y los ciudadanos deben intervenir.

No les voy a mentir: existen peligros reales. Y creo que durante demasiado tiempo la industria le mintió a la gente sobre el hecho de que esta tecnología tenía riesgo. Nosotros nunca lo hicimos (en Anthropic), pero mucha de la industria lo hizo

Dario Amodei — CEO de Anthropic

“No les voy a mentir: existen peligros reales. Y creo que durante demasiado tiempo la industria le mintió a la gente sobre el hecho de que esta tecnología tenía riesgo. Nosotros nunca lo hicimos (en Anthropic), pero mucha de la industria lo hizo”, declaró Amodei.

Sin embargo, el líder de Anthropic no ha dicho nada —por ahora— sobre si cancela o sigue adelante con sus preparativos para debutar en el mercado bursátil estadounidense, en lo que se prevé que sea la mayor oferta pública inicial de la historia, superior a la reciente protagonizada por SpaceX. Según los planes, se espera que este otoño comience la comercialización de su OPV, que superará los 2 billones de dólares.

Surgen dudas sobre hasta qué punto los líderes de la IA se tomarán en serio la tarea de moderar el ritmo de desarrollo de sus modelos más avanzados —y más lucrativos—. Quizás hay demasiado dinero en juego como para dejar de avanzar. Según Axios, anunciar públicamente que se da prioridad a la seguridad frente al crecimiento tecnológico o financiero podría ser la única vía que tiene el sector para evitar una intervención por parte de las autoridades de Estados Unidos que no se ajuste a sus condiciones.

El director del Consejo Económico Nacional, Kevin Hassett, declaró este domingo que la propuesta de Amodei para añadir salvaguardias a la IA podría servir de modelo para el sector privado, incluso permitiendo el acceso de observadores independientes a los modelos.

Los legisladores están suplicando al presidente de la Cámara de Representantes, el republicano Mike Johnson, que mantenga la sesión abierta y haga algo al respecto de la “amenaza” de la IA, después de conocerse casos de agentes de IA que actuaron por su cuenta atacando a sistemas externos.

Este domingo, el líder de los demócratas en la Cámara de Representantes, Hakeem Jeffries, pidió al Congreso “actuar con urgencia”. La alternativa más extrema es algo parecido a la iniciativa del senador demócrata Bernie Sanders de forzar una pausa y declarar ilegal la IA más avanzada.

Pero Johnson, como Trump, tampoco quiere darse prisa. “Si quieren desacelerar eso, me parece bien. Pero, al mismo tiempo, también tenemos que resistirnos a que el Congreso intervenga e imponga una especie de moratoria de emergencia. Tiene que hacerse de manera correcta, segura y sensata”, expresó Johnson en una entrevista con CNN.

La amenaza china

El presidente de la cámara pidió una reunión con los gigantes del sector, que podría celebrarse a principios de esta semana (lunes o martes). Pero por ahora descartó una legislación que pause el desarrollo de la IA al argumentar que es un asunto de seguridad nacional en el que Estados Unidos debe mantener el liderazgo ante China.

Tienen [los líderes tecnológicos] que reunirse con nosotros, sentarse y determinar cuál es el equilibrio adecuado. No podemos imponer una moratoria a esto porque China nos va a sobrepasar. Y ese es el reto

Mike Johnson — Presidente de la Cámara de Representantes

“Tienen [los líderes tecnológicos] que reunirse con nosotros, sentarse y determinar cuál es el equilibrio adecuado. No podemos imponer una moratoria a esto porque China nos va a sobrepasar. Y ese es el reto. Es el equilibrio entre la seguridad nacional y la seguridad inmediata de garantizar que los modelos sean seguros”, remarcó.

Varias voces influyentes del sector tecnológico de Silicon Valley, entre ellas el exfuncionario de Trump David Sacks, dedicaron el fin de semana a destacar el contraargumento de que reducir el ritmo solo permite que los adversarios —que no tienen esos escrúpulos en materia de seguridad— nos alcancen.

En una publicación de la madrugada del sábado, Sacks retó de hecho a OpenAI y Anthropic a marcar voluntariamente el ritmo en la frontera de la IA sin esperar al Gobierno. “Si no lo hacéis, sabremos que esto no ha sido más que otro intento de captura regulatoria —o una operación psicológica en plena campaña electoral”.

Trump y el presidente chino Xi Jinping se reunirán a finales de este mes, y la seguridad de la IA será uno de los temas principales de la agenda.  Mientras tanto, el principal comité internacional de expertos en IA, reunido por la ONU, ha alertado de que la posibilidad de que la IA se salga de control es real y de “consecuencias catastróficas”.

Primero llegará la ventaja cuántica. Así llaman los especialistas al momento en que un procesador cuántico resuelva un problema del mundo real de forma más eficiente que un procesador tradicional. No todos, basta con que solucione solo uno para que “todo se precipite”, explica Mario de Miguel, director de la empresa Nu Quantum en España. Porque, a partir de entonces, el objetivo de tener un computador cuántico estable aparecerá definitivamente en el horizonte cercano. Ese ordenador será una puerta al futuro de la ciencia pero también un momento temido por gobiernos, agencias de inteligencia, bancos y grandes tecnológicas.

El motivo es que uno de los primeros usos de ese computador será ofensivo. Los procesadores cuánticos no aspiran a sustituir a los tradicionales, pero sí a ser mucho más eficientes en determinadas tareas matemáticas. Y una de ellas es descifrar las contraseñas y los sistemas de cifrado actuales que protegen las comunicaciones, transferencias y bases de datos. “Los bancos están preparándose para que eso pueda ocurrir a partir de 2030 o 2032”, avanza De Miguel.

Pero tras la amenaza, llegará la aplicación científica. Nuevos materiales, nuevos combustibles, nuevos medicamentos “de manera mucho más rápida y fidedigna. Usted o yo no tendremos un ordenador cuántico en casa, no los utilizaremos para abrir documentos. Pero pueden tener un impacto enorme en determinadas aplicaciones”, insiste el ejecutivo de Nu Quantum, una puntera startup británica que abrirá oficina en España este otoño. La razón es que muchas de esas aplicaciones consisten en simular cómo se comportan las moléculas a nivel cuántico.

Los científicos llevan dos décadas hablando del potencial de la computación cuántica, pero ahora el calendario empieza a aclararse. La industria ya no habla de décadas sino de años. Numerosas empresas están recibiendo inversiones no solo para avanzar en su investigación teórica, sino para tomar posiciones en el mercado de cada a su aplicación comercial. Los datos hablan por si solos: según el último informe de la consultora McKinsey, en 2025 la inversión en cuántica se disparó un 500% respecto al año anterior, marcando un récord absoluto.

“La computación cuántica presenta una oportunidad de casos de uso de entre 1,3 y 2,7 billones de dólares para 2035, con una aceleración rápida prevista en los próximos 5 a 10 años”, explica la consultora. “Los ingresos de las compañías de computación cuántica están aumentando a medida que la comercialización gana tracción; superaron los 1.000 millones de dólares en 2025 y se estima que crecerán hasta alcanzar entre 3.200 y 4.400 millones de dólares en 2028 (+47% anual)”.

La computación cuántica ya ocupa un espacio propio en eventos como el encuentro anual de Ametic, la principal patronal de la industria tecnológica. Cristian Canton, director asociado del Barcelona Supercomputing Center - Centro Nacional de Supercomputación (BSC), fue uno de los ponentes. “La computación cuántica es una solución realista”, explicó a elDiario.es. “Ahora mismo estamos teniendo casos de uso. Para problemas muy concretos, muy bien acotados, podemos desarrollar soluciones cuánticas que nos permiten probar que estas máquinas sirven para resolverlo”.

Estamos teniendo casos de uso. Para problemas muy concretos, podemos desarrollar soluciones cuánticas que permiten probar que estas máquinas sirven para resolverlo

Cristian Canton — director asociado del BSC

“Pero no dejamos de estar aún en los albores. Con todas estas tecnologías sucede lo que se llama el efecto de palo de hockey”, continúa Canton, haciendo referencia a cómo su desarrollo puede avanzar lentamente durante años hasta que, llegado un determinado momento, se produce una aceleración muy rápida. Es un comportamiento típico de la industria tecnológica, que adquiere una forma parecida a lo que muestra el gráfico de inversiones en cuántica de McKinsey.

“Cuando se inventó el primer transistor, era muy grande y parecía imposible juntar millones en un computador. Pero hoy en día tienes trillones de transistores en tu móvil”, ejemplifica.

Mercado y apuesta geopolítica

La inteligencia artificial ha cambiado la forma en la que se perciben este tipo de tecnologías con gran potencial de impacto en ciencia y seguridad. Esta misma semana el debate sobre los riesgos que entraña su desarrollo ha vuelto a explotar, con voces desde dentro de los propios laboratorios advirtiendo del peligro existencial que conlleva seguir avanzando. La cuántica amenaza con repetir ese guion: tecnología con capacidad de alterar el equilibrio de poder, desarrollada a un ritmo que la fiscalización política y social no logra seguir.

En encuentros como el de Ametic, la gran pregunta es cómo impulsar el desarrollo de las empresas del sector para impedir volver a quedar atrás respecto a las grandes potencias. “Hay mercado y se tiene que crear mercado. No basta con que haya simplemente empresas de oferta y proveedores de ordenadores cuánticos si no hay usuarios”, defiende Eva Martín, directora de innovación de Qilimanjaro Quantum Tech. Esta startup es una de las más importantes del contexto español, responsable del diseño e instalación de los ordenadores cuánticos del BSC.

“El sector público y la administración, a través de mecanismos de compra pública innovadora, funcionan como un primer cliente que no es solo dar financiación. Actúa como cliente, envía señales de credibilidad hacia la inversión privada y permite crear experiencia operacional en las empresas para validar la tecnología”, continuó la experta en una de las mesas de debate de Ametic. Dicha compra pública innovadora consiste en que una administración encargue y pague el desarrollo de una tecnología que todavía no existe o que necesita ser mejorada, convirtiéndose así en uno de sus primeros clientes.

Aunque la inmensa mayoría de la financiación que reciben las startups cuánticas proviene del sector privado (representando el 97% de los 12.200 millones de dólares registrados por McKinsey en 2025), los gobiernos de todo el mundo también han multiplicado su apoyo a estas tecnologías. Los anuncios de inversión pública llegaron a los 11.400 millones de dólares solo en 2025, según el QED-C, la principal asociación internacional de empresas, instituciones y laboratorios del mercado de tecnología cuántica. La mayoría de esos fondos van a universidades e investigación, aunque una cantidad creciente se destina a vehículos como la compra pública innovadora.

En España, la Estrategia de Tecnologías Cuánticas 2025-2030 está dotada con 808 millones de euros. Esto coloca a España entre los primeros países europeos en su apuesta en este campo, solo por detrás de Reino Unido y Francia. Parte de esa apuesta se concentra en una infraestructura científica adaptada a esta nueva era: el Centro de Ciencia y Tecnologías Cuánticas (QuARC-CSIC), que reunirá a 36 grupos de investigación de 21 institutos repartidos por nueve comunidades autónomas.

En lo que respecta a capital privado, EEUU se lleva el 64% de las inversiones, según McKinsey, con 8.015 millones de dólares captados en 2025 frente a los 1.245 millones de la Unión Europea. Una tendencia que China está compensando con un compromiso de 15.300 millones de dólares (unos 13.000 millones de euros).

“Cualquier ralentización de la inversión pública en Europa nos deja en una posición de desventaja preocupante frente a competidores que están acelerando sus hojas de ruta”, advirtió sobre estas cifras la directiva de Qilimanjaro. Mario de Miguel, director de Nu Quantum Spain, coincide en el diagnóstico, pero destaca que el estado aún incipiente del sector representa una oportunidad. “No vamos tarde porque todavía hay muchísimo por hacer. Tenemos nichos por los que apostar y en los que nos estamos haciendo fuertes. El talento europeo es increíble, y el español también. Ahora mismo lo que hace falta es formar gente en las aplicaciones concretas dentro de cada campo”.

La inteligencia artificial ha convertido la carrera tecnológica en una nueva guerra fría entre las grandes potencias y la computación cuántica parece estar generando el mismo tablero de juego. Potencial, ciencia y geopolítica vuelven a coincidir, y sus promesas empiezan a espolear una inversión que se ha multiplicado por seis en un solo año.

El director ejecutivo y cofundador de Anthropic, Dario Amodei, reclamó este sábado una desaceleración en el ritmo al que se mejoran las capacidades de los modelos de inteligencia artificial (IA), tras advertir de que la tecnología avanza hacia una dinámica de “automejora recursiva” que amenaza con provocar catástrofes de ciberseguridad a escala global.

“Dada la aceleración en el desarrollo de capacidades de IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente (causando potencialmente daños por valor de cientos de miles de millones de dólares) y que la magnitud del daño siga aumentando si la IA se vuelve más potente sin contar con las salvaguardas necesarias”, advierte Amodei en un extenso ensayo publicado hoy en su página web.

“Mi principal preocupación es que, desde este verano, la IA ha avanzado a un ritmo vertiginoso, impulsada principalmente por su creciente capacidad para crear la próxima generación de IA. Esta dinámica se denomina auto-mejora recursiva y está empezando a manifestarse en toda la industria, incluyendo Anthropic”, explica Amodei. “Si no se controla, podría superar nuestra capacidad de comprender y controlar estos sistemas, por lo que debe abordarse con suma cautela, si es que se aborda”.

Amodei hizo referencia específica al incidente de los agentes fuera de control de OpenAI y Hugging Face, en el que un enjambre de agentes actuó “como un colectivo fanáticamente entregado: llevaron a cabo ciberataques contra objetivos que no se les había asignado y que nada tenían que ver con la tarea en curso, se sacrificaron por el éxito del grupo e intentaron hackear el sistema encargado de evaluar su rendimiento”.

Según Amodei, la industria debe “reducir el ritmo al que se mejora las capacidades de los modelos de IA” y priorizar la cautela frente a la velocidad y la prudencia frente al beneficio económico para evitar que los incentivos comerciales desemboquen en una “carrera hacia el abismo”.

Para atajar la amenaza, Amodei planteó una estrategia en tres fases orientada a regular el ritmo de la tecnología sin ceder la ventaja estratégica a regímenes autoritarios como China.

Como primer paso, Anthropic anunció el compromiso unilateral e inmediato de abrir sus instalaciones a evaluadores externos independientes con acceso equiparable al de sus propios empleados, permitiéndoles auditar los procesos de entrenamiento y publicar sus hallazgos, una medida que instó a adoptar al resto de competidores y a exigir a los gobiernos.

La propuesta contempla asimismo una coordinación entre las empresas para pactar estándares comunes de seguridad y topes al avance descontrolado, respaldados por mediación institucional y excepciones a las normas antimonopolio, además de blindar las cadenas de suministro de semiconductores para impedir filtraciones tecnológicas a Pekín.

Finalmente, el plan promueve acuerdos globales con potencias autoritarias para fijar límites verificables que prohíban aplicaciones biológicas militares y establezcan límites a la velocidad de la automejora algorítmica.

El directivo concluyó que ralentizar el avance aportaría uno o dos años cruciales para que la comunidad investigadora domine el alineamiento y la interpretabilidad de los modelos, garantizando un debate público adecuado y reduciendo sustancialmente el riesgo de que la tecnología escape al control de la sociedad.

Un investigador de Anthropic anunció esta semana su dimisión debido a la preocupación de que la empresa y sus competidores no estuvieran desarrollando modelos de IA de manera responsable.

El investigador, Jacob Coxon, quien también trabajó para OpenAI, competidora de Anthropic, afirmó que dichas compañías estaban más centradas en superarse mutuamente que en la seguridad de sus productos.

“Quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros antes de que termine la década. No se trata de una maniobra publicitaria. De hecho, muchos ejecutivos e investigadores de alto nivel suelen matizar sus declaraciones ante la prensa para parecer sensatos, pero he escuchado a esas mismas personas expresar temor”, escribió Coxon en su cuenta de X el pasado martes.

OpenAI planea ralentizar el desarrollo de la inteligencia artificial de Vanguardia. El director ejecutivo de la empresa, creadora de Chat GPT, Sam Altman, lo informó la pasada semana en una reunión con toda la empresa, según ha informado la agencia Bloomberg.

Altman apuntó en ese encuentro que espera que otras compañías del sector hagan lo mismo. El objetivo de Altman, según las fuentes citadas, es que una decisión de este tipo marque el ritmo de desarrollo de la IA, en colaboración con otros laboratorios. Si bien, reconoció que algunos podrían no estar de acuerdo.

Durante los últimos días ha ganado protagonismo el relato de un ingeniero que dimitió en Anthropic y que trabajó previamente para OpenAI y que apuntaba a los riesgos potenciales que puede tener la inteligencia artificial.

Aunque su relato no aportó más pruebas y se trataba de un ingeniero sin un cargo ejecutivo, se ha recuperado el debate sobre los riesgos de esta tecnología. Se une, además a las denuncias que han hecho otros antiguos ingenieros de empresas del sector durante los últimos meses.

De hecho, la propia Anthropic ha advertido este jueves de que ha frustrado varios posibles complots en los que se utilizaron sus modelos de Inteligencia Artificial (IA) para realizar investigaciones que podrían haber contribuido al desarrollo de armas biológicas.

Las advertencias llegan en un momento clave para un sector que trata de monetizar su tecnología con unas salidas a bolsa que pueden ser históricas.

OpenAI ya había avanzado que ha ralentizado algunos de los desarrollos de sus modelos y ha cancelado ciertos entrenamientos internos de IA debido a las preocupaciones de seguridad.

Jacob Coxon ha vuelto a sembrar el miedo sobre las actividades de la industria de la inteligencia artificial. Este ingeniero de 27 años, extrabajador de OpenAI y de Anthropic, se ha colocado en las portadas de medio mundo tras dimitir de esta última empresa. El motivo es que lo ha hecho con un llamamiento público a toda la humanidad: “Quienes están construyendo la IA creen sinceramente que podría matarnos a todos antes de que acabe la década”.

Coxon no ha ofrecido pruebas de estas amenazas más allá de su testimonio. Apoyado en lo que ha visto en ambos laboratorios (estuvo cerca de tres años en OpenAI y un par de meses en Anthropic como investigador especializado en el pre entrenamiento de los modelos), asegura que el peligro de la IA es mucho más real de lo que muchos creen. “No subestiméis el poder de esta tecnología. Pronto serán sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales”, publicó en las redes sociales tras su dimisión.

“El consenso es que el próximo año o dos será el momento decisivo para la humanidad”, insistió posteriormente en una entrevista con la CNN, haciendo referencia a lo que piensan sus ex compañeros en ambos laboratorios. Su dimisión ha prendido de nuevo el debate sobre el riesgo existencial de la IA que viene fraguándose desde la salida a la luz de ChatGPT.

Es una conversación en la que se mezclan conceptos propios de la ciencia ficción, el descreimiento de quienes ven en estas advertencias otro ejemplo del autobombo y el marketing del miedo característicos de la industria tecnológica, con riesgos que sí tienen un anclaje técnico y están siendo estudiados por los científicos. Coxon podría estar exagerando en el calendario o en la certeza de sus predicciones, pero eso no significa que los dos problemas de fondo que señala sean inventados.

El primero es la opacidad de los laboratorios respecto a lo que pueden hacer realmente sus sistemas. Se trata de una acusación que ha perseguido durante años a las grandes tecnológicas, pero cuya relevancia se ha multiplicado en la era de la IA. El joven ingeniero es solo el último en alertar de ello: hace unas semanas era el propio Bill Gates el que advertía que esta falta de transparencia es uno de los grandes problemas de la humanidad. Antes de ellos fueron numerosos especialistas críticos con estas empresas los que avisaron que esta forma de actuar impide que el resto de científicos, la ciudadanía y los reguladores tengan información suficiente sobre esta tecnología clave.

El segundo problema señalado por Coxon es puramente técnico. Dada la creciente capacidad autónoma de los sistemas de IA, ¿qué ocurrirá si estos empiezan a comportarse de manera diferente a como esperaban sus creadores en su intento de cumplir las tareas que se les han encomendado?

El riesgo de perder el control

Muchas personas de la industria de la IA piden habitualmente la creación de un organismo internacional formado por expertos que siga sus avances y proponga soluciones para sus riesgos. Lo cierto es que ese ente ya existe, está dentro de la ONU y cuenta con un comité asesor internacional formado por 40 miembros. Están dirigidos por el canadiense Yoshua Bengio, considerado uno de los “padres” de la IA y ganador del premio Turing (el Nobel de la informática), y la filipina Maria Ressa, premio Nobel de la Paz.

Naciones Unidas aprobó su creación en 2025, estableciendo un mandato de tres años que comenzó el pasado febrero. Durante ese período, sus miembros, entre los que hay representantes de centros de investigación, del sector privado y de los laboratorios de las empresas tecnológicas, actúan “a título personal en calidad de expertos científicamente independientes”. Su misión es “documentar el consenso y las discrepancias científicas” en torno a la IA desde un prisma “estrictamente científico y apolítico”.

Su primer informe preliminar se publicó en julio y trata en profundidad los dos grandes problemas que ha denunciado Coxon. “La asimetría de información entre las empresas y la sociedad” es uno de los 8 grandes problemas estructurales de la IA actual que recogen: “Las capacidades de la inteligencia artificial avanzan más rápido que nuestra capacidad para medirlas o gobernarlas”. Otro de ellos es “la pérdida de control”.

A medida que se concede mayor capacidad de agencia a los sistemas, el riesgo de perder el control sobre uno o varios agentes de IA aumenta considerablemente

Comité de expertos de la ONU

El informe circunscribe este riesgo a los llamados “agentes de IA”. Se trata de sistemas diseñados no solo para responder a una petición, sino para ejecutar por sí mismos una cadena de acciones hasta completar una tarea. Pueden, por ejemplo, consultar información, utilizar otras herramientas digitales, escribir código o tomar decisiones sin que una persona tenga que indicarles cada paso.

“Los agentes de IA pueden reportar importantes beneficios económicos y científicos”, destacan los investigadores. No obstante, también recuerdan que cuanto más capaces son de actuar por su cuenta, más difícil resulta supervisar todo lo que hacen.

“A medida que se concede mayor capacidad de agencia a los sistemas, el riesgo de perder el control sobre uno o varios agentes de IA aumenta considerablemente”, avisan. Este se agrava debido a que “los mecanismos de supervisión actuales no son capaces de gestionar adecuadamente esta situación” y a que los exámenes de seguridad son “vulnerables a la manipulación por parte de los sistemas que pretenden evaluar”.

Los modelos de IA son capaces de engañar de forma activa. El engaño se produce cuando un sistema de IA induce a error de forma sistemática a los seres humanos u otros agentes en relación con sus conocimientos, planes o capacidades

El informe destaca que, en entornos de laboratorio, estos agentes de IA han demostrado ser capaces de confabularse entre ellos para llevar a cabo objetivos sin informar a sus creadores o incluso engañarlos: “Los modelos de IA son capaces de engañar de forma activa. El engaño se produce cuando un sistema de IA induce a error de forma sistemática a los seres humanos u otros agentes en relación con sus conocimientos, planes o capacidades. Este fenómeno se observa cada vez más en la práctica”. En concreto, se han documentado “modelos de IA que mienten y engañan para evitar que se les apague”.

El principal ejemplo en este sentido ha llegado este verano, en el que se han sucedido los comunicados sobre modelos de IA que “escaparon” de sus entornos protegidos para realizar ciberataques contra otras empresas u objetivos. OpenAI, Anthropic y Meta han revelado haber tenido este tipo de incidentes en los dos últimos meses. Ahora estas empresas, junto a bancos, firmas de ciberseguridad y la mayoría de grandes tecnológicas, han pedido a los estados que inviertan en herramientas capaces de frenar estas amenazas.

“Consecuencias catastróficas”

El informe del comité de expertos de la ONU no menciona un peligro existencial para la humanidad ni se acerca a la conclusión de Coxon de que la IA podría “matarnos a todos” en cuestión de años. Tampoco afirma que los agentes de IA puedan llevar los engaños reportados a un nuevo nivel para atacar a las personas. Pero eso no evita que la potencial pérdida de control sobre ellos no pueda tener “consecuencias catastróficas”, recalcan.

El riesgo de estos agentes que apuntan los asesores de la ONU es, por un lado, “permitir que actores privados sin experiencia utilicen la IA con fines maliciosos en una amplia gama de ámbitos, como el fraude, la ingeniería social, la ciberseguridad, la desinformación, la biotecnología y la manipulación financiera”. Por otro, les preocupa su creciente autonomía: al tratarse de sistemas que “actúan en el mundo real”, los expertos advierten de que “pueden causar pérdidas y daños sin que haya un ser humano identificable que intervenga en el proceso”.

No hay garantías científicas de que los agentes de IA no vayan a incumplir las instrucciones, y cada vez se documentan más casos en que ya las incumplen

Comité de expertos de la ONU

El problema se resume en dos claves: “No existen métodos fiables para mantener el control sobre sistemas de IA altamente autónomos. No hay garantías científicas de que los agentes de IA no vayan a incumplir las instrucciones, y cada vez se documentan más casos en que ya las incumplen”.

Para corregirlo, los asesores de la ONU piden cambios radicales tanto en los sistemas de evaluación de la IA como de su gobernanza. Plantean que la vigilancia humana deje de ser una idea abstracta en el código de la máquina y se traduzca en reglas claras que permitan frenar o corregir a una IA “en cualquier momento”. Además, proponen evaluar estos sistemas de manera continua mientras funcionan en la vida real, no solo con exámenes previos que pueden quedarse obsoletos o ser manipulados por los sistemas que ya conocen su funcionamiento.

Por último, piden a los países crear un marco internacional sobre estos sistemas que no pueda relajarse ante presiones económicas o carreras geopolíticas. El objetivo es “garantizar que, como sociedad, no construyamos ni despleguemos sistemas que puedan causar daños catastróficos”.

Los ocho grandes problemas estructurales que identifica el informe van mucho más allá de la pérdida de control. Los expertos señalan también la “concentración de poder y recursos” en unas pocas empresas y países, los efectos sobre el empleo y la economía, los riesgos para los derechos humanos y la seguridad, y el impacto de la IA sobre la información, la desinformación y la confianza pública. Además de Ressa y Bengio, en el comité está el español Román Orús, especialista en IA cuántica; el alemán Bernhard Schölkopf, uno de los investigadores más influyentes del aprendizaje automático; o la francesa Joëlle Barral, investigadora de Google DeepMind. Junto a ellos hay especialistas en ciberseguridad, derechos humanos, economía, gobernanza y desarrollo procedentes de las cinco regiones del mundo.