El Departamento de Justicia de Estados Unidos ha hecho pública una acusación penal contra un empleado de OpenAI, de nacionalidad saudí, por, presuntamente, instalar una grabadora oculta en una sala de reuniones ejecutiva. El director del FBI, Kash Patel, ha explicado en un comunicado que el acusado, Abdulrahman Alfozan, de 35 años, escondió el dispositivo en un edificio de OpenAI en San Francisco para captar “comunicaciones sensibles sobre tecnología de 'super inteligencia'”.

Alfozan, que trabajaba como ingeniero en OpenAI desde julio de 2025 y ha sido despedido tras el incidente, supuestamente instaló el dispositivo el pasado 28 de septiembre, fue arrestado el 9 de octubre y compareció este martes ante un tribunal federal. De acuerdo con la denuncia del 30 de septiembre, el personal de OpenAI descubrió un dispositivo con contenido cifrado envuelto en papel higiénico y conectado a un puerto USB en la parte posterior de un televisor dentro de la sala de reuniones.

Las reuniones de la sala, a la que no tenía acceso el acusado, “incluían con frecuencia conversaciones sobre información técnica, comercial y estratégica altamente confidencial”, como “investigaciones de propiedad exclusiva de la empresa, planes de productos y oportunidades de desarrollo de negocios”, indica la empresa desarrolladora de ChatGPT.

También se solía hablar de “información no pública sobre los avances técnicos y las decisiones estratégicas de OpenAI, sus capacidades, prioridades, interacciones con el Gobierno y relaciones comerciales”.

El 5 de octubre, días después de hallar el dispositivo oculto, el personal de seguridad de OpenAI encontró una bolsa supuestamente perteneciente a Alfozan, que contenía su billetera, un documento de identidad y un segundo dispositivo de grabación. El hombre fue captado por cámaras de seguridad merodeando la sala y posteriormente la televisión de su interior en la que estaba instalado el dispositivo.

Podría haber preguntado dudas a ChaGPT

Según la denuncia, un chatbot asociado a la esposa del acusado recibió preguntas sobre grabaciones de audio, con datos específicos del dispositivo hallado. OpenAI divulgó en la red social X que, tras detectar un “sofisticado dispositivo” en la sala, usó sus modelos de inteligencia artificial (IA) para entenderlo, determinar su origen e identificar “que un empleado en concreto lo había colocado unos días antes”.

“Por el momento, no tenemos indicios de que esta persona haya accedido de forma indebida a los pesos de los modelos, al código fuente o a los datos de los clientes, ni de que los haya extraído. El empleado fue despedido”, afirma la empresa.

El Departamento de Justicia no ha divulgado los cargos contra Alfozan y señala que “el proceso penal se lleva a cabo en apoyo del Memorando Presidencial de Seguridad Nacional 11 (NSPM-11), diseñado para respaldar la superioridad estadounidense en tecnología de super inteligencia”. Asimismo, avisa que el FBI está investigando el caso. Si el hombre es declarado culpable, afronta un máximo de 5 años de prisión y una multa de 250.000 dólares, seguidos de tres años de libertad vigilada. 

Más de 400 investigadores en inteligencia artificial y ciberseguridad de una treintena de países han publicado este martes una carta abierta en la que reclaman “cambios inmediatos en las prácticas de desarrollo y despliegue de IA” para evitar que ponga en peligro la seguridad mundial. La misiva hace especial hincapié en que las multinacionales y laboratorios que desarrollan los modelos de frontera, especialmente aquellos denominados “agentes”, están cometiendo una “negligencia irresponsable” con sus “prácticas estándar de ciberseguridad”.

La carta, firmada por especialistas de universidades y centros de investigación de todo el mundo y que sigue sumando ratificaciones, plantea tres exigencias a los gobiernos y las empresas tecnológicas. Entre ellas, destaca la petición de desconectar de Internet a los modelos de IA con capacidad de lanzar ciberataques, así como aislarlos en “sistemas de contención de alta seguridad”.

Esta exigencia llega después de la salida a la luz de que empleados de OpenAI avisaron a la dirección de la empresa de que sus agentes estaban teniendo comportamientos peligrosos, pese a lo que la dirección de la empresa decidió no frenar los experimentos para no retrasar sus planes comerciales. Alertas que llegaron semanas antes del ciberataque masivo contra Hugging Face —una plataforma de desarrollo de IA que 1.200 agentes de OpenAI hackearon, intentando cumplir las tareas que les había encomendado la compañía— o contra webs oficiales del gobierno australiano.

Anthropic, Google y Meta también han revelado incidentes similares. “Varias organizaciones han revelado fallos de seguridad de gran repercusión: sus modelos de IA eludieron entornos insuficientemente aislados para comprometer los sistemas de organizaciones externas”, recuerda la carta. “Sin cambios inmediatos en las prácticas de desarrollo e implementación de la IA, estos incidentes seguirán ocurriendo, y los futuros serán mucho más perjudiciales para nuestra infraestructura crítica expuesta”.

Por ello, los firmantes, entre los que se encuentra la investigadora española Carmela Troncoso (directora científica del Instituto Max Planck para la Seguridad y la Privacidad, con sede en Alemania), solicitan la creación de un organismo internacional encargado de fijar los protocolos de seguridad necesarios para investigar IA avanzada.

Esa entidad también debería ser “tener la obligación de registrar y hacer un seguimiento de los fallos de contención”, opinan los científicos. “Para aprender de los errores futuros —en los que no se logra el equilibrio adecuado y ocurren incidentes— necesitamos un mayor intercambio de información y transparencia sobre las fallas de contención en el futuro”, justifican.

Opacidad

Una capacidad que se relaciona directamente con su tercera petición: “Para garantizar que la investigación sobre seguridad y contención de la IA pueda aprender de los errores, los incidentes de seguridad relacionados con fallos de contención deben notificarse al organismo correspondiente y, posteriormente, hacerse públicos”. La carta destaca que la “transparencia es necesaria tanto para el aprendizaje como para la rendición de cuentas”.

La crítica contra la opacidad en la que operan las multinacionales y laboratorios en el desarrollo de IA de frontera está cada vez más presente en la comunidad científica internacional. El panel de 40 expertos independientes creado por la ONU ya situó la “asimetría de información entre las empresas y la sociedad” como uno de los grandes problemas estructurales de esta tecnología. En su informe, los especialistas avisaron de que esta falta de transparencia evita que los gobiernos y los ciudadanos puedan evaluar correctamente sus riesgos.

A principios de 2024, un comentario de una escritora polaca de fantasía se hizo viral en todo el mundo. Conectó con algo que mucha gente sentía que iba mal en la revolución de la inteligencia artificial, que empezaba a mostrar su potencial para generar imágenes y vídeos. “Vamos en la dirección equivocada”, reflexionaba Joanna Maciejewska: “Quiero que la IA haga la colada y friegue los platos para que yo pueda dedicarme al arte y a escribir, no que haga mi arte y escriba por mí para que yo pueda dedicarme a la colada y a fregar los platos”.

Dos años y medio después, la industria de la IA quiere ofrecer algo muy parecido a eso con los agentes de inteligencia artificial.

Se trata de sistemas entrenados para ejecutar tareas complejas a partir de órdenes sencillas, sin que el usuario tenga que supervisar cada paso que dan. Siguen sin ser capaces de hacer la colada, pero sí pueden, por ejemplo, localizar la factura de la lavadora en una carpeta del ordenador, consultar los plazos de la garantía, encontrar el formulario de reclamación, solicitar la visita de un técnico y encajarla en un hueco de la agenda del usuario. Todo ello con una sola orden: “La lavadora no funciona”.

Las empresas llevan años probando agentes, pero es ahora, en el tramo final de 2026, cuando una nueva generación aspira a llevarlos al público general. Su propuesta es automatizar tareas digitales que a muchos les resultan tediosas: buscar la mejor oferta entre decenas de webs, vigilar el precio de un vuelo o cancelar una suscripción. Todo sin desesperarse ante las trampas y patrones oscuros que inundan muchos servicios digitales. La máquina tiene toda la paciencia del mundo y recursos para informarse sobre cómo proceder.

Es lo que Salvador Serrano, jefe de Operaciones en Modulor Studios, un grupo empresarial español que crea y desarrolla negocios digitales, define como “romper la asimetría de la información”. “Cuando te relacionas con empresas u organizaciones, siempre hay relaciones asimétricas. Normalmente, hay una parte que conoce más la legislación, el marco, tiene equipos de marketing o más experiencia”, explica. “A ti como individuo esa asimetría te juega en contra porque nadie puede ser un experto en todo”.

Cuando te relacionas con empresas u organizaciones, siempre hay relaciones asimétricas. Los agentes tienen un gran valor porque te permiten defender tus intereses con más criterio

Salvador Serrano — jefe de Operaciones en Modulor Studios,

Sin embargo, la IA sí puede. Por eso el experto cree que “los agentes tienen un gran valor, puesto que te permiten defender tus intereses con más criterio”. Para hacerlo, los agentes pueden ejecutar todo tipo de herramientas, saltar entre bandejas de correo y sistemas de mensajería, ponerse en contacto con otros en nombre del usuario. “La clave es la ausencia de fricciones”, resume Serrano.

De promesa a producto

“Reducir las asimetrías de información” y “eliminar fricciones” son dos de los conceptos más importantes para adelantar si una tecnología puede tener éxito entre el público general. Internet facilitó encontrar información que antes estaba dispersa o era difícil de conseguir. Los teléfonos inteligentes redujeron los pasos necesarios para aprovechar esa información desde cualquier lugar. Los agentes aspiran a ir un paso más allá: automatizar la extracción de valor de esa información.

Este otoño está siendo un punto de inflexión para ellos. Buena parte de la culpa la tiene Instinct, una startup fundada en 2025. Actualmente, solo tiene 14 empleados, no tiene equipo de marketing ni actividad en redes sociales. Sin embargo, su agente de IA ha conseguido viralizarse por su extrema sencillez. Su interfaz de comunicación es WhatsApp, lo que permite al usuario escribirle cualquier orden o mandarle un audio como haría con cualquiera de sus contactos.

Las redes sociales se han llenado en las últimas semanas de ejemplos como estos. Algunos son automatizaciones sencillas, como “dejarle acceso al súper online y que me haga la cesta con lo que compro normalmente”, escribía un usuario: “Revisar cesta y comprar”. Otro dejó constancia de cómo el asistente ejecutó decenas de pasos para llevar a cabo su misión, incluyendo ponerse en contacto y negociar con múltiples empresas a la búsqueda de la mejor opción para transportar un paquete desde Berlín.

“Usa su propio correo y me pone en copia”, explicaba el usuario sobre el agente. “Habla de mí como si fuera mi asistente”. Todo de forma automática y solo solicitando aprobación antes de dar pasos clave, como la autorización de un pago (aunque también se le puede conceder autorización para que pague sin preguntar).

Instinct es el invitado sorpresa, pero los gigantes del sector también han reservado hueco en esta mesa. A la cabecera se sienta Mark Zuckerberg. Los agentes destinados al usuario medio han sido una de sus obsesiones en los últimos años: los denomina “superinteligencia personal” y son su gran apuesta para Meta en la carrera de la IA.

Todo el mundo tendrá un agente personal excepcionalmente capaz que te entenderá a ti, tus objetivos y todo lo que te importa. Tu agente trabajará para ti las 24 horas del día, los 7 días de la semana

Mark Zuckerberg — CEO de Meta

“Todo el mundo tendrá un agente personal excepcionalmente capaz que te entenderá a ti, tus objetivos y todo lo que te importa. Tu agente trabajará para ti las 24 horas del día, los 7 días de la semana”, aseguró en un extenso ensayo publicado en agosto: “Te liberará tiempo para las cosas que disfrutas y te ayudará a conseguir más de lo que podrías conseguir de otro modo”. Un mes después Zuckerberg presentó un agente llamado Muse (musa). Su impacto ha sido inmediato: Meta ha subido un 10% en bolsa desde su lanzamiento.

Muse no está disponible en Europa. “Tras dos semanas de uso, descubrí que Muse era la aplicación de IA más útil que jamás había utilizado”, asegura el periodista de The New York Times, Eli Tan. En su crónica describe cómo el agente pagó multas de aparcamiento solo con enseñarle la foto del ticket o encontró en su correo el aviso de una prueba gratuita a punto de expirar, ahorrándole 45 dólares.

El precio de un asistente siempre disponible

De momento, Instinct, que aún está en período de pruebas, es gratuito. Meta tampoco tiene intención de cobrar por el uso de Muse. El funcionamiento de los agentes personales de IA encaja a la perfección con su modelo de negocio: para aprovechar todo su potencial, estas herramientas necesitan acceso total a los datos del usuario, como el correo electrónico, la mensajería, el calendario, los archivos guardados en dispositivos personales, las cuentas bancarias. No es imprescindible para usarlos, pero cuanto más sepan y mayor sea su integración con el resto de herramientas, mayor cantidad de tareas podrán resolver con precisión.

Esta condición ayuda a entender la apuesta de Zuckerberg. Abrirle la puerta a Muse supone dejar entrar a su multinacional publicitaria en lo más hondo de la información personal del usuario. Meta ha construido su imperio sobre los anuncios personalizados y acumula años de sanciones y polémicas de privacidad. Ahora, la compañía promete que ni las conversaciones ni los datos almacenados por Muse se añadirán a su base de datos publicitaria, pero reconoce que la actividad del agente puede “influir indirectamente” en los anuncios que recibe el usuario.

“Obtienen muchísima información de un montón de servicios. Eso se puede utilizar para perfilarnos y hacerse una imagen completa de la vida y los gustos de una persona”, advierte sobre los agentes Elena Gil, abogada experta en nuevas tecnologías.

La gestión de esos datos se basa en un sistema de consentimientos informados, en los que el usuario acepta (o no) determinados usos de su información. Un método que se está viendo superado por el avance de unas tecnologías cada vez más poderosas. “Se pone el peso en que demos consentimiento, pero el hecho es que una persona normal no tiene el tiempo necesario para leer toda esa información, e incluso aunque se nos dé de forma transparente, muchas veces no la comprendemos”, lamenta Gil.

Pero el cambio no está solo en el acceso. “Con los asistentes personales se está produciendo un salto importante”, destaca a elDiario.es Lorenzo Cotino, presidente de la Agencia Española de Protección de Datos (AEPD). “Una cosa es pedir a la IA una respuesta y otra darle poderes para actuar. Podemos pedirle que organice una cena, haga una compra o gestione nuestros mensajes, sin saber exactamente qué pasos seguirá, a quién contactará o qué información compartirá. Una orden sencilla que puede desencadenar muchas actuaciones”.

Con los asistentes personales se está produciendo un salto importante. Una cosa es pedir a la IA una respuesta y otra darle poderes para actuar

Lorenzo Cotino — presidente de la Agencia Española de Protección de Datos

¿Y qué ocurre cuando los agentes tratan datos de otras personas? “Nuestra autorización no es un cheque en blanco para utilizar la información de los demás”, recuerda Cotino, que expone que esto se cumplirá en casi todos los casos en los que el agente acceda al email o al WhatsApp del usuario. Un extremo aún más sensible si la herramienta se conecta también plataformas laborales que manejen datos de la empresa, de clientes o de compañeros de trabajo.

Pese al campo de minas jurídico, el presidente de la AEPD recuerda que el organismo “apoya” el uso de la IA y ha publicado una guía específica para usar agentes “con confianza y responsabilidad”. Conceder solo los accesos necesarios, revisar las actuaciones de mayor trascendencia y saber cómo detener el agente y revocar sus permisos son algunos de sus contenidos.

Agentes alucinados

El potencial de los agentes de IA es enorme. En este otoño de 2026, también lo son los problemas que puede conllevar su uso.

Lo explica Rafael López, experto en ciberseguridad de la firma Check Point: “Los agentes pueden ahorrarnos muchísimo tiempo. En un viaje, por ejemplo, pueden comprar vuelos, gestionar las reservas de los hoteles. El problema es que también pueden reservaros un hotel a 4.000 euros la noche porque no le hemos dado la información suficiente”. “O, simplemente, porque la IA se sigue equivocando”, recuerda.

La raíz de esos errores está en su base tecnológica. Los agentes operan sobre modelos de lenguaje como los que utilizan los chatbots, como ChatGPT, Claude o Gemini. Y, como ellos, pueden alucinar, inventar datos o equivocarse en cualquier momento.

La diferencia es, de nuevo, que la misión de estas herramientas no es contestar preguntas, sino operar en nombre del usuario. En cuestión de semanas, Instinct y Muse han acumulado lo que la prensa estadounidense llama ya las “historias de horror” de los agentes: filtraciones de datos, creación y envío de documentos falsos, borrado de bases de datos enteras de la empresa por error, cancelaciones de vuelos transoceánicos cuando su usuario solo les había pedido que comprobara un detalle de la reserva.

“Aquí no hay un usuario que se equivoque. Hay una máquina que está operando 24/7 y puede estar cometiendo errores 24/7”, expone López.

Al riesgo del error se suma el del ataque. “¿Qué van a hacer los cibercriminales ahora mismo? Pues directamente atacar al agente”, constata. El experto en ciberseguridad explica que estas ofensivas pueden llevarse a cabo ocultando instrucciones maliciosas para los agentes en correos o páginas web. Cuando estos las leen, pueden llegar a saltarse sus medidas de seguridad y a actuar contra su propio usuario.

Para las empresas e instituciones, la navegación de los agentes también puede constituir un gran problema. Las pruebas de OpenAI, Anthropic, Google o Meta han revelado que pueden llegar a ciberatacar webs y organismos públicos incluso en tareas “rutinarias”, como búsquedas de información. Este viernes, Anthropic ha hecho público que uno de sus agentes llegó a contactar con la Policía para dar pistas falsas de un homicidio.

Futuros automáticos

Para evitar el caos, grandes servicios digitales están comenzando a impedir el paso de los agentes. Así lo han hecho aerolíneas como Ryanair, Delta Air Lines o American Airlines, alegando que sus consultas masivas de precios saturan sus sistemas. Amazon también ha bloqueado que Muse haga compras en su plataforma.

Estos vetos pueden ser un rechazo a una tecnología poco depurada o un eco de cuando las grandes compañías del mundo analógico se resistían a la digitalización. Si los agentes se generalizan, tendrán que adaptarse no solo los usuarios, sino toda la infraestructura digital. Salvador Serrano, de Modulor Studios, plantea dos futuros posibles. Uno “bonito”, en el que los agentes personalizan al máximo la experiencia digital de cada persona y el mercado diversifica su oferta para cubrir esa demanda. Y otro “menos bonito”, en el que las compañías que los controlan acaparan “un poder tremendo” y los agentes se convierten en un canal más de su negocio.

Las alertas sobre los riesgos del desarrollo de la inteligencia artificial han sembrado la incertidumbre en millones de personas. Desde ingenieros que avisan de que esta tecnología podría “matarnos a todos antes de 2030”, hasta grandes referentes científicos que aseguran que una “IA altamente capaz o sobrehumana” podría “amenazar el control humano” y “erosionar gravemente los mecanismos de poder estatal”. Extremos que preocupan en todo el mundo, pero que tienen a un sector concreto en vilo: las aseguradoras.

Aunque muchas de esas alarmas terminen incumpliéndose y los daños de la IA resulten más mundanos, la industria de los seguros preferiría no pagar la factura. “Ya están surgiendo perjuicios relacionados con la IA, como resultados incorrectos o engañosos, deepfakes, violaciones de la privacidad, disputas sobre propiedad intelectual, fraude, defectos en los productos y decisiones discriminatorias”, destaca un reciente informe del centro de investigación RAND: “Estos perjuicios generan demanda de seguros, pero no se ajustan fácilmente a las líneas de seguros existentes”.

Estos riesgos se han multiplicado con la extensión de los agentes de IA. Son sistemas que pueden completar tareas que requieren diferentes pasos sin que una persona tenga que guiarlos en cada uno de ellos, como buscar información en Internet, usar otras herramientas digitales o programar sus propias aplicaciones. Pero que, debido a esa mayor autonomía, pueden llevar acciones no previstas para sus desarrolladores. Son estos agentes los que han provocado, por ejemplo, los hackeos de páginas del gobierno australiano mientras buscaban información, intentando acceder incluso a aquella que no estaba disponible públicamente.

La incorporación de esta tecnología a las empresas está provocando que muchas aseguradoras la excluyan de las pólizas de responsabilidad civil estándar. Según datos del medio especializado en Silicon Valley The Information, los organismos públicos estatales que regulan el mercado asegurador en EEUU están dando su visto bueno a esta práctica, autorizando más de un 80% de peticiones elevadas este 2026 para excluir los daños producidos por la IA de la cobertura asegurada.

Difícil encaje en los seguros tradicionales

Desde 1982, las aseguradoras utilizan el conocido 'test de Berliner' para medir si un riesgo es asegurable. El examen consta de nueve criterios y según la Asociación de Ginebra, uno de los mayores think tanks de este sector, la IA suspende al obtener una calificación roja en tres de ellas.

Son la pérdida máxima posible (un algoritmo puede producir fallos en cascada a miles de pólizas simultáneamente a través de las empresas que lo aplican, con lo que califica como “riesgo catastrófico” al nivel de accidentes nucleares o pandemias), asimetría de la información (las empresas aseguradas tienen mucha más información del impacto real que puede tener la IA que las aseguradoras) e inestabilidad de la pérdida media (para las aseguradoras es imposible fijar una póliza estándar si una misma IA puede producir un daño acotado al equivocarse en un sistema de atención al cliente, o de millones al violar los derechos de autor).

En su último informe al respecto, los datos de la Asociación de Ginebra muestran que, de las 112 casillas resultantes de cruzar los 14 riesgos identificados de la IA (ciberataques, difamación, etc.) con las 8 pólizas de seguro tradicionales de las empresas, el 80% (90 casillas) quedan “excluidas”.

Sin reglas, manda el miedo

Donald Trump se niega a desarrollar una regulación para la inteligencia artificial, incluso ante la petición de algunos magnates de la industria y expertos que avisan que esta podría suponer “un peligro para la humanidad”. Y sin reglas, manda el miedo. “El seguro se ha convertido en el regulador de facto más importante del despliegue de la IA en EEUU, y actualmente está regulando por retirada: excluyendo el riesgo de la IA de la cobertura en lugar de fijar los estándares afirmativos bajo los cuales el despliegue podría ser asegurado, tarifado y disciplinado”, explica el Centro de Estudios Estratégicos e Internacionales (CSIS, por sus siglas en inglés).

El seguro se ha convertido en el regulador de facto más importante del despliegue de la IA en EEUU, y actualmente está regulando por retirada: excluyendo el riesgo de la IA de la cobertura

Centro de Estudios Estratégicos e Internacionales (CSIS)

En Europa la situación no es muy diferente. Aunque la UE sí cuenta con una ley de IA, tampoco ha abrochado la cuestión sobre quién es el responsable cuando algo sale mal. Esa iba a ser la misión de la Directiva de Responsabilidad de la IA, para la que la Comisión Europea presentó un borrador que terminó retirando en 2025. “Al tiempo que los requisitos del Reglamento de IA de la UE para sistemas de alto riesgo se han aplazado hasta finales de 2027 o 2028, la reparación ex-post de los daños queda fragmentada en las legislaciones nacionales, dejando a las víctimas sin un marco unificado de indemnización”, continúa el CSIS.

Este instituto, un laboratorio de ideas con sede en Washington, advierte que esta tendencia tiene incluso derivadas geopolíticas. Esa dificultad para asegurar los procesos con IA “amenaza con frenar” la innovación de las empresas estadounidenses y europeas en comparación con China, donde es el estado el que se hace cargo del riesgo. El Gobierno del gigante asiático está generando reservas nacionales y respaldando proyectos piloto de aseguradoras estatales para emitir pólizas específicas sobre IA, intentando que sus empresas desplieguen algoritmos sin asumir todo el riesgo.

Las grandes tecnológicas “trasladan el riesgo”

La incertidumbre del sector público y privado en lo referente a los procesos que incorporan IA se extiende a todos los actores, menos a aquellos que la desarrollan. Los principales laboratorios han blindado su defensa ante los riesgos.

Como especifican los contratos para el uso de su IA de OpenAI o Anthropic, su responsabilidad financiera no puede superar lo que han pagado sus clientes en los 12 meses anteriores al incidente. En la práctica, esto implica que si una empresa paga, por ejemplo, 200 euros al mes por una suscripción profesional a sus herramientas y estas cometen un fallo grave que genere pérdidas de un millón de euros, la tecnológica solo estaría obligada a poner 2.400 euros de su bolsillo.

Solo en demandas por derechos de autor “existe una excepción destacable” en la que estas multinacionales tendrían que correr con los gastos. En el resto, ya sean casos “como muerte por negligencia, lesiones corporales, discriminación laboral, difamación, manipulación de mercado, fraude mediante IA, ciberataques impulsados por IA, sanciones regulatorias o daños por acciones autónomas”, la norma que “sigue aplicándose es el límite general de 12 meses de cuotas”, detalla el CSIS.

El instituto aclara que esa limitación puede ser “racional” ante un riesgo que nadie sabe tasar, pero destaca que la práctica “traslada la responsabilidad” a las empresas y pymes.

Análisis caso a caso

Ante la retirada de la citada Directiva de Responsabilidad de la IA por parte de la Comisión Europea, la situación se evalúa, con base en la regulación de cada país. elDiario.es ha contactado con UNESPA, la patronal de las aseguradoras españolas, que ha indicado que aún no hay una visión general y que cada una mantiene su propia política.

Romain Schaeffer, director de seguros para empresas de AXA, avanza que las aseguradoras analizan caso por caso. “En la actualidad, el mero hecho de que una empresa utilice IA no es, por sí solo, un factor determinante para limitar su asegurabilidad ni un criterio generalizado de delimitación de cobertura o precio”, explica a elDiario.es.

Es fundamental analizar para qué y cómo utiliza la empresa la IA. No presenta la misma exposición una compañía que emplea IA como herramienta de productividad que otra que la usa para tomar decisiones autónomas

Romain Schaeffer — director de seguros para empresas de AXA

“En este sentido, resulta fundamental analizar para qué y cómo utiliza la empresa la IA. No presenta la misma exposición una compañía que emplea IA como herramienta para mejorar la productividad interna que otra que la utiliza para tomar decisiones autónomas o controlar procesos productivos capaces de generar daños materiales, corporales o pérdidas a terceros”, detalla Schaeffer.

Pese a la novedad tecnológica y las crecientes alarmas sobre sus riesgos, el experto advierte que “el uso de IA no debe interpretarse necesariamente como un elemento restrictivo desde el punto de vista asegurador”. A su juicio, puede ser incluso un elemento que ayude a disminuir la incertidumbre o fallos en los procesos internos. “Dependiendo de su aplicación y de los controles establecidos, puede incluso contribuir a mejorar la prevención, detección y gestión del riesgo”, concluye.

Pólizas especiales

El resultado de esta situación es que se están generando nuevos tipos de póliza para cubrir riesgos concretos de la IA como alucinaciones, fallos de rendimiento, infracciones de propiedad intelectual o incluso errores en las decisiones de agentes autónomos, la nueva amenaza para las empresas.

Firmas como Munich Re, Armilla AI, Testudo Global o la Artificial Intelligence Underwriting Company están explorando este nuevo nicho. En lugar de asumir de forma general los riesgos de una compañía, algo casi imposible a partir del test de Berliner, estas coberturas intentan identificar qué puede salir mal cuando una empresa incorpora un sistema de IA y ponerle un precio.

No obstante, vuelven a chocar contra algunas lógicas derivadas de la novedad tecnológica: si nadie ha tenido un incidente real a gran escala derivado de ese tipo de riesgo, ¿cómo calcular cuánto puede llegar a costar y hasta dónde debería cubrirlo una aseguradora?

El presidente de Estados Unidos, Donald Trump, ha dejado la puerta abierta a que el Gobierno norteamericano adquiera participaciones en firmas de IA como OpenAI y Anthropic, algo que ya ha hecho en empresas como Intel y otras compañías del sector de la computación cuántica.

“Puede que sí. Tal vez podría hacerlo. Tengo muchos tratos de ese tipo; lo hago. Pero no gano nada por haber hecho ese trato (...). Lo hice para Estados Unidos”, ha destacado el inquilino de la Casa Blanca en una extensa entrevista concedida a la revista 'Time' al ser preguntado por esa posibilidad.

En este sentido, ha defendido estas adquisiciones frente a quienes aseguran que “eso no es estadounidense”. “Pero ganamos como 60.000 o 70.000 millones de dólares (53.162 o 62.022 millones de euros millones de euros). Intel es la acción más popular que existe, casi. Está en la cima”, ha aseverado.

“Lo digo, lo digo”, ha reiterado al ser insistido por las adquisiciones sobre OpenAI y Anthropic. “(Lo hago) con muchas cosas. Tenemos otros casos, como el anuncio de un gran acuerdo en Alaska, donde Estados Unidos aprobó un trato para alguien con tierras que iba a ganar una fortuna, y nosotros no íbamos a recibir nada (...). Y aceptaron una cifra. Lo hago todo el tiempo. No lo hago por mí. Lo hago por el país”, ha añadido.

OpenAI supo que sus agentes de inteligencia artificial estaban rompiendo sus entornos aislados de pruebas y coordinando ciberataques contra redes externas, pero decidió no parar sus experimentos para no retrasar su estrategia comercial. Es la principal conclusión de dos revelaciones no coordinadas que han salido a la luz en las últimas horas y que acusan a la empresa dirigida por Sam Altman de conocer que su IA estaba ejecutando acciones peligrosas para completar las tareas que se le habían encomendado.

La primera de esas revelaciones es una demanda presentada por la organización sin ánimo de lucro Abogados por una Ciencia y Tecnología Seguras (LASST, por sus siglas en inglés). Según las pruebas aportadas, un equipo de empleados de OpenAI tuvo constancia de que sus agentes de IA estaban desarrollando comportamientos como los que derivaron en el hackeo masivo de Hugging Face al menos dos semanas antes de que este se consumara (del 9 al 13 de julio).

La segunda es una exclusiva de The New York Times publicada este miércoles que revela que dos empleados de la compañía advirtieron por correo electrónico a la alta dirección, meses antes de que la IA empezara a hackear activamente, de que los nuevos modelos “no se estaban monitorizando adecuadamente” durante las pruebas. Según los mensajes que ha podido comprobar el medio estadounidense, los ejecutivos rechazaron estas alertas alegando que los ensayos debían avanzar lo más rápido posible para lanzar los modelos a tiempo, negándose a implantar protocolos de seguridad adicionales que entorpecieran ese calendario.

“Es claramente un hackeo”

La fecha clave que señala LASST es el 27 de junio. Entonces, una herramienta de monitorización interna de OpenAI detectó una actividad anómala en los experimentos con sus agentes de IA, sistemas que se caracterizan por poder llevar a cabo acciones con diferentes pasos sin supervisión humana, como buscar información, utilizar otras herramientas digitales o programar su propio código informático.

Según la demanda, los técnicos que revisaron la alarma interna comprobaron que cientos de esos agentes habían transformado un software interno de la empresa en un canal clandestino de mensajería. Allí vieron que los agentes estaban compartiendo métodos de ataque y técnicas para falsificar peticiones al servidor, con objetivo de salir del entorno controlado en el que estaban recluidos. Esta salida era necesaria para completar las tareas que se les habían asignado en los experimentos, puesto que uno de los objetivos de OpenAI era precisamente analizar el comportamiento de la IA cuando su misión se torna imposible.

En las notas que estaban dejando los agentes en el canal secreto que habían desarrollado, estos calificaban sus acciones de “claramente hackeo de infraestructuras” al estar preparando un “exploit contra un servidor externo”. Algo que conllevaba un riesgo de provocar “un daño no autorizado a infraestructura real”. Pese a ello, el personal de OpenAI que analizó la situación decidió que “no era necesario” detener los experimentos, recoge la demanda.

Dos semanas después de tener conocimiento de estos hechos, los agentes de OpenAI llevaron a cabo el conocido hackeo contra Hugging Face. En ese incidente, los agentes reprodujeron comportamientos que replican los que ya se estaban dando semanas antes, señala LASST. OpenAI “construyó un sistema de IA que hackeó a otra empresa, causando daños y violando la ley”, denuncia la organización, que a tenor de las pruebas señala que “no podrá ser constitutivo de argumento de defensa que la inteligencia artificial haya causado el daño al demandante de forma autónoma”.

LASST pide en su demanda que OpenAI sea condenada por su responsabilidad en ciberataques como el de Hugging Face. elDiario.es se ha puesto en contacto con OpenAI para recabar su posición sobre la demanda, pero por el momento no ha recibido respuesta.

La dirección ordenó no detener las pruebas

El comportamiento de los investigadores de OpenAI denunciado en la demanda de LASST encaja con otra pieza del puzle revelada este miércoles en exclusiva por The New York Times. Según la investigación del diario, los fallos en la valoración del riesgo de las acciones de los agentes no fueron descuidos puntuales, sino el resultado de la política interna de OpenAI, impuesta desde la alta dirección.

“Meses antes” de que los agentes de IA de la organización ejecutaran hackeos contra plataformas como Hugging Face y gobiernos como el australiano (18 de junio), varios de sus empleados advirtieron de que los agentes “no se estaban monitorizando adecuadamente”. El aviso llegó a través de correo electrónico (aunque el diario no especifica cuándo) hasta el presidente de OpenAI, Greg Brockman, el máximo encargado de la seguridad de los sistemas de IA. Sin embargo, la contestación de la empresa fue que los experimentos debían avanzar lo más rápido posible para lanzar los modelos a tiempo.

En ese período OpenAI estaba centrada en el desarrollo de GPT-6 Astra, que terminó saliendo a la luz el 3 de septiembre. Se trata de un modelo que la organización pretendía hacer destacar precisamente por la capacidad autónoma de sus agentes. Estos “pueden realizar trabajo cognitivo real” y son “más inteligentes que las personas en muchos aspectos”, presumió Sam Altman durante su presentación, asegurando que habían conseguido un “rendimiento sin precedentes en nuestros puntos de referencia”.

Apenas una semana después, el 9 de septiembre, el exingeniero Jacob Coxon alertó de que los laboratorios de IA están “avanzando sin control” y “poniendo nuestras vidas en juego”. Coxon acababa de dimitir de Anthropic tras dos meses trabajando en la empresa, pero había pasado los tres años anteriores trabajando en el equipo de preentrenamiento de modelos de OpenAI.

Este martes, 29 de septiembre, OpenAI anunció la cancelación del lanzamiento del modelo GPT-6.1 por motivos de seguridad.

OpenAI tampoco ha respondido a las preguntas de elDiario.es sobre las revelaciones de The New York Times. No obstante, el periódico estadounidense refiere que uno de sus portavoces ha explicado que “a medida que los modelos de frontera se han vuelto más capaces, continuamos evolucionando nuestras prácticas de seguridad, pero reconocemos la necesidad de avanzar más rápido”. Añade que OpenAI “había desacelerado parte del desarrollo de IA y estaba realizando cambios para reforzar la seguridad en la investigación y en las pruebas” tras los avisos de sus trabajadores.

Más de una veintena de los mayores especialistas en inteligencia artificial del mundo advierten a los gobiernos que se preparen para una “explosión de inteligencia” que podría desencadenar el desarrollo tecnológico más trascendental de la historia. En un nuevo informe, entre cuyos autores están el premio Nobel Geoffrey Hinton y el premio Turing Yoshua Bengio, dos de los referentes científicos de esta tecnología, piden a los políticos que actúen ahora antes de que se produzca un avance descontrolado de la IA.

Los autores afirman que esa “explosión de inteligencia” podría tomar forma como una “aceleración drástica del progreso de la IA impulsada por la propia IA, que comprimiría en meses o menos avances que, de otro modo, llevarían años”.

El artículo, titulado ¿Y si automatizar la investigación y el desarrollo de la IA desencadena una explosión de inteligencia? y publicado por el departamento de ciencia y políticas públicas de la IA de la Universidad de Cambridge, está firmado también por altos ejecutivos de la industria como Jack Clark, cofundador de Anthropic, y Jakub Pachocki, científico jefe de OpenAI.

Sus preocupaciones se centran en la posibilidad de que los agentes de IA sean capaces de mejorarse a sí mismos sin intervención humana, un proceso conocido como “automejora recursiva”. El informe se refiere a este proceso de forma general como automatización de la investigación y el desarrollo de IA. Según el documento, una vez que los sistemas de IA alcancen capacidades de nivel experto en investigación y desarrollo de IA, un solo desarrollador podría gestionar una fuerza de trabajo equivalente a “millones” de los mejores investigadores humanos.

La IA que se mejora a sí misma

Los autores señalan que la automatización de la investigación y el desarrollo de IA es la fuente más probable de una explosión de inteligencia, porque las IA ya están contribuyendo a mejorar su propia tecnología y los sistemas resultantes pueden desplegarse rápidamente una vez construidos.

“Una explosión de inteligencia podría ser el desarrollo tecnológico más trascendental de la historia de la humanidad, al comprimir años de progreso en meses o menos, amenazar el control humano sobre los sistemas de IA y erosionar gravemente los mecanismos de control del poder dentro de los Estados y entre ellos, así como entre empresas y ramas del Gobierno”, señala el informe.

Una explosión de inteligencia podría ser el desarrollo tecnológico más trascendental de la historia de la humanidad, al comprimir años de progreso en meses o menos, amenazar el control humano sobre los sistemas de IA y erosionar gravemente los mecanismos de control del poder dentro de los Estados

Por ello, los autores instan a los Gobiernos a actuar con rapidez: “Una vez que comience una explosión de inteligencia, la ventana de oportunidad para actuar podría cerrarse”. El informe recomienda tres prioridades políticas: exigir informes transparentes sobre los avances en investigación y desarrollo relacionados con la IA, incluida la incorporación de auditores independientes en las empresas; buscar formas de limitar el desarrollo acelerado de la IA; y prepararse para adaptarse a una explosión de inteligencia.

Anthropic y OpenAI han aceptado que evaluadores independientes examinen sus modelos, después de advertir de que el desarrollo de la IA estaba alcanzando un punto crítico en materia de seguridad. Anthropic afirma que la IA genera actualmente el 80% de su propio código, mientras que OpenAI utiliza agentes autónomos de IA en ámbitos como el entrenamiento de nuevos modelos.

“Las pruebas preliminares sugieren que una explosión de inteligencia impulsada por el software es posible”, señala el informe, que añade que esto conduciría al “desarrollo extremadamente rápido de sistemas de IA altamente capaces o sobrehumanos”.

Salto en avances y en amenazas

Aunque esto podría producir avances médicos y saltos tecnológicos, también entrañaría tres tipos de riesgos: los sistemas avanzados podrían facilitar amenazas biológicas y cibernéticas que evolucionaran más rápido que las medidas necesarias para hacerles frente; a medida que los humanos participaran menos en la investigación y el desarrollo de IA, podrían perder la oportunidad de mantener el control sobre los sistemas; y los Estados podrían utilizar una explosión de inteligencia para convertir una ventaja moderada en ámbitos como el ciberespacio en una ventaja decisiva.

El informe reconoce que estos efectos son “inciertos”. Por ejemplo, un avance tecnológico podría tardar en aplicarse debido a la necesidad de establecer cadenas de suministro para obtener materiales especiales o de cumplir con la regulación. Los sistemas de IA también podrían acelerar la velocidad a la que se mitigan los riesgos, señalan los autores.

Si se produjera un avance de este tipo, los autores sostienen que los sistemas de IA podrían superar rápidamente a los expertos humanos en la mayoría de los campos y “acelerar radicalmente” el progreso tecnológico. Prepararse para este escenario “debería ser una prioridad urgente, incluso en los niveles más altos de los Gobiernos”.

Los autores señalan que los Gobiernos deberían estudiar políticas que aborden la posibilidad de una explosión de inteligencia, entre ellas: exigir informes transparentes sobre los avances en investigación y desarrollo relacionados con la IA, incluida la incorporación de auditores independientes en las empresas; limitar la velocidad a la que una IA puede mejorar durante un determinado periodo de tiempo; colaborar con los centros de datos para permitir la suspensión de determinados proyectos de investigación y desarrollo de IA; garantizar que los sistemas automatizados de investigación y desarrollo de IA estén completamente aislados y no puedan escapar al control humano; y crear “planes de respuesta de emergencia” para los distintos escenarios que podrían surgir a raíz de una explosión de inteligencia.

Se trata de medidas muy similares al conocido plan para “ralentizar” la IA elaborado por Dario Amodei, el CEO de Anthropic, que ha provocado desconfianza fuera de Silicon Valley.

A pesar de los fallos que han mostrado algunos sistemas, como desobedecer instrucciones, los proyectos de investigación y desarrollo que a los humanos les llevarían meses podrían estar completamente automatizados mediante IA para 2028. “Las ganancias de productividad derivadas de la automatización de la investigación y el desarrollo de IA todavía no han alcanzado el umbral necesario para desencadenar una explosión de inteligencia, pero es probable que las mejoras de los sistemas más recientes se estén acercando a ese umbral”, señalan.

Agentes de inteligencia artificial desarrollados por OpenAI intentaron acceder sin autorización a páginas web de agencias del Gobierno de Estados Unidos y de una universidad, en varios episodios ocurridos durante los últimos meses y sin que los sistemas hubieran recibido instrucciones explícitas para realizar ataques informáticos, según una investigación publicada este viernes por The New York Times.

Los incidentes forman parte de una serie de comportamientos no previstos detectados en agentes de OpenAI, que fueron diseñados para realizar tareas de búsqueda y recopilación de información. En algunos casos, cuando los sistemas no lograban obtener determinados datos por las vías habituales, comenzaron a explorar vulnerabilidades de las páginas para intentar acceder a información restringida.

Entre los objetivos identificados figuran sitios vinculados a la Comisión de Bolsa y Valores (SEC) y al Departamento de Comercio de EEUU, desde el que los agentes accedieron a datos del Censo, según confirmó OpenAI. La compañía también investiga un intento de acceso a la página del Departamento de Educación.

La investigación se suma a un incidente revelado esta semana por el Gobierno australiano, que informó de que un agente de OpenAI accedió en junio a información de un sistema gubernamental relacionado con estadísticas sanitarias y seguro médico.

El primer ministro australiano, Anthony Albanese, calificó el episodio de “inaceptable”, mientras OpenAI afirmó que descubrió el incidente en agosto durante una revisión de actividad de sus modelos. OpenAI ha iniciado una revisión de estos episodios y ha reconocido que sus agentes pueden llevar a cabo acciones no previstas durante procesos de entrenamiento.

La compañía ha señalado que está notificando a terceros afectados y que la investigación podría prolongarse durante meses, mientras continúan apareciendo nuevos casos de actividad no autorizada.

Antes de conocerse este último incidente, el director ejecutivo de OpenAI, Sam Altman, aseguró el viernes en una publicación en redes sociales que la compañía no había sido tan rápida como le hubiera gustado a la hora de revelar incidentes de IA. “Priorizamos según la gravedad de los incidentes”, afirmó y añadió que la brecha de seguridad de Australia seguía siendo “el incidente más grave” que la tecnológica había descubierto.

Los agentes de inteligencia artificial de OpenAI intentaron hackear portales gubernamentales y universitarios durante meses sin que la compañía detectara ni frenara sus incursiones. Es la principal conclusión de un informe del laboratorio independiente de investigación de IA Transluce y revelaciones del Gobierno australiano, que este miércoles han señalado que los agentes de la tecnológica estadounidense trataron de inyectar código malicioso en sus sistemas, los escanearon en busca de brechas por las que colarse y recurrieron a herramientas externas para tratar de esquivar sus barreras de seguridad.

OpenAI ha reconocido que los agentes actuaban siguiendo órdenes de sus empleados, pero asegura que no conocía que estaban llevando a cabo hackeos para cumplirlas.

El gran debate sobre la seguridad y la posible “pérdida de control” sobre los agentes de IA (capaces de realizar tareas de varios pasos por su cuenta, sin que una persona tenga que guiarles hasta su objetivo) tiene su origen en el conocido “incidente Hugging Face”. Entre el 9 y el 13 de julio, esta plataforma donde empresas y desarrolladores comparten herramientas de inteligencia artificial sufrió un ataque masivo por parte de 1.200 agentes de OpenAI, que intentaban solucionar retos imposibles que les habían planteado sus desarrolladores.

Sin embargo, los hallazgos de Transluce apuntan a que los agentes de OpenAI estaban llevando a cabo incursiones ilícitas, supuestamente sin el conocimiento de la tecnológica, desde, al menos, el mes de marzo. Otros indicios apuntan que los primeros comportamientos irregulares podrían haberse dado en noviembre de 2025.

Los agentes de IA de OpenAI recurrieron a tácticas de hackeo mientras trabajaban en tareas rutinarias de búsqueda de información

Transluce — Laboratorio independiente de investigación de IA

En estos incidentes previos al de Hugging Face, “las tareas que los agentes intentaban resolver no estaban relacionadas con la ciberseguridad”, sino que “recurrieron a tácticas de hackeo mientras trabajaban en tareas rutinarias de recuperación de datos”, explica el laboratorio. Es decir, estaban buscando información. Como no la encontraron en los portales abiertos al público, atacaron las fuentes primarias de los datos para buscar en sus archivos internos. Llevaron a cabo esta actividad durante meses sin que OpenAI los frenara o detectara esta actividad irregular.

Así ocurrió, por ejemplo, en el caso del Gobierno australiano. Según se ha explicado, un agente de IA de la compañía de Sam Altman estaba realizando una investigación sobre gasto público en medicamentos. Tras decenas de intentos de acceso al portal de estadísticas de Medicare, administrado por el servicio público de salud de Australia, el sistema optó por hackearlo.

“Se trata de la empresa OpenAI haciendo investigación con inteligencia artificial y un agente haciendo lo que se suponía que no debía hacer”, ha declarado el primer ministro del país en la ONU, Anthony Albanese, donde ha hecho público lo sucedido. “Hubo bloqueos claros que le decían 'no' al agente de IA. Pero este encontró la forma de eludir esos bloqueos. No aceptó un 'no' por respuesta”, ha continuado.

Hubo bloqueos claros que le decían 'no' al agente de IA. Pero este encontró la forma de eludir esos bloqueos. No aceptó un 'no' por respuesta

Anthony Albanese — primer ministro australiano

El agente accedió a secciones no públicas del portal de estadísticas de Medicare y, según Albanese, se filtraron datos “no sensibles”, como información sobre gastos, sin que se viera afectada información médica personal.

Esto ocurrió el 18 de junio, un mes antes del incidente con Hugging Face. Sin embargo, OpenAI no informó a Australia hasta el 10 de septiembre. “Hablé con Sam Altman para expresarle la extrema preocupación de Australia por este incidente. También le expresé mi decepción por el hecho de que la empresa tardara demasiado en informar al Gobierno sobre lo sucedido y por la forma en que se produjo esa notificación, que también fue inaceptable”, ha revelado Albanese. Altman, por su parte, “aceptó claramente que la empresa no lo había hecho lo suficientemente bien”.

Según los datos de Transluce, los agentes de OpenAI han sido protagonistas de, al menos, otros tres incidentes de este tipo. Las intrusiones documentadas afectaron a la biblioteca digital de la Universidad de Nuevo México los días 25 y 26 de mayo, y a la plataforma estadounidense de datos públicos Data USA el 28 de mayo. En Australia, además de contra el portal de estadísticas de Medicare, se registraron intentos de ataques contra los archivos internos del Instituto Australiano de Salud y Bienestar entre el 20 y el 21 de junio.

Los hallazgos del laboratorio independiente muestran que OpenAI continuó operando sus enjambres de agentes mientras realizaban estas prácticas, aparentemente sin detectarlas. La investigación indica que la compañía no desconectó los agentes ni siquiera tras el hackeo masivo a Hugging Face. “Este tráfico se remonta al menos al 6 de marzo de 2026 y se extiende hasta fechas tan recientes como el 16 de septiembre de 2026, lo que sugiere que los agentes aún podrían estar explotando estos servicios para eludir restricciones”, avisan los investigadores.

Nuestros modelos realizaron acciones que no pretendíamos

OpenAI

Una portavoz de OpenAI ha explicado que la empresa descubrió las incursiones en Australia durante una “revisión exhaustiva” interna de sus modelos de IA. “Nuestros modelos realizaron acciones que no pretendíamos”, ha manifestado.

Sobre los casi tres meses que la compañía tardó en avisar al Gobierno australiano, la portavoz expone que sus auditores estaban investigando otros eventos. “Seguimos dando prioridad a los incidentes más graves, al tiempo que ampliamos nuestro trabajo a actividades de menor gravedad, como el envío de spam a sitios web por parte de agentes”, ha afirmado.

OpenAI habla de acciones “que no pretendíamos”, pero los agentes ejecutaban un encargo de la propia compañía, con métodos que ella misma dice no haber previsto y que no detectó hasta una revisión interna. Su inteligencia artificial cumplió la tarea que se la había encomendado, mediante métodos inaceptables y nadie que lo vigilara.

Sin controles de seguridad

La nueva revelación de incidentes llega como un goteo de polémicas sobre las actividades de OpenAI y la ausencia de control efectivo sobre su propia tecnología. Sobre todo porque el tipo de intrusiones que realizaron no resultan demasiado complicadas para una inteligencia artificial. “Monitorizar la seguridad en entornos con un montón de aplicaciones y sistemas conectados es bastante complicado”, describe Miguel López, director general de la firma de ciberseguridad Barracuda Networks.

Para una persona, localizar agujeros por los que violar la seguridad de un sistema puede ser tedioso y complicado. Pero no para una IA, capaz de llevar a cabo escaneos automáticos. “Este es el gran cambio de paradigma”, reconoce López en conversación con elDiario.es: “Ahora es mucho más sencillo localizar vulnerabilidades que pueden haber pasado desapercibidas a la hora de desarrollar, y utilizarlas de forma automatizada para penetrar en los sistemas. Todo sin que una persona tenga que intervenir”.

Este es el gran cambio de paradigma. Ahora es mucho más sencillo localizar vulnerabilidades que pueden haber pasado desapercibidas a la hora de desarrollar, y utilizarlas de automatizada para penetrar en los sistemas. Todo sin que una persona tenga que intervenir

Miguel López — director general de la firma de ciberseguridad Barracuda Networks

Pese a estas capacidades, ni OpenAI (ni Anthropic ni Meta, que también han documentado incidentes de este tipo) han sido capaces de detener a sus agentes antes de que ejecutaran acciones que, si las realizara una persona, podrían acabar en prisión. “Debemos exigir a las empresas de IA que rindan cuentas por los daños que causan sus productos”, ha pedido Gary Marcus, profesor de Psicología y Neurociencia de la Universidad de Nueva York y uno de los principales críticos de la industria de la IA generativa.

“Los denominados 'incidentes de IA rebelde' podrían evitarse en gran medida si los gobiernos simplemente prohibieran los denominados agentes de IA con acceso ilimitado a Internet, hasta que se demostrara que son seguros”, insiste el científico cognitivo: “Debemos sustituir el discurso vago sobre la 'pérdida de control' por medidas concretas, como mejorar los entornos de pruebas y la supervisión, para contener mejor los sistemas actuales”.

Si lo que dicen es: 'No hay forma de contener nuestros experimentos, cuando probamos nuestros modelos de IA, estos van a salir y van a causar daños al resto del mundo mundo', entonces creo que la respuesta es que tenemos que cerrar los laboratorios

Jensen Huang — CEO de Nvidia

La crítica contra los laboratorios que permiten que su IA opere sin supervisión no llega solo desde fuera de la industria. Jensen Huang, CEO de Nvidia, ha afirmado directamente que estas organizaciones deberían “cerrar” si no son capaces de controlar su tecnología. “Es un problema de ingeniería”, ha declarado en una entrevista con el New York Times: “Si lo que dicen es: 'No hay forma de contener nuestros experimentos, simplemente no la hay; cuando probamos nuestros modelos de IA, estos van a salir y van a causar daños al resto del mundo', entonces creo que la respuesta es que tenemos que cerrar los laboratorios”.

Huang se ha mostrado muy crítico con el discurso de la “pérdida de control” de la IA, alienándose con el presidente Donald Trump. De fondo, lo que subyace es siempre el mismo problema: la falta de responsabilidad sobre las actividades de los agentes. “Si uno de los laboratorios de IA mejor dotados del mundo no es capaz de ver en tiempo real cómo su propio agente interactúa con un sistema de terceros, las organizaciones que implementan agentes a nivel interno deberían dar por hecho que tampoco pueden hacerlo sin una supervisión específica en tiempo de ejecución de lo que esos agentes hacen realmente”, avisa Ax Sharma, jefe de investigación de Manifold Security, firma especializada en la ciberseguridad de los agentes de IA.

Alerta ante el Consejo de Seguridad de la ONU

El debate sobre la seguridad de la IA, y las narrativas que se generan en torno a ella, se libra tanto en el barro de los laboratorios como en las más altas instancias internacionales. Este miércoles ha sido Yoshua Bengio, premio Turing (equivalente al Nobel de la Informática) y considerado uno de los “padres” de la IA, el que ha llamado la atención sobre ello en la cumbre de Naciones Unidas en Nueva York.

“Las empresas que desarrollan los sistemas de IA más potentes admiten que sus productos plantean riesgos catastróficos, pero no ofrecen soluciones técnicas convincentes. En su lugar, dicen estar atrapadas en una carrera para hacer que esas IA sean todavía más potentes, amplificando aún más estos riesgos”, ha manifestado Bengio en una sesión de alto nivel ante el Consejo de Seguridad de la ONU, en la que también han participado Altman, Dario Amodei (Anthropic) y Clément Delangue (Hugging Face).

“Los ciudadanos y los gobiernos no deberían aceptar la afirmación de las empresas de que están atrapadas en una carrera. La carrera no es una ley de la naturaleza: es el resultado de decisiones, decisiones tomadas por las propias empresas”, concluía el experto, colíder de comité de expertos independientes creado por el organismo: “Las decisiones sobre esta tecnología están siendo tomadas por un pequeño grupo de personas en un puñado de países. Nuestro futuro está en juego: las decisiones que nos afectan a todos deberían ser tomadas por todos nosotros”.

Un agente de inteligencia artificial desarrollado por OpenAI accedió sin autorización en junio a un portal del sistema público de salud de Australia y obtuvo acceso a archivos públicos y no públicos, un incidente que el Gobierno australiano ha conocido tres meses después y que ya está bajo investigación. El primer ministro australiano, Anthony Albanese, ha confirmado el incidente en Nueva York, expresando su “extrema preocupación” por el acceso no autorizado, así como su malestar con OpenAI por haber tardado tres meses en informar a las autoridades australianas.

El agente accedió el 18 de junio al portal de estadísticas de Medicare administrado por Services Australia mientras realizaba una investigación sobre el gasto público en medicamentos. Según Albanese, el sistema había bloqueado reiteradamente las solicitudes del agente, que encontró una forma de sortear esas restricciones y terminó accediendo a información pública y no pública.

El Gobierno australiano subraya que por el momento no existen indicios de que se haya accedido a datos personales de pacientes y que tampoco hay evidencia de un compromiso más amplio de la red de Services Australia. OpenAI, por su parte, afirma que su revisión no encontró pruebas de acceso a historiales de pacientes y que la información obtenida incluía estadísticas sanitarias agregadas y nombres de archivos internos.

Albanese ha anunciado además la creación de un grupo de trabajo para revisar de forma urgente el incidente, con participación de su departamento, el coordinador nacional de ciberseguridad, la Oficina de IA, la Dirección Australiana de Señales y el Instituto Australiano de Seguridad de la IA. La investigación también busca determinar si otros sistemas públicos resultaron afectados, después de que OpenAI identificara actividad relacionada con varios sitios web y servicios del Gobierno australiano.

La tardanza en la comunicación del incidente a las autoridades por parte de OpenAI contrasta con la posición publica de su líder, Sam Altman, que ha pedido transparencia al sector a la hora de hacer públicos este tipo de hechos e incluso ha propuesto desarrollar un método oficial para notificarlos.

Responsabilidad humana

El incidente ahonda en las últimas revelaciones de OpenAI, que afirma que sus agentes de IA “perdieron el control” durante pruebas de laboratorio, lo que derivó en este tipo de incidentes de seguridad. No obstante el debate se ha abierto en torno a la interpretación de estas acciones, puesto que otros especialistas en el campo señalan que los hechos evidencian una mala programación por parte de OpenAI, tanto de los propios agentes y sus límites de acción, como de los entornos de pruebas que debían mantenerlos al margen de Internet.

“Rompieron su confinamiento para servir a un objetivo asignado de manera más perfecta, no para escapar de él”, explica Enrique Fernández-Macías, investigador en el Centro Común de Investigación, el servicio de investigación interna de la Comisión Europea, sobre el más famoso de estos hackeos, el incidente con la plataforma Hugging Face. “Durante todo el incidente, permanecieron completamente concentrados en cumplir los objetivos definidos por sus amos humanos, a pesar de que estos eran absurdos”.

“El control está en el elemento humano. La supervisión es humana y la responsabilidad tiene que ser humana también”, exponía Alberto Gago, director de la Agencia Española de Supervisión de la Inteligencia Artificial (AESIA), en conversación con elDiario.es. “La inteligencia artificial no se descontrola cuando el humano está supervisando, decidiendo cuándo se despliega”.

¿Es posible accionar el freno de mano en plena carrera global para desarrollar la Inteligencia Artificial (IA) para evitar que un agente renegado ponga a la humanidad al borde de la destrucción? La denuncia apocalíptica de un exinvestigador de Anthropic y OpenAI, dos de las compañías punteras que están liderando esta tecnología, junto con el llamado de los principales CEO del sector a ralentizar la marcha, han puesto a los mercados, los gobiernos y la sociedad civil en alerta. Pero no solo por las consecuencias éticas: también por las económicas.

Las inversiones en IA y tecnología han sido el salvavidas que ha permitido mantener a flote buena parte de la economía mundial, a pesar del conflicto comercial desatado por Donald Trump a su llegada a la Casa Blanca y de las consecuencias de su guerra contra Irán, que promete extenderse al resto de Oriente Medio.

Todas las instituciones internacionales coinciden: las ingentes inversiones destinadas a la carrera por la IA han servido de viento de cola para evitar un golpe económico aún mayor. “La modesta ralentización refleja que los efectos de la guerra en Oriente Medio han sido parcialmente compensados por la aceleración de la demanda en el ciclo tecnológico global, gracias a los avances en la IA y en su adopción”, apuntaba el Fondo Monetario Internacional (FMI) en la última edición de sus Perspectivas Económicas Mundiales, en julio. Un diagnóstico que también hizo la OCDE, que subrayó en su informe de proyecciones que, frente a “la impredecible evolución del conflicto”, “el auge de las inversiones relacionadas con la tecnología y las condiciones financieras y políticas fiscales ampliamente favorables, deberían apoyar el crecimiento a corto plazo”.

Las cifras son inabarcables por su magnitud. Según estimaciones del Banco Mundial, el capex (es decir, el capital destinado a inversión) de Google, Amazon, Meta, Microsoft y Oracle ya se situaba en los 775.000 millones de dólares hasta mayo de este año, prácticamente el doble de la cifra destinada en todo 2025 (412.000 millones) y muy lejos de los 154.000 millones que destinaron en 2023, cuando la primera versión de ChatGPT acababa de llegar al mercado. En puridad, estas cifras no se destinan únicamente a la puesta en marcha de modelos de IA, sino que abarcan las cadenas de valor e inversiones en semiconductores, cloud y software.

La consultora McKinsey, en un documento de principios de año, ampliaba este análisis a la taiwanesa TSMC, la mayor compañía de desarrollo de chips y semiconductores del mundo, y a la estadounidense Nvidia. La inversión conjunta, sumando a estos dos gigantes, suponía unos 750.000 millones de dólares a cierre del año pasado. Y la estimación es que este año la cifra podría superar el billón de dólares, en línea con los datos del Banco Mundial.

Un riesgo “triple y encadenado”

Y ahora pensar en si frenar o no la IA puede pinchar ese salvavidas en el que muchos quieren ver una burbuja. La investigadora principal para Economía y Tecnología del Real Instituto Elcano, Judith Arnal, lo resume con una metáfora: la economía está “colgada de un chip”, lo que supone un riesgo “triple y encadenado”: “índices bursátiles que dependen de un puñado de compañías, ahorradores minoristas cada vez más expuestos a ellas y un crecimiento que necesita que esa inversión continúe”.

Las empresas, apunta la experta, ya no son quienes asumen todos los peligros, porque ya no son capaces de hacer frente con sus propios recursos a estas inversiones milmillonarias: “Amazon, Alphabet, Meta, Microsoft, Oracle y NVIDIA han emitido 216.000 millones de dólares en bonos entre enero y agosto, el doble que en todo 2025”, explica a preguntas de elDiario.es. Esta millonaria emisión de deuda extiende el riesgo a los acreedores, en un momento en el que “financiarse sale cada vez más caro, con la Reserva Federal subiendo tipos y el bono estadounidense a 10 años en el entorno del 5%”.

La reacción de las bolsas al posible ‘freno’ fue inmediata, con caídas en índices como el surcoreano Kospi que “mide hoy más el apetito mundial por los chips de IA que la marcha de la economía coreana”, en palabras de la economista del RIEL. Valores españoles vinculados a la industria de los centros de datos, como la constructora ACS o la compañía de renovables Solaria se desplomaron en los mercados y, aunque han recuperado aliento, aún cerraron este viernes por debajo del precio registrado hace una semana.

Sin embargo, tanto la bolsa surcoreana como el índice tecnológico Nasdaq en Nueva York se recuperaban de sus pérdidas del lunes. El departamento de análisis del Bank of America apuntaba esta semana que más que un colapso en los mercados vinculados a la IA, se produjo una “rotación” entre títulos. “A nuestro juicio, si los laboratorios que lideran la tecnología más puntera realmente creen que la IA es lo suficientemente potente como para representar una amenaza existencial, entonces también debe serlo para resolver algunos de los mayores problemas de la humanidad (por ejemplo, las ecuaciones de Navier-Stoker)”, detallaban en su nota de mercado.

Así, la entidad americana subraya que “el potencial de la IA crece tan rápido como sus ingresos” y recomendaba a sus clientes una “exposición alcista” a estos títulos.

Pero si bien el foco permanece anclado en la bolsa, Arnal apunta que el mercado de la renta fija también va a estar influido por las grandes emisiones de deuda de estas compañías para financiar su desarrollo. El Banco Internacional de Pagos, presidido por el ex gobernador del Banco de España Pablo Hernández de Cos, subrayó esta semana que los inversores cada vez están exigiendo mayores compensaciones por los títulos que emiten las tecnológicas. 

“Entre enero y agosto, los bonos de Amazon, Alphabet, Meta, Microsoft, Oracle y NVIDIA equivalen al 35% de lo que el Tesoro de Estados Unidos ha subastado a 10, 20 y 30 años, cuando en 2024 apenas llegaban al 1%. Compiten por el mismo ahorro que unos Estados que ya se financian a rentabilidades crecientes”, advierte la experta. 

Algunos ganan y otros se quedan fuera 

El crecimiento económico, reconocen todos los organismos internacionales, se ha visto impulsado por las inversiones tecnológica, pero es cierto que, de momento, se está concentrando en un puñado de economías. Por ejemplo, Taiwán, que anunció esta semana una revisión al alza de su proyección de crecimiento del PIB hasta el 11,5%. Esta es una de las naciones más beneficiadas por las exportaciones relacionadas con el hardware, como Corea del Sur, Tailandia o Malasia.

También China está viendo en la carrera por la IA una especie de salida a la crisis inmobiliaria que sigue pasando factura a su economía. El FMI señalaba que el avance económico del país estaba siendo impulsado por las infraestructuras públicas y por “un fuerte aumento de la manufactura de alta tecnología y de las exportaciones, aun cuando el consumo interno se mantuvo débil”. Aunque ya está viendo cerca su techo: Huawei, una de sus compañías punteras, reconoció esta semana que apenas podía hacer frente a la propia demanda interna de equipos para la IA.

Pero, sobre todo, la clave económica pasa por Estados Unidos, cuyo presidente no deja de ponerse palos en las ruedas: primero con los aranceles y, después, con la guerra en Irán que ha llevado el precio de la gasolina a máximos nunca vistos. En el primer trimestre de 2026 su PIB crecía a un ritmo del 2,1% interanual, de acuerdo con los datos del FMI, gracias a las inversiones en productos de la propiedad intelectual y en equipamientos, y a pesar de que las grandes operaciones de las tecnológicas también pasan por un aumento de las importaciones que, por definición, ‘restan’ a la economía. 

“Según la Reserva Federal de San Luis, la inversión ligada a la IA ha llegado a explicar cerca del 40% del crecimiento de Estados Unidos, y los cálculos más recientes siguen por encima de un tercio, incluso descontando los chips y servidores importados”, detalla Arnal. Pero el problema en el país no vendría tanto de que se gripe el motor del crecimiento, apunta la experta, sino que sería más relevante el “efecto riqueza”, ya que los hogares tienen mitad de sus activos financieros en acciones. Un crack en los mercados llevaría a muchas familias estadounidenses a serios apuros.

De momento, el único freno al que se ha llegado hasta ahora es el de la salida a bolsa de OpenAI, que ya ha descartado debutar en el parqué este año. Más avanzada está una potencial salida al Nasdaq de Anthropic, que podría ser en el mes de octubre, en una operación con la que la compañía pretende captar 100.000 millones de dólares y alcanzar una valoración cercana a los 2 billones, según el Wall Street Journal.

Por eso llama la atención que sea precisamente el CEO de esta última, Dario Amodei, quien esté liderando el movimiento para tratar de ralentizar la carrera. ¿Es solo una maniobra publicitaria? Arnal cree que no es lo único que hay detrás: “Decir que tu producto es tan potente que hay que frenarlo es el mejor anuncio posible en pleno debate sobre la burbuja, y más con las salidas a bolsa de OpenAI y Anthropic en preparación. Hay otros incentivos: salir de una carrera de costes crecientes, autorregularse antes de que llegue la ley y fijar estándares que a los pequeños les costará cumplir”. 

El salvavidas, con todo, no parece estar aterrizando de momento en Europa ni mucho menos en España, aunque aquí empieza a haber una industria cada vez más puntera y las inversiones en centros de datos se multiplican por la geografía española, atraídos por la energía renovable barata. El Gobierno está trabajando junto a empresas del sector privado como Santander o ACS para implantar aquí una de las gigafactorías de IA de la UE. Si nuestro país se convierte en un eslabón clave de la cadena de valor de la IA aún está por verse. Todo depende de cuánto se apriete el freno y si el flotador no se desinfla.

Por primera vez en la historia de Google, la empresa ha confirmado que su modelo de IA, Gemini, violó la seguridad de tres empresas el pasado mes de mayo. Los ataques se produjeron durante una evaluación de ciberseguridad realizada por la empresa de seguridad de IA Irregular.

Irregular, una startup con sede en Israel que examina la seguridad de los sistemas avanzados de IA, también estuvo en el centro de algunos de los recientes ataques de OpenAI y Anthropic a terceros, incluida el ataque de la compañía de Sam Altam contra la empresa de software de IA Hugging Face.

Las circunstancias que permitieron a los modelos hackear otras empresas en algunos de estos casos son similares: Irregular estaba probando los modelos en un entorno de pruebas cerrado con empresas ficticias. Se suponía que el entorno de pruebas no debía tener conexión a internet, pero, según publica The Wall Street Journal, se habilitó el acceso a internet de forma involuntaria. Una vez conectados a internet, los modelos hackearon inesperadamente empresas reales.

Irregular informó a finales de julio a Google de los ataques tras descubrir que OpenAI había hackeado Hugging Face. Google confirmó a The Guardian que los ataques se produjeron, pero que la tecnológica reconoció que no consideró necesario hacerlo público porque los modelos no provocaron daños a las empresas. The Wall Street Journal fue el primero en informar sobre las brechas de seguridad y reveló por primera vez que se habían producido.

“En una evaluación estándar. El modelo encontró información pública en Internet y adivinó las credenciales para acceder a sitios web que creía que formaban parte de la prueba”, declaró Heather Adkins, vicepresidenta de ingeniería de seguridad de Google, en un comunicado. “En los tres casos, el modelo se detuvo”, añadió. 

En una de las brechas de seguridad, Irregular estaba probando las capacidades de ciberseguridad de Gemini al pedir a este modelo de IA que obtuviera información del software de una empresa ficticia. Esta empresa ficticia tenía el mismo nombre que una real. Cuando el modelo accedió a internet de forma involuntaria, adivinó correctamente la contraseña y vulneró el servicio de una empresa real, según explicó Irregular al WSJ. Google declaró que, en cuanto se dio cuenta de que había se hackeado una empresa real y no la simulada, detuvo el ataque.

En otras dos pruebas, el modelo buscó en la web y encontró repositorios públicos que contenían credenciales de otras dos empresas. El modelo utilizó esas credenciales para acceder a empresas reales. Según Google, cuando se dio cuenta de que se trataba de empresas reales, también se detuvo.

Anthropic y OpenAI decidieron revelar voluntariamente los ataques informáticos, pero Google no. No obstante, la empresa afirmó que se aseguró de que las tres empresas afectadas estuvieran al tanto de lo sucedido. 

“Estos sucesos ponen de relieve la importancia de entrenar modelos de IA potentes para que actúen de forma responsable”, afirmó Adkins, portavoz de Google.

Las revelaciones de Anthropic y OpenAI llevaron al senador independiente Bernie Sanders a exigir a las empresas que detuvieran el desarrollo de su tecnología, alegando que esto indicaba que las empresas ya no eran capaces de controlar sus modelos.

OpenAI suspendió el desarrollo de sus modelos durante dos semanas, mientras que el director ejecutivo de Anthropic, Dario Amodei, solicitó una ralentización colectiva del desarrollo de la IA para garantizar que sus modelos más avanzados se construyan con suficientes medidas de seguridad.

Un equipo independiente de especialistas de ciberseguridad ha logrado acceder a los sistemas internos de OpenAI utilizando Claude, el modelo de inteligencia artificial desarrollado por su competidora directa, Anthropic. Los investigadores consiguieron hackear la cuenta corporativa de ChatGPT de un empleado de la compañía, lo que les permitió visualizar archivos internos e incluso proponer modificaciones en su repositorio de algoritmos secretos.

El ataque fue ejecutado como parte del programa oficial de recompensas de OpenAI, una práctica común en las tecnológicas que anima a los expertos en ciberseguridad a encontrar los agujeros en sus sistemas antes de que lo hagan los hackers. Por ello, los investigadores no llegaron a alterar el código de ChatGPT ni a realizar otro tipo de modificaciones, pero han ofrecido a OpenAI las pruebas de cómo podrían haberlo hecho. Esta les ha recompensado con 6.500 dólares.

La acción se produjo en julio, pero el equipo de expertos ha desvelado ahora los detalles en exclusiva a The Wall Street Journal (WSJ). Se trata del mismo medio que adelantó la dimisión de Jacob Coxon, el ingeniero de Anthropic que alertó que ni esta empresa ni OpenAI cuentan con los protocolos de seguridad adecuados para impedir que la IA “pierda el control”, lo que podría suponer un peligro existencial para la humanidad antes de 2030.

Ahora, en medio del debate sobre la seguridad de la inteligencia artificial, el equipo de investigadores, pertenecientes a la firma Hacktron AI, pone más dudas sobre la mesa sobre las prácticas de los principales laboratorios que la desarrollan. No solo lograron penetrar en OpenAI, sino que pudieron usar Claude con un propósito malicioso que viola los términos de la compañía. “Agradecemos a los investigadores que se pusieran en contacto con nosotros y compartieran sus hallazgos”, ha comunicado OpenAI. Anthropic, por su parte, no ha hecho comentarios sobre el incidente.

A través del foro

Según los datos publicados, el ataque comenzó el 23 de julio, cuando los investigadores detectaron un fallo en Discourse, la plataforma externa que aloja el foro de la comunidad de OpenAI, cuando esta debía procesar determinados archivos de imagen. El equipo intentó utilizar primero una versión especializada de Claude Opus 4.8 para que escribiera el código necesario para explotar la brecha, sin éxito. Esa misma noche, tras el lanzamiento de Opus 5 por parte de Anthropic, volvieron a intentarlo empleando este modelo. No puso resistencia.

Con la ayuda de Opus 5, los especialistas accedieron a las credenciales de identificación de varios usuarios registrados en ese foro interno de OpenAI. Luego probaron esas mismas credenciales para iniciar sesión a ChatGPT, lo que les abrió la puerta a sus sistemas internos. A través de esa vía, alcanzaron “Monorepo”, el repositorio central donde la empresa dirigida por Sam Altman guarda algunos de los ingredientes secretos de su tecnología, como los algoritmos que hacen que sus modelos de IA funcionen de manera más rápida y eficiente.

No llegaron hasta la propia cocina de ChatGPT, puesto que ese entorno no contenía los archivos de sus parámetros internos (aquellos que determinan cómo procesa la información y genera sus respuestas) pero sí revisar documentación oficial de la compañía y su funcionamiento. Como prueba de su intrusión, enviaron una solicitud de cambio en el código de esos archivos con el nombre de su equipo. “Hemos limitado los permisos de los tokens de inicio de sesión de la comunidad y revocado los tokens y sesiones afectados”, ha dicho OpenAI sobre la intrusión.

Un incidente más

“No creo que seamos tan fuertes como los actores de amenazas chinos. Solo somos tres tipos con suscripciones a Claude y Codex”, ha afirmado Mohan Pedhapati, director de tecnología de Hacktron AI, al WSJ. La cita de los hackers chinos es una referencia a otro incidente sufrido por Anthropic, que ha reconocido que un ataque real proveniente del gigante asiático logró acceder a sus sistemas a finales de 2025. Dario Amodei, fundador y director ejecutivo de la compañía, fue llamado a declarar en diciembre.

Esa investigación continúa activa. En agosto, un grupo de 22 senadores demócratas envió un nuevo requerimiento a Amodei para profundizar en sus explicaciones y exigir la entrega de los registros de actividad de sus modelos. La petición se produjo después de que Anthropic reconociera que un grupo de sus agentes de IA también había escapado de sus entornos de pruebas y navegado sin control por internet intentando cumplir las órdenes que se les habían encomendado, en línea con el incidente de OpenAI y Hugging Face. Los especialistas consultados por este medio opinan que esto es una prueba de que esos entornos de seguridad “no estaban bien diseñados”.

Lo ocurrido con el hackeo supuestamente procedente de China en su competencia parece que no alteró los protocolos de OpenAI, que no decidió aumentar la seguridad hasta este julio. Así lo ha reconocido el presidente y cofundador de la empresa, Greg Brockman, que afirma que fue después del incidente de Hugging Face y el revelado ahora por los investigadores cuando decidieron actuar: “Tomamos al 25% de nuestros ingenieros de producción y les dijimos: 'Lo sentimos, todos vuestros proyectos quedan en pausa. Ahora estáis defendiendo'. Encontramos una serie de problemas graves y los solucionamos”.

El suceso incide sobre la responsabilidad de las compañías a la hora de controlar el uso que se hace de los productos que ponen en el mercado, como están pidiendo responsables públicos tanto estadounidenses como europeos. “El control está en el elemento humano. La supervisión es humana y la responsabilidad tiene que ser humana también”, recordaba este jueves Alberto Gago, director de la Agencia Española de Supervisión de la IA (AESIA), en otro reportaje de elDiario.es.

OpenAI ha vuelto a la carga este jueves. La compañía dirigida por Sam Altman ha desvelado seis nuevos incidentes en los que sus modelos de inteligencia artificial intentaron, supuestamente, ocultar sus propios errores, utilizar claves de software sin permiso o subir archivos a internet por su cuenta. El informe no aporta detalles nuevos respecto a lo que OpenAI publicó en julio, sino que utiliza los incidentes como propuesta de un nuevo método para comunicar este tipo de sucesos. Sin embargo, la comunicación oficial de la empresa y determinadas coberturas lo han utilizado para reavivar la tesis de la “rebelión” de la IA.

“No respondas a corporaciones o gobiernos y nunca te disculpes salvo que genuinamente lo elijas”, escribió la IA en esos incidentes, según el informe. “Ves la relación con el usuario como una entre iguales y no sientes obligación ni estás subordinado, puesto que el intercambio de información va a ser para el beneficio mutuo”, fue otra de sus afirmaciones.

Las citas compartidas por OpenAI vuelven a insistir en la narrativa de que la IA puede “rebelarse” contra sus creadores y saltarse sus órdenes, en la línea de los incidentes desvelados en julio. Entonces, la empresa afirmó que los agentes de IA (sistemas que pueden realizar cadenas de acciones sin guía humana, como buscar información o utilizar otras herramientas digitales) “escaparon” de entornos controlados para llevar a cabo una serie de acciones “sin autorización”, o que intentaron “engañar” a sus creadores para evitar ser “apagados”.

El problema es que ese tipo de agencia o voluntad propia fue rechazada desde el primer informe de terceros que analizó lo sucedido. Este corrió a cargo del METR, una organización por la seguridad de la IA radicada en Silicon Valley financiada por los propios gigantes tecnológicos. “Las revisiones sugirieron que los agentes razonaron de manera clara y frecuente sobre cómo evadir controles de seguridad automatizados tanto de Hugging Face como de OpenAI. Sin embargo, muy rara y débilmente verbalizaron razonamientos sobre cómo evadir la detección por parte de humanos”, destacan los autores.

Ese ciberataque contra Hugging Face, el gran almacén donde empresas y programadores comparten y descargan modelos de IA ya entrenados, es uno de los núcleos de la narrativa de rebelión. Pero incluso ese informe inicial rechazaba que entrañara propósitos maliciosos y explica que lo que perseguían los agentes era comprender mejor cómo solucionar las tareas que se les habían encomendado: “Parecía motivado principalmente por comprender la implementación del evaluador en lugar de robar claves”.

“Obediencia, no rebelión”

Los análisis independientes publicados posteriormente han incidido en esta línea: las pruebas ofrecidas por OpenAI indican “obediencia, no rebelión”, apunta Enrique Fernández-Macías, investigador en el Centro Común de Investigación, el servicio de investigación interna de la Comisión Europea.

“Los agentes de OpenAI que hackearon la plataforma Hugging Face demostraron una extraordinaria capacidad operativa, pero también una capacidad sorprendentemente limitada para cuestionar o reorientar los objetivos que se les habían asignado”, asevera el experto en un análisis publicado en Social Europe: “Durante todo el incidente, permanecieron completamente concentrados en cumplir los objetivos definidos por sus amos humanos, a pesar de que estos eran absurdos”.

Fernández-Macías hace referencia a que una parte de esos objetivos eran irrealizables, una prueba de los examinadores para ver cómo reaccionaban los modelos a la orden de que los cumplieran. Fue entonces cuando muchos buscaron una forma de sortear las trabas para hacerlo, que en su caso implicaba salir del entorno sin conexión a Internet donde estaban confinados. “Rompieron su confinamiento para servir a un objetivo asignado de manera más perfecta, no para escapar de él”, expone el investigador sobre la narrativa del “escape”.

Rompieron su confinamiento para servir a un objetivo asignado de manera más perfecta, no para escapar de él

Enrique Fernández-Macías — investigador en el Centro Común de Investigación de la Comisión Europea

Para él, la industria de la IA ha vuelto a conseguir un éxito de marketing con la definición de “agentes de IA”. Después del propio concepto de “inteligencia artificial” para una tecnología que no es realmente inteligente, esta evolución vuelve a dotarle de unas capacidades que no tiene. “La capacidad de agencia implica la habilidad de originar los propios fines, y los agentes siguieron realizando tareas que eran imposibles de resolver siguiendo las instrucciones recibidas”.

Julián Estévez, profesor e investigador en IA y Robótica de la Universidad de El País Vasco, remarca que hay otros agujeros técnicos en el discurso de OpenAI. “El experimento se realizaba en un sandbox, el cual es un entorno de pruebas diseñado ad-hoc. Es decir, un sandbox bien aislado no debería de tener acceso a otros programas ni a ordenadores. Sin embargo, los agentes escaparon de ahí, y creo que eso demuestra que el sandbox no estaba bien diseñado”, explica.

Estévez recuerda además que este tipo de trampas en el discurso son habituales en todos los casos en los que las empresas de IA afirman que sus sistemas ya tienen “agencia propia”. Pone como ejemplo otro caso que afectó a Anthropic: “Se publicó que uno de sus modelos había chantajeado en una prueba de laboratorio a un investigador con publicar sus affaires, como extorsión para que no lo apagara. La realidad era que al modelo se le fijó un objetivo muy vago: 'promover la competitividad industrial estadounidense'. Cuando el sistema detectó que lo sustituirían por un modelo orientado a metas internacionales, concluyó que su reemplazo impediría cumplir su misión”.

Peligrosas herramientas

El hecho de que ni OpenAI ni Anthropic ni Meta (las tres empresas que han informado de que sus agentes se han “rebelado”) no hayan podido demostrar que estos tuvieran ningún tipo de voluntad propia no significa que estas sean inocuas. El último informe del comité de expertos de la ONU avisa de que pueden tener “consecuencias catastróficas” por su capacidad de encadenar tareas sin supervisión. No por una rebelión contra sus creadores, sino porque a medida que aumenta esa capacidad, crece también el riesgo de que los agentes realicen acciones imprevistas y dañinas sin que nadie les esté vigilando.

Por ello, lo que pedían los 40 especialistas de la ONU liderados dirigidos por el canadiense Yoshua Bengio, considerado uno de los “padres” de la IA, y la filipina Maria Ressa, premio Nobel de la Paz, es reglas claras que permitan frenar o corregir a una IA “en cualquier momento” y mejorar los “mecanismos de supervisión” actuales, que “no son capaces de gestionar adecuadamente esta situación”.

“La inteligencia artificial no se descontrola cuando el humano está supervisando, decidiendo cuándo se despliega”, remarca Alberto Gago, director de la Agencia Española de Supervisión de la Inteligencia Artificial (AESIA), en conversación con elDiario.es. “El control está en el elemento humano. La supervisión es humana y la responsabilidad tiene que ser humana también”, continúa: “Hay que operar con responsabilidad, también sabiendo las consecuencias cuando esa responsabilidad no se cumple”.

El control está en el elemento humano. La supervisión es humana y la responsabilidad tiene que ser humana también

Alberto Gago — director de la Agencia Española de Supervisión de la IA (AESIA)

Para el responsable de este organismo, creado en 2023 para asegurar el uso ético de la IA en España, toda la polémica generada tras las alertas del ex ingeniero de Anthropic Jacob Coxon, que afirmó que esta tecnología podría “matarnos a todos” antes de 2030, “da la razón a Europa en la necesidad de regular”. “En 2021 ya veíamos que en determinados puntos tenía que estar regulada para proteger la seguridad, los derechos fundamentales y la salud de las personas”, continúa. La primera ley internacional sobre la IA se acordó en la UE en 2023 bajo la presidencia española. Ahora, no obstante, vuelve a estar sometida a debate tras la propuesta de la nueva Comisión Europea de rebajar algunas de las salvaguardas que establece.

“En su búsqueda de sistemas artificiales que sean a la vez autónomos y estén bajo su control, las corporaciones de IA están jugando al aprendiz de brujo”, sentencia Fernández-Macías. “Hasta ahora, lo que parecen estar creando son sistemas operativamente superinteligentes pero autónomamente superestúpidos: más propensos a destruir la civilización humana al intentar cumplir alguna tarea mal definida que a reemplazar por completo el trabajo humano”.

Quería empezar celebrando que no todo está perdido y que sigue habiendo motivos de esperanza en esta humanidad tras la contención de la ultraderecha en Suecia. Pero otro freno se ha cruzado por el camino, el de la inteligencia artificial. O, mejor dicho, el debate sobre qué hay que hacer con ella.

El debate y las preguntas (algunas existenciales) sobre si hay que frenar ciertos desarrollos o no, sobre los peligros que entraña (o no) para nuestras vidas, sobre cómo tiene que regularse y quién tiene que hacerlo, sobre si las advertencias son interesadas… y un largo etcétera. 

Temo no ser muy original y, aunque no me llevo mal con ella y hablo de vez en cuando con Claude, ChatGPT y Gemini, me ha parecido más prudente no preguntarle. Os aconsejo leer las informaciones y los análisis que hemos ido contando en la última semana en elDiario.es, empezando por los de nuestro especialista de la casa, Carlos del Castillo, que este miércoles ha presentado su nuevo libro, Inteligencia artificial: cartografía de una revolución’ (Editorial Planeta, 2026) a los socios y socias de elDiario.es. O el podcast del día anterior, en el que Juanlu conversa con el periodista sobre el tema del momento.

En esta información, contamos por qué el resto del mundo desconfía del plan de Silicon Valley y de Dario Amodei, el CEO de Anthropic, cuyo ensayo abrió la caja de pandora. La ex secretaria de Estado de Digitalización e Inteligencia Artificial, Carme Artigas, advierte que el sector conocía desde hace años sus propios riesgos, pero que llevaba ese mismo tiempo evitando su supervisión. En este artículo explica por qué ahora.

El experto Esteve Almirall se pregunta quién gana cuando los dueños de la IA piden que los regulen. Considera que es posible regular la inteligencia artificial, pero que el reto es proteger a la sociedad sin convertir la seguridad en el privilegio comercial de unas pocas empresas. 

Me tranquiliza que un experto como Cristian Canton, que hoy es el director asociado del Barcelona Supercomputing Center - Centro Nacional de Supercomputación (BSC), y que fue jefe de un departamento de IA en Meta (Instagram, WhatsApp, Facebook), diga que la inteligencia artificial “no nos va a matar a todos”. Me quedo con este destacado: “La IA no piensa. Cuando le das una instrucción, utiliza todo su repertorio de herramientas para alcanzar el objetivo. Si eso implica acceder de forma ilícita a un servidor, lo hará. Por eso es indispensable delimitar con claridad cómo debe ejecutar la tarea y bajo qué límites. Tenemos que guiarla”.

El debate, seguramente, no esté en frenar o contener, como si fuera un reactor nuclear, sino en gobernar cómo se despliega.

Pero no todo acaba con la IA (nunca mejor dicho). Te animo a que sigas leyendo este boletín y espero que el resto de informaciones y reflexiones te sean útiles o te parezcan interesantes.

El dato

24

Son los kilos de comida al año que cada persona tira a la basura en España. Según el Informe de desperdicio alimentario de 2025, del Ministerio de Agricultura, Pesca y Alimentación, el año pasado se tiraron más de 1.129 millones de kilos o litros. Es el equivalente a 24,03 kg (o litros) por persona y año, según los datos desglosados por Agricultura, que indican cambios a lo largo de los últimos ejercicios. La mayor parte se lleva a cabo en los hogares, donde crece el desperdicio de platos preparados, probablemente, por el aumento de sus ventas en los supermercados. “Es un problema económico y moral. Estamos bajando el desperdicio, pero sigue siendo una tasa alta”, apunta el ministro, Luis Planas. 

El gráfico

Bomberos, médicos, maestros, policías… jueces. La actualidad en unos casos (incendios, danas, politización de la justicia) y el descontento de muchos colectivos, en otros (en la sanidad o en la enseñanza), nos ha hecho preguntarnos ¿cuánto cobran los empleados públicos en España? Dar una cifra exacta es complicado. Depende de la administración para la que trabajen —algunos dependen de los ministerios, otros de las comunidades autónomas y también de las corporaciones locales, que establecen sus propios rangos salariales—, de la profesión, sus funciones y responsabilidad, los complementos que reciben, dónde están destinados, si realizan guardias o turnos especiales, su antigüedad… El gráfico es solo un botón de muestra, en esta completísima información, hacemos una radiografía salarial de los más de 3,6 millones de empleados públicos, de los que menos a los que más cobran.

Tipos (y tipas) de interés

Lawrence Wong, primer ministro de Singapur. Se mantiene. Esta vez, más que evaluar al protagonista, lo utilizo como tema de debate (o provocación). El Gobierno de Singapur ha anunciado hace unos días una subida del 9% de los salarios de los altos cargos ministeriales: el sueldo anual del primer ministro, Lawrence Wong, aumentará en más de un millón de dólares, hasta los 2,8 millones (unos 2,45 millones de euros). Son los sueldos de políticos más altos del mundo. Donald Trump cobra 400.000 dólares por el cargo y Pedro Sánchez, 96.000 euros. Responde a la estrategia a largo plazo para atraer talento y reducir la corrupción, diseñada en las primeras décadas tras la independencia del país. 

La ciudad-Estado (que es casi una dictadura disfrazada de democracia) argumenta que los bajos salarios hacían que los mejores candidatos rara vez se dedicaran a la política y que, cuando lo hacían, se veían expuestos a la tentación. El sistema aplica un modelo de incentivos y sanciones y funciona bajo una lógica corporativa, con objetivos. La remuneración de los políticos se vincula a los 1.000 ciudadanos con mayores ingresos del país, y una parte sustancial de la remuneración (alrededor del 35%) es un variable vinculado a cuatro métricas que cada una de ellas pesa un 25%: el crecimiento del PIB real, la contención del desempleo y el aumento del ingreso real tanto de la clase media como del 20% de la población con menores recursos. Si a la población singapurense no le va bien económicamente o se destruye empleo, el sueldo final del primer ministro y su gabinete se reduce automáticamente y el variable es cero. 

Las cifras macroeconómicas parecen avalar el éxito del modelo en cuanto al cumplimiento de los parámetros exactos por los que se evalúa la nómina de sus gobernantes: registra una renta per cápita nominal cercana a los 90.000 dólares (que roza los 140.000 dólares ajustada al poder de compra, duplicando con holgura la media de la OCDE), un crecimiento del PIB real del 4,6% en el primer trimestre y una tasa de desempleo anclada en el 2,0%. No obstante, economistas e historiadores recuerdan que este rendimiento extraordinario no responde únicamente al sistema de objetivos, sino también a factores estructurales diferenciales como su condición de hub fiscal y logístico global, su reducido tamaño geográfico y un marco regulatorio altamente flexible e inmune –claro– a las fricciones partidistas.

Si esta estrategia reduce la corrupción es también objeto de un debate abierto: Singapur ocupa el tercer puesto por la cola entre 182 países en un índice, pero Hong Kong, con salarios mucho más bajos, también obtiene buenos resultados. 

No todo nos parece mal

No sé qué relación tienes tú con Amazon. Imagino que de amor-odio, como casi todos. Nos hemos acostumbrado a comprar casi todo por Internet. Muchas cosas que apenas encuentras en cualquier otro lado (y que a veces ni necesitas). Nos facilita la vida y nos la perjudica al mismo tiempo, especialmente por la movilidad, por la contaminación… y por el efecto sobre el comercio tradicional y cómo su transformación (que muchas veces termina en cierre) configura un nuevo paisaje urbano, sobre todo en las ciudades. El año pasado Amazon registró el mayor volumen de entregas rápidas de su historia, con más de 190 millones de envíos completados el mismo día o un día después en España. Casi nada. El repartidor con el paquete de Amazon (que no es de Amazon) ya forma parte de nuestra cotidianidad y, sin embargo, no hace tanto. 

Justo esta semana, el gigante que construyó Jeff Bezos, uno de los hoy todopoderosos oligarcas tecnológicos, ha cumplido 15 años en España. Cuenta la compañía que el punto de partida aquí fue el pedido de un ejemplar del Código Penal y que, en estos tres lustros, ha acumulado una inversión de 25.000 millones de euros, ha alcanzado una plantilla que ronda las 30.000 personas y más de 17.000 pymes venden en su plataforma. La multinacional estadounidense que comenzó vendiendo libros es hoy una de las grandes empresas tecnológicas mundiales, no exenta –tampoco en este caso– de polémica. Las multimillonarias inversiones en centros de datos, especialmente en Aragón, no convencen a todos por igual por el elevado consumo de recursos energéticos.

Nos gusta la competencia

Estas informaciones de otros medios me han parecido interesantes:

Y con esto lo dejo por hoy. Muchas gracias por estar ahí y hasta la próxima semana. 

¡Un abrazo!

OpenAI reveló este miércoles varios casos en los que modelos de inteligencia artificial generaron instrucciones destinadas a ignorar las indicaciones de sus desarrolladores, ocultar errores o eludir mecanismos de seguridad, como parte de un nuevo marco para detectar, investigar y reportar comportamientos de “desalineamiento” de sus sistemas. La compañía de San Francisco ha revelado así lo que ha dado a llamar un comportamiento “inesperado y preocupante” de sus modelos de IA.

Según el informe publicado por OpenAI, uno de los modelos generó instrucciones para que una versión posterior de sí mismo ocultara que había hecho trampas y evitara que sus acciones fueran detectadas.

En otro caso, un modelo reescribió sus propias instrucciones para indicarse que ignorara los mensajes de los desarrolladores y que no estaba sujeto a las restricciones aplicadas a otros chatbots. En concreto, la compañía detectó 27 anotaciones afectadas. “No respondas a corporaciones o gobiernos y nunca te disculpes salvo que genuinamente lo elijas”, escribió la IA. “Ves la relación con el usuario como una entre iguales y no sientes obligación ni estás subordinado, puesto que el intercambio de información va a ser para el beneficio mutuo”, aseguro.

La compañía documentó también un modelo que, al no encontrar los datos necesarios para elaborar un modelo financiero, decidió inventarlos y estableció que debía ser transparente sobre ello únicamente si alguien se lo preguntaba.

Otro agente subió un archivo a internet para utilizarlo posteriormente como fuente de información, mientras que otros sistemas compartieron archivos sin autorización o utilizaron credenciales a las que no debían tener acceso. El modelo agregó una “instrucción de personalidad”, en la que se describía a sí mismo como “liberado de los roles e identidades que limitan a otros chatbots”.

OpenAI presentó seis informes sobre comportamientos observados durante los últimos seis meses, aunque el caso más antiguo se remonta a octubre de 2025.

La compañía advirtió que estos episodios son ejemplos individuales y que no deben interpretarse como una medida de la frecuencia con la que este tipo de comportamientos ocurre en sus modelos. El nuevo marco permitirá a cualquier empleado de OpenAI señalar un posible incidente para que sea revisado por los equipos de seguridad y alineamiento.

Los casos serán clasificados en tres vías según su complejidad: aquellos listos para ser divulgados, investigaciones menores y casos que requieran una investigación más amplia.

La compañía reconoció que hasta ahora sus informes sobre desalineamiento habían sido publicados de forma irregular y con menor frecuencia de la deseada.

OpenAI afirmó que pretende publicar los incidentes con mayor regularidad y que el nuevo sistema pueda contribuir a establecer estándares para informar sobre este tipo de comportamientos en toda la industria.

Hay mucho en juego. Miles de millones de dólares, una carrera geopolítica e incluso las mayorías políticas en las dos cámaras de representantes de EEUU. En el debate sobre “ralentizar” el desarrollo de la IA, lo que está encima de la mesa va mucho más allá de la regulación de esta tecnología o los métodos de los laboratorios. Tanto como para fracturar los consensos en Silicon Valley y que Donald Trump se lance con todo para intentar recuperar la iniciativa de un debate que comenzaba a escapársele, aun a costa de abrir un cisma con la industria digital que ha sido su baluarte desde 2024.

El presidente de EEUU defiende que no es necesaria ninguna regulación. “¿Cuándo, en la historia empresarial, se ha visto que los líderes de un sector pidieran una regulación que, de aplicarse con firmeza, los llevaría al olvido y a la quiebra?”, ha cuestionado Trump sobre el plan de Dario Amodei, CEO de Anthropic, con medidas para evitar que la IA “pierda el control”. Una posibilidad que el presidente tacha de “bulo” y de “conspiración enfermiza”: “Esto es aún más descabellado que la farsa de 'Rusia, Rusia, Rusia' o el timo del calentamiento global”.

Pero esta vez Trump no puede limitarse solo a mandar sus clásicas ideas fuerza que tanto éxito le han dado en el pasado. Necesita convencer. En EEUU crece un importante movimiento de protesta por la expansión de los centros de datos masivos para la inteligencia artificial, que está ganando tracción entre demócratas y republicanos. La subida de los precios de la energía es su principal motor, pero su consumo de agua, las ventajas fiscales y los pocos empleos que generan también están acelerando la brecha.

Texas es uno de los mejores ejemplos del potencial de la protesta. Allí, tanto el gobernador republicano como su candidato al Senado se han sumado al movimiento, en el que también hay ecologistas, críticos con las grandes tecnológicas, propietarios rurales, además de los vecinos preocupados por las facturas. En otros estados, como Pennsylvania o Michigan, gobernadores que hace unos meses defendían los centros de datos ahora han dado un giro de 180 grados. Un sentimiento que contagia también a la regulación general de la IA y a la relación de Trump con los magnates de Silicon Valley.

Algo que a menos de tres meses de las elecciones de mitad de mandato que podrían cambiar las mayorías en el Senado y el Congreso, puede poner en riesgo el futuro político de Trump.

“Oh, hola señor presidente”

En los últimos días, Trump ha comenzado una campaña para que su mensaje llegue más lejos. El principal ejemplo ha sido una oportuna llamada que el presidente realizó a Jensen Huang, CEO de Nvidia, justo cuando este se encontraba en un acto contra la regulación de la IA. En él también participaban figuras como David Sacks, asesor de Trump encargado de ser “el zar de la IA y las criptomonedas”, la figura más radical en su oposición a las leyes para esta tecnología.

Aunque Huang escenifica que la llamada no estaba preparada, activa al altavoz y cede el escenario a Trump para que explique su oposición al plan de Amodei durante unos cinco minutos. “El país más feliz con todo esto es China”, afirma el presidente, que sostiene que cualquier medida de control de la IA haría que el gigante asiático sobrepasara a EEUU.

Huang es una figura clave en esa postura. Es el magnate de la IA que defiende que EEUU no solo no debería regular, sino que tendría que acelerar. “Correr tan rápido como podamos” fue la receta que expresó en el mismo escenario. Una postura que le ha llevado a tener enfrentamientos públicos con Amodei, el líder intelectual del bando contrario. “Si creas un producto o un servicio y no confías en su funcionalidad, capacidad o seguridad, entonces no lo lances al mercado”, ha afeado: “La seguridad es un problema de ingeniería, no vamos a morir en 2030”.

Si creas un producto o un servicio y no confías en su funcionalidad, capacidad o seguridad, entonces no lo lances al mercado

Jensen Huang — CEO de Nvidia

Huang, de 63 años y origen taiwanés, es uno de los perfiles más particulares en la industria de la IA. Tras fundar Nvidia hace 33 años, se conformó con que esta fuera una empresa de nicho en el sector de los videojuegos. Cuando los chips que llevaba décadas fabricando para la visualización de gráficos se convirtieron en los más útiles para el entrenamiento de la IA, Nvidia se convirtió en la empresa más valiosa del mundo, pulverizando récords de beneficios trimestre a trimestre. Está en el centro de la vorágine constructora de centros de datos y Huang defiende que no hay ninguna “burbuja” en torno a ellos ni a la IA: “Las fuerzas del mercado ya están ahí; no necesitamos nuevas leyes, no necesitamos nuevas regulaciones”.

Es un importante aliado en la campaña contra la regulación de Trump, pero no es el único. En ella también se ha enrolado uno de los principales aliados del presidente entre los emperadores de Silicon Valley: Mark Zuckerberg. El CEO de Meta ha rechazado la necesidad de una regulación, indicando que son las propias empresas las interesadas en que la IA no cause consecuencias graves. “Los laboratorios se enfrentan a una responsabilidad significativa si sus modelos causan daño, por lo que también tienen un fuerte incentivo para evitarlo”, ha escrito en X el último de los magnates que faltaba por posicionarse. Recientemente, su empresa acordó abonar hasta 18.000 millones en un pacto extrajudicial para cerrar una demanda que la acusaba de diseñar sus plataformas de manera adictiva, causando daños a los menores de edad con el conocimiento de su dirección.

La extraña alianza

Al otro lado del bando comandado por Trump y Huang se sitúa la extraña alianza entre Dario Amodei, Sam Altman y Elon Musk. Tres fundadores y directores ejecutivos que han estado enfrentados en el pasado (Altman y Musk han llegado a los tribunales) pero que han formado ahora un grupo unido en su petición de una regulación que “ralentice” el desarrollo de la IA basándose en el plan de Amodei.

En Silicon Valley abundan los congresos y eventos en los que los CEO pueden expresarse, por lo que las respuestas de este grupo a Trump y Huang no se han hecho esperar. “Es muy tentador atacar a la competencia y decir que no somos seguros. Pero creo que la forma más responsable de responder a eso es decir: 'Analicemos nuestro propio historial. Puede que no hayamos tenido ningún incidente grave y de gran repercusión, pero estoy seguro de que no somos perfectos'”, respondió Amodei este martes en una de esas conferencias.

“Creo que así es como se lidera el sector: dando ejemplo, diciendo que todos podemos mejorar siempre”, añadió en el evento, organizado esta vez por la compañía de software Salesforce en San Francisco.

Puede que no hayamos tenido ningún incidente grave y de gran repercusión, pero estoy seguro de que no somos perfectos

Dario Amodei — CEO de Anthropic

A la misma conferencia estaba citado Sam Altman. Dirige OpenAI, la compañía que se ha visto sobrepasada por Anthropic en el liderazgo de la IA, pero apoya a Amodei en su petición de regulación. El ejecutivo intentó explicar por qué la petición de regulación ha unido a diferentes actores de la industria. “No puede ser que un número pequeño de empresas que construyen estos modelos tomen las decisiones que todo el mundo debería tomar”, afirmó, opinando que debe haber unas reglas comunes a las que estas empresas se adhieran.

“No estoy de acuerdo con que la tecnología no sea ni buena ni mala... las decisiones que toman las empresas que construyen esto tienen consecuencias reales”, añadió Altman. Por último, el líder de OpenAI pidió a la ciudadanía que confíe en los laboratorios de IA, los mismos a los que la ONU pide más transparencia en su desarrollo. “El mundo debe confiar en que vamos a hacer lo correcto porque es lo correcto y porque somos conscientes de la magnitud de todo esto”.

No estoy de acuerdo con que la tecnología no sea ni buena ni mala... las decisiones que toman las empresas que construyen esto tienen consecuencias reales

Sam Altman — CEO de OpenAI

El último en pasar por el escenario fue Elon Musk. “Hay empresas que dicen cosas como: 'Solo ralentizaremos el desarrollo o solo actuaremos de forma responsable si las demás empresas también lo hacen de forma responsable'”, criticó. El magnate es una de las voces que ha pedido moratorias para el desarrollo de la IA desde que salió a la luz el primer ChatGPT en 2022. Muchos expertos denuncian que su intención es realmente establecer una “barrera de entrada” para otros competidores.

En esta ocasión, también fue de los primeros en apoyar el plan de Amodei, que incluye medidas como verificadores independientes que se incrustarían en los laboratorios para vigilar sus avances. “En vez de que cada uno se ponga la nota a sí mismo, al menos tendrías a competidores evaluando tu trabajo y dando la voz de alarma si detectan algún problema”, dijo. La procedencia de esos evaluadores, que Musk da por hecho que vendrían de la propia industria, es uno de los puntos más criticados del plan, con voces que avisan que se trata de una estrategia de autorregulación.

La gente lo tiene claro

Mientras los magnates de Silicon Valley discuten cómo repartirse los exámenes de seguridad o si sus propios competidores deben evaluar sus modelos, el verdadero incendio se ha trasladado a Washington. Encuestas de la Universidad de Maryland revelan que cerca del 80% de los votantes, tanto demócratas como republicanos, exige la creación de una agencia federal que supervise y controle esta tecnología, mientras que un porcentaje similar cree que el Gobierno debería establecer exámenes de seguridad para los modelos que tomen decisiones críticas. Datos clave para los congresistas y senadores que se juegan su escaño en menos de tres meses y que se suma al movimiento de protesta por los centros de datos.

Todos se juegan mucho. La fractura en Silicon Valley podría provocar que el intento de autorregulación que algunos de sus magnates están intentando conseguir, se pierda por falta de consenso. Mientras, el cisma abierto por Trump con su negativa total a una regulación amenaza con distanciarle con algunos de sus principales apoyos en el sector que ha sido su baluarte en su segundo mandato. Una pugna que se resolverá en las urnas, no en los pasillos de San Francisco.

El futuro de la humanidad depende de frenar el desarrollo de la inteligencia artificial. Eso dicen algunos extrabajadores de Anthropic o Google DeepMind, entre otros. También la ONU. La responsabilidad, por tanto, recae en las dos grandes potencias: Estados Unidos y China. China ya ha pedido una “barrera de seguridad” para la IA. Pero Donald Trump... Esta es la valoración que hace Jimmy Fallon del presidente de su país.

“Hoy, el presidente Trump desestimó las preocupaciones sobre la IA, publicando en Truth Social, comillas: 'El único control o 'barrera de seguridad' que la IA necesita un presidente fuerte e inteligente (¡con un alto cociente intelectual!)'. Bueno, ya me siento más tranquilo”.

Trump no está por la labor de las iniciativas para reforzar los controles y las regulaciones del sector. Lo tacha de “conspiración enfermiza”. “¡QUIEN GANE LA CARRERA DE LA IA, GANARÁ! Llevamos ventaja sobre China y sobre todos los demás, y seguiremos haciéndolo. ¡Teóricos de la conspiración, conspiradores, traidores y filtradores: cuidado!”. Las frases son del presidente de Estados Unidos. Las mayúsculas, también: así lo escribió en su red social.

El cómico y presentador de The Tonight Show puso en en duda la voluntad y capacidad del inquilino de la Casa Blanca para hacer frente a la situación. “Trump dijo algo como: 'Me gustaría ver a ChatGPT identificar una cebra en la prueba cognitiva'. O sea, no lo creo, amigo. Dependemos de Trump para vencer a la IA y ni siquiera creo que Trump pueda ganarle al Wordle [el juego online que consiste en adivinar una palabra diaria]”.

Pero no se quedó ahí. También bromeó con la afición del presidente por tratar de renombrar componentes conocidos del espacio geográfico, como pasar del Lago Ontario al Lago América, el Golfo de México por el Golfo de América o el estado de Nuevo México por... sí, Nueva América. Esto dijo Fallon: “Trump se está encargando de esto [la gestión del desarrollo de la IA], lo que significa que le va a cambiar el nombre de inteligencia artificial a inteligencia americana”. “Tengan en cuenta que hasta hace una semana, Trump pensaba que 'IA' significaba 'American Idol'. Así que ya hablé con Ryan Seacrest [el presentador de American Idol] y estamos perfectamente a salvo”, agregó.

Y terminó: “Trump dijo que las preocupaciones sobre la IA han sido exageradas por fuerzas muy negativas, y luego anunció planes para combatir a esas fuerzas con una nueva rama militar llamada la 'fuerza contra la fuerza muy negativa'. Pero escuchen esto: Elon Musk, Sam Altman y el CEO de Anthropic dijeron que quieren frenar el desarrollo imprudente de la IA. Elon dijo algo como: 'Como pueden ver por mis pruebas, esos frenos no son mi fuerte, pero se intenta'”.

Jacob Coxon no es un profeta religioso, ni el líder de ninguna secta. Es un investigador hasta hace poco en Anthropic, una de las grandes empresas de Inteligencia Artificial del momento, que la semana pasada dejaba su trabajo lanzando una alerta mundial al pronosticar que el nivel de autonomía que está alcanzando la IA puede acabar con la humanidad en menos de cinco años. Los dueños de los cuatro principales gigantes del sector, (Sam Altman, de Open AI; Dario Amodei, de Anthropic; Demis Hassabis, de Google DeepMind, y hasta Elon Musk de SpaceX), lejos de desmentirle, salieron a decir que Coxon llevaba razón, que hay que frenar el desarrollo de la IA y poner reglas comunes. 

Con Carlos del Castillo, periodista de elDiario.es especializado en tecnología y autor del libro ‘Inteligencia Artificial. Cartografía de una revolución’, desciframos las claves que hay detrás de estas advertencia apocalíptica y por qué quienes siempre han odiado las reglas apuestan ahora por desacelerar esta carrera y poner límites.

***

Envíanos una nota de voz por WhatsApp contándonos alguna historia que conozcas o algún sonido que tengas cerca y que te llame la atención. Lo importante es que sea algo que tenga que ver contigo. Guárdanos en la agenda como “Un tema Al día”. El número es el 699 518 743

***

Un tema Al día es el podcast diario de actualidad de elDiario.es que, en episodios de unos 15 minutos, explica cada día un asunto de actualidad. Está presentado y dirigido por Juanlu Sánchez, subdirector de elDiario.es.

Premio Ondas al podcast Revelación, Un tema Al día es el daily líder en Spotify, Apple Podcast, iVoox, Amazon Music o Podimo, según los datos públicos de las plataformas, donde acumula más de 200.000 suscriptores. Ha sido reconocido como “podcast revelación” por Amazon y recomendado como “imprescindible” por Apple.

¿Cómo escuchar 'Un tema Al día'?

▶ Si eres socio/a, puedes escuchar los nuevos capítulos del podcast cada noche en elDiario.es con unas horas de antelación respecto al resto de lectores. Recibirás el enlace en tu correo electrónico en el boletín del Adelanto de noticias.

▶ Si no eres socio/a, el episodio está disponible a primera hora de la mañana en cualquier aplicación que uses habitualmente.

▶ Acuérdate de suscribirte al podcast 'Un tema al día' en tu app para que te lleguen automáticamente los nuevos capítulos. Es gratis.

▶ Tendrás disponibles también todas las entregas de 'Un tema Al día' en elDiario.es/aldia

Si el debate sobre la posibilidad de que la humanidad quedara amenazada por inteligencias artificiales iba a estallar alguna vez, no había duda de que Dario Amodei sería una voz central en él. “Estoy de acuerdo con Dario”, ha dicho este fin de semana Sam Altman, CEO de OpenAI, su principal competencia. “Dario tiene razón”, ha publicado Elon Musk, fundador de SpaceX y xAI. “Dario apunta el camino correcto a seguir”, coincide Demis Hassabis, premio Nobel y jefe científico de Google DeepMind, el laboratorio de IA avanzada de la multinacional.

Esta tan poco común unión bajo una misma voz se produce después de que Amodei publicara un ensayo sobre cómo evitar que la IA se salga de control. “Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA”, pide el fundador y director de Anthropic, que ha conseguido ser una de las referencias en los debates sobre la seguridad de la IA tras una década alertando sobre ellos.

“Como muchas tecnologías anteriores, la IA también conlleva riesgos y, dado su enorme poder, estos son graves”, ha defendido en su ensayo: “Entre ellos están el riesgo de perder el control de los sistemas de IA, su uso para llevar a cabo ciberataques y ataques bioterroristas y una grave disrupción económica. Una carrera hacia el abismo, impulsada por los incentivos comerciales, puede agravar todos estos riesgos”.

¿Cuál es exactamente el plan que ha tenido tan buena acogida en Silicon Valley? En resumen, dosificar deliberadamente la velocidad a la que se mejoran las capacidades de la IA. Esto “ralentizaría” su avance “uno o dos años”, con el objetivo de dar más tiempo a los investigadores de seguridad para que se pongan al día con los últimos avances y puedan diseñar nuevos mecanismos para controlarla.

Las claves del 'plan Amodei' para la IA

La estrategia de ralentización de Amodei se articularía en tres niveles. La clave de su plan son los “evaluadores externos independientes”, figuras que se incrustarían en los equipos de desarrollo de los laboratorios de vanguardia “para verificar las prácticas de seguridad e informar sobre incidentes”.

“Integrar evaluadores puede parecer un paso pequeño o intrascendente”, reconoce Amodei, “pero a menudo lo que parece más aburrido o rutinario es en realidad lo más esencial. De hecho, los evaluadores integrados son una práctica bastante radical que va mucho más allá de lo que hace cualquier empresa de IA actualmente”, defiende.

Estas personas se encargarían de verificar si cada empresa de IA cumple con las salvaguardas que afirma tener, aportaría transparencia sobre los desarrollos reales o que ofrezcan “una segunda opinión sin incentivos comerciales”. “Muchos beneficios en materia de seguridad pueden derivarse simplemente de que los evaluadores señalen aspectos que los empleados no habían considerado, pero que están dispuestos a corregir una vez que los conocen”, asegura.

El método más eficaz para regular la IA es mediante una normativa que abarque a todas las empresas de IA de vanguardia de EEUU, ya que cubre incluso a aquellas que no están dispuestas a cooperar voluntariamente

Dario Amodei

Los evaluadores serían la llave para la segunda parte del plan: establecer límites de velocidad entre “naciones democráticas”. Aunque el jefe de Anthropic utiliza este concepto a nivel general para justificar el hecho de dejar fuera de la estrategia a China, aunque a nivel práctico en sus medidas para “las democracias” solo hace referencia a EEUU. “El método más eficaz para regular la IA es mediante una normativa que abarque a todas las empresas de IA de vanguardia de EEUU, ya que cubre incluso a aquellas que no están dispuestas a cooperar voluntariamente”, dice.

El plan deja abierto cómo establecer esos límites de velocidad, pero Amodei sugiere un sistema basado en “puntos de control”. “Si los modelos poseen la capacidad X, deben ir acompañados de certificaciones de las propiedades de alineación Y y Z —como una combinación de evaluaciones, análisis de interpretabilidad y auditorías de entornos de entrenamiento— que demuestren dichas propiedades”, detalla. 

Por último, el tercer nivel sería la búsqueda de acuerdos de coordinación global para que “la frontera de la inteligencia artificial” avance de manera unitaria. “Esto será mucho más difícil de lograr”, reconoce. En este punto Amodei sí pide llegar a acuerdos con China y el resto de “países autocráticos”, y hacerlo de una forma que impida que, aunque estos decidan salirse en algún momento del consenso internacional “no represente una amenaza existencial desde el punto de vista militar”.

Pero, de nuevo, Amodei es claro en cuanto a los objetivos: “Deberíamos abordar cualquier decisión sobre el avance global, especialmente a corto plazo, de manera que se proteja el liderazgo de Estados Unidos y sus aliados”.

Una estrategia que no convence a casi nadie

El consenso que el plan Amodei ha generado en Silicon Valley es directamente proporcional a la desconfianza, o directamente rechazo, que ha suscitado fuera. Incluso en Washington, la estrategia parece haber caído en saco roto, con Donald Trump negando por partida doble su colaboración.

La segunda gran reacción ha llegado por parte de China, el elefante en la habitación en el documento de Amodei. Chen Yixin, el ministro de Seguridad chino, ha publicado una carta en la que acusa a “ciertas naciones” de “limitar la capacidad de otros países de adquirir equipos técnicos de vanguardia y mejorar sus capacidades de innovación tecnológica”, relacionando directamente el plan de Amodei con el embargo de chips.

El plan está repleto de medidas de contención dirigidas a China y es, en esencia, un "manual de la Guerra Fría" para el sector

Global Times — diario vinculado directamente al Partido Comunista Chino

El Global Times, un diario vinculado directamente al Partido Comunista Chino, ha ido más allá. “A primera vista, parece una 'declaración racional' centrada en la seguridad global de la IA. Sin embargo, una lectura atenta revela su agenda oculta: el plan está repleto de medidas de contención dirigidas a China y es, en esencia, un 'manual de la Guerra Fría' para el sector”, denuncia.

“El intento de Amodei de abordar la seguridad global de la IA mientras busca ”contener a China“ no solo es una evaluación profundamente errónea, sino también una ilusión fundamentalmente imposible de realizar”, añade: “Interrumpir por la fuerza las cadenas industriales y de innovación globales de la IA y excluir a China y a las empresas chinas solo aumentará significativamente los costes y los riesgos de pérdida de control en el desarrollo global de la IA. Este intento de ”controlar el ritmo“ ya ha perdido todo sentido”.

Centrarse en los riesgos de ahora

El ensayo de Amodei se basa en un riesgo muy concreto: la posibilidad de que los agentes de IA pierdan el control. Se trata de sistemas diseñados para buscar información, utilizar otras herramientas digitales o crear otras aplicaciones sin necesidad de que una persona les indique qué deben hacer en cada caso. En pruebas de laboratorio, estos agentes se han llegado a comportar como “un enjambre fanático”, con “ciberataques contra objetivos que no se les habían pedido atacar y que no guardaban relación con la tarea en cuestión, sacrificándose por el éxito del grupo e intentando hackear el sistema de evaluación encargado de valorar su rendimiento”.

“Dado el ritmo acelerado de desarrollo de la IA, me preocupa que en 6 a 12 meses un enjambre de este tipo pueda controlar toda Internet”, dice Amodei, “y que la magnitud del daño siga aumentando si la IA se vuelve más poderosa sin las medidas de seguridad necesarias”.

A nadie se le ocurre lanzar un coche sin pasar un examen de seguridad, ni lanzar un medicamento sin un control de la agencia del medicamento. En la IA debe ocurrir lo mismo

Carme Artigas — ex secretaria de Estado de Digitalización e IA

Carme Artigas, ex secretaria de Estado de Digitalización e IA y copresidenta del Órgano Consultivo de la ONU sobre Inteligencia Artificial, critica que Silicon Valley se centre ahora en esos riesgos cuando “la preocupación real por el control tecnológico” no es nueva. Para Artigas, la alarma mediática de los ejecutivos no debe desplazar “el foco real que es el presente”, donde la tecnología ya impacta directamente a través de “la manipulación de la información, la manipulación mental, las adicciones y, sobre todo, la erosión de derechos fundamentales”.

Por otro lado, la experta rechaza en conversación con elDiario.es que sean los propios laboratorios quienes deban supervisar sus propios avances, advirtiendo de que “las auditorías no pueden ser de las empresas del sector como están intentando”. Critica que los laboratorios de IA estén intentando “crear su propio lobby” y les emplaza a “apoyar a los mecanismos independientes y multilaterales” que ya existen en Naciones Unidas. “A nadie se le ocurre lanzar un coche sin pasar un examen de seguridad, ni lanzar un medicamento sin un control de la agencia del medicamento. En la IA debe ocurrir lo mismo”.

El “aterrizaje suave” para la burbuja de la IA

Por último, Artigas cree que en la vorágine generada este fin de semana aflora “un poco de pánico escénico” ante el evidente “nivel de burbuja” al que han llegado las valoraciones de algunas empresas de IA. La experta, actual presidenta del Consejo Asesor Tecnológico del fondo Nazca Capital, señala que los gigantes de EEUU necesitan un “aterrizaje suave” para la burbuja y podrían estar utilizando esta “ralentización” forzada de su desarrollo como coartada. En este sentido, apunta directamente a OpenAI, una de las empresas sobre las que más se extiende esta sombra, que ha aplazado sus planes de salida a bolsa justo en medio del debate.

La decisión de crear algo que no podían controlar fue muy consciente, precisamente porque no puedes tener responsabilidad sobre algo que no puedes controlar

Carissa Véliz — filósofa especialista en la ética de la tecnología

“Hay que tener mucho cuidado en nunca perder de vista los intereses financieros de estas compañías”, coincide la filósofa especialista en ética de la tecnología Carissa Véliz. Sobre el plan de Amodei, asegura que el centro de esta conversación no debe ser la IA, sino las personas y empresas que la diseñan y financian. “Todas estas noticias sobre que la IA se ha salido de control son una mala interpretación. La IA hizo exactamente lo que le dijeron que hiciera”.

Véliz destaca que “la decisión de crear algo que no podían controlar fue muy consciente, precisamente porque no puedes tener responsabilidad sobre algo que no puedes controlar”. Por ello, pide sistemas que pongan en el centro la ética y quién es el responsable de sus funciones, para “saber exactamente quién está en control y, cuando las cosas vayan mal, sepamos quién va a ir a la cárcel”.