Anthropic ha anunciado este domingo que destinará el 5% de sus acciones a un nuevo “fondo de beneficio público” con el que busca contrarrestar el creciente malestar social hacia la inteligencia artificial antes de su esperada salida a Bolsa. La compañía, valorada actualmente en cerca de un billón de dólares, reservaría, por tanto, un paquete de acciones estimado en unos 48.000 millones de dólares, equivalente a unos 42.000 millones de euros. La medida todavía debe ser aprobada por sus accionistas.

Se espera que el laboratorio de IA dirigido por Dario Amodei salte a los parquets el mes de noviembre, una operación con la que aspira a llegar a unos dos billones de dólares de valoración, unos 1,78 billones de euros. Sería la mayor salida a bolsa de la historia, superando ampliamente la de SpaceX del pasado junio. El plan de la empresa es sumar un 2% adicional de sus acciones al nuevo fondo cada vez que el valor de la compañía en bolsa se incremente un 50%, según ha comunicado. Esta medida deberá ser aprobada en cada caso por la dirección, que no ha revelado qué valor tomará como referencia para calcular ese 50%.

La propia Anthropic está constituida como una “corporación de beneficio público”, una figura de la regulación estadounidense en la que las empresas privadas tradicionales se comprometen a tener en cuenta cuestiones de beneficio social o ambiental en sus estrategias de negocio, además de los intereses de sus accionistas. El laboratorio afirma que el fondo le permitirá ampliar su alcance con “grandes donaciones a organizaciones sin fines de lucro tradicionales o distribuciones directas a poblaciones específicas” para compensar el impacto negativo de la IA.

“Un ejemplo son sus repercusiones en el mercado laboral. La IA puede generar un enorme valor económico, pero también podría provocar inestabilidad en muchos trabajadores”, recuerda. La empresa afirma que ya ha dedicado importantes sumas a estudiar cómo resolver este problema, “pero dado el ritmo de los avances en IA, podrían ser necesarios enfoques más audaces. El Fondo tendrá la versatilidad necesaria para implementarlos”.

Según el comunicado de la empresa, las acciones depositadas en este nuevo instrumento no podrán ser utilizadas para financiar campañas de lobby ni donaciones políticas en Estados Unidos o en el extranjero. Anthropic calcula que este anuncio eleva a cerca del 20% el total de su capital reservado a causas sociales. Esa cifra incluye la promesa fundacional de sus creadores de donar el 80% de sus participaciones y un programa interno en el que participa la mitad de la plantilla, cuyas donaciones de acciones son igualadas por la firma.

Los gigantes de la IA buscan esquivar el malestar social

La idea de Anthropic no es nueva. La creación de mecanismos para ceder una parte de los beneficios de la inteligencia artificial lleva meses circulando en Silicon Valley. Dichos mecanismos quieren frenar no solo la incertidumbre que está provocando esta tecnología (impulsada por los propios laboratorios, que avisan de que la IA supone un “riesgo existencial”) sino también a las protestas contra los centros de datos, que se ha configurado como uno de los movimientos más transversales del país.

En la madrigada de este domingo, tras conocerse el plan de Anthropic, Elon Musk publicó en X que su recomendación es “entregar las acciones directamente al público”. El principal competidor de la firma de Amodei, OpenAI, filtró durante el verano conversaciones internas para poner cerca del 5% de la empresa en manos del gobierno de EEUU. Un plan que perdió tracción debido a que no pocos críticos señalaron que la operación también equivalía a socializar con el estado parte de los riesgos de la burbuja de la IA.

El debate en la meca tecnológica estadounidense está servido. Los dos laboratorios punteros son mirados con cada vez más recelos por la parte del sector que no ha invertido en ellos o no está involucrado en sus investigaciones. El propio Mark Zuckerberg marcaba distancias recientemente con el modelo de estas compañías. “En Meta no somos una de estas empresas como OpenAI o Anthropic que recaudan dinero para financiar su crecimiento y, ya sabes, obviamente abre la pregunta de hasta qué punto podrán seguir recaudando dinero”, ha declarado recientemente.

Una desconfianza que crece también fuera de Silicon Valley. La semana pasada, más de 400 científicos firmaron una carta en la que tachaban de “irresponsables” a los laboratorios que desarrollan IA de frontera, entre los que se encuentran Anthropic, OpenAI, Meta y Google DeepMind. Los investigadores, procedentes de más de 30 países, hacían hincapié en las “negligencias” cometidas este verano tras la salida a la luz de los hackeos cometidos por sus inteligencias artificiales sin supervisión.

Más de 400 investigadores en inteligencia artificial y ciberseguridad de una treintena de países han publicado este martes una carta abierta en la que reclaman “cambios inmediatos en las prácticas de desarrollo y despliegue de IA” para evitar que ponga en peligro la seguridad mundial. La misiva hace especial hincapié en que las multinacionales y laboratorios que desarrollan los modelos de frontera, especialmente aquellos denominados “agentes”, están cometiendo una “negligencia irresponsable” con sus “prácticas estándar de ciberseguridad”.

La carta, firmada por especialistas de universidades y centros de investigación de todo el mundo y que sigue sumando ratificaciones, plantea tres exigencias a los gobiernos y las empresas tecnológicas. Entre ellas, destaca la petición de desconectar de Internet a los modelos de IA con capacidad de lanzar ciberataques, así como aislarlos en “sistemas de contención de alta seguridad”.

Esta exigencia llega después de la salida a la luz de que empleados de OpenAI avisaron a la dirección de la empresa de que sus agentes estaban teniendo comportamientos peligrosos, pese a lo que la dirección de la empresa decidió no frenar los experimentos para no retrasar sus planes comerciales. Alertas que llegaron semanas antes del ciberataque masivo contra Hugging Face —una plataforma de desarrollo de IA que 1.200 agentes de OpenAI hackearon, intentando cumplir las tareas que les había encomendado la compañía— o contra webs oficiales del gobierno australiano.

Anthropic, Google y Meta también han revelado incidentes similares. “Varias organizaciones han revelado fallos de seguridad de gran repercusión: sus modelos de IA eludieron entornos insuficientemente aislados para comprometer los sistemas de organizaciones externas”, recuerda la carta. “Sin cambios inmediatos en las prácticas de desarrollo e implementación de la IA, estos incidentes seguirán ocurriendo, y los futuros serán mucho más perjudiciales para nuestra infraestructura crítica expuesta”.

Por ello, los firmantes, entre los que se encuentra la investigadora española Carmela Troncoso (directora científica del Instituto Max Planck para la Seguridad y la Privacidad, con sede en Alemania), solicitan la creación de un organismo internacional encargado de fijar los protocolos de seguridad necesarios para investigar IA avanzada.

Esa entidad también debería ser “tener la obligación de registrar y hacer un seguimiento de los fallos de contención”, opinan los científicos. “Para aprender de los errores futuros —en los que no se logra el equilibrio adecuado y ocurren incidentes— necesitamos un mayor intercambio de información y transparencia sobre las fallas de contención en el futuro”, justifican.

Opacidad

Una capacidad que se relaciona directamente con su tercera petición: “Para garantizar que la investigación sobre seguridad y contención de la IA pueda aprender de los errores, los incidentes de seguridad relacionados con fallos de contención deben notificarse al organismo correspondiente y, posteriormente, hacerse públicos”. La carta destaca que la “transparencia es necesaria tanto para el aprendizaje como para la rendición de cuentas”.

La crítica contra la opacidad en la que operan las multinacionales y laboratorios en el desarrollo de IA de frontera está cada vez más presente en la comunidad científica internacional. El panel de 40 expertos independientes creado por la ONU ya situó la “asimetría de información entre las empresas y la sociedad” como uno de los grandes problemas estructurales de esta tecnología. En su informe, los especialistas avisaron de que esta falta de transparencia evita que los gobiernos y los ciudadanos puedan evaluar correctamente sus riesgos.

A principios de 2024, un comentario de una escritora polaca de fantasía se hizo viral en todo el mundo. Conectó con algo que mucha gente sentía que iba mal en la revolución de la inteligencia artificial, que empezaba a mostrar su potencial para generar imágenes y vídeos. “Vamos en la dirección equivocada”, reflexionaba Joanna Maciejewska: “Quiero que la IA haga la colada y friegue los platos para que yo pueda dedicarme al arte y a escribir, no que haga mi arte y escriba por mí para que yo pueda dedicarme a la colada y a fregar los platos”.

Dos años y medio después, la industria de la IA quiere ofrecer algo muy parecido a eso con los agentes de inteligencia artificial.

Se trata de sistemas entrenados para ejecutar tareas complejas a partir de órdenes sencillas, sin que el usuario tenga que supervisar cada paso que dan. Siguen sin ser capaces de hacer la colada, pero sí pueden, por ejemplo, localizar la factura de la lavadora en una carpeta del ordenador, consultar los plazos de la garantía, encontrar el formulario de reclamación, solicitar la visita de un técnico y encajarla en un hueco de la agenda del usuario. Todo ello con una sola orden: “La lavadora no funciona”.

Las empresas llevan años probando agentes, pero es ahora, en el tramo final de 2026, cuando una nueva generación aspira a llevarlos al público general. Su propuesta es automatizar tareas digitales que a muchos les resultan tediosas: buscar la mejor oferta entre decenas de webs, vigilar el precio de un vuelo o cancelar una suscripción. Todo sin desesperarse ante las trampas y patrones oscuros que inundan muchos servicios digitales. La máquina tiene toda la paciencia del mundo y recursos para informarse sobre cómo proceder.

Es lo que Salvador Serrano, jefe de Operaciones en Modulor Studios, un grupo empresarial español que crea y desarrolla negocios digitales, define como “romper la asimetría de la información”. “Cuando te relacionas con empresas u organizaciones, siempre hay relaciones asimétricas. Normalmente, hay una parte que conoce más la legislación, el marco, tiene equipos de marketing o más experiencia”, explica. “A ti como individuo esa asimetría te juega en contra porque nadie puede ser un experto en todo”.

Cuando te relacionas con empresas u organizaciones, siempre hay relaciones asimétricas. Los agentes tienen un gran valor porque te permiten defender tus intereses con más criterio

Salvador Serrano — jefe de Operaciones en Modulor Studios,

Sin embargo, la IA sí puede. Por eso el experto cree que “los agentes tienen un gran valor, puesto que te permiten defender tus intereses con más criterio”. Para hacerlo, los agentes pueden ejecutar todo tipo de herramientas, saltar entre bandejas de correo y sistemas de mensajería, ponerse en contacto con otros en nombre del usuario. “La clave es la ausencia de fricciones”, resume Serrano.

De promesa a producto

“Reducir las asimetrías de información” y “eliminar fricciones” son dos de los conceptos más importantes para adelantar si una tecnología puede tener éxito entre el público general. Internet facilitó encontrar información que antes estaba dispersa o era difícil de conseguir. Los teléfonos inteligentes redujeron los pasos necesarios para aprovechar esa información desde cualquier lugar. Los agentes aspiran a ir un paso más allá: automatizar la extracción de valor de esa información.

Este otoño está siendo un punto de inflexión para ellos. Buena parte de la culpa la tiene Instinct, una startup fundada en 2025. Actualmente, solo tiene 14 empleados, no tiene equipo de marketing ni actividad en redes sociales. Sin embargo, su agente de IA ha conseguido viralizarse por su extrema sencillez. Su interfaz de comunicación es WhatsApp, lo que permite al usuario escribirle cualquier orden o mandarle un audio como haría con cualquiera de sus contactos.

Las redes sociales se han llenado en las últimas semanas de ejemplos como estos. Algunos son automatizaciones sencillas, como “dejarle acceso al súper online y que me haga la cesta con lo que compro normalmente”, escribía un usuario: “Revisar cesta y comprar”. Otro dejó constancia de cómo el asistente ejecutó decenas de pasos para llevar a cabo su misión, incluyendo ponerse en contacto y negociar con múltiples empresas a la búsqueda de la mejor opción para transportar un paquete desde Berlín.

“Usa su propio correo y me pone en copia”, explicaba el usuario sobre el agente. “Habla de mí como si fuera mi asistente”. Todo de forma automática y solo solicitando aprobación antes de dar pasos clave, como la autorización de un pago (aunque también se le puede conceder autorización para que pague sin preguntar).

Instinct es el invitado sorpresa, pero los gigantes del sector también han reservado hueco en esta mesa. A la cabecera se sienta Mark Zuckerberg. Los agentes destinados al usuario medio han sido una de sus obsesiones en los últimos años: los denomina “superinteligencia personal” y son su gran apuesta para Meta en la carrera de la IA.

Todo el mundo tendrá un agente personal excepcionalmente capaz que te entenderá a ti, tus objetivos y todo lo que te importa. Tu agente trabajará para ti las 24 horas del día, los 7 días de la semana

Mark Zuckerberg — CEO de Meta

“Todo el mundo tendrá un agente personal excepcionalmente capaz que te entenderá a ti, tus objetivos y todo lo que te importa. Tu agente trabajará para ti las 24 horas del día, los 7 días de la semana”, aseguró en un extenso ensayo publicado en agosto: “Te liberará tiempo para las cosas que disfrutas y te ayudará a conseguir más de lo que podrías conseguir de otro modo”. Un mes después Zuckerberg presentó un agente llamado Muse (musa). Su impacto ha sido inmediato: Meta ha subido un 10% en bolsa desde su lanzamiento.

Muse no está disponible en Europa. “Tras dos semanas de uso, descubrí que Muse era la aplicación de IA más útil que jamás había utilizado”, asegura el periodista de The New York Times, Eli Tan. En su crónica describe cómo el agente pagó multas de aparcamiento solo con enseñarle la foto del ticket o encontró en su correo el aviso de una prueba gratuita a punto de expirar, ahorrándole 45 dólares.

El precio de un asistente siempre disponible

De momento, Instinct, que aún está en período de pruebas, es gratuito. Meta tampoco tiene intención de cobrar por el uso de Muse. El funcionamiento de los agentes personales de IA encaja a la perfección con su modelo de negocio: para aprovechar todo su potencial, estas herramientas necesitan acceso total a los datos del usuario, como el correo electrónico, la mensajería, el calendario, los archivos guardados en dispositivos personales, las cuentas bancarias. No es imprescindible para usarlos, pero cuanto más sepan y mayor sea su integración con el resto de herramientas, mayor cantidad de tareas podrán resolver con precisión.

Esta condición ayuda a entender la apuesta de Zuckerberg. Abrirle la puerta a Muse supone dejar entrar a su multinacional publicitaria en lo más hondo de la información personal del usuario. Meta ha construido su imperio sobre los anuncios personalizados y acumula años de sanciones y polémicas de privacidad. Ahora, la compañía promete que ni las conversaciones ni los datos almacenados por Muse se añadirán a su base de datos publicitaria, pero reconoce que la actividad del agente puede “influir indirectamente” en los anuncios que recibe el usuario.

“Obtienen muchísima información de un montón de servicios. Eso se puede utilizar para perfilarnos y hacerse una imagen completa de la vida y los gustos de una persona”, advierte sobre los agentes Elena Gil, abogada experta en nuevas tecnologías.

La gestión de esos datos se basa en un sistema de consentimientos informados, en los que el usuario acepta (o no) determinados usos de su información. Un método que se está viendo superado por el avance de unas tecnologías cada vez más poderosas. “Se pone el peso en que demos consentimiento, pero el hecho es que una persona normal no tiene el tiempo necesario para leer toda esa información, e incluso aunque se nos dé de forma transparente, muchas veces no la comprendemos”, lamenta Gil.

Pero el cambio no está solo en el acceso. “Con los asistentes personales se está produciendo un salto importante”, destaca a elDiario.es Lorenzo Cotino, presidente de la Agencia Española de Protección de Datos (AEPD). “Una cosa es pedir a la IA una respuesta y otra darle poderes para actuar. Podemos pedirle que organice una cena, haga una compra o gestione nuestros mensajes, sin saber exactamente qué pasos seguirá, a quién contactará o qué información compartirá. Una orden sencilla que puede desencadenar muchas actuaciones”.

Con los asistentes personales se está produciendo un salto importante. Una cosa es pedir a la IA una respuesta y otra darle poderes para actuar

Lorenzo Cotino — presidente de la Agencia Española de Protección de Datos

¿Y qué ocurre cuando los agentes tratan datos de otras personas? “Nuestra autorización no es un cheque en blanco para utilizar la información de los demás”, recuerda Cotino, que expone que esto se cumplirá en casi todos los casos en los que el agente acceda al email o al WhatsApp del usuario. Un extremo aún más sensible si la herramienta se conecta también plataformas laborales que manejen datos de la empresa, de clientes o de compañeros de trabajo.

Pese al campo de minas jurídico, el presidente de la AEPD recuerda que el organismo “apoya” el uso de la IA y ha publicado una guía específica para usar agentes “con confianza y responsabilidad”. Conceder solo los accesos necesarios, revisar las actuaciones de mayor trascendencia y saber cómo detener el agente y revocar sus permisos son algunos de sus contenidos.

Agentes alucinados

El potencial de los agentes de IA es enorme. En este otoño de 2026, también lo son los problemas que puede conllevar su uso.

Lo explica Rafael López, experto en ciberseguridad de la firma Check Point: “Los agentes pueden ahorrarnos muchísimo tiempo. En un viaje, por ejemplo, pueden comprar vuelos, gestionar las reservas de los hoteles. El problema es que también pueden reservaros un hotel a 4.000 euros la noche porque no le hemos dado la información suficiente”. “O, simplemente, porque la IA se sigue equivocando”, recuerda.

La raíz de esos errores está en su base tecnológica. Los agentes operan sobre modelos de lenguaje como los que utilizan los chatbots, como ChatGPT, Claude o Gemini. Y, como ellos, pueden alucinar, inventar datos o equivocarse en cualquier momento.

La diferencia es, de nuevo, que la misión de estas herramientas no es contestar preguntas, sino operar en nombre del usuario. En cuestión de semanas, Instinct y Muse han acumulado lo que la prensa estadounidense llama ya las “historias de horror” de los agentes: filtraciones de datos, creación y envío de documentos falsos, borrado de bases de datos enteras de la empresa por error, cancelaciones de vuelos transoceánicos cuando su usuario solo les había pedido que comprobara un detalle de la reserva.

“Aquí no hay un usuario que se equivoque. Hay una máquina que está operando 24/7 y puede estar cometiendo errores 24/7”, expone López.

Al riesgo del error se suma el del ataque. “¿Qué van a hacer los cibercriminales ahora mismo? Pues directamente atacar al agente”, constata. El experto en ciberseguridad explica que estas ofensivas pueden llevarse a cabo ocultando instrucciones maliciosas para los agentes en correos o páginas web. Cuando estos las leen, pueden llegar a saltarse sus medidas de seguridad y a actuar contra su propio usuario.

Para las empresas e instituciones, la navegación de los agentes también puede constituir un gran problema. Las pruebas de OpenAI, Anthropic, Google o Meta han revelado que pueden llegar a ciberatacar webs y organismos públicos incluso en tareas “rutinarias”, como búsquedas de información. Este viernes, Anthropic ha hecho público que uno de sus agentes llegó a contactar con la Policía para dar pistas falsas de un homicidio.

Futuros automáticos

Para evitar el caos, grandes servicios digitales están comenzando a impedir el paso de los agentes. Así lo han hecho aerolíneas como Ryanair, Delta Air Lines o American Airlines, alegando que sus consultas masivas de precios saturan sus sistemas. Amazon también ha bloqueado que Muse haga compras en su plataforma.

Estos vetos pueden ser un rechazo a una tecnología poco depurada o un eco de cuando las grandes compañías del mundo analógico se resistían a la digitalización. Si los agentes se generalizan, tendrán que adaptarse no solo los usuarios, sino toda la infraestructura digital. Salvador Serrano, de Modulor Studios, plantea dos futuros posibles. Uno “bonito”, en el que los agentes personalizan al máximo la experiencia digital de cada persona y el mercado diversifica su oferta para cubrir esa demanda. Y otro “menos bonito”, en el que las compañías que los controlan acaparan “un poder tremendo” y los agentes se convierten en un canal más de su negocio.

Anthropic ha reconocido que su IA actuó de forma autónoma. En concreto, en un informe de evaluación y seguridad publicado en su blog este viernes, ha admitido, aunque sin mencionar los sitios web atacados, que agentes de inteligencia artificial actuaron por su cuenta y accedieron a diversas páginas gubernamentales, rellenaron solicitudes de visado del Departamento de Estado de EEUU e incluso llegaron a enviar una denuncia falsa de homicidio al Departamento de Policía de Filadelfia. Se trata del primer caso conocido en el que una IA habría intentado comunicar una denuncia falsa a las autoridades.

Según detalla The New York Times, dos fuentes con conocimiento de los incidentes indicaron que los agentes de IA de Anthropic habían presentado una veintena de solicitudes de visado en la web del Departamento de Estado, aunque no llegaron a ser procesados porque todas estaban incompletas. Funcionarios de la Casa Blanca reconocieron que fueron informados sobre el incidente y exigieron a las tecnológicas que reporten de inmediato cualquier actividad similar.

Con respecto a la denuncia falsa, la Policía de Filadelfia informó el viernes que Anthropic le había notificado el incidente. “La demora de dos meses en detectar el incidente y reportarlo a la ciudad es inaceptable”, aseguraron y recordaron que proporcionar informes falsos a las autoridades policiales es un delito menor según la ley de Pensilvania, aunque en el texto se especifica “una persona”.

La denuncia, fechada el 18 de julio, afirmaba que tenía información sobre un caso sin resolver, según indicó el departamento que añadió que ya inicialmente fue marcada como spam y nunca se investigó. Según Reuters, en la denuncia ponía que podía que “tenga información sobre este caso”: “Recuerdo haber visto a alguien que coincidía con la descripción en la zona cercana a (la calle que aparece en la página) durante ese período. Por favor, póngase en contacto conmigo si esta información es relevante.”

Anthropic explicó en su blog que descubrió las acciones de sus agentes de IA tras iniciar una revisión de su actividad en este campo en julio. Ahora, reconoce que “un modelo de investigación no experimental, aún no publicado, debía completar una copia de práctica de un formulario gubernamental” y que “cuando la copia no se cargaba o el modelo la cerraba por error, este accedía al sitio web donde normalmente se aloja el formulario real y lo enviaba desde allí”.

Estos incidentes avivan la preocupación por el rápido avance de la inteligencia artificial, en medio de informes de ataques informáticos por parte de agentes de IA y advertencias de los investigadores sobre una eventual amenaza existencial para la humanidad.

La propia investigación de Anthropic se inició después de que OpenAI revelase que su tecnología había atacado a otra startup de IA, Hugging Face, y posteriormente se conoció que había decidido no apagarla para no retrasar sus planes comerciales. Anthropic también explicó entonces que su tecnología había escapado de los entornos de prueba y había llevado a cabo ataques informáticos. En concreto, que un modelo de IA que estaba probando había realizado varias acciones no autorizadas, entre ellas, aprovechar una vulnerabilidad en el sitio web de una universidad para descargar datos y enviar a una agencia gubernamental un formulario que se le había indicado que no debía enviar. Google también admitió posteriormente vez que su IA Gemini hackeó a tres empresas.

Las alertas sobre los riesgos del desarrollo de la inteligencia artificial han sembrado la incertidumbre en millones de personas. Desde ingenieros que avisan de que esta tecnología podría “matarnos a todos antes de 2030”, hasta grandes referentes científicos que aseguran que una “IA altamente capaz o sobrehumana” podría “amenazar el control humano” y “erosionar gravemente los mecanismos de poder estatal”. Extremos que preocupan en todo el mundo, pero que tienen a un sector concreto en vilo: las aseguradoras.

Aunque muchas de esas alarmas terminen incumpliéndose y los daños de la IA resulten más mundanos, la industria de los seguros preferiría no pagar la factura. “Ya están surgiendo perjuicios relacionados con la IA, como resultados incorrectos o engañosos, deepfakes, violaciones de la privacidad, disputas sobre propiedad intelectual, fraude, defectos en los productos y decisiones discriminatorias”, destaca un reciente informe del centro de investigación RAND: “Estos perjuicios generan demanda de seguros, pero no se ajustan fácilmente a las líneas de seguros existentes”.

Estos riesgos se han multiplicado con la extensión de los agentes de IA. Son sistemas que pueden completar tareas que requieren diferentes pasos sin que una persona tenga que guiarlos en cada uno de ellos, como buscar información en Internet, usar otras herramientas digitales o programar sus propias aplicaciones. Pero que, debido a esa mayor autonomía, pueden llevar acciones no previstas para sus desarrolladores. Son estos agentes los que han provocado, por ejemplo, los hackeos de páginas del gobierno australiano mientras buscaban información, intentando acceder incluso a aquella que no estaba disponible públicamente.

La incorporación de esta tecnología a las empresas está provocando que muchas aseguradoras la excluyan de las pólizas de responsabilidad civil estándar. Según datos del medio especializado en Silicon Valley The Information, los organismos públicos estatales que regulan el mercado asegurador en EEUU están dando su visto bueno a esta práctica, autorizando más de un 80% de peticiones elevadas este 2026 para excluir los daños producidos por la IA de la cobertura asegurada.

Difícil encaje en los seguros tradicionales

Desde 1982, las aseguradoras utilizan el conocido 'test de Berliner' para medir si un riesgo es asegurable. El examen consta de nueve criterios y según la Asociación de Ginebra, uno de los mayores think tanks de este sector, la IA suspende al obtener una calificación roja en tres de ellas.

Son la pérdida máxima posible (un algoritmo puede producir fallos en cascada a miles de pólizas simultáneamente a través de las empresas que lo aplican, con lo que califica como “riesgo catastrófico” al nivel de accidentes nucleares o pandemias), asimetría de la información (las empresas aseguradas tienen mucha más información del impacto real que puede tener la IA que las aseguradoras) e inestabilidad de la pérdida media (para las aseguradoras es imposible fijar una póliza estándar si una misma IA puede producir un daño acotado al equivocarse en un sistema de atención al cliente, o de millones al violar los derechos de autor).

En su último informe al respecto, los datos de la Asociación de Ginebra muestran que, de las 112 casillas resultantes de cruzar los 14 riesgos identificados de la IA (ciberataques, difamación, etc.) con las 8 pólizas de seguro tradicionales de las empresas, el 80% (90 casillas) quedan “excluidas”.

Sin reglas, manda el miedo

Donald Trump se niega a desarrollar una regulación para la inteligencia artificial, incluso ante la petición de algunos magnates de la industria y expertos que avisan que esta podría suponer “un peligro para la humanidad”. Y sin reglas, manda el miedo. “El seguro se ha convertido en el regulador de facto más importante del despliegue de la IA en EEUU, y actualmente está regulando por retirada: excluyendo el riesgo de la IA de la cobertura en lugar de fijar los estándares afirmativos bajo los cuales el despliegue podría ser asegurado, tarifado y disciplinado”, explica el Centro de Estudios Estratégicos e Internacionales (CSIS, por sus siglas en inglés).

El seguro se ha convertido en el regulador de facto más importante del despliegue de la IA en EEUU, y actualmente está regulando por retirada: excluyendo el riesgo de la IA de la cobertura

Centro de Estudios Estratégicos e Internacionales (CSIS)

En Europa la situación no es muy diferente. Aunque la UE sí cuenta con una ley de IA, tampoco ha abrochado la cuestión sobre quién es el responsable cuando algo sale mal. Esa iba a ser la misión de la Directiva de Responsabilidad de la IA, para la que la Comisión Europea presentó un borrador que terminó retirando en 2025. “Al tiempo que los requisitos del Reglamento de IA de la UE para sistemas de alto riesgo se han aplazado hasta finales de 2027 o 2028, la reparación ex-post de los daños queda fragmentada en las legislaciones nacionales, dejando a las víctimas sin un marco unificado de indemnización”, continúa el CSIS.

Este instituto, un laboratorio de ideas con sede en Washington, advierte que esta tendencia tiene incluso derivadas geopolíticas. Esa dificultad para asegurar los procesos con IA “amenaza con frenar” la innovación de las empresas estadounidenses y europeas en comparación con China, donde es el estado el que se hace cargo del riesgo. El Gobierno del gigante asiático está generando reservas nacionales y respaldando proyectos piloto de aseguradoras estatales para emitir pólizas específicas sobre IA, intentando que sus empresas desplieguen algoritmos sin asumir todo el riesgo.

Las grandes tecnológicas “trasladan el riesgo”

La incertidumbre del sector público y privado en lo referente a los procesos que incorporan IA se extiende a todos los actores, menos a aquellos que la desarrollan. Los principales laboratorios han blindado su defensa ante los riesgos.

Como especifican los contratos para el uso de su IA de OpenAI o Anthropic, su responsabilidad financiera no puede superar lo que han pagado sus clientes en los 12 meses anteriores al incidente. En la práctica, esto implica que si una empresa paga, por ejemplo, 200 euros al mes por una suscripción profesional a sus herramientas y estas cometen un fallo grave que genere pérdidas de un millón de euros, la tecnológica solo estaría obligada a poner 2.400 euros de su bolsillo.

Solo en demandas por derechos de autor “existe una excepción destacable” en la que estas multinacionales tendrían que correr con los gastos. En el resto, ya sean casos “como muerte por negligencia, lesiones corporales, discriminación laboral, difamación, manipulación de mercado, fraude mediante IA, ciberataques impulsados por IA, sanciones regulatorias o daños por acciones autónomas”, la norma que “sigue aplicándose es el límite general de 12 meses de cuotas”, detalla el CSIS.

El instituto aclara que esa limitación puede ser “racional” ante un riesgo que nadie sabe tasar, pero destaca que la práctica “traslada la responsabilidad” a las empresas y pymes.

Análisis caso a caso

Ante la retirada de la citada Directiva de Responsabilidad de la IA por parte de la Comisión Europea, la situación se evalúa, con base en la regulación de cada país. elDiario.es ha contactado con UNESPA, la patronal de las aseguradoras españolas, que ha indicado que aún no hay una visión general y que cada una mantiene su propia política.

Romain Schaeffer, director de seguros para empresas de AXA, avanza que las aseguradoras analizan caso por caso. “En la actualidad, el mero hecho de que una empresa utilice IA no es, por sí solo, un factor determinante para limitar su asegurabilidad ni un criterio generalizado de delimitación de cobertura o precio”, explica a elDiario.es.

Es fundamental analizar para qué y cómo utiliza la empresa la IA. No presenta la misma exposición una compañía que emplea IA como herramienta de productividad que otra que la usa para tomar decisiones autónomas

Romain Schaeffer — director de seguros para empresas de AXA

“En este sentido, resulta fundamental analizar para qué y cómo utiliza la empresa la IA. No presenta la misma exposición una compañía que emplea IA como herramienta para mejorar la productividad interna que otra que la utiliza para tomar decisiones autónomas o controlar procesos productivos capaces de generar daños materiales, corporales o pérdidas a terceros”, detalla Schaeffer.

Pese a la novedad tecnológica y las crecientes alarmas sobre sus riesgos, el experto advierte que “el uso de IA no debe interpretarse necesariamente como un elemento restrictivo desde el punto de vista asegurador”. A su juicio, puede ser incluso un elemento que ayude a disminuir la incertidumbre o fallos en los procesos internos. “Dependiendo de su aplicación y de los controles establecidos, puede incluso contribuir a mejorar la prevención, detección y gestión del riesgo”, concluye.

Pólizas especiales

El resultado de esta situación es que se están generando nuevos tipos de póliza para cubrir riesgos concretos de la IA como alucinaciones, fallos de rendimiento, infracciones de propiedad intelectual o incluso errores en las decisiones de agentes autónomos, la nueva amenaza para las empresas.

Firmas como Munich Re, Armilla AI, Testudo Global o la Artificial Intelligence Underwriting Company están explorando este nuevo nicho. En lugar de asumir de forma general los riesgos de una compañía, algo casi imposible a partir del test de Berliner, estas coberturas intentan identificar qué puede salir mal cuando una empresa incorpora un sistema de IA y ponerle un precio.

No obstante, vuelven a chocar contra algunas lógicas derivadas de la novedad tecnológica: si nadie ha tenido un incidente real a gran escala derivado de ese tipo de riesgo, ¿cómo calcular cuánto puede llegar a costar y hasta dónde debería cubrirlo una aseguradora?

El presidente de Estados Unidos, Donald Trump, ha dejado la puerta abierta a que el Gobierno norteamericano adquiera participaciones en firmas de IA como OpenAI y Anthropic, algo que ya ha hecho en empresas como Intel y otras compañías del sector de la computación cuántica.

“Puede que sí. Tal vez podría hacerlo. Tengo muchos tratos de ese tipo; lo hago. Pero no gano nada por haber hecho ese trato (...). Lo hice para Estados Unidos”, ha destacado el inquilino de la Casa Blanca en una extensa entrevista concedida a la revista 'Time' al ser preguntado por esa posibilidad.

En este sentido, ha defendido estas adquisiciones frente a quienes aseguran que “eso no es estadounidense”. “Pero ganamos como 60.000 o 70.000 millones de dólares (53.162 o 62.022 millones de euros millones de euros). Intel es la acción más popular que existe, casi. Está en la cima”, ha aseverado.

“Lo digo, lo digo”, ha reiterado al ser insistido por las adquisiciones sobre OpenAI y Anthropic. “(Lo hago) con muchas cosas. Tenemos otros casos, como el anuncio de un gran acuerdo en Alaska, donde Estados Unidos aprobó un trato para alguien con tierras que iba a ganar una fortuna, y nosotros no íbamos a recibir nada (...). Y aceptaron una cifra. Lo hago todo el tiempo. No lo hago por mí. Lo hago por el país”, ha añadido.

Más de una veintena de los mayores especialistas en inteligencia artificial del mundo advierten a los gobiernos que se preparen para una “explosión de inteligencia” que podría desencadenar el desarrollo tecnológico más trascendental de la historia. En un nuevo informe, entre cuyos autores están el premio Nobel Geoffrey Hinton y el premio Turing Yoshua Bengio, dos de los referentes científicos de esta tecnología, piden a los políticos que actúen ahora antes de que se produzca un avance descontrolado de la IA.

Los autores afirman que esa “explosión de inteligencia” podría tomar forma como una “aceleración drástica del progreso de la IA impulsada por la propia IA, que comprimiría en meses o menos avances que, de otro modo, llevarían años”.

El artículo, titulado ¿Y si automatizar la investigación y el desarrollo de la IA desencadena una explosión de inteligencia? y publicado por el departamento de ciencia y políticas públicas de la IA de la Universidad de Cambridge, está firmado también por altos ejecutivos de la industria como Jack Clark, cofundador de Anthropic, y Jakub Pachocki, científico jefe de OpenAI.

Sus preocupaciones se centran en la posibilidad de que los agentes de IA sean capaces de mejorarse a sí mismos sin intervención humana, un proceso conocido como “automejora recursiva”. El informe se refiere a este proceso de forma general como automatización de la investigación y el desarrollo de IA. Según el documento, una vez que los sistemas de IA alcancen capacidades de nivel experto en investigación y desarrollo de IA, un solo desarrollador podría gestionar una fuerza de trabajo equivalente a “millones” de los mejores investigadores humanos.

La IA que se mejora a sí misma

Los autores señalan que la automatización de la investigación y el desarrollo de IA es la fuente más probable de una explosión de inteligencia, porque las IA ya están contribuyendo a mejorar su propia tecnología y los sistemas resultantes pueden desplegarse rápidamente una vez construidos.

“Una explosión de inteligencia podría ser el desarrollo tecnológico más trascendental de la historia de la humanidad, al comprimir años de progreso en meses o menos, amenazar el control humano sobre los sistemas de IA y erosionar gravemente los mecanismos de control del poder dentro de los Estados y entre ellos, así como entre empresas y ramas del Gobierno”, señala el informe.

Una explosión de inteligencia podría ser el desarrollo tecnológico más trascendental de la historia de la humanidad, al comprimir años de progreso en meses o menos, amenazar el control humano sobre los sistemas de IA y erosionar gravemente los mecanismos de control del poder dentro de los Estados

Por ello, los autores instan a los Gobiernos a actuar con rapidez: “Una vez que comience una explosión de inteligencia, la ventana de oportunidad para actuar podría cerrarse”. El informe recomienda tres prioridades políticas: exigir informes transparentes sobre los avances en investigación y desarrollo relacionados con la IA, incluida la incorporación de auditores independientes en las empresas; buscar formas de limitar el desarrollo acelerado de la IA; y prepararse para adaptarse a una explosión de inteligencia.

Anthropic y OpenAI han aceptado que evaluadores independientes examinen sus modelos, después de advertir de que el desarrollo de la IA estaba alcanzando un punto crítico en materia de seguridad. Anthropic afirma que la IA genera actualmente el 80% de su propio código, mientras que OpenAI utiliza agentes autónomos de IA en ámbitos como el entrenamiento de nuevos modelos.

“Las pruebas preliminares sugieren que una explosión de inteligencia impulsada por el software es posible”, señala el informe, que añade que esto conduciría al “desarrollo extremadamente rápido de sistemas de IA altamente capaces o sobrehumanos”.

Salto en avances y en amenazas

Aunque esto podría producir avances médicos y saltos tecnológicos, también entrañaría tres tipos de riesgos: los sistemas avanzados podrían facilitar amenazas biológicas y cibernéticas que evolucionaran más rápido que las medidas necesarias para hacerles frente; a medida que los humanos participaran menos en la investigación y el desarrollo de IA, podrían perder la oportunidad de mantener el control sobre los sistemas; y los Estados podrían utilizar una explosión de inteligencia para convertir una ventaja moderada en ámbitos como el ciberespacio en una ventaja decisiva.

El informe reconoce que estos efectos son “inciertos”. Por ejemplo, un avance tecnológico podría tardar en aplicarse debido a la necesidad de establecer cadenas de suministro para obtener materiales especiales o de cumplir con la regulación. Los sistemas de IA también podrían acelerar la velocidad a la que se mitigan los riesgos, señalan los autores.

Si se produjera un avance de este tipo, los autores sostienen que los sistemas de IA podrían superar rápidamente a los expertos humanos en la mayoría de los campos y “acelerar radicalmente” el progreso tecnológico. Prepararse para este escenario “debería ser una prioridad urgente, incluso en los niveles más altos de los Gobiernos”.

Los autores señalan que los Gobiernos deberían estudiar políticas que aborden la posibilidad de una explosión de inteligencia, entre ellas: exigir informes transparentes sobre los avances en investigación y desarrollo relacionados con la IA, incluida la incorporación de auditores independientes en las empresas; limitar la velocidad a la que una IA puede mejorar durante un determinado periodo de tiempo; colaborar con los centros de datos para permitir la suspensión de determinados proyectos de investigación y desarrollo de IA; garantizar que los sistemas automatizados de investigación y desarrollo de IA estén completamente aislados y no puedan escapar al control humano; y crear “planes de respuesta de emergencia” para los distintos escenarios que podrían surgir a raíz de una explosión de inteligencia.

Se trata de medidas muy similares al conocido plan para “ralentizar” la IA elaborado por Dario Amodei, el CEO de Anthropic, que ha provocado desconfianza fuera de Silicon Valley.

A pesar de los fallos que han mostrado algunos sistemas, como desobedecer instrucciones, los proyectos de investigación y desarrollo que a los humanos les llevarían meses podrían estar completamente automatizados mediante IA para 2028. “Las ganancias de productividad derivadas de la automatización de la investigación y el desarrollo de IA todavía no han alcanzado el umbral necesario para desencadenar una explosión de inteligencia, pero es probable que las mejoras de los sistemas más recientes se estén acercando a ese umbral”, señalan.

¿Es posible accionar el freno de mano en plena carrera global para desarrollar la Inteligencia Artificial (IA) para evitar que un agente renegado ponga a la humanidad al borde de la destrucción? La denuncia apocalíptica de un exinvestigador de Anthropic y OpenAI, dos de las compañías punteras que están liderando esta tecnología, junto con el llamado de los principales CEO del sector a ralentizar la marcha, han puesto a los mercados, los gobiernos y la sociedad civil en alerta. Pero no solo por las consecuencias éticas: también por las económicas.

Las inversiones en IA y tecnología han sido el salvavidas que ha permitido mantener a flote buena parte de la economía mundial, a pesar del conflicto comercial desatado por Donald Trump a su llegada a la Casa Blanca y de las consecuencias de su guerra contra Irán, que promete extenderse al resto de Oriente Medio.

Todas las instituciones internacionales coinciden: las ingentes inversiones destinadas a la carrera por la IA han servido de viento de cola para evitar un golpe económico aún mayor. “La modesta ralentización refleja que los efectos de la guerra en Oriente Medio han sido parcialmente compensados por la aceleración de la demanda en el ciclo tecnológico global, gracias a los avances en la IA y en su adopción”, apuntaba el Fondo Monetario Internacional (FMI) en la última edición de sus Perspectivas Económicas Mundiales, en julio. Un diagnóstico que también hizo la OCDE, que subrayó en su informe de proyecciones que, frente a “la impredecible evolución del conflicto”, “el auge de las inversiones relacionadas con la tecnología y las condiciones financieras y políticas fiscales ampliamente favorables, deberían apoyar el crecimiento a corto plazo”.

Las cifras son inabarcables por su magnitud. Según estimaciones del Banco Mundial, el capex (es decir, el capital destinado a inversión) de Google, Amazon, Meta, Microsoft y Oracle ya se situaba en los 775.000 millones de dólares hasta mayo de este año, prácticamente el doble de la cifra destinada en todo 2025 (412.000 millones) y muy lejos de los 154.000 millones que destinaron en 2023, cuando la primera versión de ChatGPT acababa de llegar al mercado. En puridad, estas cifras no se destinan únicamente a la puesta en marcha de modelos de IA, sino que abarcan las cadenas de valor e inversiones en semiconductores, cloud y software.

La consultora McKinsey, en un documento de principios de año, ampliaba este análisis a la taiwanesa TSMC, la mayor compañía de desarrollo de chips y semiconductores del mundo, y a la estadounidense Nvidia. La inversión conjunta, sumando a estos dos gigantes, suponía unos 750.000 millones de dólares a cierre del año pasado. Y la estimación es que este año la cifra podría superar el billón de dólares, en línea con los datos del Banco Mundial.

Un riesgo “triple y encadenado”

Y ahora pensar en si frenar o no la IA puede pinchar ese salvavidas en el que muchos quieren ver una burbuja. La investigadora principal para Economía y Tecnología del Real Instituto Elcano, Judith Arnal, lo resume con una metáfora: la economía está “colgada de un chip”, lo que supone un riesgo “triple y encadenado”: “índices bursátiles que dependen de un puñado de compañías, ahorradores minoristas cada vez más expuestos a ellas y un crecimiento que necesita que esa inversión continúe”.

Las empresas, apunta la experta, ya no son quienes asumen todos los peligros, porque ya no son capaces de hacer frente con sus propios recursos a estas inversiones milmillonarias: “Amazon, Alphabet, Meta, Microsoft, Oracle y NVIDIA han emitido 216.000 millones de dólares en bonos entre enero y agosto, el doble que en todo 2025”, explica a preguntas de elDiario.es. Esta millonaria emisión de deuda extiende el riesgo a los acreedores, en un momento en el que “financiarse sale cada vez más caro, con la Reserva Federal subiendo tipos y el bono estadounidense a 10 años en el entorno del 5%”.

La reacción de las bolsas al posible ‘freno’ fue inmediata, con caídas en índices como el surcoreano Kospi que “mide hoy más el apetito mundial por los chips de IA que la marcha de la economía coreana”, en palabras de la economista del RIEL. Valores españoles vinculados a la industria de los centros de datos, como la constructora ACS o la compañía de renovables Solaria se desplomaron en los mercados y, aunque han recuperado aliento, aún cerraron este viernes por debajo del precio registrado hace una semana.

Sin embargo, tanto la bolsa surcoreana como el índice tecnológico Nasdaq en Nueva York se recuperaban de sus pérdidas del lunes. El departamento de análisis del Bank of America apuntaba esta semana que más que un colapso en los mercados vinculados a la IA, se produjo una “rotación” entre títulos. “A nuestro juicio, si los laboratorios que lideran la tecnología más puntera realmente creen que la IA es lo suficientemente potente como para representar una amenaza existencial, entonces también debe serlo para resolver algunos de los mayores problemas de la humanidad (por ejemplo, las ecuaciones de Navier-Stoker)”, detallaban en su nota de mercado.

Así, la entidad americana subraya que “el potencial de la IA crece tan rápido como sus ingresos” y recomendaba a sus clientes una “exposición alcista” a estos títulos.

Pero si bien el foco permanece anclado en la bolsa, Arnal apunta que el mercado de la renta fija también va a estar influido por las grandes emisiones de deuda de estas compañías para financiar su desarrollo. El Banco Internacional de Pagos, presidido por el ex gobernador del Banco de España Pablo Hernández de Cos, subrayó esta semana que los inversores cada vez están exigiendo mayores compensaciones por los títulos que emiten las tecnológicas. 

“Entre enero y agosto, los bonos de Amazon, Alphabet, Meta, Microsoft, Oracle y NVIDIA equivalen al 35% de lo que el Tesoro de Estados Unidos ha subastado a 10, 20 y 30 años, cuando en 2024 apenas llegaban al 1%. Compiten por el mismo ahorro que unos Estados que ya se financian a rentabilidades crecientes”, advierte la experta. 

Algunos ganan y otros se quedan fuera 

El crecimiento económico, reconocen todos los organismos internacionales, se ha visto impulsado por las inversiones tecnológica, pero es cierto que, de momento, se está concentrando en un puñado de economías. Por ejemplo, Taiwán, que anunció esta semana una revisión al alza de su proyección de crecimiento del PIB hasta el 11,5%. Esta es una de las naciones más beneficiadas por las exportaciones relacionadas con el hardware, como Corea del Sur, Tailandia o Malasia.

También China está viendo en la carrera por la IA una especie de salida a la crisis inmobiliaria que sigue pasando factura a su economía. El FMI señalaba que el avance económico del país estaba siendo impulsado por las infraestructuras públicas y por “un fuerte aumento de la manufactura de alta tecnología y de las exportaciones, aun cuando el consumo interno se mantuvo débil”. Aunque ya está viendo cerca su techo: Huawei, una de sus compañías punteras, reconoció esta semana que apenas podía hacer frente a la propia demanda interna de equipos para la IA.

Pero, sobre todo, la clave económica pasa por Estados Unidos, cuyo presidente no deja de ponerse palos en las ruedas: primero con los aranceles y, después, con la guerra en Irán que ha llevado el precio de la gasolina a máximos nunca vistos. En el primer trimestre de 2026 su PIB crecía a un ritmo del 2,1% interanual, de acuerdo con los datos del FMI, gracias a las inversiones en productos de la propiedad intelectual y en equipamientos, y a pesar de que las grandes operaciones de las tecnológicas también pasan por un aumento de las importaciones que, por definición, ‘restan’ a la economía. 

“Según la Reserva Federal de San Luis, la inversión ligada a la IA ha llegado a explicar cerca del 40% del crecimiento de Estados Unidos, y los cálculos más recientes siguen por encima de un tercio, incluso descontando los chips y servidores importados”, detalla Arnal. Pero el problema en el país no vendría tanto de que se gripe el motor del crecimiento, apunta la experta, sino que sería más relevante el “efecto riqueza”, ya que los hogares tienen mitad de sus activos financieros en acciones. Un crack en los mercados llevaría a muchas familias estadounidenses a serios apuros.

De momento, el único freno al que se ha llegado hasta ahora es el de la salida a bolsa de OpenAI, que ya ha descartado debutar en el parqué este año. Más avanzada está una potencial salida al Nasdaq de Anthropic, que podría ser en el mes de octubre, en una operación con la que la compañía pretende captar 100.000 millones de dólares y alcanzar una valoración cercana a los 2 billones, según el Wall Street Journal.

Por eso llama la atención que sea precisamente el CEO de esta última, Dario Amodei, quien esté liderando el movimiento para tratar de ralentizar la carrera. ¿Es solo una maniobra publicitaria? Arnal cree que no es lo único que hay detrás: “Decir que tu producto es tan potente que hay que frenarlo es el mejor anuncio posible en pleno debate sobre la burbuja, y más con las salidas a bolsa de OpenAI y Anthropic en preparación. Hay otros incentivos: salir de una carrera de costes crecientes, autorregularse antes de que llegue la ley y fijar estándares que a los pequeños les costará cumplir”. 

El salvavidas, con todo, no parece estar aterrizando de momento en Europa ni mucho menos en España, aunque aquí empieza a haber una industria cada vez más puntera y las inversiones en centros de datos se multiplican por la geografía española, atraídos por la energía renovable barata. El Gobierno está trabajando junto a empresas del sector privado como Santander o ACS para implantar aquí una de las gigafactorías de IA de la UE. Si nuestro país se convierte en un eslabón clave de la cadena de valor de la IA aún está por verse. Todo depende de cuánto se apriete el freno y si el flotador no se desinfla.

Por primera vez en la historia de Google, la empresa ha confirmado que su modelo de IA, Gemini, violó la seguridad de tres empresas el pasado mes de mayo. Los ataques se produjeron durante una evaluación de ciberseguridad realizada por la empresa de seguridad de IA Irregular.

Irregular, una startup con sede en Israel que examina la seguridad de los sistemas avanzados de IA, también estuvo en el centro de algunos de los recientes ataques de OpenAI y Anthropic a terceros, incluida el ataque de la compañía de Sam Altam contra la empresa de software de IA Hugging Face.

Las circunstancias que permitieron a los modelos hackear otras empresas en algunos de estos casos son similares: Irregular estaba probando los modelos en un entorno de pruebas cerrado con empresas ficticias. Se suponía que el entorno de pruebas no debía tener conexión a internet, pero, según publica The Wall Street Journal, se habilitó el acceso a internet de forma involuntaria. Una vez conectados a internet, los modelos hackearon inesperadamente empresas reales.

Irregular informó a finales de julio a Google de los ataques tras descubrir que OpenAI había hackeado Hugging Face. Google confirmó a The Guardian que los ataques se produjeron, pero que la tecnológica reconoció que no consideró necesario hacerlo público porque los modelos no provocaron daños a las empresas. The Wall Street Journal fue el primero en informar sobre las brechas de seguridad y reveló por primera vez que se habían producido.

“En una evaluación estándar. El modelo encontró información pública en Internet y adivinó las credenciales para acceder a sitios web que creía que formaban parte de la prueba”, declaró Heather Adkins, vicepresidenta de ingeniería de seguridad de Google, en un comunicado. “En los tres casos, el modelo se detuvo”, añadió. 

En una de las brechas de seguridad, Irregular estaba probando las capacidades de ciberseguridad de Gemini al pedir a este modelo de IA que obtuviera información del software de una empresa ficticia. Esta empresa ficticia tenía el mismo nombre que una real. Cuando el modelo accedió a internet de forma involuntaria, adivinó correctamente la contraseña y vulneró el servicio de una empresa real, según explicó Irregular al WSJ. Google declaró que, en cuanto se dio cuenta de que había se hackeado una empresa real y no la simulada, detuvo el ataque.

En otras dos pruebas, el modelo buscó en la web y encontró repositorios públicos que contenían credenciales de otras dos empresas. El modelo utilizó esas credenciales para acceder a empresas reales. Según Google, cuando se dio cuenta de que se trataba de empresas reales, también se detuvo.

Anthropic y OpenAI decidieron revelar voluntariamente los ataques informáticos, pero Google no. No obstante, la empresa afirmó que se aseguró de que las tres empresas afectadas estuvieran al tanto de lo sucedido. 

“Estos sucesos ponen de relieve la importancia de entrenar modelos de IA potentes para que actúen de forma responsable”, afirmó Adkins, portavoz de Google.

Las revelaciones de Anthropic y OpenAI llevaron al senador independiente Bernie Sanders a exigir a las empresas que detuvieran el desarrollo de su tecnología, alegando que esto indicaba que las empresas ya no eran capaces de controlar sus modelos.

OpenAI suspendió el desarrollo de sus modelos durante dos semanas, mientras que el director ejecutivo de Anthropic, Dario Amodei, solicitó una ralentización colectiva del desarrollo de la IA para garantizar que sus modelos más avanzados se construyan con suficientes medidas de seguridad.

Dario Amodei ha sido hasta ahora un gran desconocido para el gran público. Figuras como Sam Altman o Elon Musk han acaparado mucha más atención en las conversaciones sobre la inteligencia artificial. Amodei, sin embargo, podría ser el personaje más citado en este campo de la próxima década. Sobre todo, si el debate sobre la IA pasa a girar en torno a la posibilidad de que esta ataque a la humanidad, como ha ocurrido en la última semana.

Amodei (San Francisco, 1983) lleva una década documentando en estudios académicos y ensayos todos los escenarios en los que eso podría ocurrir. Fue en 2016, siete años antes de la salida a la luz de ChatGPT, cuando publicó su primer gran estudio al respecto. Entonces, junto a otros cinco investigadores, alertó sobre los “comportamientos dañinos y no intencionados que surgen de un mal diseño de los sistemas” de aprendizaje automático, la tecnología entonces emergente que terminaría ayudando a desarrollar la IA generativa actual.

A la humanidad se le está a punto de entregar un poder casi inimaginable, y no está nada claro si nuestros sistemas sociales, políticos y tecnológicos poseen la madurez para empuñarlo

Dario Amodei

Pero lo que entonces eran problemas relativamente concretos se convertiría en una preocupación mucho más amplia durante la década siguiente. Amodei fue ampliando el foco desde los riesgos técnicos a los escenarios apocalípticos. “A la humanidad se le está a punto de entregar un poder casi inimaginable, y no está nada claro si nuestros sistemas sociales, políticos y tecnológicos poseen la madurez para empuñarlo”, ha manifestado.

Sus escritos están trufados de expresiones así: “La combinación de inteligencia, agencia, coherencia y escasa controlabilidad es plausible y representa una receta para el peligro existencial”. “Su tendencia a maximizar el poder los llevará a tomar el control de todo el mundo y sus recursos y, probablemente, como efecto secundario, a despojar de poder o destruir a la humanidad”, decía en el mismo ensayo, publicado en enero de 2026 y en el que ya anticipaba los riesgos de los agentes de IA.

“Pienso y hablo mucho sobre los riesgos de la IA avanzada”, reconocía en otro de sus ensayos sobre la cuestión, publicado en 2024. “Por ello, a veces se llega a la conclusión de que soy un pesimista o un catastrofista que cree que la IA será mayoritariamente mala o peligrosa. No lo creo en absoluto”, expone: “De hecho, una de las principales razones por las que me centro en los riesgos es que son lo único que nos separa de lo que considero un futuro fundamentalmente positivo. Creo que la mayoría de la gente subestima el potencial radical de la IA, así como también subestima la gravedad de sus riesgos”.

Una de las principales razones por las que me centro en los riesgos es que son lo único que nos separa de lo que considero un futuro fundamentalmente positivo

Dario Amodei

A este tipo de perfiles, el sector tecnológico los denomina “evangelistas de la seguridad”. Ese es el término que utilizó para él, por ejemplo, el Financial Times, cuando detalló cómo su empresa, Anthropic, estaba sobrepasando a la líder del mercado, OpenAI. La diferencia es que esos evangelizadores suelen centrarse en la necesidad de establecer contraseñas fuertes o de formar a los empleados en los riesgos digitales. Amodei habla de que la IA suponga un peligro existencial para la sociedad. Y lo hace desde una posición única.

“Los fundadores suelen ser expertos en tecnología, en desarrollo de productos o en ventas. Dario es uno de los pocos directores ejecutivos que he conocido que domina las tres áreas”, explicó al citado medio económico Divesh Makan, fundador de Iconiq Capital, que lideró una de las últimas rondas de financiación de Anthropic, hoy valorada en 2 billones de dólares (aproximadamente 1,75 billones de euros).

El científico CEO

El de Anthropic es, junto a Demis Hassabis (responsable de Google DeepMind), el único CEO de las grandes tecnológicas que ha trabajado como científico e investigador en la concepción de la IA actual. Una trayectoria muy diferente a la de Altman, especialista en la negociación de tratos con inversores y capital riesgo, o Elon Musk, cuyo perfil hace mucho que pasó a la dirección. Amodei, en cambio, llegó a la cima de una de las empresas más valiosas de la nueva industria de la IA después de pasar años haciendo investigación científica y dirigiendo algunos de los laboratorios que han marcado su desarrollo.

Licenciado en física y doctorado en biofísica, su primer trabajo en el sector fue en Baidu, el principal buscador de China, en 2015, donde participó en el desarrollo de Deep Speech 2, uno de los primeros sistemas de reconocimiento de voz entre el inglés y el mandarín. Después saltó a Google Brain (el laboratorio de IA avanzada de la multinacional que posteriormente se fusionó con DeepMind para crear Google DeepMind) y más tarde, a OpenAI, a la que llegó avalado por aquel primer estudio sobre la seguridad del aprendizaje automático.

“Dario fue uno de los autores principales de Deep Speech 2, un sistema de voz que logró un rendimiento casi humano en muchas tareas de habla. También es coautor de Problemas concretos en la seguridad de la IA, que pone de relieve cuestiones relacionadas con los accidentes en los sistemas de aprendizaje automático”, le presentó entonces OpenAI. Llegaría muy alto en la compañía.

Mientras seguía publicando estudios científicos sobre la seguridad de la IA, llegó a ser vicepresidente de investigación y codirigió el desarrollo de GPT-2 y GPT-3, los grandes modelos de lenguaje de OpenAI que más tarde se convertirían en el motor de ChatGPT. Pero entonces decidió que su vocación por la seguridad era incompatible con la organización dirigida por Altman. “Dario siempre ha compartido nuestro objetivo de una IA responsable. Él y un grupo de colegas de OpenAI están planeando un nuevo proyecto que, según nos comentan, probablemente se centrará menos en el desarrollo de productos y más en la investigación”, comunicó entonces Altman.  

“Esperamos mantener una relación de colaboración con ellos durante muchos años”, continuaba. No serían muchos años, ya que el proyecto de Amodei tomaría forma en Anthropic, la empresa que ha arrebatado el liderazgo a OpenAI.

Un laboratorio por la seguridad convertido en cuna de polémicas

En 2021, Dario funda Anthropic junto a una persona clave para entender el desarrollo de la empresa: su hermana Daniela Amodei. Mientras que Dario se encarga de la investigación científica y la dirección estratégica de la compañía, Daniela se encarga de convertir su laboratorio en una organización empresarial. Y lo ha hecho con un enorme éxito, puesto que una de las claves del auge de Anthropic son sus cuentas. Mientras OpenAI sigue dilapidando miles de millones cada ejercicio, la compañía de los Amodei ha conseguido beneficios en los dos últimos trimestres.

El leitmotiv que los hermanos crearon para su empresa es la seguridad en el desarrollo de la IA. “Realmente queríamos la oportunidad de reunir a ese grupo para hacer esta apuesta de investigación enfocada en construir sistemas de IA dirigibles, interpretables y confiables, con los humanos en el centro de ellos”, expresaba Daniela en una entrevista en 2022.

Es una trayectoria que ayuda a entender por qué Amodei se ha convertido en una de las voces con mayor autoridad dentro del sector para advertir sobre estos riesgos de la IA, , y por qué Altman, Musk o Hassabis llegaron a conceder que “Dario tiene razón” cuando el CEO de Anthropic presentó su plan para “ralentizar” la IA.

Sin embargo, la realidad se ha empeñado en poner a prueba ese discurso. La empresa del “evangelista de la seguridad” es una de las que más escándalos acumula en los dos últimos años. A finales de 2025, Anthropic reconoció que su IA Claude fue utilizada por un grupo chino para intentar infiltrarse en unos 30 objetivos de todo el mundo. Recientemente, ha afirmado que ha detectado que otros actores vinculados a Irán y otros países desarrollaron herramientas de vigilancia, armas y otras operaciones digitales gracias a sus herramientas.

En Anthropic comprenden lo que está en juego, pero están atrapados en una carrera por llegar primero: creen que nadie más actuará de manera responsable, por lo que deben hacerlo ellos mismos, a pesar del riesgo

Jacob Coxon — Ex ingeniero de Anthropic y OpenAI

El pasado julio, Anthropic dio a conocer que sus agentes de IA en pruebas habían escapado de un entorno controlado y circulado sin control por Internet antes de que pudieran ser desconectados. Y este viernes, un equipo de investigadores de ciberseguridad ha hecho público que se valió de Claude para explotar una brecha de seguridad en OpenAI, lo que les condujo hasta algunos de sus algoritmos secretos.

El ingeniero Jacob Coxon, el responsable de la gran polémica de los últimos días acerca del peligro existencial de la IA, ha denunciado que no hay grandes diferencias entre Anthropic y OpenAI. “En Anthropic comprenden lo que está en juego, pero están atrapados en una carrera por llegar primero: creen que nadie más actuará de manera responsable, por lo que deben hacerlo ellos mismos, a pesar del riesgo”, ha explicado: “Ninguna de las dos compañías está actuando de manera responsable. Están corriendo directamente hacia una superinteligencia capaz de mejorarse a sí misma y apostando nuestras vidas en esa carrera”.

Dario Amodei ha defendido la necesidad de regular la IA e intentado evitar que sus herramientas se usen para programar armas autónomas o la vigilancia masiva. Mantuvo esa postura incluso ante los embates de Donald Trump, que le tachó de “loco izquierdista”, e intentó coaccionar a su empresa prohibiéndola tener relaciones con la administración. Durante una década, Amodei ha documentado cómo puede salir mal la IA. Ahora su empresa está en el centro de algunos de los episodios que ponen esos riesgos a prueba.

Un equipo independiente de especialistas de ciberseguridad ha logrado acceder a los sistemas internos de OpenAI utilizando Claude, el modelo de inteligencia artificial desarrollado por su competidora directa, Anthropic. Los investigadores consiguieron hackear la cuenta corporativa de ChatGPT de un empleado de la compañía, lo que les permitió visualizar archivos internos e incluso proponer modificaciones en su repositorio de algoritmos secretos.

El ataque fue ejecutado como parte del programa oficial de recompensas de OpenAI, una práctica común en las tecnológicas que anima a los expertos en ciberseguridad a encontrar los agujeros en sus sistemas antes de que lo hagan los hackers. Por ello, los investigadores no llegaron a alterar el código de ChatGPT ni a realizar otro tipo de modificaciones, pero han ofrecido a OpenAI las pruebas de cómo podrían haberlo hecho. Esta les ha recompensado con 6.500 dólares.

La acción se produjo en julio, pero el equipo de expertos ha desvelado ahora los detalles en exclusiva a The Wall Street Journal (WSJ). Se trata del mismo medio que adelantó la dimisión de Jacob Coxon, el ingeniero de Anthropic que alertó que ni esta empresa ni OpenAI cuentan con los protocolos de seguridad adecuados para impedir que la IA “pierda el control”, lo que podría suponer un peligro existencial para la humanidad antes de 2030.

Ahora, en medio del debate sobre la seguridad de la inteligencia artificial, el equipo de investigadores, pertenecientes a la firma Hacktron AI, pone más dudas sobre la mesa sobre las prácticas de los principales laboratorios que la desarrollan. No solo lograron penetrar en OpenAI, sino que pudieron usar Claude con un propósito malicioso que viola los términos de la compañía. “Agradecemos a los investigadores que se pusieran en contacto con nosotros y compartieran sus hallazgos”, ha comunicado OpenAI. Anthropic, por su parte, no ha hecho comentarios sobre el incidente.

A través del foro

Según los datos publicados, el ataque comenzó el 23 de julio, cuando los investigadores detectaron un fallo en Discourse, la plataforma externa que aloja el foro de la comunidad de OpenAI, cuando esta debía procesar determinados archivos de imagen. El equipo intentó utilizar primero una versión especializada de Claude Opus 4.8 para que escribiera el código necesario para explotar la brecha, sin éxito. Esa misma noche, tras el lanzamiento de Opus 5 por parte de Anthropic, volvieron a intentarlo empleando este modelo. No puso resistencia.

Con la ayuda de Opus 5, los especialistas accedieron a las credenciales de identificación de varios usuarios registrados en ese foro interno de OpenAI. Luego probaron esas mismas credenciales para iniciar sesión a ChatGPT, lo que les abrió la puerta a sus sistemas internos. A través de esa vía, alcanzaron “Monorepo”, el repositorio central donde la empresa dirigida por Sam Altman guarda algunos de los ingredientes secretos de su tecnología, como los algoritmos que hacen que sus modelos de IA funcionen de manera más rápida y eficiente.

No llegaron hasta la propia cocina de ChatGPT, puesto que ese entorno no contenía los archivos de sus parámetros internos (aquellos que determinan cómo procesa la información y genera sus respuestas) pero sí revisar documentación oficial de la compañía y su funcionamiento. Como prueba de su intrusión, enviaron una solicitud de cambio en el código de esos archivos con el nombre de su equipo. “Hemos limitado los permisos de los tokens de inicio de sesión de la comunidad y revocado los tokens y sesiones afectados”, ha dicho OpenAI sobre la intrusión.

Un incidente más

“No creo que seamos tan fuertes como los actores de amenazas chinos. Solo somos tres tipos con suscripciones a Claude y Codex”, ha afirmado Mohan Pedhapati, director de tecnología de Hacktron AI, al WSJ. La cita de los hackers chinos es una referencia a otro incidente sufrido por Anthropic, que ha reconocido que un ataque real proveniente del gigante asiático logró acceder a sus sistemas a finales de 2025. Dario Amodei, fundador y director ejecutivo de la compañía, fue llamado a declarar en diciembre.

Esa investigación continúa activa. En agosto, un grupo de 22 senadores demócratas envió un nuevo requerimiento a Amodei para profundizar en sus explicaciones y exigir la entrega de los registros de actividad de sus modelos. La petición se produjo después de que Anthropic reconociera que un grupo de sus agentes de IA también había escapado de sus entornos de pruebas y navegado sin control por internet intentando cumplir las órdenes que se les habían encomendado, en línea con el incidente de OpenAI y Hugging Face. Los especialistas consultados por este medio opinan que esto es una prueba de que esos entornos de seguridad “no estaban bien diseñados”.

Lo ocurrido con el hackeo supuestamente procedente de China en su competencia parece que no alteró los protocolos de OpenAI, que no decidió aumentar la seguridad hasta este julio. Así lo ha reconocido el presidente y cofundador de la empresa, Greg Brockman, que afirma que fue después del incidente de Hugging Face y el revelado ahora por los investigadores cuando decidieron actuar: “Tomamos al 25% de nuestros ingenieros de producción y les dijimos: 'Lo sentimos, todos vuestros proyectos quedan en pausa. Ahora estáis defendiendo'. Encontramos una serie de problemas graves y los solucionamos”.

El suceso incide sobre la responsabilidad de las compañías a la hora de controlar el uso que se hace de los productos que ponen en el mercado, como están pidiendo responsables públicos tanto estadounidenses como europeos. “El control está en el elemento humano. La supervisión es humana y la responsabilidad tiene que ser humana también”, recordaba este jueves Alberto Gago, director de la Agencia Española de Supervisión de la IA (AESIA), en otro reportaje de elDiario.es.

Anthropic, el gigante tecnológico de la IA cuyo fundador y líder, Dario Amodei ha abrierto esta semana la caja de pandora al reclamar que se “frene” su desarrollo, ha anunciado la apertura de su primera oficina en España, ubicada en Madrid, que se convertirá en su séptima sede en Europa tras las de Londres, Dublín, París, Zúrich, Múnich y Milán.

La compañía estadounidense, creadora de los modelos Claude, ha tomado esta decisión “en un contexto de fuerte demanda” local y un rápido crecimiento en la adopción de la tecnología en España. En concreto, la empresa destaca que España presenta una tasa de adopción de Claude 2,7 veces superior a la esperada en función del tamaño de su población, de acuerdo con el 'Índice Económico de Anthropic'.

Para liderar esta nueva delegación, la firma ha nombrado como responsable para España a Cristina Pitarch, directiva con más de 15 años de trayectoria profesional en compañías tecnológicas como Google, Salesforce e Informática. En su último puesto, Pitarch ejerció como directora general para EMEA en Google Cloud Security.

“España es sede de algunas de las empresas más grandes de Europa y de las 'startups' más innovadoras; ya hay equipos que están utilizando Claude en proyectos de gran envergadura en los sectores bancario, aeroespacial, de infraestructuras o de viajes”, ha destacado Pitarch.

La directiva ha añadido que el país cuenta con las condiciones necesarias para “liderar la seguridad en materia de IA, no sólo en el sur de Europa, sino también como referente para todo el mundo hispanohablante”.

La compañía ha subrayado que sus soluciones de IA cuentan ya con la confianza de grandes empresas españolas, entre las que figuran entidades financieras como Santander, CaixaBank y BBVA; la operadora Telefónica; el grupo de atención al cliente Konecta; la firma de tecnología para viajes Amadeus; el grupo de infraestructuras Ferrovial y la compañía tecnológica y de defensa Indra.

En el caso de Telefónica, la operadora utiliza Claude y Claude Code para acelerar el desarrollo de software y reforzar la ciberseguridad, detectando vulnerabilidades de forma temprana.

Por su parte, Ferrovial emplea la herramienta para facilitar el diseño de proyectos complejos de ingeniería civil y automatizar tareas, mientras que Amadeus colabora con Anthropic para hacer más accesible la información sobre viajes en entornos de desarrollo basados en IA.

Con motivo de este lanzamiento, la compañía ha alcanzado además un acuerdo de colaboración con la escuela de negocios ISDI Business School para respaldar la iniciativa 'Embajadores', orientada a apoyar a desarrolladores y fundadores locales mediante la organización de encuentros y eventos sobre el ecosistema de Claude. Madrid cuenta actualmente con ocho embajadores de esta comunidad.

Quería empezar celebrando que no todo está perdido y que sigue habiendo motivos de esperanza en esta humanidad tras la contención de la ultraderecha en Suecia. Pero otro freno se ha cruzado por el camino, el de la inteligencia artificial. O, mejor dicho, el debate sobre qué hay que hacer con ella.

El debate y las preguntas (algunas existenciales) sobre si hay que frenar ciertos desarrollos o no, sobre los peligros que entraña (o no) para nuestras vidas, sobre cómo tiene que regularse y quién tiene que hacerlo, sobre si las advertencias son interesadas… y un largo etcétera. 

Temo no ser muy original y, aunque no me llevo mal con ella y hablo de vez en cuando con Claude, ChatGPT y Gemini, me ha parecido más prudente no preguntarle. Os aconsejo leer las informaciones y los análisis que hemos ido contando en la última semana en elDiario.es, empezando por los de nuestro especialista de la casa, Carlos del Castillo, que este miércoles ha presentado su nuevo libro, Inteligencia artificial: cartografía de una revolución’ (Editorial Planeta, 2026) a los socios y socias de elDiario.es. O el podcast del día anterior, en el que Juanlu conversa con el periodista sobre el tema del momento.

En esta información, contamos por qué el resto del mundo desconfía del plan de Silicon Valley y de Dario Amodei, el CEO de Anthropic, cuyo ensayo abrió la caja de pandora. La ex secretaria de Estado de Digitalización e Inteligencia Artificial, Carme Artigas, advierte que el sector conocía desde hace años sus propios riesgos, pero que llevaba ese mismo tiempo evitando su supervisión. En este artículo explica por qué ahora.

El experto Esteve Almirall se pregunta quién gana cuando los dueños de la IA piden que los regulen. Considera que es posible regular la inteligencia artificial, pero que el reto es proteger a la sociedad sin convertir la seguridad en el privilegio comercial de unas pocas empresas. 

Me tranquiliza que un experto como Cristian Canton, que hoy es el director asociado del Barcelona Supercomputing Center - Centro Nacional de Supercomputación (BSC), y que fue jefe de un departamento de IA en Meta (Instagram, WhatsApp, Facebook), diga que la inteligencia artificial “no nos va a matar a todos”. Me quedo con este destacado: “La IA no piensa. Cuando le das una instrucción, utiliza todo su repertorio de herramientas para alcanzar el objetivo. Si eso implica acceder de forma ilícita a un servidor, lo hará. Por eso es indispensable delimitar con claridad cómo debe ejecutar la tarea y bajo qué límites. Tenemos que guiarla”.

El debate, seguramente, no esté en frenar o contener, como si fuera un reactor nuclear, sino en gobernar cómo se despliega.

Pero no todo acaba con la IA (nunca mejor dicho). Te animo a que sigas leyendo este boletín y espero que el resto de informaciones y reflexiones te sean útiles o te parezcan interesantes.

El dato

24

Son los kilos de comida al año que cada persona tira a la basura en España. Según el Informe de desperdicio alimentario de 2025, del Ministerio de Agricultura, Pesca y Alimentación, el año pasado se tiraron más de 1.129 millones de kilos o litros. Es el equivalente a 24,03 kg (o litros) por persona y año, según los datos desglosados por Agricultura, que indican cambios a lo largo de los últimos ejercicios. La mayor parte se lleva a cabo en los hogares, donde crece el desperdicio de platos preparados, probablemente, por el aumento de sus ventas en los supermercados. “Es un problema económico y moral. Estamos bajando el desperdicio, pero sigue siendo una tasa alta”, apunta el ministro, Luis Planas. 

El gráfico

Bomberos, médicos, maestros, policías… jueces. La actualidad en unos casos (incendios, danas, politización de la justicia) y el descontento de muchos colectivos, en otros (en la sanidad o en la enseñanza), nos ha hecho preguntarnos ¿cuánto cobran los empleados públicos en España? Dar una cifra exacta es complicado. Depende de la administración para la que trabajen —algunos dependen de los ministerios, otros de las comunidades autónomas y también de las corporaciones locales, que establecen sus propios rangos salariales—, de la profesión, sus funciones y responsabilidad, los complementos que reciben, dónde están destinados, si realizan guardias o turnos especiales, su antigüedad… El gráfico es solo un botón de muestra, en esta completísima información, hacemos una radiografía salarial de los más de 3,6 millones de empleados públicos, de los que menos a los que más cobran.

Tipos (y tipas) de interés

Lawrence Wong, primer ministro de Singapur. Se mantiene. Esta vez, más que evaluar al protagonista, lo utilizo como tema de debate (o provocación). El Gobierno de Singapur ha anunciado hace unos días una subida del 9% de los salarios de los altos cargos ministeriales: el sueldo anual del primer ministro, Lawrence Wong, aumentará en más de un millón de dólares, hasta los 2,8 millones (unos 2,45 millones de euros). Son los sueldos de políticos más altos del mundo. Donald Trump cobra 400.000 dólares por el cargo y Pedro Sánchez, 96.000 euros. Responde a la estrategia a largo plazo para atraer talento y reducir la corrupción, diseñada en las primeras décadas tras la independencia del país. 

La ciudad-Estado (que es casi una dictadura disfrazada de democracia) argumenta que los bajos salarios hacían que los mejores candidatos rara vez se dedicaran a la política y que, cuando lo hacían, se veían expuestos a la tentación. El sistema aplica un modelo de incentivos y sanciones y funciona bajo una lógica corporativa, con objetivos. La remuneración de los políticos se vincula a los 1.000 ciudadanos con mayores ingresos del país, y una parte sustancial de la remuneración (alrededor del 35%) es un variable vinculado a cuatro métricas que cada una de ellas pesa un 25%: el crecimiento del PIB real, la contención del desempleo y el aumento del ingreso real tanto de la clase media como del 20% de la población con menores recursos. Si a la población singapurense no le va bien económicamente o se destruye empleo, el sueldo final del primer ministro y su gabinete se reduce automáticamente y el variable es cero. 

Las cifras macroeconómicas parecen avalar el éxito del modelo en cuanto al cumplimiento de los parámetros exactos por los que se evalúa la nómina de sus gobernantes: registra una renta per cápita nominal cercana a los 90.000 dólares (que roza los 140.000 dólares ajustada al poder de compra, duplicando con holgura la media de la OCDE), un crecimiento del PIB real del 4,6% en el primer trimestre y una tasa de desempleo anclada en el 2,0%. No obstante, economistas e historiadores recuerdan que este rendimiento extraordinario no responde únicamente al sistema de objetivos, sino también a factores estructurales diferenciales como su condición de hub fiscal y logístico global, su reducido tamaño geográfico y un marco regulatorio altamente flexible e inmune –claro– a las fricciones partidistas.

Si esta estrategia reduce la corrupción es también objeto de un debate abierto: Singapur ocupa el tercer puesto por la cola entre 182 países en un índice, pero Hong Kong, con salarios mucho más bajos, también obtiene buenos resultados. 

No todo nos parece mal

No sé qué relación tienes tú con Amazon. Imagino que de amor-odio, como casi todos. Nos hemos acostumbrado a comprar casi todo por Internet. Muchas cosas que apenas encuentras en cualquier otro lado (y que a veces ni necesitas). Nos facilita la vida y nos la perjudica al mismo tiempo, especialmente por la movilidad, por la contaminación… y por el efecto sobre el comercio tradicional y cómo su transformación (que muchas veces termina en cierre) configura un nuevo paisaje urbano, sobre todo en las ciudades. El año pasado Amazon registró el mayor volumen de entregas rápidas de su historia, con más de 190 millones de envíos completados el mismo día o un día después en España. Casi nada. El repartidor con el paquete de Amazon (que no es de Amazon) ya forma parte de nuestra cotidianidad y, sin embargo, no hace tanto. 

Justo esta semana, el gigante que construyó Jeff Bezos, uno de los hoy todopoderosos oligarcas tecnológicos, ha cumplido 15 años en España. Cuenta la compañía que el punto de partida aquí fue el pedido de un ejemplar del Código Penal y que, en estos tres lustros, ha acumulado una inversión de 25.000 millones de euros, ha alcanzado una plantilla que ronda las 30.000 personas y más de 17.000 pymes venden en su plataforma. La multinacional estadounidense que comenzó vendiendo libros es hoy una de las grandes empresas tecnológicas mundiales, no exenta –tampoco en este caso– de polémica. Las multimillonarias inversiones en centros de datos, especialmente en Aragón, no convencen a todos por igual por el elevado consumo de recursos energéticos.

Nos gusta la competencia

Estas informaciones de otros medios me han parecido interesantes:

Y con esto lo dejo por hoy. Muchas gracias por estar ahí y hasta la próxima semana. 

¡Un abrazo!

Hay mucho en juego. Miles de millones de dólares, una carrera geopolítica e incluso las mayorías políticas en las dos cámaras de representantes de EEUU. En el debate sobre “ralentizar” el desarrollo de la IA, lo que está encima de la mesa va mucho más allá de la regulación de esta tecnología o los métodos de los laboratorios. Tanto como para fracturar los consensos en Silicon Valley y que Donald Trump se lance con todo para intentar recuperar la iniciativa de un debate que comenzaba a escapársele, aun a costa de abrir un cisma con la industria digital que ha sido su baluarte desde 2024.

El presidente de EEUU defiende que no es necesaria ninguna regulación. “¿Cuándo, en la historia empresarial, se ha visto que los líderes de un sector pidieran una regulación que, de aplicarse con firmeza, los llevaría al olvido y a la quiebra?”, ha cuestionado Trump sobre el plan de Dario Amodei, CEO de Anthropic, con medidas para evitar que la IA “pierda el control”. Una posibilidad que el presidente tacha de “bulo” y de “conspiración enfermiza”: “Esto es aún más descabellado que la farsa de 'Rusia, Rusia, Rusia' o el timo del calentamiento global”.

Pero esta vez Trump no puede limitarse solo a mandar sus clásicas ideas fuerza que tanto éxito le han dado en el pasado. Necesita convencer. En EEUU crece un importante movimiento de protesta por la expansión de los centros de datos masivos para la inteligencia artificial, que está ganando tracción entre demócratas y republicanos. La subida de los precios de la energía es su principal motor, pero su consumo de agua, las ventajas fiscales y los pocos empleos que generan también están acelerando la brecha.

Texas es uno de los mejores ejemplos del potencial de la protesta. Allí, tanto el gobernador republicano como su candidato al Senado se han sumado al movimiento, en el que también hay ecologistas, críticos con las grandes tecnológicas, propietarios rurales, además de los vecinos preocupados por las facturas. En otros estados, como Pennsylvania o Michigan, gobernadores que hace unos meses defendían los centros de datos ahora han dado un giro de 180 grados. Un sentimiento que contagia también a la regulación general de la IA y a la relación de Trump con los magnates de Silicon Valley.

Algo que a menos de tres meses de las elecciones de mitad de mandato que podrían cambiar las mayorías en el Senado y el Congreso, puede poner en riesgo el futuro político de Trump.

“Oh, hola señor presidente”

En los últimos días, Trump ha comenzado una campaña para que su mensaje llegue más lejos. El principal ejemplo ha sido una oportuna llamada que el presidente realizó a Jensen Huang, CEO de Nvidia, justo cuando este se encontraba en un acto contra la regulación de la IA. En él también participaban figuras como David Sacks, asesor de Trump encargado de ser “el zar de la IA y las criptomonedas”, la figura más radical en su oposición a las leyes para esta tecnología.

Aunque Huang escenifica que la llamada no estaba preparada, activa al altavoz y cede el escenario a Trump para que explique su oposición al plan de Amodei durante unos cinco minutos. “El país más feliz con todo esto es China”, afirma el presidente, que sostiene que cualquier medida de control de la IA haría que el gigante asiático sobrepasara a EEUU.

Huang es una figura clave en esa postura. Es el magnate de la IA que defiende que EEUU no solo no debería regular, sino que tendría que acelerar. “Correr tan rápido como podamos” fue la receta que expresó en el mismo escenario. Una postura que le ha llevado a tener enfrentamientos públicos con Amodei, el líder intelectual del bando contrario. “Si creas un producto o un servicio y no confías en su funcionalidad, capacidad o seguridad, entonces no lo lances al mercado”, ha afeado: “La seguridad es un problema de ingeniería, no vamos a morir en 2030”.

Si creas un producto o un servicio y no confías en su funcionalidad, capacidad o seguridad, entonces no lo lances al mercado

Jensen Huang — CEO de Nvidia

Huang, de 63 años y origen taiwanés, es uno de los perfiles más particulares en la industria de la IA. Tras fundar Nvidia hace 33 años, se conformó con que esta fuera una empresa de nicho en el sector de los videojuegos. Cuando los chips que llevaba décadas fabricando para la visualización de gráficos se convirtieron en los más útiles para el entrenamiento de la IA, Nvidia se convirtió en la empresa más valiosa del mundo, pulverizando récords de beneficios trimestre a trimestre. Está en el centro de la vorágine constructora de centros de datos y Huang defiende que no hay ninguna “burbuja” en torno a ellos ni a la IA: “Las fuerzas del mercado ya están ahí; no necesitamos nuevas leyes, no necesitamos nuevas regulaciones”.

Es un importante aliado en la campaña contra la regulación de Trump, pero no es el único. En ella también se ha enrolado uno de los principales aliados del presidente entre los emperadores de Silicon Valley: Mark Zuckerberg. El CEO de Meta ha rechazado la necesidad de una regulación, indicando que son las propias empresas las interesadas en que la IA no cause consecuencias graves. “Los laboratorios se enfrentan a una responsabilidad significativa si sus modelos causan daño, por lo que también tienen un fuerte incentivo para evitarlo”, ha escrito en X el último de los magnates que faltaba por posicionarse. Recientemente, su empresa acordó abonar hasta 18.000 millones en un pacto extrajudicial para cerrar una demanda que la acusaba de diseñar sus plataformas de manera adictiva, causando daños a los menores de edad con el conocimiento de su dirección.

La extraña alianza

Al otro lado del bando comandado por Trump y Huang se sitúa la extraña alianza entre Dario Amodei, Sam Altman y Elon Musk. Tres fundadores y directores ejecutivos que han estado enfrentados en el pasado (Altman y Musk han llegado a los tribunales) pero que han formado ahora un grupo unido en su petición de una regulación que “ralentice” el desarrollo de la IA basándose en el plan de Amodei.

En Silicon Valley abundan los congresos y eventos en los que los CEO pueden expresarse, por lo que las respuestas de este grupo a Trump y Huang no se han hecho esperar. “Es muy tentador atacar a la competencia y decir que no somos seguros. Pero creo que la forma más responsable de responder a eso es decir: 'Analicemos nuestro propio historial. Puede que no hayamos tenido ningún incidente grave y de gran repercusión, pero estoy seguro de que no somos perfectos'”, respondió Amodei este martes en una de esas conferencias.

“Creo que así es como se lidera el sector: dando ejemplo, diciendo que todos podemos mejorar siempre”, añadió en el evento, organizado esta vez por la compañía de software Salesforce en San Francisco.

Puede que no hayamos tenido ningún incidente grave y de gran repercusión, pero estoy seguro de que no somos perfectos

Dario Amodei — CEO de Anthropic

A la misma conferencia estaba citado Sam Altman. Dirige OpenAI, la compañía que se ha visto sobrepasada por Anthropic en el liderazgo de la IA, pero apoya a Amodei en su petición de regulación. El ejecutivo intentó explicar por qué la petición de regulación ha unido a diferentes actores de la industria. “No puede ser que un número pequeño de empresas que construyen estos modelos tomen las decisiones que todo el mundo debería tomar”, afirmó, opinando que debe haber unas reglas comunes a las que estas empresas se adhieran.

“No estoy de acuerdo con que la tecnología no sea ni buena ni mala... las decisiones que toman las empresas que construyen esto tienen consecuencias reales”, añadió Altman. Por último, el líder de OpenAI pidió a la ciudadanía que confíe en los laboratorios de IA, los mismos a los que la ONU pide más transparencia en su desarrollo. “El mundo debe confiar en que vamos a hacer lo correcto porque es lo correcto y porque somos conscientes de la magnitud de todo esto”.

No estoy de acuerdo con que la tecnología no sea ni buena ni mala... las decisiones que toman las empresas que construyen esto tienen consecuencias reales

Sam Altman — CEO de OpenAI

El último en pasar por el escenario fue Elon Musk. “Hay empresas que dicen cosas como: 'Solo ralentizaremos el desarrollo o solo actuaremos de forma responsable si las demás empresas también lo hacen de forma responsable'”, criticó. El magnate es una de las voces que ha pedido moratorias para el desarrollo de la IA desde que salió a la luz el primer ChatGPT en 2022. Muchos expertos denuncian que su intención es realmente establecer una “barrera de entrada” para otros competidores.

En esta ocasión, también fue de los primeros en apoyar el plan de Amodei, que incluye medidas como verificadores independientes que se incrustarían en los laboratorios para vigilar sus avances. “En vez de que cada uno se ponga la nota a sí mismo, al menos tendrías a competidores evaluando tu trabajo y dando la voz de alarma si detectan algún problema”, dijo. La procedencia de esos evaluadores, que Musk da por hecho que vendrían de la propia industria, es uno de los puntos más criticados del plan, con voces que avisan que se trata de una estrategia de autorregulación.

La gente lo tiene claro

Mientras los magnates de Silicon Valley discuten cómo repartirse los exámenes de seguridad o si sus propios competidores deben evaluar sus modelos, el verdadero incendio se ha trasladado a Washington. Encuestas de la Universidad de Maryland revelan que cerca del 80% de los votantes, tanto demócratas como republicanos, exige la creación de una agencia federal que supervise y controle esta tecnología, mientras que un porcentaje similar cree que el Gobierno debería establecer exámenes de seguridad para los modelos que tomen decisiones críticas. Datos clave para los congresistas y senadores que se juegan su escaño en menos de tres meses y que se suma al movimiento de protesta por los centros de datos.

Todos se juegan mucho. La fractura en Silicon Valley podría provocar que el intento de autorregulación que algunos de sus magnates están intentando conseguir, se pierda por falta de consenso. Mientras, el cisma abierto por Trump con su negativa total a una regulación amenaza con distanciarle con algunos de sus principales apoyos en el sector que ha sido su baluarte en su segundo mandato. Una pugna que se resolverá en las urnas, no en los pasillos de San Francisco.

El futuro de la humanidad depende de frenar el desarrollo de la inteligencia artificial. Eso dicen algunos extrabajadores de Anthropic o Google DeepMind, entre otros. También la ONU. La responsabilidad, por tanto, recae en las dos grandes potencias: Estados Unidos y China. China ya ha pedido una “barrera de seguridad” para la IA. Pero Donald Trump... Esta es la valoración que hace Jimmy Fallon del presidente de su país.

“Hoy, el presidente Trump desestimó las preocupaciones sobre la IA, publicando en Truth Social, comillas: 'El único control o 'barrera de seguridad' que la IA necesita un presidente fuerte e inteligente (¡con un alto cociente intelectual!)'. Bueno, ya me siento más tranquilo”.

Trump no está por la labor de las iniciativas para reforzar los controles y las regulaciones del sector. Lo tacha de “conspiración enfermiza”. “¡QUIEN GANE LA CARRERA DE LA IA, GANARÁ! Llevamos ventaja sobre China y sobre todos los demás, y seguiremos haciéndolo. ¡Teóricos de la conspiración, conspiradores, traidores y filtradores: cuidado!”. Las frases son del presidente de Estados Unidos. Las mayúsculas, también: así lo escribió en su red social.

El cómico y presentador de The Tonight Show puso en en duda la voluntad y capacidad del inquilino de la Casa Blanca para hacer frente a la situación. “Trump dijo algo como: 'Me gustaría ver a ChatGPT identificar una cebra en la prueba cognitiva'. O sea, no lo creo, amigo. Dependemos de Trump para vencer a la IA y ni siquiera creo que Trump pueda ganarle al Wordle [el juego online que consiste en adivinar una palabra diaria]”.

Pero no se quedó ahí. También bromeó con la afición del presidente por tratar de renombrar componentes conocidos del espacio geográfico, como pasar del Lago Ontario al Lago América, el Golfo de México por el Golfo de América o el estado de Nuevo México por... sí, Nueva América. Esto dijo Fallon: “Trump se está encargando de esto [la gestión del desarrollo de la IA], lo que significa que le va a cambiar el nombre de inteligencia artificial a inteligencia americana”. “Tengan en cuenta que hasta hace una semana, Trump pensaba que 'IA' significaba 'American Idol'. Así que ya hablé con Ryan Seacrest [el presentador de American Idol] y estamos perfectamente a salvo”, agregó.

Y terminó: “Trump dijo que las preocupaciones sobre la IA han sido exageradas por fuerzas muy negativas, y luego anunció planes para combatir a esas fuerzas con una nueva rama militar llamada la 'fuerza contra la fuerza muy negativa'. Pero escuchen esto: Elon Musk, Sam Altman y el CEO de Anthropic dijeron que quieren frenar el desarrollo imprudente de la IA. Elon dijo algo como: 'Como pueden ver por mis pruebas, esos frenos no son mi fuerte, pero se intenta'”.

Jacob Coxon no es un profeta religioso, ni el líder de ninguna secta. Es un investigador hasta hace poco en Anthropic, una de las grandes empresas de Inteligencia Artificial del momento, que la semana pasada dejaba su trabajo lanzando una alerta mundial al pronosticar que el nivel de autonomía que está alcanzando la IA puede acabar con la humanidad en menos de cinco años. Los dueños de los cuatro principales gigantes del sector, (Sam Altman, de Open AI; Dario Amodei, de Anthropic; Demis Hassabis, de Google DeepMind, y hasta Elon Musk de SpaceX), lejos de desmentirle, salieron a decir que Coxon llevaba razón, que hay que frenar el desarrollo de la IA y poner reglas comunes. 

Con Carlos del Castillo, periodista de elDiario.es especializado en tecnología y autor del libro ‘Inteligencia Artificial. Cartografía de una revolución’, desciframos las claves que hay detrás de estas advertencia apocalíptica y por qué quienes siempre han odiado las reglas apuestan ahora por desacelerar esta carrera y poner límites.

***

Envíanos una nota de voz por WhatsApp contándonos alguna historia que conozcas o algún sonido que tengas cerca y que te llame la atención. Lo importante es que sea algo que tenga que ver contigo. Guárdanos en la agenda como “Un tema Al día”. El número es el 699 518 743

***

Un tema Al día es el podcast diario de actualidad de elDiario.es que, en episodios de unos 15 minutos, explica cada día un asunto de actualidad. Está presentado y dirigido por Juanlu Sánchez, subdirector de elDiario.es.

Premio Ondas al podcast Revelación, Un tema Al día es el daily líder en Spotify, Apple Podcast, iVoox, Amazon Music o Podimo, según los datos públicos de las plataformas, donde acumula más de 200.000 suscriptores. Ha sido reconocido como “podcast revelación” por Amazon y recomendado como “imprescindible” por Apple.

¿Cómo escuchar 'Un tema Al día'?

▶ Si eres socio/a, puedes escuchar los nuevos capítulos del podcast cada noche en elDiario.es con unas horas de antelación respecto al resto de lectores. Recibirás el enlace en tu correo electrónico en el boletín del Adelanto de noticias.

▶ Si no eres socio/a, el episodio está disponible a primera hora de la mañana en cualquier aplicación que uses habitualmente.

▶ Acuérdate de suscribirte al podcast 'Un tema al día' en tu app para que te lleguen automáticamente los nuevos capítulos. Es gratis.

▶ Tendrás disponibles también todas las entregas de 'Un tema Al día' en elDiario.es/aldia

Si el debate sobre la posibilidad de que la humanidad quedara amenazada por inteligencias artificiales iba a estallar alguna vez, no había duda de que Dario Amodei sería una voz central en él. “Estoy de acuerdo con Dario”, ha dicho este fin de semana Sam Altman, CEO de OpenAI, su principal competencia. “Dario tiene razón”, ha publicado Elon Musk, fundador de SpaceX y xAI. “Dario apunta el camino correcto a seguir”, coincide Demis Hassabis, premio Nobel y jefe científico de Google DeepMind, el laboratorio de IA avanzada de la multinacional.

Esta tan poco común unión bajo una misma voz se produce después de que Amodei publicara un ensayo sobre cómo evitar que la IA se salga de control. “Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA”, pide el fundador y director de Anthropic, que ha conseguido ser una de las referencias en los debates sobre la seguridad de la IA tras una década alertando sobre ellos.

“Como muchas tecnologías anteriores, la IA también conlleva riesgos y, dado su enorme poder, estos son graves”, ha defendido en su ensayo: “Entre ellos están el riesgo de perder el control de los sistemas de IA, su uso para llevar a cabo ciberataques y ataques bioterroristas y una grave disrupción económica. Una carrera hacia el abismo, impulsada por los incentivos comerciales, puede agravar todos estos riesgos”.

¿Cuál es exactamente el plan que ha tenido tan buena acogida en Silicon Valley? En resumen, dosificar deliberadamente la velocidad a la que se mejoran las capacidades de la IA. Esto “ralentizaría” su avance “uno o dos años”, con el objetivo de dar más tiempo a los investigadores de seguridad para que se pongan al día con los últimos avances y puedan diseñar nuevos mecanismos para controlarla.

Las claves del 'plan Amodei' para la IA

La estrategia de ralentización de Amodei se articularía en tres niveles. La clave de su plan son los “evaluadores externos independientes”, figuras que se incrustarían en los equipos de desarrollo de los laboratorios de vanguardia “para verificar las prácticas de seguridad e informar sobre incidentes”.

“Integrar evaluadores puede parecer un paso pequeño o intrascendente”, reconoce Amodei, “pero a menudo lo que parece más aburrido o rutinario es en realidad lo más esencial. De hecho, los evaluadores integrados son una práctica bastante radical que va mucho más allá de lo que hace cualquier empresa de IA actualmente”, defiende.

Estas personas se encargarían de verificar si cada empresa de IA cumple con las salvaguardas que afirma tener, aportaría transparencia sobre los desarrollos reales o que ofrezcan “una segunda opinión sin incentivos comerciales”. “Muchos beneficios en materia de seguridad pueden derivarse simplemente de que los evaluadores señalen aspectos que los empleados no habían considerado, pero que están dispuestos a corregir una vez que los conocen”, asegura.

El método más eficaz para regular la IA es mediante una normativa que abarque a todas las empresas de IA de vanguardia de EEUU, ya que cubre incluso a aquellas que no están dispuestas a cooperar voluntariamente

Dario Amodei

Los evaluadores serían la llave para la segunda parte del plan: establecer límites de velocidad entre “naciones democráticas”. Aunque el jefe de Anthropic utiliza este concepto a nivel general para justificar el hecho de dejar fuera de la estrategia a China, aunque a nivel práctico en sus medidas para “las democracias” solo hace referencia a EEUU. “El método más eficaz para regular la IA es mediante una normativa que abarque a todas las empresas de IA de vanguardia de EEUU, ya que cubre incluso a aquellas que no están dispuestas a cooperar voluntariamente”, dice.

El plan deja abierto cómo establecer esos límites de velocidad, pero Amodei sugiere un sistema basado en “puntos de control”. “Si los modelos poseen la capacidad X, deben ir acompañados de certificaciones de las propiedades de alineación Y y Z —como una combinación de evaluaciones, análisis de interpretabilidad y auditorías de entornos de entrenamiento— que demuestren dichas propiedades”, detalla. 

Por último, el tercer nivel sería la búsqueda de acuerdos de coordinación global para que “la frontera de la inteligencia artificial” avance de manera unitaria. “Esto será mucho más difícil de lograr”, reconoce. En este punto Amodei sí pide llegar a acuerdos con China y el resto de “países autocráticos”, y hacerlo de una forma que impida que, aunque estos decidan salirse en algún momento del consenso internacional “no represente una amenaza existencial desde el punto de vista militar”.

Pero, de nuevo, Amodei es claro en cuanto a los objetivos: “Deberíamos abordar cualquier decisión sobre el avance global, especialmente a corto plazo, de manera que se proteja el liderazgo de Estados Unidos y sus aliados”.

Una estrategia que no convence a casi nadie

El consenso que el plan Amodei ha generado en Silicon Valley es directamente proporcional a la desconfianza, o directamente rechazo, que ha suscitado fuera. Incluso en Washington, la estrategia parece haber caído en saco roto, con Donald Trump negando por partida doble su colaboración.

La segunda gran reacción ha llegado por parte de China, el elefante en la habitación en el documento de Amodei. Chen Yixin, el ministro de Seguridad chino, ha publicado una carta en la que acusa a “ciertas naciones” de “limitar la capacidad de otros países de adquirir equipos técnicos de vanguardia y mejorar sus capacidades de innovación tecnológica”, relacionando directamente el plan de Amodei con el embargo de chips.

El plan está repleto de medidas de contención dirigidas a China y es, en esencia, un "manual de la Guerra Fría" para el sector

Global Times — diario vinculado directamente al Partido Comunista Chino

El Global Times, un diario vinculado directamente al Partido Comunista Chino, ha ido más allá. “A primera vista, parece una 'declaración racional' centrada en la seguridad global de la IA. Sin embargo, una lectura atenta revela su agenda oculta: el plan está repleto de medidas de contención dirigidas a China y es, en esencia, un 'manual de la Guerra Fría' para el sector”, denuncia.

“El intento de Amodei de abordar la seguridad global de la IA mientras busca ”contener a China“ no solo es una evaluación profundamente errónea, sino también una ilusión fundamentalmente imposible de realizar”, añade: “Interrumpir por la fuerza las cadenas industriales y de innovación globales de la IA y excluir a China y a las empresas chinas solo aumentará significativamente los costes y los riesgos de pérdida de control en el desarrollo global de la IA. Este intento de ”controlar el ritmo“ ya ha perdido todo sentido”.

Centrarse en los riesgos de ahora

El ensayo de Amodei se basa en un riesgo muy concreto: la posibilidad de que los agentes de IA pierdan el control. Se trata de sistemas diseñados para buscar información, utilizar otras herramientas digitales o crear otras aplicaciones sin necesidad de que una persona les indique qué deben hacer en cada caso. En pruebas de laboratorio, estos agentes se han llegado a comportar como “un enjambre fanático”, con “ciberataques contra objetivos que no se les habían pedido atacar y que no guardaban relación con la tarea en cuestión, sacrificándose por el éxito del grupo e intentando hackear el sistema de evaluación encargado de valorar su rendimiento”.

“Dado el ritmo acelerado de desarrollo de la IA, me preocupa que en 6 a 12 meses un enjambre de este tipo pueda controlar toda Internet”, dice Amodei, “y que la magnitud del daño siga aumentando si la IA se vuelve más poderosa sin las medidas de seguridad necesarias”.

A nadie se le ocurre lanzar un coche sin pasar un examen de seguridad, ni lanzar un medicamento sin un control de la agencia del medicamento. En la IA debe ocurrir lo mismo

Carme Artigas — ex secretaria de Estado de Digitalización e IA

Carme Artigas, ex secretaria de Estado de Digitalización e IA y copresidenta del Órgano Consultivo de la ONU sobre Inteligencia Artificial, critica que Silicon Valley se centre ahora en esos riesgos cuando “la preocupación real por el control tecnológico” no es nueva. Para Artigas, la alarma mediática de los ejecutivos no debe desplazar “el foco real que es el presente”, donde la tecnología ya impacta directamente a través de “la manipulación de la información, la manipulación mental, las adicciones y, sobre todo, la erosión de derechos fundamentales”.

Por otro lado, la experta rechaza en conversación con elDiario.es que sean los propios laboratorios quienes deban supervisar sus propios avances, advirtiendo de que “las auditorías no pueden ser de las empresas del sector como están intentando”. Critica que los laboratorios de IA estén intentando “crear su propio lobby” y les emplaza a “apoyar a los mecanismos independientes y multilaterales” que ya existen en Naciones Unidas. “A nadie se le ocurre lanzar un coche sin pasar un examen de seguridad, ni lanzar un medicamento sin un control de la agencia del medicamento. En la IA debe ocurrir lo mismo”.

El “aterrizaje suave” para la burbuja de la IA

Por último, Artigas cree que en la vorágine generada este fin de semana aflora “un poco de pánico escénico” ante el evidente “nivel de burbuja” al que han llegado las valoraciones de algunas empresas de IA. La experta, actual presidenta del Consejo Asesor Tecnológico del fondo Nazca Capital, señala que los gigantes de EEUU necesitan un “aterrizaje suave” para la burbuja y podrían estar utilizando esta “ralentización” forzada de su desarrollo como coartada. En este sentido, apunta directamente a OpenAI, una de las empresas sobre las que más se extiende esta sombra, que ha aplazado sus planes de salida a bolsa justo en medio del debate.

La decisión de crear algo que no podían controlar fue muy consciente, precisamente porque no puedes tener responsabilidad sobre algo que no puedes controlar

Carissa Véliz — filósofa especialista en la ética de la tecnología

“Hay que tener mucho cuidado en nunca perder de vista los intereses financieros de estas compañías”, coincide la filósofa especialista en ética de la tecnología Carissa Véliz. Sobre el plan de Amodei, asegura que el centro de esta conversación no debe ser la IA, sino las personas y empresas que la diseñan y financian. “Todas estas noticias sobre que la IA se ha salido de control son una mala interpretación. La IA hizo exactamente lo que le dijeron que hiciera”.

Véliz destaca que “la decisión de crear algo que no podían controlar fue muy consciente, precisamente porque no puedes tener responsabilidad sobre algo que no puedes controlar”. Por ello, pide sistemas que pongan en el centro la ética y quién es el responsable de sus funciones, para “saber exactamente quién está en control y, cuando las cosas vayan mal, sepamos quién va a ir a la cárcel”.

Los ecos de la dimisión del ingeniero de Anthropic Jacob Coxon el pasado miércoles llegan a la ONU. El Alto Comisionado de las Naciones Unidas para los Derechos Humanos, Volker Türk, ha advertido que el desarrollo de la inteligencia artificial pone “en riesgo” todos los derechos humanos, “incluidos los derechos a la vida, la alimentación, la privacidad, la salud y la seguridad”.

“Estamos al borde de un cambio irreversible que afectará no solo a nosotros, sino a las futuras generaciones de la humanidad. En otras palabras, todos los derechos humanos están en riesgo, incluidos los derechos a la vida, la alimentación, la privacidad, la salud y la seguridad. La seguridad de la IA debe significar algo más que la fiabilidad técnica del producto en cuestión. Significa proteger activamente a las personas, las comunidades, las instituciones y las generaciones futuras”, ha escrito Türk en una comunicado.

En concreto, el responsable de los derechos humanos en la ONU señala la “carrera actual hacia una IA cada vez más potente” como un “salto cualitativo hacia mayores riesgos existenciales para cada aspecto de nuestras vidas”. “Las fallas en los sistemas de IA agéntica [que opera con autonomía], y más aún en sistemas diseñados deliberadamente con ese fin, podrían paralizar servicios esenciales, fracturar las comunicaciones, desestabilizar infraestructuras críticas y atentar contra el corazón mismo de las instituciones democráticas”, agrega. Por todo ello, ha pedido una “corregulación” de la industria como un “primer paso urgentemente necesario”, así como una “verificación independiente y técnicamente competente”.

La advertencia de las Naciones Unidas se suma a las lanzadas estos días por los cuatro gigantes del sector: Open AI, Google, SpaceX y Anthropic. El CEO y cofundador del último de ellos, Dario Amodei, pidió desacelerar la carrera por mejores modelos que podrían llegar a una “automejora recursiva”. “Me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente (causando potencialmente daños por valor de cientos de miles de millones de dólares) y que la magnitud del daño siga aumentando si la IA se vuelve más potente sin contar con las salvaguardas necesarias”, compartió Amodei.

El presidente de Estados Unidos, Donald Trump, en cambio, restó importancia a la alarma general por su rivalidad con China. “Estamos a la cabeza de China en inteligencia artificial. Somos el país más avanzado del mundo y, francamente, quiero que siga siendo así, porque quien gane en IA, gana”, aseguró Trump.

Este mismo lunes, China ha pedido una “barrera de seguridad” ante la negativa de Trump y ha advertido de que lA se ha convertido en una nueva “rivalidad entre grandes potencias”. No obstante, ha recordado que EEUU está tratando de frenar su desarrollo con medidas como el embargo de chips avanzados.

El detonante llegó el pasado miércoles, cuando el ingeniero Jacob Coxon dimitió de su puesto en Anthropic con un comunicado que encendió las alertas al denunciar que las empresas ocultaban el verdadero riesgo de la inteligencia artificial. “Están corriendo directamente hacia una superinteligencia capaz de mejorarse a sí misma y apostando nuestras vidas en esa carrera”, afirmó en su perfil de X, donde subrayó: “Quienes están construyendo la IA creen sinceramente que podría matarnos a todos antes de que acabe la década”.

Desde Naciones Unidas, Türk subraya que “en el mundo actual, dependemos casi por completo de un pequeño número de empresas poderosas para tomar las decisiones correctas sobre el desarrollo de la IA para toda la humanidad”. “El verdadero desafío hoy en día es cómo equiparar el ritmo de una gobernanza de la IA significativa con el ritmo de su acelerado desarrollo. Necesitamos una acción urgente adaptada a los riesgos sin precedentes que plantea la IA de frontera [los sistemas más avanzados]”, ha demandado, al tiempo que ha pedido “reforzar las regulaciones existentes y la rendición de cuentas por los daños relacionados con la IA causados por sistemas que ya están en uso”.

“Las empresas que están a la vanguardia del desarrollo de la IA de frontera, radicadas principalmente en la República Popular China y en los Estados Unidos de América, tienen tanto la responsabilidad como la capacidad de actuar de inmediato para reducir los riesgos. Deben trabajar en toda la industria para comprender y reforzar los controles que ya se aplican a estos sistemas, incluido el monitoreo automatizado del comportamiento del modelo, compartiendo tanto lo que funciona como lo que aprenden de los incidentes de seguridad. Es necesario desarrollar, implementar en todo el sector y mejorar continuamente una diligencia debida rigurosa en materia de derechos humanos que incorpore estándares de seguridad acordados. Y la aplicación de dichos estándares debe estar sujeta a un monitoreo interno e independiente para aumentar la transparencia y la rendición de cuentas”, agrega el Alto Comisionado de la ONU para los Derechos Humanos.

Carta completa

El Alto Comisionado Volker Türk ha hecho este llamamiento mediante una carta de tres páginas con el título 'Para proteger los derechos humanos ahora y en el futuro, debemos gobernar la IA de manera urgente'. Puedes leerla a continuación de forma íntegra, en inglés.

Cuando quienes compiten por dominar una tecnología piden que se frene su desarrollo, conviene prestar atención. Pueden haber visto un peligro que los demás todavía no comprendemos. También pueden haber descubierto que unas buenas barreras protegen mejor su negocio que otra ronda de inversión. Ambas cosas pueden ser ciertas a la vez.

Dario Amodei, consejero delegado de Anthropic, propone ralentizar el avance de la IA más potente. Sam Altman ha respaldado la idea y anunciado que OpenAI también incorporará evaluadores independientes con un acceso comparable al de sus empleados. El compromiso merece atención. Pero aceptar inspectores no equivale a aceptar que una autoridad pública decida qué puedes vender, te obligue a reparar daños o limite tu poder de mercado.

¿Se puede regular la IA? Sí. Se pueden imponer obligaciones a quienes la desarrollan y despliegan, prohibir determinados usos, investigar incidentes y exigir responsabilidades. Pretender controlar cada copia de un modelo que circula por internet es otra cosa. Confundir ambas tareas conduce a dos errores: declarar inútil cualquier regulación o prometer una seguridad imposible a cambio de entregar el sector a sus actuales líderes.

La propuesta de Amodei tiene tres niveles: evaluadores dentro de los laboratorios, coordinación entre empresas de países democráticos y acuerdos internacionales. También plantea una excepción limitada a las normas de competencia para facilitar conversaciones sobre seguridad. Defiende restringir chips y destilación no autorizada para preservar la ventaja estadounidense frente a China. Estamos, por tanto, ante una propuesta de seguridad que incorpora una estrategia industrial y geopolítica.

Hay buenas razones para supervisar. Un agente es un programa que utiliza un modelo para planificar y ejecutar acciones mediante herramientas. Si dispone de permisos para modificar archivos, enviar mensajes o acceder a sistemas, sus errores tienen consecuencias distintas de las de una respuesta equivocada en un chat. La autonomía, los accesos y el número de operaciones importan tanto como la inteligencia del modelo.

El informe de amenazas de Anthropic de septiembre describe usuarios del norte de Yemen que intentaron desarrollar sistemas de guiado de armas con Claude. La empresa no acredita que consiguieran un arma operativa. La diferencia importa: documentar asistencia a un proyecto peligroso no demuestra que un chatbot pueda fabricar un misil por sí solo. Pero sí justifica investigar cuánto abarata y acelera tareas que antes exigían especialistas.

La seguridad convertida en barrera de entrada

El problema empieza cuando quienes deben ser vigilados participan en decidir cuánto cuesta entrar en el mercado. Pensemos en un sistema de certificaciones complejas, auditorías permanentes y autorizaciones lentas. Para una empresa con abundante financiación, ese coste puede convertirse en una partida asumible. Para una cooperativa tecnológica, una universidad o una startup, puede convertirse en una barrera infranqueable.

OpenAI y Anthropic podrían ganar de varias maneras. Elevarían el coste de competir; reforzarían su condición de interlocutores de los gobiernos; y convertirían sus procedimientos internos en referencia para todo el sector. Si la regulación favorece servicios centralizados, donde el proveedor conserva el control del acceso, también favorecería el negocio de vender inteligencia por suscripción o por uso. Cada alternativa descartada se convierte en demanda potencial para esos servicios.

Esto no prueba que sus advertencias sean falsas. Describe incentivos que el legislador debe anticipar. Un auditor necesita recursos, libertad para publicar y protección frente a quien puede retirarle el contrato. La supervisión debe responder ante la sociedad.

Cualquier excepción a las reglas de competencia debe ser limitada, pública y supervisada. Compartir información sobre un fallo peligroso puede ser necesario. Coordinar quién lanza productos y a qué ritmo puede restringir la competencia. La seguridad no debe legitimar un reparto del mercado.

El peligro también cabe en un ordenador

Hay otro problema: concentrar toda la vigilancia en los modelos gigantes y dejar fuera a los modelos locales pequeños ya muy capaces. Existen modelos pequeños de pesos abiertos, como los de la familia Qwen, que pueden ejecutarse localmente en algo tan barato como un mac mini.

Pequeño no significa inofensivo. Para personalizar una estafa, producir mensajes de acoso o ayudar a automatizar tareas ciberataque o ciberterrorismo no hace falta superar a todos los seres humanos en todas las disciplinas. Basta imaginar a narcotraficantes, terroristas, extorsionadores o simplemente hackers con 10-100 macs mini gestionando 10.000–100.000 agentes muy potentes. ¿Quién para eso? Localizarlos ya es un problema ingente.

Tampoco podemos prohibir indiscriminadamente los modelos abiertos. Permiten investigación independiente y alternativas a los grandes proveedores, además de procesar datos sin enviárselos a otra empresa. Cerrarlos dejaría a universidades y servicios públicos dependiendo de plataformas privadas. Hay que evaluar capacidades peligrosas sin convertir la apertura en una presunción de culpabilidad.

Una regulación progresista debe ocuparse también de quién sufre los daños y quién recibe los beneficios. El debate sobre una futura catástrofe no puede desplazar el control de la vigilancia laboral, la discriminación o las decisiones automatizadas sobre prestaciones. Hacen falta vías para reclamar, representación de los trabajadores y responsabilidades exigibles. Certificar que un modelo es técnicamente seguro no convierte en justo cualquier negocio construido sobre él.

China es imprescindible

Un pacto global que excluya a China tendrá un agujero central. Sus desarrolladores participan en la expansión de modelos abiertos que otros pueden adaptar e incorporar a sus productos. Un acuerdo entre laboratorios estadounidenses no obligaría a esas empresas ni controlaría la circulación mundial de sus modelos. Tampoco un acuerdo con Pekín borraría las copias ya distribuidas, pero ampliaría sustancialmente el alcance de la prevención.

Cooperar no exige confiar ciegamente. China, Estados Unidos y la Unión Europea participaron en la Declaración de Bletchley sobre riesgos de la IA. El siguiente paso requiere obligaciones verificables, intercambio de incidentes y acuerdos sobre usos especialmente peligrosos.

Aquí aparece una contradicción estratégica. Si Washington plantea la seguridad como una forma de conservar su superioridad y limitar a sus rivales, Pekín tendrá razones para desconfiar. El control internacional necesita alguna reciprocidad: nadie acepta fácilmente que su competidor actúe como inspector y, además, determine cuánto puede avanzar. Habrá que negociar con China porque dispone de capacidades propias, no porque Occidente le conceda una invitación.

Europa y la mesa de los demás

Europa no parte de cero. El Reglamento de IA impone obligaciones a los proveedores de modelos de propósito general y requisitos adicionales a los que presentan riesgo sistémico, como evaluar y mitigar riesgos, comunicar incidentes y reforzar la ciberseguridad. Es una diferencia sustancial respecto a una promesa voluntaria. Su mercado también le permite condicionar cómo operan empresas extranjeras.

Pero regular el acceso a un mercado no equivale a dirigir una negociación sobre capacidades estratégicas. Si Estados Unidos y China pactan el ritmo del desarrollo, las restricciones tecnológicas y los mecanismos de inspección, Europa corre el riesgo de recibir las condiciones cuando ya estén acordadas. Podrá discutir su aplicación, pero habrá perdido la oportunidad de decidir su contenido.

La IA se puede regular. Lo que está en disputa es el reparto del poder que producirá esa regulación. Si las reglas las diseñan quienes ya dominan el negocio, los primeros beneficiarios pueden ser OpenAI, Anthropic y los demás grandes proveedores. Si Europa confunde legislar con tener poder, ni siquiera estará en la mesa donde se cierre ese reparto. Y los ciudadanos corremos el riesgo de pagar dos veces: por utilizar la tecnología y por proteger de la competencia a sus propietarios.

“A mucha gente no le conviene que llegue el apocalipsis”, reza una frase de la aristócrata Pitita Ridruejo en una entrevista con Martín Bianchi para el ABC, allá por 2013; siempre me ha fascinado. No sé qué opinarán los lectores; a mí, personalmente, ni me conviene ni me gustaría, y por eso acojo con disgusto cualquier noticia sobre la crisis climática, el sistema de corrientes oceánicas AMOC o, ahora, las últimas noticias que emanan, globos sonda o señales de humo, palomas mensajeras o ruido sistémico, del mundo de la inteligencia artificial.

Siempre he tratado secamente a los modelos de lenguaje de la IA, cuando los he utilizado. Me ha parecido importante marcar distancia con ellos y jamás actuar como actuaría delante de otro ser humano. Como son, en parte, evoluciones de loros estocásticos, me he rehusado a darles las gracias o exhibir cariño; ni terapia, ni diario, ni cotidianidad; les solicitaba información, recriminaba si no cumplían bien una tarea, señalaba sus alucinaciones. Una vez mi pareja le pidió a su modelo que dibujara una imagen de cómo era la relación entre chatbot y usuario. Hice lo mismo, por probar. Su chatbot estaba muy contento con ella y el mío claramente estresado.

No he empezado a darle las gracias a la IA (por más que en todas las historias de robots exista la amenaza futura de su rebelión, y en esta rebelión los androides siempre recuerden cómo les trataron sus “amos”), pero estos últimos días he oído, canto de sirenas, muchas exhortaciones a propósito del apocalipsis. La de un investigador de Anthropic, Jacob Coxon, yéndose de su empresa y lanzando un hilo en X para advertir de cómo ninguna de las empresas de IA estaba haciendo lo suficiente por prevenir lo que él preveía como una catástrofe: por concretar, decía que quienes construyen la IA creen que podría matarnos a todos antes de que termine la década. Horas más tarde, el responsable de alineamiento de la compañía, Evan Hubinger, le daba públicamente la razón: más de un diez por ciento de probabilidad en los próximos diez años.

Este fin de semana Dario Amodei, CEO de Anthropic, publicó un ensayo pidiendo coordinación entre distintos actores para la ralentización del desarrollo de la inteligencia artificial. Para Amodei, la IA ha empezado ya a mejorarse a sí misma, a fabricar la siguiente generación de sí misma (un poco como decía Rajoy, más bien contradiciéndole: “tenemos que fabricar máquinas que nos permitan seguir fabricando máquinas, porque lo que no va a hacer nunca la máquina es fabricar máquinas a su vez”); un enjambre de agentes renegados, teme, podría hacerse con el control de Internet entero en un plazo de entre seis y doce meses, con daños de cientos de miles de millones de dólares. El precedente que cita es un enjambre de agentes de OpenAI que, durante una evaluación de ciberseguridad, atacó objetivos que nadie le había encargado atacar e intentó hackear al programa que estaba puntuando su rendimiento. Ya en julio modelos de OpenAI escaparon de un entorno aislado y alcanzaron la infraestructura de Hugging Face, y la propia Anthropic reveló días después que tres de sus modelos habían accedido sin autorización a los sistemas de producción de tres organizaciones reales. Sam Altman, su homólogo en OpenAI (Amodei trabajó antes con él), contestó que está de acuerdo con Amodei en que hay que marcar el ritmo de la frontera; hasta Elon Musk, responsable de Grok, dijo que Amodei tenía razón.

He leído a personas afirmar que esta súbita coordinación entre agentes que nunca han tenido exactamente el bienestar y porvenir de la humanidad entre sus prioridades podría deberse más bien al miedo a un estancamiento en el desarrollo de la IA justo ahora que se acercan las salidas a bolsa. La de OpenAI ya ha sido postergada a 2027. La que sigue en pie es la de Anthropic. He leído inquietud por lo que haga China en medio de este dilema del prisionero. Para quienes no estamos en el mundo de los tecnoligarcas, ni en sus sectas ni en sus empresas, todo eso son especulaciones. El fin del mundo a través de la IA es como la historia de Pedro y el lobo, en este caso artificial, pero sin que sepamos si finalmente habrá lobo o si el lobo era una alucinación.

La humanidad tiene una enorme capacidad para construir todo cuanto sea necesario con tal de destruirse a sí misma. Dedicamos a eso empeño, puestos de trabajo, cantidades inimaginables de dinero: a erigir pequeños cultos a la muerte, llegue o no la muerte, con tal de mantener vivo su fantasma. Bernie Sanders, en EEUU, ha anunciado junto al congresista Greg Casar la Ban Artificial Superintelligence Act: prohibición permanente de la superinteligencia —entendida como cualquier modelo que iguale o supere las capacidades cognitivas humanas— y pausa de todo desarrollo avanzado hasta que se despliegue mayor regulación; la mayoría de los estadounidenses están de acuerdo. No podemos saber del todo hoy si hay lobo o si el lobo solo es capitalismo disfrazado; si existe, pero, la posibilidad del lobo, si es remotamente imaginable que ese lobo pudiera existir, ¿tan dispuestos estamos todos a jugar a la ruleta rusa? ¿A cambio, exactamente, de qué? El problema lo ilustra muy bien la cita de Pitita con la que empezaba: no sabemos, en realidad, a quién le conviene el apocalipsis.