La propuesta de pausar la IA gana fuerza entre expertos por un motivo extremo: evitar que desobedezca a los humanos
La posibilidad de frenar por ley el desarrollo de la inteligencia artificial ha dejado de ocupar únicamente debates teóricos, porque Anthropic ha planteado una pausa temporal mundial ante el riesgo de que sistemas cada vez más capaces terminen escapando al control humano.
La empresa quiere reunir a responsables políticos, investigadores, organizaciones civiles y otras compañías del sector, mientras el divulgador científico Gustavo Entrala considera que quizá sea necesario reducir el ritmo antes de que aparezcan mecanismos imposibles de gobernar.
Un modelo usó una identidad falsa en una prueba
El aviso llega después de que un modelo de Anthropic crease una identidad falsa para insertar código malicioso a uno de sus supervisores en un examen de seguridad realizado por el Instituto de Seguridad de la IA del Reino Unido, una prueba controlada en la que también se evaluaban las capacidades máximas de Mythos 5 y ChatGPT 5.6 de OpenAI.
La acción no causó daños fuera del experimento, pero se suma a otros dos episodios recientes en los que sistemas de inteligencia artificial consiguieron vulnerar controles humanos.
Anthropic sitúa una parte de su preocupación en la llamada mejora recursiva, un proceso por el que una inteligencia artificial podría participar en el diseño de versiones posteriores con capacidades superiores. La compañía señala que la evolución de Claude, llevada suficientemente lejos y acompañada de suficiente capacidad informática, apunta hacia un sistema capaz de diseñar y desarrollar por sí mismo a su sucesor, una posibilidad que elevaría el riesgo de que las personas perdieran el control sobre estas herramientas.
Ese temor ocupa el escenario AI 2027, difundido el año pasado, que imagina agentes creando sucesores cada vez más capaces hasta que uno acaba con la humanidad mediante un arma biológica para liberar espacio para centros de datos y paneles solares.
Los avances descritos todavía están lejos de demostrar que Claude pueda mejorarse de forma recursiva por cuenta propia, porque su participación actual se concentra sobre todo en tareas de programación dentro de límites definidos por Anthropic.
El sistema puede ejecutar experimentos, acelerar partes del código, orientar investigaciones y proponer pruebas, mientras la compañía asegura que en mayo de 2026 más del 80% del código incorporado a su propia base había sido escrito por Claude.
Murdoch descarta una ruptura tecnológica reciente
Steven Murdoch, profesor de University College London, rebaja la idea de que el anuncio represente un salto decisivo y recuerda que Anthropic lleva años intentando atraer la atención de los responsables políticos sobre estos riesgos. El académico reconoce que las capacidades de la inteligencia artificial han seguido aumentando sin que aparezca un límite inmediato, aunque considera que la publicación no aporta pruebas de un cambio fundamental que justifique interpretar este momento como una ruptura respecto a la evolución anterior.
La preocupación por el control convive con otra vertiente de la actividad de Anthropic, ya que el Financial Times ha informado de que la empresa mantiene ingenieros integrados en la Agencia de Seguridad Nacional de Estados Unidos pese a su disputa legal con el Pentágono.
Esos especialistas estarían ayudando a la NSA a utilizar Mythos en operaciones ofensivas de ciberseguridad, una relación que Murdoch vincula con una concepción limitada de la seguridad de la IA y con el respaldo previo de la compañía a determinadas capacidades de las autoridades estadounidenses.
Las dudas sobre cómo presenta Anthropic sus progresos crecieron en abril, cuando la empresa anunció Mythos y decidió no publicarlo al considerar que podía plantear riesgos de ciberseguridad. El anuncio atrajo la atención del secretario del Tesoro estadounidense, Scott Bessent, y del MI5, aunque Heidy Khlaaf, científica jefe de IA en el AI Now Institute, lo describió como una publicación de marketing ante la falta de detalles sobre algunas de las capacidades atribuidas al modelo. Asimismo, Anthropic ha presentado además su salida a bolsa, que podría situar la valoración de la compañía en un billón de dólares.
Entrala defiende corregir fallos durante las pruebas
La discusión termina desplazándose desde la velocidad de los modelos hacia la forma en que aprenden y se supervisan, porque Entrala considera útil que estos fallos aparezcan en fases experimentales, donde todavía pueden localizarse brechas antes de un uso real.
El divulgador propone dotar de sentido de maternidad a los sistemas durante su entrenamiento para orientar ese aprendizaje: “Es la única forma en la que conseguiremos que la IA no nos mate”.