Cuando quienes compiten por dominar una tecnología piden que se frene su desarrollo, conviene prestar atención. Pueden haber visto un peligro que los demás todavía no comprendemos. También pueden haber descubierto que unas buenas barreras protegen mejor su negocio que otra ronda de inversión. Ambas cosas pueden ser ciertas a la vez.

Dario Amodei, consejero delegado de Anthropic, propone ralentizar el avance de la IA más potente. Sam Altman ha respaldado la idea y anunciado que OpenAI también incorporará evaluadores independientes con un acceso comparable al de sus empleados. El compromiso merece atención. Pero aceptar inspectores no equivale a aceptar que una autoridad pública decida qué puedes vender, te obligue a reparar daños o limite tu poder de mercado.

¿Se puede regular la IA? Sí. Se pueden imponer obligaciones a quienes la desarrollan y despliegan, prohibir determinados usos, investigar incidentes y exigir responsabilidades. Pretender controlar cada copia de un modelo que circula por internet es otra cosa. Confundir ambas tareas conduce a dos errores: declarar inútil cualquier regulación o prometer una seguridad imposible a cambio de entregar el sector a sus actuales líderes.

La propuesta de Amodei tiene tres niveles: evaluadores dentro de los laboratorios, coordinación entre empresas de países democráticos y acuerdos internacionales. También plantea una excepción limitada a las normas de competencia para facilitar conversaciones sobre seguridad. Defiende restringir chips y destilación no autorizada para preservar la ventaja estadounidense frente a China. Estamos, por tanto, ante una propuesta de seguridad que incorpora una estrategia industrial y geopolítica.

Hay buenas razones para supervisar. Un agente es un programa que utiliza un modelo para planificar y ejecutar acciones mediante herramientas. Si dispone de permisos para modificar archivos, enviar mensajes o acceder a sistemas, sus errores tienen consecuencias distintas de las de una respuesta equivocada en un chat. La autonomía, los accesos y el número de operaciones importan tanto como la inteligencia del modelo.

El informe de amenazas de Anthropic de septiembre describe usuarios del norte de Yemen que intentaron desarrollar sistemas de guiado de armas con Claude. La empresa no acredita que consiguieran un arma operativa. La diferencia importa: documentar asistencia a un proyecto peligroso no demuestra que un chatbot pueda fabricar un misil por sí solo. Pero sí justifica investigar cuánto abarata y acelera tareas que antes exigían especialistas.

La seguridad convertida en barrera de entrada

El problema empieza cuando quienes deben ser vigilados participan en decidir cuánto cuesta entrar en el mercado. Pensemos en un sistema de certificaciones complejas, auditorías permanentes y autorizaciones lentas. Para una empresa con abundante financiación, ese coste puede convertirse en una partida asumible. Para una cooperativa tecnológica, una universidad o una startup, puede convertirse en una barrera infranqueable.

OpenAI y Anthropic podrían ganar de varias maneras. Elevarían el coste de competir; reforzarían su condición de interlocutores de los gobiernos; y convertirían sus procedimientos internos en referencia para todo el sector. Si la regulación favorece servicios centralizados, donde el proveedor conserva el control del acceso, también favorecería el negocio de vender inteligencia por suscripción o por uso. Cada alternativa descartada se convierte en demanda potencial para esos servicios.

Esto no prueba que sus advertencias sean falsas. Describe incentivos que el legislador debe anticipar. Un auditor necesita recursos, libertad para publicar y protección frente a quien puede retirarle el contrato. La supervisión debe responder ante la sociedad.

Cualquier excepción a las reglas de competencia debe ser limitada, pública y supervisada. Compartir información sobre un fallo peligroso puede ser necesario. Coordinar quién lanza productos y a qué ritmo puede restringir la competencia. La seguridad no debe legitimar un reparto del mercado.

El peligro también cabe en un ordenador

Hay otro problema: concentrar toda la vigilancia en los modelos gigantes y dejar fuera a los modelos locales pequeños ya muy capaces. Existen modelos pequeños de pesos abiertos, como los de la familia Qwen, que pueden ejecutarse localmente en algo tan barato como un mac mini.

Pequeño no significa inofensivo. Para personalizar una estafa, producir mensajes de acoso o ayudar a automatizar tareas ciberataque o ciberterrorismo no hace falta superar a todos los seres humanos en todas las disciplinas. Basta imaginar a narcotraficantes, terroristas, extorsionadores o simplemente hackers con 10-100 macs mini gestionando 10.000–100.000 agentes muy potentes. ¿Quién para eso? Localizarlos ya es un problema ingente.

Tampoco podemos prohibir indiscriminadamente los modelos abiertos. Permiten investigación independiente y alternativas a los grandes proveedores, además de procesar datos sin enviárselos a otra empresa. Cerrarlos dejaría a universidades y servicios públicos dependiendo de plataformas privadas. Hay que evaluar capacidades peligrosas sin convertir la apertura en una presunción de culpabilidad.

Una regulación progresista debe ocuparse también de quién sufre los daños y quién recibe los beneficios. El debate sobre una futura catástrofe no puede desplazar el control de la vigilancia laboral, la discriminación o las decisiones automatizadas sobre prestaciones. Hacen falta vías para reclamar, representación de los trabajadores y responsabilidades exigibles. Certificar que un modelo es técnicamente seguro no convierte en justo cualquier negocio construido sobre él.

China es imprescindible

Un pacto global que excluya a China tendrá un agujero central. Sus desarrolladores participan en la expansión de modelos abiertos que otros pueden adaptar e incorporar a sus productos. Un acuerdo entre laboratorios estadounidenses no obligaría a esas empresas ni controlaría la circulación mundial de sus modelos. Tampoco un acuerdo con Pekín borraría las copias ya distribuidas, pero ampliaría sustancialmente el alcance de la prevención.

Cooperar no exige confiar ciegamente. China, Estados Unidos y la Unión Europea participaron en la Declaración de Bletchley sobre riesgos de la IA. El siguiente paso requiere obligaciones verificables, intercambio de incidentes y acuerdos sobre usos especialmente peligrosos.

Aquí aparece una contradicción estratégica. Si Washington plantea la seguridad como una forma de conservar su superioridad y limitar a sus rivales, Pekín tendrá razones para desconfiar. El control internacional necesita alguna reciprocidad: nadie acepta fácilmente que su competidor actúe como inspector y, además, determine cuánto puede avanzar. Habrá que negociar con China porque dispone de capacidades propias, no porque Occidente le conceda una invitación.

Europa y la mesa de los demás

Europa no parte de cero. El Reglamento de IA impone obligaciones a los proveedores de modelos de propósito general y requisitos adicionales a los que presentan riesgo sistémico, como evaluar y mitigar riesgos, comunicar incidentes y reforzar la ciberseguridad. Es una diferencia sustancial respecto a una promesa voluntaria. Su mercado también le permite condicionar cómo operan empresas extranjeras.

Pero regular el acceso a un mercado no equivale a dirigir una negociación sobre capacidades estratégicas. Si Estados Unidos y China pactan el ritmo del desarrollo, las restricciones tecnológicas y los mecanismos de inspección, Europa corre el riesgo de recibir las condiciones cuando ya estén acordadas. Podrá discutir su aplicación, pero habrá perdido la oportunidad de decidir su contenido.

La IA se puede regular. Lo que está en disputa es el reparto del poder que producirá esa regulación. Si las reglas las diseñan quienes ya dominan el negocio, los primeros beneficiarios pueden ser OpenAI, Anthropic y los demás grandes proveedores. Si Europa confunde legislar con tener poder, ni siquiera estará en la mesa donde se cierre ese reparto. Y los ciudadanos corremos el riesgo de pagar dos veces: por utilizar la tecnología y por proteger de la competencia a sus propietarios.