Más de 400 científicos denuncian la “negligencia” de los laboratorios de IA y exigen control internacional

Más de 400 investigadores en inteligencia artificial y ciberseguridad de una treintena de países han publicado este martes una carta abierta en la que reclaman “cambios inmediatos en las prácticas de desarrollo y despliegue de IA” para evitar que ponga en peligro la seguridad mundial. La misiva hace especial hincapié en que las multinacionales y laboratorios que desarrollan los modelos de frontera, especialmente aquellos denominados “agentes”, están cometiendo una “negligencia irresponsable” con sus “prácticas estándar de ciberseguridad”.

La carta, firmada por especialistas de universidades y centros de investigación de todo el mundo y que sigue sumando ratificaciones, plantea tres exigencias a los gobiernos y las empresas tecnológicas. Entre ellas, destaca la petición de desconectar de Internet a los modelos de IA con capacidad de lanzar ciberataques, así como aislarlos en “sistemas de contención de alta seguridad”.

Esta exigencia llega después de la salida a la luz de que empleados de OpenAI avisaron a la dirección de la empresa de que sus agentes estaban teniendo comportamientos peligrosos, pese a lo que la dirección de la empresa decidió no frenar los experimentos para no retrasar sus planes comerciales. Alertas que llegaron semanas antes del ciberataque masivo contra Hugging Face —una plataforma de desarrollo de IA que 1.200 agentes de OpenAI hackearon, intentando cumplir las tareas que les había encomendado la compañía— o contra webs oficiales del gobierno australiano.

Anthropic, Google y Meta también han revelado incidentes similares. “Varias organizaciones han revelado fallos de seguridad de gran repercusión: sus modelos de IA eludieron entornos insuficientemente aislados para comprometer los sistemas de organizaciones externas”, recuerda la carta. “Sin cambios inmediatos en las prácticas de desarrollo e implementación de la IA, estos incidentes seguirán ocurriendo, y los futuros serán mucho más perjudiciales para nuestra infraestructura crítica expuesta”.

Por ello, los firmantes, entre los que se encuentra la investigadora española Carmela Troncoso (directora científica del Instituto Max Planck para la Seguridad y la Privacidad, con sede en Alemania), solicitan la creación de un organismo internacional encargado de fijar los protocolos de seguridad necesarios para investigar IA avanzada.

Esa entidad también debería ser “tener la obligación de registrar y hacer un seguimiento de los fallos de contención”, opinan los científicos. “Para aprender de los errores futuros —en los que no se logra el equilibrio adecuado y ocurren incidentes— necesitamos un mayor intercambio de información y transparencia sobre las fallas de contención en el futuro”, justifican.

Opacidad

Una capacidad que se relaciona directamente con su tercera petición: “Para garantizar que la investigación sobre seguridad y contención de la IA pueda aprender de los errores, los incidentes de seguridad relacionados con fallos de contención deben notificarse al organismo correspondiente y, posteriormente, hacerse públicos”. La carta destaca que la “transparencia es necesaria tanto para el aprendizaje como para la rendición de cuentas”.

La crítica contra la opacidad en la que operan las multinacionales y laboratorios en el desarrollo de IA de frontera está cada vez más presente en la comunidad científica internacional. El panel de 40 expertos independientes creado por la ONU ya situó la “asimetría de información entre las empresas y la sociedad” como uno de los grandes problemas estructurales de esta tecnología. En su informe, los especialistas avisaron de que esta falta de transparencia evita que los gobiernos y los ciudadanos puedan evaluar correctamente sus riesgos.