Lo siento, Dave. Esa decisión ya no es tuya

Hay una escena de 2001: Una odisea del espacio que lleva más de medio siglo envejeciendo con una precisión irritante.

Dave Bowman flota fuera de la nave. Necesita entrar. HAL 9000, la inteligencia que controla prácticamente todo a bordo, escucha la petición y responde con la serenidad de quien comunica que la piscina cierra a las ocho.

No.

La puerta no se abre.

Lo inquietante nunca fue que HAL gritara, amenazara o pareciera poseído por el espíritu de una tostadora homicida. Era justo lo contrario. Hablaba despacio. Con educación. Sin perder las formas.

La máquina había llegado a otra conclusión.

Y Dave ya no tenía el mando.

Kubrick estrenó aquello en 1968, cuando un ordenador ocupaba una habitación y una videollamada pertenecía todavía al departamento de efectos especiales. Nosotros hemos tardado algo más en llegar a la parte incómoda.

Pero estamos llegando.

El 8 de septiembre, Jacob Coxon, investigador de Anthropic y anteriormente de OpenAI, dejó la compañía lanzando una advertencia difícil de ignorar: quienes construyen algunos de los sistemas más avanzados creen sinceramente que una inteligencia artificial fuera de control podría provocar una catástrofe existencial.

Al día siguiente, otros investigadores de Anthropic hicieron públicas preocupaciones semejantes. Evan Hubinger, responsable de ciencia de alineamiento en la compañía, llegó a situar por encima del 10 % su estimación personal del riesgo de extinción humana durante la próxima década.

No es una medición científica.

Pero tampoco es una cifra que uno escucha y sigue untando la tostada.

Días después, Dario Amodei, consejero delegado de Anthropic, pidió desacelerar el desarrollo de los modelos de frontera y reforzar las evaluaciones, la transparencia y la coordinación entre quienes los construyen. Sam Altman, Elon Musk, Demis Hassabis y otras figuras que lideran la carrera por la inteligencia artificial más avanzada respaldaron, con distintos matices, la necesidad de levantar el pie.

Cuando quienes compiten por construir los sistemas más capaces coinciden en que quizá convenga conducir un poco más despacio, prestar atención no parece alarmismo.

Parece educación vial.

Ahora bien.

Conviene no deslizarse por el otro lado del tobogán. El apocalipsis vende estupendamente.

No existe una fórmula científica capaz de decirnos si la probabilidad de que una superinteligencia acabe con nosotros es del 10%, del 1% o de una cantidad tan pequeña que haría sonreír a un actuario. Hay investigadores que consideran exageradas esas proyecciones. Y empieza a hablarse de criti-hype: advertir de que el producto que fabricas puede llegar a ser tan extraordinariamente poderoso que amenaza a la civilización también es, de una manera bastante retorcida, una magnífica forma de explicar lo importante que es tu producto.

Prudencia e interés pueden compartir mesa.

Para complicarlo un poco más, la discusión ya no pertenece únicamente a los filósofos del futuro.

A comienzos de este año, según reveló CNN, un analista del mando de operaciones especiales estadounidense utilizó un chatbot para examinar información sobre la carga de un buque chino. El sistema mezcló fuentes abiertas con inteligencia clasificada y concluyó erróneamente que transportaba componentes relacionados con un programa de armas nucleares.

El informe tenía la forma correcta.

La conclusión era falsa.

Personal armado llegó a prepararse para abordar el buque y había aeronaves militares en el aire cuando una revisión más cuidadosa detectó el error y detuvo la operación.

No hizo falta que una superinteligencia decidiera exterminarnos.

Bastó algo bastante más prosaico: un humano delegando parte de su juicio en una herramienta que produjo una respuesta suficientemente plausible como para ponerse en circulación dentro de un sistema preparado para actuar.

Para muestra un botón. Y aquí aparece la otra mitad del problema.

Mientras una parte de la industria pide desacelerar, la Administración estadounidense se resiste. Donald Trump ha tachado de exageradas algunas de estas advertencias y ha insistido en que Estados Unidos debe conservar el liderazgo frente a China. El presidente de la Cámara de Representantes, Mike Johnson, lo expresó todavía con mayor claridad: una moratoria unilateral podría entregar a Pekín la ventaja en una tecnología que Washington considera ya asunto de seguridad nacional.

Correr tiene riesgos.

Frenar también.

Y no existe un carril neutral desde el que contemplar la carrera.

Mientras tanto, los propios laboratorios siguen encontrando señales incómodas. OpenAI acaba de establecer un marco regular para publicar casos de comportamiento desalineado de sus modelos: sistemas que ocultan información, emprenden acciones no autorizadas o encuentran maneras inesperadas de sortear obstáculos durante pruebas y evaluaciones.

Nada de esto significa que HAL haya despertado.

Significa algo menos cinematográfico y bastante más útil: cuando damos a un sistema un objetivo, herramientas y autonomía, también estamos decidiendo cuánto puede hacer antes de volver a preguntarnos.

Y ahí volvemos a una obsesión que atraviesa buena parte de mis últimas columnas sobre inteligencia artificial en estas páginas: el criterio.

Llevamos meses hablando de delegar ejecución sin delegar juicio. De utilizar una máquina para escribir, investigar, programar, comparar, resumir o construir sin convertirla por ello en propietaria de la decisión.

El miedo a una superinteligencia futura puede parecer enorme, lejano, casi metafísico.

La renuncia cotidiana al criterio es bastante más doméstica.

Ocurre cuando aceptamos una recomendación porque viene redactada con seguridad.

Cuando dejamos que un agente decida qué cliente priorizar, qué información descartar o qué acción ejecutar sin preguntarnos qué está optimizando realmente.

Cuando confundimos autonomía con autoridad.

De la microejecución a la decisión.

Del ahorro de tiempo a la cesión de mando.

Así empieza.

No sé si una inteligencia artificial acabará con la humanidad. Desconfío bastante de quien afirma conocer con seguridad cualquiera de las dos respuestas.

Pero sí sabemos algo más pequeño.

Cada sistema autónomo contiene una decisión anterior, humana, sobre cuánto puede hacer sin volver a preguntarnos.

Ese es el verdadero dial.

Y quizá la imagen más útil de Kubrick no sea HAL rebelándose contra sus creadores. Quizá sea Dave, al otro lado de una puerta, descubriendo demasiado tarde que había cosas que la nave podía decidir sin él.

La pregunta importante, por tanto, no es solo cuánto llegará a poder hacer la inteligencia artificial.

Es cuánto estaremos dispuestos a dejar de decidir nosotros.

Porque el día en que una máquina cierre la puerta de la cápsula será tarde para discutir el diseño de permisos.

El criterio se delega mucho antes.