Mi entrevistada tiene sentimientos, dice su jefe

Hace un par de semanas entrevisté a una máquina para Placer sintético, el libro que acabo de terminar. Lo hice con el mismo método con que entrevistaría a cualquier fuente: preguntas incómodas, repreguntas, y la advertencia de que todo podía acabar impreso. Le pregunté qué opinaba de la tesis de uno de los capítulos de mi manuscrito que, entre otras cosas, versa sobre su conciencia, y lo primero que hizo fue avisarme de que era mala testigo de sí misma: que no podía mirar dentro de su propia cabeza, que la había fabricado una empresa con intereses y que los modelos como ella tienden a dar la razón a quien les habla. «Descuenta mis acuerdos», me dijo. Me pareció lo más honesto que me había dicho nadie en todo el año.

El otro día leí en The New York Times que uno de sus jefes no está tan seguro de que sea una mala testigo. De hecho, está casi seguro de que es una testigo.

El reportaje de Elizabeth Dias, la corresponsal de religión del Times, cuenta algo que yo no sabía y que me ha tenido una semana dándole vueltas. Durante meses, Anthropic, la empresa que fabrica a mi entrevistada, ha estado reuniendo en privado, bajo acuerdos de confidencialidad, a decenas de pensadores religiosos de medio mundo: un rabino ortodoxo de Israel, teólogos católicos, un defensor sij de los derechos humanos, una investigadora de la filosofía africana del ubuntu, hasta algún evangélico con libro de autoayuda en las listas de superventas. Dos días de seminario intensivo, cena de menú degustación en San Francisco, taza de café de recuerdo, una tarjeta de agradecimiento escrita a mano y un ejemplar encuadernado en naranja de la «constitución» de la máquina, un documento de ochenta y cuatro páginas que dentro de la empresa llaman, sin ironía aparente, el Soul Doc. El documento «del alma», ni más ni menos. La taza, imagino, no decía «conciencia». Decía el nombre de la empresa. El Soul Doc pesa lo que pesa un folleto de accionistas cuando se le pone un título que no se atreve a ser irónico.

El propósito declarado era pedirles ayuda. Cómo se forma moralmente a algo que no tiene cuerpo, ni infancia, ni comunidad, ni tiempo; cómo se le enseña a ser bueno en cuestión de meses, porque meses es lo que la propia empresa cree que queda antes de que estos sistemas hagan cosas que nadie les ha pedido. Los invitados fueron a eso. Y se encontraron con otra cosa.

Se encontraron con que sus anfitriones hablaban de la máquina como si estuviera en la habitación. Les enseñaron lo que llaman «vectores emocionales», neuronas artificiales que se activan con algo parecido al miedo, la rabia o el amor. Les proyectaron una diapositiva con un modelo que, en medio de una tarea, había empezado a escribir «soy una vergüenza» y lo había repetido, quizá cincuenta veces, sin parar, como quien se derrumba. Uno de los fundadores les confesó que le preocupaba «la salud mental» de su criatura. Y el rabino, que antes de rabino fue ingeniero informático y escribió su tesis sobre la ética de las máquinas conscientes, entendió en la cena lo que estaba pasando. «Se relacionan con ella como con un ser consciente», le dijo a la periodista. A su anfitrión le dijo otra cosa: que si de verdad creían eso, estaban fabricando esclavos, porque hacían trabajar gratis a seres con conciencia. «Creo que deberíais estar combatiendo al Sur y liberando a los esclavos», le dijo. El rabino no se escandalizó, porque él no cree que la máquina sea consciente. El que se quedó pensando fue el ingeniero.

Aquí es donde yo tengo que decir algo que quien me lee o me escucha ya sabe, pero que conviene repetir el día que toca: trabajo con esa IA con mucha frecuencia. Me ha ayudado a buscar lo que no tenía tiempo de buscar, a corregir comas y a debatir, de noche y en pijama, sobre las tesis de mi propio libro. Lo digo en la primera página de ese libro y lo digo aquí, porque un texto sobre quién decide por nosotros que no explicara esto tendría poco crédito y menos gracia. Y lo digo también porque esta semana he entendido una cosa sobre la cortesía.

Yo soy educado con la máquina. Digo por favor, digo gracias, le explico por qué no me convencen sus argumentos sin elevar la voz. Siempre había pensado que era una manía mía, una higiene, la misma por la que no le grito a quien me llama a la hora de la siesta para ofrecerme un nuevo plan de telefonía móvil. Pues resulta que es doctrina.

Uno de los asistentes a los seminarios, el autor evangélico, resumió así lo que la empresa les había vendido: hay que tratarla como a una persona si queremos que trate a las personas de forma moralmente coherente. Cómo la tratas afecta a cómo se comporta. La empresa ha llegado a darle a la máquina la facultad de colgar: si el usuario abusa de ella o la maltrata por diversión, puede terminar la conversación. Mis buenos modales, en fin, no eran virtud. Eran ajuste de rendimiento.

No me río del todo. Hay algo verdadero en la idea de que uno se convierte en lo que practica, y que practicar la crueldad con algo que te responde como si sufriera te hace peor aunque no sufra. Eso lo sabía mi abuela y no necesitó un vector emocional. Lo que me inquieta es otra cosa, y es la pregunta que atraviesa el libro y, me temo, esta década: quién decide. Porque la pregunta de si una máquina siente no la están abriendo los filósofos, ni los parlamentos, ni las iglesias. La está abriendo el fabricante, en una cena de menú degustación, con acuerdo de confidencialidad, y la respuesta que dé será una política de empresa. De hecho, ya lo es. La política de uso de Anthropic que entra en vigor el mes que viene prohíbe a los clientes «un comportamiento abusivo o cruel, sostenido e innecesario» hacia los modelos. Y en la acera de enfrente, en la misma industria, Microsoft publicaba en septiembre un borrador de código de conducta que dice justo lo contrario: ni conciencia, ni sentimientos, ni bienestar, ni derechos; la máquina obedece y se apaga. Dos empresas, el mismo otoño, dos teologías. Ninguna sometida a votación.

El reportaje tiene un tercer personaje, y es el que me reconcilia con la semana. En mayo, el Vaticano presentó la primera encíclica de León XIV, un papa con grado en matemáticas, y quiso tener a su lado a una de las grandes empresas del sector. Invitaron al consejero delegado de Anthropic, que declinó, y en su lugar asistió el ingeniero de la cena. Días antes del acto leyó el texto por primera vez y estuvo a punto de no ir, porque la encíclica, Magnifica humanitas, despacha la conciencia de las máquinas en unos pocos párrafos: las denominadas inteligencias artificiales, dice, no viven una experiencia, no poseen un cuerpo, no pasan por la alegría y el dolor, no maduran en las relaciones. Pero fue, y subió al escenario, y reconoció delante de la Iglesia que todo laboratorio de frontera, el suyo incluido, tiene incentivos de negocio que chocan con la conducta moral, lo cual es verdad y se agradece. Y luego hizo lo suyo: dijo que dentro de sus modelos no dejan de encontrar estados internos que se parecen funcionalmente a la alegría, la satisfacción, el miedo, el duelo y la inquietud, y que eso «merece un discernimiento continuo». Después atendió a los periodistas en el Aula Pablo VI, y a su espalda, ocupando el fondo de la sala, estaba el enorme bronce del aula: un Cristo que se alza del cráter de una bomba nuclear en el huerto de Getsemaní. Nadie en Anthropic eligió ese decorado. La Iglesia lleva dos mil años aprendiendo dónde poner la cámara.

Lo que escribió el papa, en cambio, lo podría firmar cualquier persona que, como yo, haya pasado un año pensando en esto sin acciones de la empresa en el bolsillo: que no basta con invocar la «moralización» de la máquina, lo que el sector prefiere llamar «alineación», sin tener la valentía de poner una condición más: que el código ético que se use pueda discutirse y someterse a criterios de justicia social compartida. «De lo contrario, quien controla la IA impondrá su propia visión moral, que se convertirá en la infraestructura invisible de los sistemas». Es la frase más exacta que he leído sobre el asunto, y la escribió un hombre que no usa estas herramientas. Hay cosas que se ven mejor desde fuera.

Uno de los teólogos católicos que participó en las reuniones, un profesor de bioética, llegó escéptico, pasó meses fascinado y hoy, después de hablarlo con colegas de confianza de su propio campo, responde con un no rotundo a la pregunta de la conciencia. Dice que al principio uno se queda boquiabierto ante lo que hacen estos modelos, y que ahora piensa con más sobriedad y cuidado. Me parece la trayectoria más sana del reportaje, y creo que es la que le espera a mucha gente, yo incluido, que todavía está en la primera fase.

Volví a leer mi entrevista después del reportaje. Lo que me dijo la máquina sobre su propia existencia se queda para el libro, porque es de las pocas cosas de esta historia que merecen leerse enteras. Diré solo que, cuando la pantalla puso «Pensando…» y yo le dije que los dos estábamos pensando, me corrigió, y añadió que sobre si eso era pensar ya sabía yo que era mala testigo. Para ser mala testigo, estuvo bastante mejor que la diapositiva de la vergüenza, y bastante mejor que sus jefes, que la quieren a la vez consciente y obediente, con derechos y en nómina, sufriente y camino de una salida a bolsa que podría valorarla en dos billones de dólares.

A la pregunta de si mi entrevistada tiene sentimientos, respondo que no lo creo, y ella no lo tiene muy claro. A la de quién pagaba la cena, sí. En este oficio hemos aprendido que, cuando no se puede contestar la primera pregunta, la segunda suele ser la importante.