Xenometer, la IA creada en Estados Unidos como “radar de la xenofobia”, aterriza en España de la mano de la UPNA

“La inteligencia artificial no se hará democrática por decreto, pero puede serlo si hay redes de conocimiento que la orienten a la proyección de los bienes comunes, la igualdad y la dignidad humana”. Así ha inaugurado Juan María Sánchez-Prieto, director de I-COMMUNITAS UPNA, las Jornadas Internaciones IA e Investigación Social, que han dado a conocer esta semana los primeros resultados preliminares en España de Xenometer, un proyecto creado en Estados Unidos que usa la Inteligencia Artificial para detectar discursos de odio y xenofobia en internet. La herramienta, más allá de la investigación académica, tiene como uno de sus objetivos convertirse en un elemento útil “para instituciones, medios y responsables públicos que necesitan comprender y combatir este tipo de dinámicas en tiempo real”.

Las jornadas, que han abordado la inteligencia artificial no solo como una herramienta que recomiende contenido y automatice tareas, sino como un elemento clave “para detectar discursos de odio y anticipar conflictos sociales”, han reunido a expertos internacionales de Estados Unidos, Colombia, El Salvador, Alemania y España para “analizar el papel de la tecnología en algunos de los mayores desafíos de nuestro tiempo”. “La tecnología no es neutral, pero puede convertirse en una herramienta decisiva para comprender, y transformar, la realidad social”, describen desde la Universidad Pública de Navarra.

El objetivo último del desarrollo Xenometer es “la creación de un mapa mundial, un geolocalizador, de la xenofobia en la red social X (antigua Twitter) en todo el mundo” para así “prevenir el autoadcotrinamiento y el enaltecimiento del terrorismo”, explica Leyre Lecumberri, investigadora de I-Communitas UPNA y coordinadora de Xenometer en España. Para tener ese alcance global, puesto que cada país tiene “su historia y situación”, es necesario crear “grupos de investigación en cada territorio” para que el algoritmo sepa adaptarse al “contexto cultural, la historia y las formas de referirse a las personas y a las cosas” de una población concreta. En este sentido, Sergio García-Magariño, coordinador de las jornadas, advierte que la “Inteligencia Artifical parece que resuelve todos los problemas, pero realmente es muy poco inteligente”, ya que “rompe las frases en palabras, les pone números y establece conexiones”. Por ejemplo “no captaba las sutilezas de la ironía y el humor de España”, explica. Por ello, el trabajo “manual” del equipo, que consiste en clasificar miles 'tweets' en categorías, es fundamental para “entrenar el algoritmo y que la herramienta funcione con efectividad total”.

Beth Lyon, profesora e investigadora de Cornell University (Estados Unidos) comenzó el proyecto “tras las elecciones de Donald Trump, mientras tenía una conversación con un estudiante” sobre por qué “nadie monitorea el discurso xenófobo” en redes sociales. Entonces ya se planteaba el “objetivo de crear un mapa que rastrease, en tiempo real, los cambios de los discursos [de este tipo] online”. “Básicamente, recopilamos 'tweets', llegando a etiquetar unos 7.000” de personas relevantes como políticos, periodistas, ONG e incluso instituciones. Después de los comicios, parte de su trabajo ha sido explicar cómo “Trump usaba la xenofobia para ganar votos”, un discurso que, a su juicio, sigue vigente en la actualidad. “El gobierno puede elegir, o no, si emitir discursos xenófobos, y está optando por hacerlo”. De la misma forma, en el caso contrario, “cuando los gobiernos quieren hacer intervenciones eficaces” para paliar la xenofobia e intentar mejorar la situación, “tienen muchas dificultades”, expresa Lyon. “Y de eso es de lo que trata nuestro proyecto”.

Este mismo fin y metodología se exportó a otros países, entre ellos España. “El proyecto Xenometer viene [directamente] heredado de la Universidad de Cornell”, explica Lecumberri, y “aterrizó en Pamplona en abril de 2024”. Con la misma metodología establecida por Lyon, el equipo de la UPNA descargaban mensajes de la red social X y los etiquetaban manualmente en una escala de con siete niveles (del -3 al 3, siendo el 0 el valor neutro) “para poder entrenar el modelo” de inteligencia artificial. “En primer lugar, buscábamos palabras clave” a partir de elaborar “una lista de palabras relacionadas con la inmigración”, también consideran “relevante descargar mensajes de cuentas de partidos políticos, organizaciones, asociaciones que tuvieran de España, ya que al final representan a la población” y su opinión respecto a la xenofobia y la población inmigrante. Por último, también revisaron “perfiles influyentes en la sociedad española” que no pertenecen al ámbito político o institucional, pero que, “por artículos que se publican”, los investigadores califican como figuras con “gran influencia en la población”. Un mismo 'tweet' “lo leen mínimo tres personas y lo etiquetan mínimo tres personas” para que no influya el punto de vista individual y “eliminar sesgos”.

Una de las conclusiones más importantes es que la mayoría de los mensajes son “no solo un poco negativos, sino muy negativos”, afirma Lecumberri. “Tenemos muchísimos más mensajes xenófobos que positivos hacia la inmigración”. Los datos, aparte de ser un reflejo social, puesto que esto “ya nos dice como son muchas cosas sobre la comunidad española en X”, los investigadores también se han percatado que esta descompensación genera ciertas limitaciones a nivel técnico. No tener “una muestra equilibrada” dificulta “entrenar bien” a la inteligencia artificial y que aprenda a “equilibrar las categorías”. Esta “mala distribución de los mensajes” es el reto más “significativo”, explica la investigadora de la UPNA.

También intervinieron Piedad Lucía Barreto, investigadora de la Universidad Cooperativa de Colombia y Karla P. Ramos, procedente de UCA de El Salvador, para mostrar los resultados de Xenometer en sus respectivos países. “¿Qué hace que un país no sea xenófobo?”, se preguntaba Barreto para explicar la situación del odio al extranjero en Colombia, que en el país americano deriva en “aporofobia”, “un rechazo a las condiciones de vulnerabilidad” y odio a quien supuestamente “no aporta a la sociedad”. En Colombia hay “una experiencia y aprendizaje positivo” por la propia historia migrante del país. Hay un “aprendizaje interno” porque la mayoría de la población “entiende la vivencia” y la inmigración “se ve con otro enfoque”. Una conclusión muy distinta a pesar de haberse utilizado “la misma metodología” y composición de equipos.

Xenometer es un proyecto fruto de “equipos interdisciplinares”, ya que es la única forma de que la inteligencia artificial pueda ser aplicada a las ciencias sociales, explica Lecumberri. Al fin y al cabo, “los equipos de inteligencia artificial no están especializados en conocimiento social” y hay que enseñar a la IA “formas que los usuarios en X utilizan para intentar esquivar el delito de odio en internet. Hay palabras muy duras de leer como mena, moro, pagapensiones, enemigo del jamón, jovenlandés. Por eso también es importante crear un equipo [específico] en cada país”. La inteligencia artificial “diferencia bien mensajes negativos o llamamientos a la acción, pero no si son sutiles o si no son explícitos”, afirma Garcia-Magariño.

“La policía está muy interesada en tener un instrumento que facilite su trabajo porque a día de hoy muchos de los agentes digitales hacen el trabajo manualmente”, explica Garcia-Magariño sobre el futuro de Xenometer. Por otro lado, también puede ser una herramienta para el Gobierno. “El proyecto HODIO [Observatorio Español del Racismo y la Xenofobia] que anunció el presidente Sánchez va un poco en la misma dirección” para intentar “forzar a las plataformas digitales donde se producen estos discursos”, al menos, a “retirarlos”. Aunque “otro objetivo” más allá de la investigación académica y relacionado con la Administración pública es “alfabetizar a la población”. “Cuando se habla de la brecha digital” normalmente nos referimos a que “hay personas que tienen tecnología o no, personas que la usan o no la usan”, describe el coordinador de las jornadas. Sin embargo, el investigador del equipo de Xenometer afirma que “aunque estamos atravesados por la tecnología y eso parece que es mucho progreso”, se conoce “muy poquito, especialmente de los valores que van implícitos en cada dispositivo tecnológico, porque es contraintuitivo. Las personas se preguntan, ¿cómo van a tener valores las cosas? El micrófono, el móvil, el tractor... Pero de manera muy sofisticada la intención de las personas que diseñan un instrumento tecnológico, se filtra en ese instrumento y cuando la gente lo usa es socializada en esos valores y, sobre todo, cuando se usa masivamente, porque se transforma la cultura”. “El objetivo más elevado sería tener un Observatorio Mundial del Odio Digital” apoyándose en “las universidades implicadas”, que “se actualiza cada seis meses con un informe”.

“Todos sabemos lo que es la xenofobia. Es una forma particular de racismo, el miedo al extranjero o a una persona de otro país y lugar. O a las personas que se les percibe como extranjeras”, afirma Beth Lyon, que lo considera “en cierto modo” como parte del “ser humano, una especie de emoción. Un tipo de miedo y enfado mezclados”. “Siempre hay una sensación de que la gente está perdiendo algo, de que está en peligro, y entonces resulta fácil aprovecharse de ello”, concluye. “¿Cómo esto crece y llega a convertirse en una acción? ¿Qué [ocurre para que] algo que dices en X se convierta en un ataque cuando ves a alguien diferente a ti?”, se pregunta la investigadora. “Hay varios factores”, apunta, como “la complicidad del sector público”, refiriéndose a las recientes políticas y discursos sobre la inmigración de la administración de Donald Trump, “que instrumentaliza el discurso para culpar a los inmigrantes de ser autores de la mayoría de los delitos que se cometen o de quitar empleos”.

Un punto de vista que también comparte García-Magariño sobre el desarrollo de la xenofobia en España y Europa. “Hay gente que está altamente movilizada contra la inmigración”, explica. Sectores concretos, sin “describir partidos políticos, pero que tienen que ver con la ultraderecha”, que “uno de los elementos que hace que tengan tirón son las actitudes contrarias a la inmigración”. “La idea de españoles primero”.