Cientos de cuentas de TikTok están obteniendo miles de millones de visitas gracias a imágenes generadas con Inteligencia Artificial (IA), incluido material sexualizado y contra los migrantes, según un informe reciente de la ONG AI Forensics.
Los investigadores de la organización con sede en París dicen haber descubierto 354 cuentas desde las que se subieron 43.000 vídeos diseñados con herramientas generativas de IA y que obtuvieron 4.500 millones de visitas en un mes.
Según AI Forensics, algunas de las cuentas tratan de manipular el algoritmo que decide el contenido que ven los usuarios de TikTok publicando cantidades enormes de vídeos con el objetivo de que alguno se vuelva viral. Una de las cuentas publicaba hasta 70 veces cada día o todos los días a la misma hora, dos indicadores de que las cuentas estaban automatizadas. En su mayoría, las cuentas fueron creadas a principios de 2025.
El pasado noviembre, TikTok reveló que al menos 1.300 millones de las publicaciones de la plataforma habían sido generadas por IA. Una pequeña parte del contenido de la red social, si se tiene en cuenta que cada día se suben más de 100 millones de vídeos. TikTok también ofrece a los usuarios la opción de reducir la cantidad de material generado por IA que ven en sus pantallas.
Las mujeres de IA son siempre atractivas de una manera estereotipada, con escotes o atuendos sexualizados
Entre las cuentas que publicaban con mayor asiduidad, la mitad se centraba en contenidos relacionados con el cuerpo femenino. “Las mujeres de IA son siempre atractivas de una manera estereotipada, con escotes o atuendos sexualizados”, dice el informe de AI Forensics.
La organización revela que las cuentas no etiquetaban la mitad del material que subían y que menos de un 2% llevaba la etiqueta que TikTok asigna al contenido generado por IA, lo que según la ONG puede aumentar la posibilidad de engaños. Según los investigadores, en algunas ocasiones las cuentas publicaban vídeos que violaban las condiciones de servicio de TikTok y pasaban meses sin que fueran eliminados de la red social.
De acuerdo con AI Forensics, decenas de las cuentas descubiertas fueron eliminadas tras su informe, lo que hace pensar en la existencia de un equipo de moderadores que las retiró.
Falsos informativos y cuerpos femeninos sexualizados
Algunos vídeos sexualizaban los cuerpos femeninos, incluidos los de niñas que parecían menores de edad, o adoptaban la estructura de un programa de noticias con un relato antinmigrantes. Según AI Forensics, cinco de las diez cuentas más activas presentaban el cuerpo femenino de forma sexualizada y, en los vídeos de bulos, era posible apreciar logos conocidos de cadenas de televisión, como Sky News o ABC.
TikTok eliminó algunos de los vídeos después de que The Guardian los denunciara ante la plataforma. Según TikTok, las acusaciones del informe son “infundadas” y la ONG ha señalado a esta red social por un problema que afecta a múltiples plataformas. En agosto, The Guardian publicó que entre los canales de YouTube con mayor crecimiento a nivel mundial, casi uno de cada diez subía exclusivamente material generado por IA.
La línea difusa que separa en la plataforma el contenido humano genuino del contenido artificial generado por IA marca una nueva tendencia hacia más contenido generado por IA para los usuarios
“En TikTok, eliminamos los contenidos dañinos generados por inteligencia artificial generativa (AIGC), bloqueamos la creación de cientos de millones de cuentas de bots, invertimos en tecnologías líderes en el sector para etiquetar contenidos de IA y damos herramientas y formación a las personas para que controlen cómo experimentar con ese tipo de contenidos en nuestra plataforma”, ha declarado un portavoz de la red social.
En el informe de AI Forensics, las cuentas más populares por el número de visualizaciones habían publicado slop –contenidos creados por IA que no tienen sentido, son extraños y tienen como objetivo llenar las redes sociales–. Pueden ser desde animales compitiendo en unas olimpiadas de buceo hasta bebés hablando. Los investigadores reconocieron que parte de ese contenido slop era “bonito” y “entretenido”.
Las directrices de TikTok establecen que no es posible subir vídeos donde la IA haya generado fuentes falsas, usado la imagen de menores de 18 años o la de adultos, si estos últimos no son personajes públicos.
“Esta investigación sobre [las cuentas automatizadas] demuestra de qué manera el contenido generado por IA se ha integrado en las plataformas y en todo el ecosistema viral”, dice AI Forensics. “La línea difusa que separa en la plataforma el contenido humano genuino del contenido artificial generado por IA marca una nueva tendencia hacia más contenido generado por IA para los usuarios”, afirman los autores de la investigación, centrada en datos obtenidos entre mediados de agosto y mediados de septiembre.
Algunos de los vídeos trataban de sacarle dinero a los usuarios promocionando suplementos para la salud con influencers falsos, publicitando herramientas que ayudan a crear contenido de IA viral y buscando anunciantes para los vídeos, entre otras cosas.
Las plataformas deben ir más allá del débil u opcional etiquetado de ‘contenidos generados por IA’ y considerar la posibilidad de separar esos vídeos del material creado por humanos
Desde AI Forensics, que también ha alertado de la prevalencia de contenidos generados por IA en Instagram, han dado la bienvenida a la decisión de TikTok de permitir que los usuarios limiten la cantidad de los contenidos generados por IA que quieren ver, pero han pedido mejoras en su identificación y etiquetado. “Seguimos escépticos respecto al éxito de esa función [limitar los vídeos generados por IA] teniendo en cuenta la cantidad estructural y nada desdeñable de fallos en la identificación de dicho contenido”.
Según los investigadores, TikTok debería considerar la posibilidad de crear una función exclusiva para IA en la aplicación con el fin de separar el contenido generado por IA de los vídeos creados por personas. “Las plataformas deben ir más allá del débil u opcional etiquetado de ‘contenidos generados por IA’ y considerar la posibilidad de separar esos vídeos del material creado por humanos; o encontrar un sistema justo que imponga un etiquetado sistemático y visible del contenido generado por IA”, han concluido.
Traducción de Francisco de Zárate.