Contenido abusivo en Internet: el trabajo sucio que las empresas tecnológicas no quieren hacer

Llegaron a ser vídeos virales de YouTube y mostraban a niños gritando mientras eran torturados, a teóricos de la conspiración burlándose de las víctimas de tiroteos masivos y a chicas jóvenes con ropa sugerente grabadas por la webcam. Piezas perturbadoras que hasta hace poco atraían millones de miradas y seguían expandiéndose por el portal. Sólo desaparecieron cuando, horas después, unos periodistas pidieron explicaciones a YouTube.

La eliminación de los vídeos ofensivos es la prueba de un oscuro comportamiento en Silicon Valley y una característica común en algunos de los mayores escándalos tecnológicos de 2017: los periodistas se han convertido en los moderadores de facto de las principales redes sociales, exponiendo el contenido ofensivo que las propias empresas no han sabido detectar.

Frente a la creciente toma de conciencia de que Facebook, Google, Twitter y otras empresas también tienen efectos perjudiciales sobre la sociedad –ya sea permitiendo el acoso y la violencia, difundiendo información falsa o amenazando la supervivencia de las funciones centrales de la democracia–, las empresas tecnológicas se han resistido en gran medida a cambios fundamentales que reducirían los daños.

Al revés, Silicon Valley se ha adherido a esa creencia fundacional de que las empresas tecnológicas no son las últimas responsables del contenido en sus plataformas. Han subcontratado esa responsabilidad social en periodistas, vigilantes y otros ciudadanos que han asumido cada vez más el papel de moderadores no remunerados. Ellos denuncian los materiales abusivos, peligrosos o ilegales y los portales los eliminan después para evitarse la mala publicidad.

En muchos aspectos, se trata de un sistema que no funciona. Según Jane Kirtley, crítica del impacto de Facebook sobre el periodismo y profesora de Ética y Derecho en Medios de la Universidad de Minnesota, “se han contentado con dejar que el público en general o los medios de comunicación convencionales hagan el trabajo por ellos”. La filosofía es, según Kirtley: “Maximizar nuestra presencia y nuestro dinero y si algo sale mal, pedir perdón”.

Todas las semanas los reporteros descubren errores flagrantes y contenidos alarmantes en estos sitios, poniendo en marcha el predecible ciclo de retirar el contenido, pedir disculpas y hacer vagas promesas de reevaluación. A menudo, los esfuerzos arbitrarios de las empresas por hacer cumplir la ley y unos algoritmos ineficaces no alcanzan para impedir la subida de materiales abusivos, aunque violen las políticas y los estándares de la empresa.

Un ejemplo es YouTube. El portal de vídeos online había permitido que prosperara una amplia gama de vídeos y canales “verificados” en los que había explotación infantil, incluso permitiendo en algunos casos que el contenido violento burlara el filtro de seguridad YouTube Kids. Si decenas de canales y miles de vídeos fueron retirados recientemente del sitio (propiedad de Google) fue sólo gracias a las revelaciones de BuzzFeed, a las del periódico The New York Times y a un ensayo viral publicado en Medium.

Una política reactiva, no preventiva

Algunos familiares de víctimas de tiroteos han pasado infinidad de horas tratando de hacer que YouTube eliminase vídeos acosadores protagonizados por teóricos de la conspiración. Un proceso emocionalmente agotador, en sus propias palabras, que a menudo no alcanza para clasificar las imágenes como inadecuadas.

Sin embargo, cuando the Guardian envió hace poco a YouTube una consulta por correo electrónico sobre 10 de estos vídeos, el sitio eliminó la mitad de ellos en cuestión de horas porque violaban las “políticas sobre acoso e intimidación”.

Después de todo un día de noticias negativas para YouTube por unos vídeos ofensivos que se habían subido al portal atacando a las víctimas del tiroteo de Las Vegas, la página de Google también cambió su algoritmo de búsqueda para promover fuentes de noticias más fiables.

El lunes pasado YouTube informó de que el próximo año contratará a miles de nuevos moderadores para luchar contra los vídeos que muestren abusos a niños, igual que ya hizo con los vídeos de extremistas violentos. Con más de 10.000 moderadores en todo Google, el grupo ha dicho que seguirá dependiendo en gran medida de la inteligencia artificial para identificar contenidos problemáticos.

Facebook también se ha visto obligado en repetidas ocasiones a cambiar de rumbo y a disculparse públicamente tras las decisiones embarazosas o poco éticas de los algoritmos o de los moderadores internos (que se quejan de estar sobrecargados y mal pagados).

ProPublica informó este mes que Facebook permitía a los anuncios de vivienda excluir a los usuarios por su color de piel, algo que va en contra de la ley. Eso a pesar de la declaración previa de Facebook, que decía haber instituido un sistema de “aprendizaje automático” para detectar y bloquear anuncios discriminatorios. “Un fallo en nuestra política de aplicación”, aseguró la empresa en un comunicado. Una vez más, también dijeron estar adoptando nuevas salvaguardas y revisando sus políticas.

Chechenos y rohingyas terroristas

Otra ocasión en que Facebook, Google y Twitter se vieron obligadas a cambiar sus políticas fue cuando los periodistas revelaron este año que podían comprarse anuncios destinados a categorías ofensivas, como el de las personas que se consideran a sí mismas “jews haters [odiadores de judíos]”.

Según Don Heider, fundador del Center for Digital Ethics and Policy: “Están preocupados por obtener la mayor cantidad humanamente posible de anuncios publicitarios”. “Eso no siempre es un buen presagio”, explica.

Facebook y Twitter se han enfrentado a una intensa y violenta reacción por permitir que los abusos y las noticias falsas florezcan en sus redes mientras cierran cuentas y mensajes con noticias legítimas que muchas veces denuncian malas conductas. Para los usuarios afectados, a veces la mejor manera de conseguir que hagan algo es contándoselo a un periodista.

Facebook restituyó este año su cuenta a un grupo activista independentista checheno después de que the Guardian preguntara a la red social por su decisión de cerrar la página por “actividad terrorista”. Las investigaciones de los reporteros también obligaron al sitio a admitir que se había equivocado al censurar las publicaciones de un grupo rohingya contrario al ejército de Myanmar.

Teniendo en cuenta la escala y la variedad del contenido, está claro que no hay soluciones fáciles para la moderación. Pero según los expertos, las compañías deberían dedicar significativamente más recursos en personal con formación periodística y ética.

De acuerdo con Kirtley, los esfuerzos de Facebook para comprobar los hechos que difunden las noticias –infructuosos, según varios expertos– deberían involucrar a un gran equipo de periodistas a tiempo completo, estructurados como una sala de redacción: “Tienen que empezar a trabajar como una empresa de noticias”.

Según Reem Suleiman, activista de SumOfUs (una ONG que ha criticado a Facebook por tener un sistema de moderación “racialmente sesgado”), las empresas deberían ser más transparentes, publicar datos internos y explicar cómo funcionan sus algoritmos: “Sin el trabajo de los periodistas rastreando esta información, estamos completamente a oscuras”.

Para Claire Wardle, investigadora del Shorenstein Center on Media, Politics and Public Policy de Harvard, las plataformas están comenzando a desarrollar equipos de especialistas más sólidos para el trabajo de moderación. No obstante, le sigue pareciendo “chocante” que Twitter no haya detectado las cuentas dedicadas a difundir propaganda que un grupo de reporteros de BuzzFeed, sin acceso a datos internos, sí pudo descubrir. “Mi lado cínico cree que no están mirando porque no quieren encontrar”, confiesa Wardle.

Un portavoz de Twitter habló maravillas de su mecanismo de inteligencia artificial. Según él, detecta y bloquea 450.000 conexiones sospechosas al día. También elogió el trabajo de los medios de comunicación: “Recibimos con satisfacción los reportajes que identifican cuentas de Twitter que potencialmente violan nuestras cláusulas y apreciamos que muchos periodistas usen Twitter para identificar y exponer esa desinformación en tiempo real”.

Un portavoz de Facebook afirma que la empresa está contratando a miles de personas para revisar el contenido y que a finales de año estará compuesto por un total de 7.500 personas. Según el portavoz, ese equipo trabaja para evaluar si el contenido viola las “normas de la comunidad”. “Nosotros no somos los árbitros de la verdad”, aclara.

Traducido por Francisco de Zárate