Alerta con los sesgos de la inteligencia artificial en el uso de datos por policías y jueces para investigar delitos

¿La inteligencia artificial (IA) es útil para jueces y policías? ¿Van a desembarcar las cámaras de reconocimiento facial en la Unión Europea? ¿Qué sesgos presenta la inteligencia artificial a la hora de predecir conductas delictivas? ¿Es racista o clasista? Son algunas de las preguntas que se han planteado en el debate organizado este lunes por La CafeterIA, una breve sesión virtual a la hora del café organizada por la Cátedra de Privacidad y Transformación Digital de Microsoft y la Universitat de València (UV).

Josefa Ridaura Martínez, catedrática de Derecho Constitucional en la Facultad de Derecho de la UV ha alertado sobre la posible “estigmatización preventiva del delincuente” y se ha preguntado si un algoritmo mal diseñado puede afectar a la presunción de inocencia. “¿Hasta qué punto, en aras de la seguridad, podemos tener cámaras de reconocimiento facial en las calles como las que están llegando de China y qué valor probatorio tienen?”.

Miguel Fayos Mestre, comandante de la Guardia Civil de la Jefatura de Policía Judicial y jefe del Grupo de Apoyo Técnico de la Unidad Técnica de Policía Judicial, dedicada a la inteligencia criminal, ha recordado que el Duque de Ahumada, fundador del instituto armado, ya planteó en el siglo XIX que en determinadas horas (al anochecer y de madrugada) es cuando se cometen los crímenes. “Lo que nos facilita la IA es que nos permite tomar decisiones con datos bien estructurados y fiables”, aunque “por supuesto siempre tiene que haber un componente humano, si no se deshumanizaría cualquier tipo de función y de garantías”, asegura Fayos.

El comandante de la Guardia Civil advierte de la prohibición de tomar cualquier decisión basada en un proceso automatizado sin una persona que lo verifique. “Siempre hace falta una verificación humana, no se puede tomar una decisión que pueda perjudicar a alguien sin que se verifique todo, hay que comprobar que no es un falso positivo”.

“Tiene que haber siempre un control humano”

En el debate ha sobrevolado la polémica incorporación de cámaras de reconocimiento facial, como las que se utilizan en China, por parte de los Estados miembro de la Unión Europea. La propuesta de Reglamento de la Comisión Europea, explica Fayos, “no prohíbe su uso a las Fuerzas de Seguridad sino que lo restringe mucho”. El comandante, que ha estudiado en profundidad la propuesta, sostiene que el borrador “plantea cosas que son prácticamente inviables” y recuerda que la mayoría de Estados miembros han planteado reparos. “La idea es que su uso esté regulado, creo que no se han tomado principios eficaces”, agrega el comandante de la Guardia Civil, quien considera que “tiene que haber siempre un control humano”.

“El problema no está en el reconocimiento facial, está en quién lo emplea por detrás”, afirma Fayos. “Tiene que haber alguien que verifique que cuando ha saltado un positivo en una base de datos es esa persona”, apostilla.

Leopoldo Salvador López, titular del Juzgado de Primera Instancia e Instrucción número 2 de Ronda (Málaga) y ponente del curso Derecho e Inteligencia Artificial del Plan de Formación Continua de Consejo General del Poder Judicial, coincide con el comandante en que “a veces todos los riesgos que percibimos son infundados por nuestra propia imaginación y por la potencialidad de cara al futuro que puedan tener”. “La inteligencia artificial, la imaginación y la ingeniería colectiva nos plantean una especie de Terminator omnisciente que nos sirve para todo y, en realidad, la IA está bastante restringida”, opina el magistrado.

Así, “la IA desarrolla el algoritmo pero hay que capacitarla con un sistema de ensayo error”. El juez cree que, en el ámbito policial, la IA puede aportar muchos usos aunque advierte de que en las experiencias piloto las conclusiones “en primer momento arrojan buenos resultados pero después pasa a no ser así”, al desarrollar ciertos sesgos.

Un sistema de IA experimentado en el Reino Unido otorgaba un nivel superior de riesgo a las personas de estrato económico inferior según los códigos postales. Un sistema similar en California también contaba con otro sesgo: “Si eras joven y de raza negra tenías más posibilidad de reincidencia frente a una persona blanca aunque tuviera más antecedentes”. “Hay que regular el desarrollo de la IA para que los datos y la capacitación vengan a asegurar nuestros derechos fundamentales”, reclama Leopoldo Salvador López.

“Sesgos racistas y aporofóbicos”

El magistrado también ha aludido a la IA aplicada a la videovigilancia: “Tenemos problemas de desarrollo, en un entorno de personas de raza negra suele presentar problemas en distinguir personas de raza negra de origen africano o en Asia dificultades a la hora de identificar europeos”. En Singapur o en Corea del Sur, recuerda el juez, se han desarrollado sistemas que analizan las conductas de las personas en tiempo real proporcionando una probabilidad de posible actividad criminal. “Automáticamente puede concluir que determinadas personas cometen determinados actos”, alerta.

“La aparición de sesgos es una constante en la IA contra determinados grupos raciales o en atención a su origen se intentó evitar asignando un código postal, pero el sistema desarrolló un sesgo hacia los códigos postales de los barrios más pobres”, explica. El juez se pregunta qué validez puede tener la prueba y advierte de que “vamos camino a un sistema de mutación constitucional encubierta como ocurre en los sistemas anglosajones o en Estados Unidos”. “Tiene que haber un marco de desarrollo que nos dé garantías de que la IA se adapta a nuestro sistema de derecho”, dice. Aunque reconoce que el proyecto de Reglamento de la Comisión Europea “quizá ha pecado de un cierto alarmismo”.

Alfonso Peralta Gutiérrez, titular del Juzgado de Primera Instancia e Instrucción número 1 de Roquetas de Mar y codirector y ponente del mismo curso de formación para el CGPJ, concibe la IA más bien como una herramienta, a imagen y semejanza de la aparición de la electricidad o de la informática. “Creo que lo primero es no sobrestimarla, de ahí viene toda la regulación y esa desconfianza hacia la IA y lo correcto es concebirla como una herramienta que no puede ser definitiva ni vinculante y que, además, tenemos que supervisar”.

El Reglamento de la CE peca, según el magistrado, de un “cierto buenismo”. Peralta se ha referido a los “sesgos racistas y aporafóbicos”, con un mayor nivel de riesgo endosado a “personas latinas o a ciertas zonas con menor renta”. “Una IA que se base en elementos objetivos no viene a plantear problemas, los problemas vienen cuando se analiza la raza del autor, su edad, su nivel de renta, si tiene tatuajes o no, su sexo”, critica el juez, quien recuerda el proyecto en los Países Bajos, declarado inconstitucional y discriminatorio, que consistía en parar a ciertos vehículos con matrículas del Este de Europa, singularmente de Rumanía, al considerar que había mayor probabilidad de que hubieran participado en robos.

¿Se puede activar en una sinagoga?

“Muchas veces se meten los datos, se da un resultado y no se sabe el razonamiento de ese resultado ni la trazabilidad. Los jueces debemos motivar nuestras sentencias y motivar cómo hemos llegado a esa conclusión pero con una IA con un algoritmo que no sea público y transparente, no se sabe”, denuncia.

El magistrado ha puesto el ejemplo del Reino Unido, donde un tribunal ha considerado que es demasiado discrecional el uso del reconocimiento facial. “Puede identificar a una persona que está entrando en una sinagoga, en un centro de salud, en un local de alterne o que está con su amante”, ha alertado. Así, el proyecto de Reglamento de la CE limita su uso a la persecución de delitos graves, la protección de víctimas y las amenazas graves e inminentes, siempre con autorización judicial y administrativa. “Es asimilable a otras medidas de investigación actuales, como uso de micros o la captación de video”, agrega.

¿Se puede activar en una sinagoga? “Estaría afectando al derecho a la libertad religiosa”, advierte Peralta, quien considera que “a nivel probatorio es un tema de herramienta y de indicio”. “La IA no puede determinar la culpabilidad o si se mantiene en prisión a alguien, es un elemento más. A veces recuerda a la prueba de inteligencia policial, que ha de ser corroborada por indicios y pruebas”.

Su compañero, el juez Leopoldo Salvador López, ha puesto el ejemplo de la violencia de género. “A la hora de conceder la orden [de alejamiento], es un indicio más de conducta delictiva pero se valora en el conjunto”. También ha aludido a las posibilidades de los mapas de calor u otras herramientas para detectar plantaciones ilegales de marihuana desde el aire.

El comandante de la Guardia Civil Miguel Fayos ha narrado el uso de la IA en la cumbre del G-7 del 2019, celebrada en Hendaya (Francia), donde se usó un sistema que, mediante el análisis de las vías de comunicación, “era capaz de calcular en base a las rutas los puntos más eficaces para situar controles policiales en diversas marcas de tiempo, en 15 minutos, media hora o una hora posteriores, para poder cubrir las rutas más probables de escape”. “Es una aplicación compleja”, reconoce.