Alerta amb els biaixos de la intel·ligència artificial en l’ús de dades per policies i jutges per a investigar delictes

La intel·ligència artificial (IA) és útil per a jutges i policies? Desembarcaran les càmeres de reconeixement facial a la Unió Europea? Quins biaixos presenta la intel·ligència artificial a l’hora de predir conductes delictives? És racista o classista? Són algunes de les preguntes que s’han plantejat en el debat organitzat per La CafeterIA, una breu sessió virtual a l’hora del café organitzada per la Càtedra de Privacitat i Transformació Digital de Microsoft i la Universitat de València (UV). 

Josefa Ridaura Martínez, catedràtica de dret constitucional en la Facultat de Dret de la UV ha alertat sobre la possible “estigmatització preventiva del delinqüent” i s’ha preguntat si un algorisme mal dissenyat pot afectar la presumpció d’innocència. “Fins a quin punt, en nom de la seguretat, podem tindre càmeres de reconeixement facial als carrers com les que estan arribant de la Xina i quin valor probatori tenen?”. 

Miguel Fayos Mestre, comandant de la Guàrdia Civil de la Prefectura de Policia Judicial i cap del Grup de Suport Tècnic de la Unitat Tècnica de Policia Judicial, dedicada a la intel·ligència criminal, ha recordat que el duc de Ahumada, fundador de l’institut armat, ja va plantejar en el segle XIX que a unes hores determinades (a poqueta nit i de matinada) és quan es cometen els crims. “El que ens facilita l’IA és que ens permet prendre decisions amb dades ben estructurades i fiables”, encara que “per descomptat sempre ha d’haver-hi un component humà, si no es deshumanitzaria qualsevol tipus de funció i de garanties”, assegura Fayos.

El comandant de la Guàrdia Civil adverteix de la prohibició de prendre qualsevol decisió basada en un procés automatitzat sense una persona que el verifique. “Sempre cal una verificació humana, no es pot prendre una decisió que puga perjudicar algú sense que es verifique tot, cal comprovar que no és un positiu fals”. 

“Ha d’haver-hi sempre un control humà”

En el debat ha sobrevolat la polèmica incorporació de càmeres de reconeixement facial, com les que s’utilitzen a la Xina, per part dels estats membres de la Unió Europea. La proposta de Reglament de la Comissió Europea, explica Fayos, “no en prohibeix l’ús a les Forces de Seguretat, sinó que el restringeix molt”. El comandant, que ha estudiat en profunditat la proposta, afirma que l’esborrany “planteja coses que són pràcticament inviables” i recorda que la majoria dels estats membres han plantejat objeccions. “La idea és que el seu ús estiga regulat, crec que no s’han agafat principis eficaços”, afig el comandant de la Guàrdia Civil, que considera que “ha d’haver-hi sempre un control humà”. 

“El problema no rau en el reconeixement facial, rau en qui el fa servir per darrere”, afirma Fayos. “Ha d’haver-hi algú que verifique que, quan ha saltat un positiu en una base de dades, és aquesta persona”, postil·la.

Leopoldo Salvador López, titular del Jutjat de Primera Instància i Instrucció número 2 de Ronda (Màlaga) i ponent del curs Dret i Intel·ligència Artificial del Pla de Formació Contínua de Consell General del Poder Judicial, coincideix amb el comandant que “a vegades tots els riscos que percebem són infundats per la nostra pròpia imaginació i per la potencialitat amb vista al futur que puguen tindre”. “La intel·ligència artificial, la imaginació i l’enginyeria col·lectiva ens planteja una mena de Terminator omniscient que ens serveix per a tot i, en realitat, l’IA està bastant restringida”, opina el magistrat.

Així doncs, “l’IA desenvolupa l’algorisme, però cal capacitar-la amb un sistema d’assaig error”. El jutge creu que, en l’àmbit policial, l’IA pot aportar molts usos, encara que adverteix que en les experiències pilot les conclusions “en un primer moment llancen bons resultats, però després passa a no ser així”, pel fet de desenvolupar uns certs biaixos.

Un sistema d’IA experimentat al Regne Unit atorgava un nivell superior de risc a les persones d’estrat econòmic inferior segons els codis postals. Un sistema similar a Califòrnia també tenia un altre biaix: “Si eres jove i de raça negra, tenies més possibilitat de reincidència davant d’una persona blanca, encara que tinguera més antecedents”. “Cal regular el desenvolupament de l’IA perquè les dades i la capacitació asseguren els nostres drets fonamentals”, reclama Leopoldo Salvador López.

“Biaixos racistes i aporofòbics”

El magistrat també ha al·ludit a l’IA aplicada a la videovigilància: “Tenim problemes de desenvolupament, en un entorn de persones de raça negra sol presentar problemes a distingir persones de raça negra d’origen africà o a Àsia dificultats a l’hora d’identificar europeus”. A Singapur o a Corea del Sud, recorda el jutge, s’han desenvolupat sistemes que analitzen les conductes de les persones en temps real i proporcionen una probabilitat de possible activitat criminal. “Automàticament pot concloure que determinades persones cometen determinats actes”, alerta. 

“L’aparició de biaixos és una constant en l’IA contra determinats grups racials o atenció al seu origen, es va intentar evitar assignant un codi postal, però el sistema va desenvolupar un biaix cap als codis postals dels barris més pobres”, explica. El jutge es pregunta quina validesa pot tindre la prova i adverteix que “anem camí d’un sistema de mutació constitucional encoberta com ocorre en els sistemes anglosaxons o als Estats Units”. “Ha d’haver-hi un marc de desenvolupament que ens done garanties que l’IA s’adapta al nostre sistema de dret”, diu. Encara que reconeix que el projecte de Reglament de la Comissió Europea “potser ha pecat d’un cert alarmisme”.

Alfonso Peralta Gutiérrez, titular del Jutjat de Primera Instància i Instrucció número 1 de Roquetas de Mar i codirector i ponent del mateix curs de formació per al CGPJ, concep l’IA més aïna com una eina, a imatge i semblança de l’aparició de l’electricitat o de la informàtica. “Crec que la primera cosa és no sobreestimar-la, d’ací ve tota la regulació i aquesta desconfiança cap a l’IA i la cosa més correcta és concebre-la com una eina que no pot ser definitiva ni vinculant i que, a més, hem de supervisar”. 

El Reglament de la CE peca, segons el magistrat, d’un “cert bonisme”. Peralta s’ha referit als “biaixos racistes i aporofòbics”, amb més nivell de risc endossat a “persones llatines o a unes certes zones amb menys renda”. “Una IA que es base en elements objectius no ve a plantejar problemes, els problemes venen quan s’analitza la raça de l’autor, l’edat, el nivell de renda, si té tatuatges o no, el sexe”, critica el jutge, que recorda el projecte als Països Baixos, declarat inconstitucional i discriminatori, que consistia a parar uns certs vehicles amb matrícules de l’est d’Europa, singularment de Romania, pel fet de considerar que hi havia més probabilitat que hagueren participat en robatoris. 

Es pot activar en una sinagoga?

“Moltes vegades s’hi fiquen les dades, es dona un resultat i no se sap el raonament d’aquest resultat ni la traçabilitat. Els jutges hem de motivar les nostres sentències i motivar com hem arribat a aquesta conclusió, però amb una IA amb un algorisme que no siga públic i transparent, no se sap”, denuncia. 

El magistrat ha posat l’exemple del Regne Unit, on un tribunal ha considerat que és massa discrecional l’ús del reconeixement facial. “Pot identificar una persona que està entrant en una sinagoga, en un centre de salut, en un local de cambreres o que està amb l’amant”, ha alertat. Així doncs, el projecte de Reglament de la CE en limita l’ús a la persecució de delictes greus, la protecció de víctimes i les amenaces greus i imminents, sempre amb autorització judicial i administrativa. “És assimilable a altres mesures d’investigació actuals, com ara l’ús de micros o la captació de vídeo”, afig.

Es pot activar en una sinagoga? “Estaria afectant el dret a la llibertat religiosa”, adverteix Peralta, que considera que “des del punt de vista probatori és un tema d’eina i d’indici”. “L’IA no pot determinar la culpabilitat o si es manté a la presó algú, és un element més. A vegades recorda la prova d’intel·ligència policial, que ha de ser corroborada per indicis i proves”.

El seu company, el jutge Leopoldo Salvador López, ha posat l’exemple de la violència de gènere. “A l’hora de concedir l’ordre [d’allunyament], és un indici més de conducta delictiva, però es valora en el conjunt”. També ha al·ludit a les possibilitats dels mapes de calor o altres eines per a detectar plantacions il·legals de marihuana des de l’aire. 

El comandant de la Guàrdia Civil Miguel Fayos ha narrat l’ús de l’IA en la cimera del G-20 del 2018, celebrada a Buenos Aires, on es va usar un sistema que, mitjançant l’anàlisi de les vies de comunicació, “era capaç de calcular sobre la base de les rutes els punts més eficaços per a situar-hi controls policials en diverses marques de temps, en 15 minuts, mitja hora o una hora posteriors, per poder cobrir les rutes més probables de fuita”. “És una aplicació complexa”, reconeix.