El risc de les eines algorítmiques de la Policia per a predir riscos: “Afavoreix una legitimació de l’‘statu quo’”

Un grup multidisciplinari d’investigadors de la Universitat de València i de la Universitat Politècnica de València ha avaluat tres eines algorítmiques emprades per l’Administració espanyola per a fer anàlisis predictives en els àmbits policial i penitenciari des de la perspectiva del respecte als drets fonamentals dels ciutadans. Es tracta de VeriPol, usada per la Policia Nacional amb intel·ligència artificial per a detectar possibles denúncies falses de robatori; VioGén, utilitzada per a estimar els nivells de risc per a les víctimes de violència de gènere amb vista a establir nivells de protecció policial, i RisCanvi, una eina de l’Administració autonòmica catalana per a la gestió de les seues presons que estima tant el risc de reincidència com el d’altres conductes perilloses per part de la població reclusa.

L’estudi, en què han participat els especialistes en dret, matemàtiques i estadística Adrián Palma Ortigosa, Alba Soriano Arnanz, Andrea García Ortiz i Andrés Boix Palop, Fernando Flores, Francisco Montes, Mireia Molina Sánchez, Álvaro Briz i Alfred Peris alerta dels riscos que l’ús d’aquestes tres eines podria generar per als drets fonamentals dels ciutadans, així com de possibles discriminacions que podrien derivar-se per a col·lectius vulnerables.

Lucía Martínez Garay, professora titular del Departament de Dret Penal de la Universitat de València, que ha dirigit i ha coordinat l’estudi, detalla en aquesta entrevista amb elDiario.es dels riscos de la falta de transparència de les tres eines analitzades amb una perspectiva que combina mètodes quantitatius i qualitatius. “Aquestes eines tendeixen a presentar el problema de la delinqüència només com un problema d’individus delinqüents, que la seua major o menor propensió a delinquir es pot mesurar per a poder anticipar-se al nou crim i evitar-lo, cosa que pot estar bé i tindre un àmbit legítim de rellevància, però això difumina i allunya el focus de tota la problemàtica estructural que també hi ha darrere de la delinqüència”, afirma.

Creu que una mena de ‘coartada’ tècnica o tecnològica pot amagar decisions de naturalesa política?

Sí, pot passar. Per exemple, en la literatura especialitzada s’ha denunciat que les eines d’estimació de risc perpetuen discriminacions racials o ètniques, perquè treballen amb dades (nombre de detencions o de condemnes prèvies o temps passat a la presó) que, al seu torn, incorporen biaixos, com ara la tendència de la Policia a detindre més sovint o dels jutges a imposar penes més severes a membres de minories. L’exemple més clar és la minoria afroamericana als Estats Units. Quan per a aquests perfils les eines de valoració del risc donen un nivell de risc més alt, hi ha tendència a interpretar-ho com una dada objectiva, resultat d’un càlcul matemàtic asèptic i construït sobre evidència empírica, tot i que en realitat aquesta evidència i aquestes dades objectives poden ser el resultat de dècades de discriminació sistèmica. Discriminació que, al seu torn, els algorismes poden contribuir a agreujar si fan que, a causa del risc alt, aquestes persones continuen rebent un tracte més dur (pena més severa, presó provisional, no llibertat condicional, etcètera), que, al seu torn, funcionarà com a factor de risc en les avaluacions següents…

Aquestes eines castiguen la població més pobra?

Molts dels ítems amb els que funcionen aquestes eines tenen a veure amb situacions socioeconòmiques complicades. Situacions familiars difícils unides a entorns socials amb poques oportunitats o molt violents poden ser, òbviament, factors que afavorisquen la delinqüència (o la detenció policial). Però una cosa és que l’individu siga més agressiu o perillós i una altra que l’entorn en què s’ha mogut li haja posat les coses difícils. Totes dues coses són difícils de partionar, però les eines estimen el risc només per als individus. Diuen, per exemple: “Tal té un risc alt”, o fins i tot: “Tal té un risc alt que deriva de la seua addicció a les drogues, baix nivell educatiu i econòmic, escàs suport familiar i trastorn mental”. Però no diuen: “La falta de prou recursos per a atendre els xiquets amb TDAH en el col·legi ics a causa de retallades en la despesa pública, unida al fet que la conselleria de torn no oferia recursos residencials per a famílies en situació d’exclusió social, van fer que Tal passara l’adolescència sense la supervisió ni el suport que necessitava, perquè el pare estava a la presó i la mare treballava tot el dia per a pagar el lloguer d’una miserable habitació en un barri ple de traficants de droga”.

Què suposa que eines estimen el risc només per als individus?

Aquestes eines són individualitzants, en el sentit que informen del risc que presenta una persona i, a més, el presenten com una dada científica calculada amb evidències empíriques contrastades en estudis rigorosos. Però ometen el qüestionament dels factors estructurals que poden estar a vegades (o moltes vegades) darrere d’aquests riscos individuals. Tendeixen a presentar el problema de la delinqüència només com un problema d’individus delinqüents, que la seua major o menor propensió a delinquir es pot mesurar per a poder anticipar-se al nou crim i evitar-lo, cosa que pot estar bé i tindre un àmbit legítim de rellevància, però això difumina i allunya el focus de tota la problemàtica estructural que també hi ha darrere de la delinqüència. I tot això afavoreix, en definitiva, una legitimació de l’statu quo.

Es tracta d’una mena de decisió premeditada?

Això no significa, evidentment, que aquestes eines s’hagen dissenyat deliberadament per a aconseguir aquesta finalitat, ni per a disfressar la realitat en cap sentit. Però usar-les per a prendre decisions en el sistema de justícia penal, acceptant que es construïsquen amb aquesta mena d’informació, suposa assumir, si més no implícitament, aquest enfocament. Per això cal saber com funcionen (transparència!), per a ser capaços almenys de plantejar el debat de manera oberta: és just valorar en contra del presoner o el reu factors de risc respecte dels quals ell no és responsable, com ara antecedents penals en la seua família d’origen, o fins i tot pot haver estat patint, com per exemple haver sigut víctima de maltractament infantil? Haurien d’eliminar-se aquests factors de les eines? O haurien de ser tinguts en compte alguns factors de risc com aquests només per a decisions de tractament –decidir quin programa o quina teràpia és més recomanable–, però no per a decisions de règim? Quant es guanya realment en prevenció del delicte a costa d’avaluar el risc amb aquests factors? Pot considerar-se suficient el benefici que s’obté per a compensar aquests costos en termes de possible discriminació o és excessiu el cost? Totes aquestes són qüestions més polítiques que tècniques, sobre les quals només pot discutir-se si es coneix amb prou transparència el funcionament de les eines, i que no han d’escamotejar-se del debat amb l’excusa que l’avaluació del risc és un procediment tècnic basat en evidència empírica que no inclou valoracions ètiques.

Pel que fa a VioGén, per què hi ha indicis de menys protecció (o menys eficient) a dones nascudes fora d’Espanya?

En el sistema VioGén, el nivell de risc determina el nivell de protecció policial que la dona rebrà: la protecció és més gran com més elevat és el risc, lògicament. Segons les dades de les macroenquestes que s’han fet a Espanya sobre violència contra la dona (el 2015 i el 2019) les dones nascudes fora d’Espanya pateixen violència a les mans de les seues parelles o exparelles més sovint, i amb més gravetat, que les nascudes a Espanya, i també denuncien més aquesta violència. Si això és així, seria lògic que en VioGén les dones nascudes fora estigueren sobrerepresentades en relació amb el percentatge que representen en la població. I, de fet, així ocorre. El que passa és que aquesta sobrerepresentació de les dones nascudes fora no és uniforme al llarg dels diferents nivells de risc que VioGén pot assignar: és més alta en els nivells més baixos de risc (risc no estimat i risc baix) i molt més baixa en els nivells alts de risc (risc mitjà, alt i extrem). És a dir, que VioGen tendeix a assignar nivells més baixos de risc de revictimització a les dones nascudes fora d’Espanya.

Hi ha alguna explicació oficial d’aquest fenomen?

Vam tindre l’oportunitat de comentar aquesta dada amb personal de la Secretaria d’Estat de Seguretat i ens van dir que es deu al fet que les dones nascudes fora, si bé denuncien més, després tornen a ser agredides menys vegades. És a dir, consta menys reincidència si escau. I que per això és lògic que VioGén, que mesura aquest risc de revictimització, els assigne nivells de risc una mica més baixos. Aquest extrem només l’hem pogut comprovar en el nostre informe amb una mostra de dades enviada pel mateix Ministeri [de l’Interior], en què en efecte s’esdevé això.

Què li sembla aquesta taxa més baixa de revictimització?

Ens sembla sorprenent. Perquè, si, segons les enquestes, les dones nascudes fora pateixen més violència de gènere i més greu, no s’entén bé com és que, una vegada posada la primera denúncia, tornen a ser agredides menys vegades que les nascudes al país. I pensem que potser aquesta taxa de revictimització més baixa en les dones nascudes fora pot ser que no respon a la situació real, sinó que figure així en les dades oficials de què disposa la Policia, perquè aquestes dones potser són més reticents a tornar a acudir a les autoritats després de la primera denúncia. Per diverses raons: que, en general, estan en una situació de vulnerabilitat més gran que les nascudes a Espanya, que poden haver patit més pressions del seu entorn després de la primera denúncia, que poden haver tingut mala experiència en el seu contacte amb les autoritats o que tinguen por de conseqüències més greus per a les seues parelles o exparelles, i per a elles mateixes, que les nascudes al país (com la deportació).

Aquesta aparent revictimització més baixade les dones nascudes fora contrasta amb les dades de dones assassinades a les mans de les seues parelles o exparelles. Per què?

Encara que en números absoluts hi ha cada any més dones assassinades nascudes a Espanya que nascudes fora, la cosa canvia si normalitzem les xifres en funció del nombre de dones nascudes fora del país i dins seu residents a Espanya (perquè el nombre de dones nascudes fora d’Espanya que viuen ací és molt més baix). I el que veiem és que, entre el 2015 i el 2021, van ser assassinades 1,79 dones nascudes a Espanya per cada 100.000 dones nascudes a Espanya residents ací, però van ser assassinades 6,46 dones nascudes fora per cada 100.000 dones nascudes fora residents ací (de mitjana en els anys d’aquest període).

I, a més, ocorre que entre les dones nascudes fora que han sigut assassinades en aquests anys, el percentatge que havia denunciat prèviament violència de gènere és del 28,5%, mentre que per a les dones assassinades nascudes a Espanya el percentatge que tenia denúncies prèvies és més baix, del 19,7%. Tenint en compte el nombre de dones d’un grup i l’altre residents a Espanya per als anys analitzats, això dona una ràtio de 2,48 assassinats amb denúncia prèvia per cada 100.000 dones nascudes a Espanya i 12,88 assassinats amb denúncia prèvia per cada 100.000 dones nascudes fora. És a dir, més de cinc vegades superior.

Què suposen aquestes dades?

Això significa que, almenys per al grup de les dones que acaben sent assassinades, no sembla que la revictimització siga més baixa que per a les espanyoles, perquè hi ha una proporció més gran de dones que ja havien acudit prèviament a denunciar, i per a les quals l’assassinat és una nova agressió. Creiem que alguna deu fallar en la protecció d’aquest grup de dones, si bé òbviament aquesta fallada no té per què ser (només) de VioGén, tenint en compte que en el sistema de protecció intervenen més organismes i factors a més de la Policia, com ara les oficines d’assistència a la víctima o els serveis socials, i que són els jutges els que dicten les mesures més restrictives de drets (ordres d’allunyament, presó provisional). Però pensem que aquestes dades haurien de portar a examinar amb deteniment quin és o quins són els problemes que porten al fet que aquestes dones, pel que sembla, reben una protecció menys eficaç.

Com valora l’eficàcia de VioGén?

VioGén ha rebut crítiques per no ser capaç de detectar bé aquest fenomen, perquè a vegades dones que acaben assassinades havien rebut valoracions de risc baix o no estimat. Si bé això és cert, creiem que cal ser caut a l’hora de valorar l’eficàcia de VioGén en aquest àmbit. Els assassinats són l’acte de violència més difícil de predir, perquè és el menys freqüent. La Secretaria d’Estat de Seguretat ha fet a més un esforç en els últims anys dissenyant una escala específica en VioGén per a estimar precisament la probabilitat d’aquest esdeveniment. Com que està encara poc de temps en marxa, és prematur avaluar-la. Però, en tot cas, és molt poc realista demanar a VioGén (ni a cap altre algorisme) que classifique de risc alt o extrem totes les dones que realment estan en risc de mort, perquè, com que en són poques en relació amb la població de dones residents a Espanya, per a això l’algorisme hauria d’etiquetar-ne també així molts milers que en realitat no ho estan (falsos positius), amb la dificultat consegüent d’assignar recursos per a una protecció eficaç.

A més, hi ha una xifra molt difícil d’estimar, però que és real, de dones que, tot i estar realment en risc, no hauran arribat a morir gràcies a les mesures de protecció que la Policia ha posat en marxa precisament per haver-les considerades de risc alt. En definitiva, ens sembla poc raonable esperar que VioGén aconseguisca que el nombre de dones assassinades per violència de gènere baixe a zero.

Com es podria millorar llavors?

Tindre expectatives poc raonables pot fer que es critique l’algorisme per les raons equivocades. És més realista, creiem, tractar de millorar-ho en altres sentits, com, per exemple, examinant si hi ha realment o no biaixos com els que nosaltres hem cregut detectar respecte de les dones nascudes fora del país, o altres en què puga pensar-se, i estudiar a què es deuen i com podrien pal·liar-se, si escau. I, per descomptat, el fet que existisca VioGén no hauria de portar a donar per descomptat que la millor protecció per a les dones haja de passar necessàriament per millores o ampliacions de l’algorisme. Cal continuar plantejant-se també fins a quin punt la lluita contra la violència de gènere ha d’estar centrada en les mesures de protecció policial o haurien de destinar-se més esforços o mitjans a una altra mena de mesures.

Per què l’aplicació RisCanvi és més transparent pel que fa a les altres dueos analitzades?

És més transparent perquè estan publicats els factors de risc amb què opera (de VioGén també es coneixen) i, també, la descripció detallada en què consisteixen i com es valoren aquests factors. Encara que això des de fa molt poc: que a nosaltres ens conste, des d’aquest mateix any 2024. Però sobretot perquè ja en diverses ocasions la Generalitat de Catalunya ha publicat en obert en la web fulls d’Excel amb els resultats (totalment anonimitzats, òbviament) de les valoracions de risc fetes sobre centenars o, en l’últim estudi, fins i tot milers de presos, la codificació de tots els factors, i les dades de reincidència associades.

Què suposa que estiguen publicats els 'dataset' amb què opera RisCanvi?

Això fa que qualsevol investigador extern puga comprovar per si mateix les afirmacions que fan els gestors de RisCanvi (per exemple, si la capacitat predictiva que diuen que té realment és aquesta), però també encreuar les dades d’altres formes i estudiar altres coses que la Generalitat fins ara potser no s’ha plantejat. Per exemple, si aquesta capacitat és la mateixa en diferents grups de població. Nosaltres creiem que això n’és un exemple molt bo i demostra que es pot compartir tota aquesta informació sense generar riscos ni per a la privacitat dels presos (perquè està tot completament anonimitzat) ni per a la integritat del sistema (RisCanvi no funciona pitjor ni s’hi pot fer hacking més fàcilment perquè es conega tot això).

Aquest és el camí?

Pensem que altres administracions públiques haurien de seguir aquest exemple. A més, la Generalitat va encarregar una auditoria externa sobre RisCanvi i ha publicat els resultats d’aquesta auditoria en obert, cosa que –amb independència de l’opinió que puguen meréixer l’abast i els resultats de l’auditoria, que en l’informe no entrem a analitzar excepte per referències molt fragmentàries– és també alguna cosa a destacar. Que nosaltres sapiem, no s’ha fet res de similar amb VioGén ni amb Veripol.

És transparent del tot l’eina?

RisCanvi no és completament transparent, perquè no es coneix la codificació dels algorismes amb què funcionen les diferents escales de risc. Nosaltres hem pogut conéixer més o menys el de l’escala de risc de reincidència violenta, perquè altres col·legues, de la Universitat Pompeu Fabra (UPF), han fet el favor de compartir amb nosaltres la seua reconstrucció, però no ens consta si continua sent aquest o s’ha modificat, ni que s’hagen fet públics els de les altres escales de risc.

Aquesta eina estima cinc tipus de risc (de reincidència general, de reincidència violenta, de violència intrainstitucional, de violència autodirigida i de trencament de permisos), però nosaltres només hem tingut dades quantitatives sobre reincidència violenta. Per tant, en la part de l’informe en què fem l’anàlisi quantitativa dels possibles biaixos, cal subratllar que, pel que fa a això, només ens referim a l’estimació de risc de reincidència violenta. No tenim dades per a saber què passa en les altres escales.

Per què les persones amb problemes de salut mental o d’addiccions experimenten biaixos en RisCanvi?

Gràcies precisament al fet que la Generalitat de Catalunya publica aquests fulls Excel i al fet que col·legues de la UPF que tenien dades sobre RisCanvi han fet càlculs per a nosaltres, hem pogut comprovar que els interns que tenen trastorn mental o addicció a substàncies, o bé totes dues coses juntes, tenen un percentatge de reincidència violenta superior als que no pateixen aquests problemes, diguem que més o menys el doble (això és una aproximació: el percentatge difereix en cadascun d’aquests tres grups).

D’altra banda, dins del grup de presos que tenen trastorn mental, addiccions, o totes dues coses, RisCanvi en classifica de risc alt un percentatge més gran que en el grup de presos sense aquestes condicions, cosa que en principi sembla lògica i correcta: si aquests col·lectius reincideixen més, és lògic que l’eina done a més persones dins d’aquests grups un nivell de risc alt. Però el problema és que el percentatge de gent que RisCanvi classifica de risc alt dins d’aquests grups no és el doble que en el grup de persones que no tenen trastorn ni dependència, sinó molt més alt: es multiplica per cinc, per 10 o, en alguns casos, fins i tot per 20.

Què suposa això?

El risc de reincidència dels que tenen trastorn mental, addicció, o totes dues coses, és (segons les dades de reincidència de què disposa la Generalitat) més o menys el doble que entre els presos sense aquests problemes, però RisCanvi no classifica el doble de presos dins d’aquests grups de risc alt, sinó moltíssims més que el doble.

I això fa que, òbviament, en aquests col·lectius dins del grup classificat de risc alt el percentatge de falsos positius (persones a qui es considera amb risc alt de reincidència violenta, però que no cometen després un nou delicte violent) siga molt més alt que entre el grup de persones que no tenen trastorn ni addicció. RisCanvi és, per tant, molt més ‘sever’ amb aquests grups. Cosa que és important, perquè una classificació de risc alt té conseqüències: el nivell de risc es té en compte en decisions com la concessió de tercer grau o llibertat condicional, per exemple. I, òbviament, un nivell de risc alt és una dada que dificulta prendre aquesta decisió.

Passa el mateix amb altres aspectes?

Passa una cosa semblant amb el nivell socioeconòmic, encara que en aquest cas hem de pronunciar-nos amb més cautela, perquè en alguns grups la mostra és massa menuda per a poder extraure conclusions. No obstant això, no passa amb la nacionalitat: RisCanvi no assigna nivells de risc de reincidència violenta més alts als estrangers que als nacionals, cosa que està molt bé, perquè, segons les dades, sembla que en efecte la taxa de reincidència violenta dels estrangers no és més alta, sinó més baixa que la dels nacionals. Que RisCanvi no tinga ací un biaix en contra d’estrangers és una virtut que convé destacar.

Per què hi ha tan poca informació disponible sobre VeriPol?

Perquè només s’ha fet pública la seua existència en notícies de premsa i a través d’un parell d’articles científics que en descriuen l’enfocament i la creació, però que no donen dades sobre els seus efectes en l’aplicació pràctica diària.

Com van suplir aquesta falta d’informació?

Per a obtindre més informació (si s’aplica realment o no, quant i en quins casos; si els agents segueixen les recomanacions o no, i en quins casos; si els resultats demostren la seua eficàcia o no; si genera valoracions diferents en funció de característiques de certs col·lectius com, per exemple, desconeixement del castellà) vam estar insistint durant uns quants mesos a la Direcció General de la Policia Nacional perquè ens concediren una entrevista i, finalment, ho vam aconseguir. Encara que ens van atendre molt amablement i crec que realment vam parlar amb una persona que sí que coneixia l’eina i el seu funcionament, ens van dir que ells mateixos no recullen dades de manera sistemàtica sobre res d’això. D’altra banda, després de l’entrevista ens van facilitar també algunes dades addicionals, però són difícils de contrastar i tampoc donen informació directa sobre aquestes qüestions. En definitiva, sembla que pel que fa a Veripol, no sols és que no s’haja fet públic cap dada, sinó que pot ser que la mateixa Policia ni tan sols en tinga, perquè no en recull.

Quins drets fonamentals poden veure’s afectats per aquestes aplicacions?

El dret de defensa i el dret a la igualtat de tracte i a la no- discriminació. A més, s’afecten els drets relacionats amb el tractament de dades personals, especialment el dret d’accés a les dades: en cap de les eines que hem analitzat està previst expressament que l’interessat (el pres en RisCanvi, l’home en VioGén, el denunciant en Veripol) tinga dret al fet que se li facilite una còpia de les dades que el sistema té emmagatzemades sobre ell o ella, i dels nivells de risc assignats. En VioGén sí que està previst un procediment per a sol·licitar la supressió de les dades en determinats supòsits taxats, però no sembla que hi haja un dret d’accés fora d’aquests supòsits. En RisCanvi no hi ha prevista una via per a l’accés dels presos a la informació que té el sistema sobre ells, més enllà dels drets generals d’informació regulats en la legislació penitenciària.

Quines afeccions a drets fonamentals pot suposar la falta de transparència d’aquestes aplicacions?

D’una banda, el dret de defensa: si un ha de presentar una denúncia per robatori i la Policia, en compte de posar-se a investigar aquest esdeveniment, es posa a acusar-te a tu que la denúncia és falsa, és normal tindre dret a saber a partir de quins indicis o quines dades, o per quina raó, s’ha generat aquesta sospita, per a poder defendre’s de l’acusació. I si l’única resposta és que perquè ho ha dit així una intel·ligència artificial, el funcionament de la qual, la qualitat de les prediccions i els possibles biaixos no coneix ningú, és impossible defensar-se. També entra en joc el dret a la igualtat de tracte i a la no-discriminació. En un exemple imaginari (perquè no tenim cap dada per a afirmar que passe això, però tampoc per a descartar-ho) si Veripol assenyalara com a falses les denúncies d’immigrants més sovint que les de nacionals, podria estar produint-se una discriminació a aquest col·lectiu, si no hi ha dades reals que demostren que en aquest grup realment són més freqüents en aquesta mesura. I el mateix pel que fa a altres possibles grups: joves davant d’adults, parlants de llengües cooficials davant del castellà o al revés, gent d’un nivell socioeconòmic determinat, gitanos davant paios, etcètera.

Quines conseqüències té la falta de transparència de les aplicacions algorísmiques analitzades en l’informe?

Per a la ciutadania en general, dificulta el debat públic sobre aquestes matèries. En funció que el grau d’opacitat siga més alt o més baix, no és possible a vegades conéixer els criteris amb què es prenen les decisions, saber si els resultats són iguals per a tots o dispars per a certs col·lectius, per què s’ha decidit incloure determinades coses com a factor de risc i altres no, si hi ha evidència sobre l’eficàcia d’aquestes eines per a assolir la finalitat que se suposa que les justifica. I el desconeixement fa més difícil el control de l’activitat de les administracions públiques per part dels ciutadans, cosa que és molt necessària en una societat democràtica i en un estat de dret. I que, si bé és important en tots els àmbits, segurament és especialment rellevant quan parlem d’activitat policial o penitenciària (i, en general, de l’activitat relacionada amb la potestat penal i sancionadora), perquè ací les decisions moltes vegades condueixen a retallar de manera important drets fonamentals.

En funció que el grau d’opacitat siga més alt o més baix, no és possible a vegades conéixer els criteris amb què es prenen les decisions. I per als investigadors?

La falta de transparència fa difícil a la comunitat científica comprovar externament fins a quin punt són certes les afirmacions que fan els creadors o els gestors de les eines sobre la seua bondat o la seua eficàcia. Si no es publiquen prou dades sobre el seu funcionament, ni els detalls dels algorismes o els programes amb què operen, no es poden comprovar, per a confirmar o refutar, aquestes afirmacions. Tampoc es poden analitzar coses que els gestors de les eines no vulguen analitzar. I com que això fa molt difícil detectar fallades o problemes des de fora, tampoc pot formular-se una crítica rigorosa, ni aportar-se propostes de millora. Cal ‘creure’s’ el que ens diuen, sense poder comprovar-ho.

I per a la societat civil?

Per a les ONG o les associacions, especialment les dedicades a la defensa de drets civils o d’un altre tipus, es dificulta la seua tasca. Per exemple, si Veripol només es passara (és una mera suposició) a les persones d’una ètnia o un origen nacional determinats, només detectaria denúncies falses en aquests grups. I això seria una discriminació. Però, com que no hi ha dades sobre com s’usa Veripol, perquè no es pot, si escau, detectar ni denunciar aquesta eventual discriminació. O si, per exemple, VioGén assignara (de nou: és una mera hipòtesi) de manera sistemàtica un risc desproporcionadament més baix a les dones amb discapacitat, o a les que estan per damunt o per davall d’una edat determinada, seria també una discriminació, que no pot detectar-se ni denunciar-se si no es coneixen les dades.

Com concerneix la falta de transparència les persones afectades?

Per a les persones afectades per les decisions, la falta de transparència pot vulnerar, en primer lloc, la legislació sobre protecció de dades personals, si no se’ls reconeixen els drets corresponents: accés, rectificació, oposició o supressió. Ara bé, també cal dir que la legislació vigent és molt poc estricta en aquests àmbits i permet tractar dades a l’efecte de prevenció de delictes amb molta generositat, i és prou la mera habilitació legal sense necessitat de consentiment de l’interessat. Per això, no pot dir-se que aquestes eines incomplisquen flagrantment la normativa vigent. Però el problema és que la normativa vigent deixa els interessats, a vegades, sense instruments efectius per a controlar o, almenys, conéixer el tractament que es fa de totes aquestes dades en aquestes eines, de les quals pot derivar la justificació per a restringir de manera molt intensa els seus drets.

Com pot afectar el dret de defensa?

Si el nivell de risc resulta determinant en un procediment judicial (per exemple, en una vista per a decretar presó provisional a un home acusat per violència de gènere o en un procés per a revisar la denegació d’una classificació en tercer grau penitenciari), perquè l’acusat puga defensar-se de manera eficaç, pot necessitar qüestionar aquest nivell de risc, però en la pràctica és molt difícil que puga fer-ho si no se li dona accés a les dades que el sistema té emmagatzemades sobre ell i a les raons per les quals d’aquesta combinació de dades ha derivat per a ell o ella aquest nivell de risc determinat.

També poden veure’s afectats negativament si del funcionament de les eines deriven biaixos, perquè poden rebre un tracte comparativament més sever que altres grups i, no obstant això, no poder qüestionar-lo (potser ni tan sols adonar-se que està passant!) a causa d’aquesta falta de transparència.