Qui controla l’algorisme? La Generalitat Valenciana obliga a mostrar les fórmules que influïsquen en les polítiques públiques

Les administracions públiques van cap a un escenari en què les fórmules automatitzades facen més eficient la seua faena. L’Agència Tributària, la Policia Nacional, el sistema de protecció a les víctimes de violència masclista (Viogen), Sanitat o la Seguretat Social utilitzen sistemes automatitzats, intel·ligència artificial o fórmules algorísmiques que influeixen en la presa de decisions públiques, però molts no són coneguts.

Però la tecnologia, com tota eina dissenyada per la mà humana, té els seus riscos, els seus biaixos, els seus errors. I en el cas de les administracions públiques, que presten un servei a les persones, amb el component d’imprevisibilitat i el cost humà, no pot permetre’s delegar per complet les decisions en una fórmula matemàtica, sovint plenament opaca. En els últims anys creixen les veus que clamen pels drets digitals davant la intel·ligència artificial i per una tecnologia ètica, assumint els vessants negatius que pot tindre una tecnologia sense control. El filòsof Daniel Inneranity, que acaba de crear la Càtedra d’Intel·ligència Artificial i Democràcia en l’Institut Europeu de Florència, advoca per no assimilar la intel·ligència artificial a la humana i proposa un diàleg en què es plantegen escenaris compatibles entre humans i màquines.

En el cas dels algorismes que empren els governs de totes les escales, entra a més en joc el principi de transparència: Si un ciutadà pot accedir a un decret que regula subvencions, per què no pot saber la fórmula que decideix com es reparteixen? En aquesta línia, el Govern Valencià ha modificat la seua Llei de transparència per obligar l’Administració a mostrar els seus algorismes.

La norma, modificada l’abril passat, estableix l’obligació de publicar “la relació de sistemes algorísmics o d’intel·ligència artificial que tinguen impacte en els procediments administratius o la prestació dels serveis públics amb la descripció de manera comprensible del disseny i el funcionament, el nivell de risc que impliquen i el punt de contacte a què poder dirigir-se en cada cas, d’acord amb els principis de transparència i explicabilitat”.

“És la primera llei en què s’inclou com una obligació directa publicar aquests sistemes” recalca Andrés Gomis, director general de Transparència del Govern valencià. El seu departament treballa amb la Càtedra Pagoda de Govern Obert de la Universitat de València per posar en marxa aquest punt de la norma, que la converteix en una de les més avançades a Europa, i tindre un registre públic d’algorismes durant el 2023. La filosofia és que, si hi ha una Administració que es regeix per unes regles que són públiques, també han de ser-ho els sistemes que funcionen de manera equivalent, a fi de mantindre el principi de rendició de comptes que defensa el departament dirigit per Rosa Pérez Garijo.

El desenvolupament normatiu segueix el deixant de la carta de drets digitals, però es topa amb algunes complicacions, com trobar una fórmula garantista amb la privacitat i la protecció de dades. Molts d’aquests sistemes els desenvolupen tercers i afecten informació personal, recorda Lorenzo Cotino, catedràtic de dret i part del grup que treballa amb la Conselleria de Transparència. “La major part dels sistemes no els coneixem”, assenyala el catedràtic, que emfatitza la necessitat que la població tinga informació sobre el desenvolupament de les polítiques públiques. Si aquestes es desenvolupen per sistemes més o menys automatitzats, encara que requerisquen la validació d’un treballador, els ciutadans tenen dret a saber quins són els criteris, a recórrer o esmenar possibles errors i a tindre informació sobre els biaixos.

El treball de desenvolupament normatiu, apunta Cotino, consistirà a determinar què és l’impacte sobre la política pública i obtindre informació per a saber, de manera comprensible, com opera la fórmula i a qui dirigir-se. Quina fórmula s’empra, d’on ix –si la creació és pública o de tercers– i com s’ha interpretat, insisteix. La modificació legal incorpora un text prou ampli perquè càpien totes les definicions de processos automatitzats que intervenen en l’Administració, tinguen capacitat d’autoaprenentatge i autonomia en la presa de decisions o requerisquen la validació d’un operador públic.