Revista Administración & Cidadanía, EGAP

Vol. 16_núm. 2_2021 | pp. -142

Santiago de Compostela, 2021

https://doi.org/10.36402/ac.v16i2.4803

ISSN-L: 1887-0279 | ISSN: 1887-0287

Recibido: 11/06/2021 | Aceptado: 29/06/2021

Editado baixo licenza Creative Commons Atribution 4.0 International License

Dereitos ante decisións xudiciais e administrativas algorítmicas recoñecidos nos casos CADA, Loomis, Lazio e SyRI

Derechos ante decisiones judiciales y administrativas algorítmicas reconocidos en los casos CADA, Loomis, Lazio y SyRI

Rights before judicial and administrative algorithmic decisions recognized in the cases CADA, Loomis, Lazio and SyRI

Gustavo Adolfo Amoni Reverón1

Profesor de pregrao e posgrao

Universidade Central de Venezuela

gustavoamoni@hotmail.com

Resumo: Sentenzas e actos administrativos emitidos por e con axuda de algoritmos invitan a reflexionar acerca da necesidade de regulación, o que se fai a partir de 4 decisións algorítmicas europeas e dos EE.UU. para evidenciar, por unha parte, a necesidade de regulación e, por outra, polo menos 12 dereitos que deben recoñecerse, entre eles o de acceso ao algoritmo nunha linguaxe comprensible, e mesmo ao desenvolvedor, para exercer con plenitude o dereito á defensa administrativo e xurisdicional.

Palabras clave: Algoritmo, intelixencia artificial, dereito á defensa, debido proceso, actuación administrativa automatizada.

Resumen: Sentencias y actos administrativos emitidos por y con ayuda de algoritmos invitan a reflexionar acerca de la necesidad de regulación, lo que se hace a partir de 4 decisiones algorítmicas europeas y de EE.UU. para evidenciar, por una parte, la necesidad de regulación y, por otra, al menos 12 derechos que deben reconocerse, entre ellos el de acceso al algoritmo en un lenguaje comprensible, e incluso al desarrollador, para ejercer a plenitud el derecho a la defensa administrativo y jurisdiccional.

Palabras clave: Algoritmo, inteligencia artificial, derecho a la defensa, debido proceso, actuación administrativa automatizada.

Abstract: Judicial and administrative decisions issued by and with the help of algorithms invite to rethink on the need for regulation. To that extent, 4 European and US algorithmic decisions are analyzed to demonstrate, on the one hand, the need for regulation, and on the other hand, at least 12 rights that must be recognized, including access to the algorithm in understandable language, and even to the developer, to fully exercise the right to administrative and judicial defense.

Key words: Algorithm, artificial intelligence, right to defense, due process, automatic administrative decision.

Sumario: 1 Introdución. 2 Caso CADA, Francia, 2015. 2.1 Opinión número 20144578 emitida pola Comisión de Acceso aos Documentos Administrativos (CADA) de Francia na sesión do 8 de xaneiro de 2015. 2.2 Sentenza ditada o 10 de marzo de 2016 pola 5.ª Sección da 2.ª Cámara do Tribunal Administrativo de París (n. 1508951/5-2). 2.3 Dereitos ante decisións algorítmicas evidenciados no caso CADA: o dereito de acceso ao código fonte. 3 Caso Loomis, Estados Unidos, 2016. 3.1 Sentenza da Corte Suprema de Wisconsin, Estado de Wisconsin contra Eric L. Loomis, n. 2015 AP 157-CR do 13 de xullo de 2016. 3.2 Dereitos ante decisións algorítmicas evidenciados no caso Loomis. 3.2.1 Dereito a non ser sometido a decisións automatizadas. 3.2.2 Dereito ao uso de datos precisos. 3.2.3 Dereito á actualización dos datos. 3.2.4 Dereito á igualdade e non discriminación algorítmica. 4 Caso Lazio, Italia, 2019. 4.1 Resumo da Sentenza do Consello de Estado Italiano (Sección VI) número 2270 do 8 de abril de 2019. 4.2 Dereitos ante decisións algorítmicas evidenciados no caso Lazio. 4.2.1 Dereito a unha Administración pública máis efectiva. 4.2.2 Dereito ao sometemento do algoritmo ao dereito. 4.2.3 Dereito ao pleno coñecemento do algoritmo. 4.2.4 Dereito a coñecer o algoritmo nunha linguaxe comprensible. 4.2.5 Dereito ao control xudicial do algoritmo desde o desenvolvedor. 5 Caso SyRI, Países Baixos, 2020. 5.1 Sentenza do Tribunal do Distrito da Haia, C/09/550982 / HA ZA 18-388, do 5 de febreiro de 2020. 5.2 Dereitos ante decisións algorítmicas evidenciados no caso SyRI. 5.2.1 Dereito a que se realicen avaliacións de impacto sobre datos persoais. 5.2.2 Dereito a informar aos suxeitos investigados respecto do tratamento dos seus datos persoais. 6 Conclusión. 7 Bibliografía.

1 INTRODUCIÓN

A informática é parte do proceso de toma de decisións. De feito, programas de computación tan avanzados como a intelixencia artificial úsanse en decisións humanas con efectos xurídicos. Esta realidade deriva na necesidade de concienciación sobre a falibilidade da máquina que foi desenvolvida por humanos, é usada por humanos e cuxos resultados afectan a seres humanos.

Partindo do anterior, discutiuse sobre os límites do algoritmo, procedemento que foi programado para que unha máquina produza un resultado, determinado ou imprevisto, a partir de datos ou patróns incorporados por un desenvolvedor e, nalgúns casos, polo mesmo sistema automatizado.

A doutrina ocupouse de analizar este tema, os lexisladores comezaron a fixar límites ás decisións tomadas por algoritmos e, así mesmo, os tribunais tiveron a oportunidade de pronunciarse ao respecto. Co fin de precisar os dereitos que se recoñeceron xurisprudencialmente, analizaranse catro decisións sobre a materia en Europa e nos Estados Unidos.

Para iso, resumiranse e traduciranse libremente ao español catro decisións da Corte Suprema de Virxinia (caso Loomis), do Tribunal Administrativo de París (caso CADA), do Consello de Estado de Italia (caso Lazio) e do Tribunal de Distrito da Haia (caso SyRI), con axuda de intelixencia artificial: os tradutores online de Windows 10 e Google.

Destas decisións extraeranse dereitos que deberían considerarse nas regulacións nacionais e internacionais sobre a materia con miras ao debido proceso, especialmente desde a perspectiva do dereito á defensa.

En definitiva, deduciranse e sistematizaranse os dereitos principais que xurdan destes actos xudiciais co obxecto de limitar o uso da informática aplicada á toma de decisións estatais, con especial referencia á actividade administrativa e xurisdicional.

2 CASO CADA, FRANCIA, 2015

2.1 Opinión número 20144578 emitida pola Comisión de Acceso aos Documentos Administrativos (CADA) de Francia na sesión do 8 de xaneiro de 2015

Un cidadán recorreu ante CADA2 logo da negativa do director xeral de finanzas públicas de compartir o código fonte dun programa informático que permite simular o cálculo do imposto sobre a renda de persoas naturais (físicas) co obxecto de reutilizalo para os seus traballos de investigación universitarios.

A comisión decidiu afirmativamente o recurso, expresando que o código fonte dun software é un conxunto de arquivos informáticos que conteñen as instrucións que deberán ser executadas por un microprocesador que, ao teren sido producidos pola Dirección Xeral de Finanzas Públicas con ocasión da súa actividade de servizo público, revisten carácter de documentos administrativos conforme o artigo 1 da Lei do 17 de xullo de 1978.

A pesar da opinión favorable de CADA, o solicitante debeu demandar ante o Tribunal Administrativo de París a nulidade do acto administrativo negativo tácito da Dirección Xeral de Finanzas Públicas.

2.2 Sentenza ditada o 10 de marzo de 2016 pola 5.ª Sección da 2.ª Cámara do Tribunal Administrativo de París (n. 1508951/5-2)3

O demandante argumentou que o código fonte dun programa informático é un documento que se pode compartir, no sentido da Lei 78-753, do 17 de xullo de 1978, e que as versións anteriores do software que non están en desenvolvemento son documentos administrativos completos ou rematados segundo o mesmo texto legal.

Para decidir respecto da consideración do código fonte como documento administrativo4 que se pode compartir, o tribunal expresou que o artigo 1 da Lei 78-753, vixente para entón, prevía que se consideraba documento administrativo, calquera que fose a súa data, lugar de conservación, forma e soporte, os documentos producidos ou recibidos, no marco da súa actividade de servizo público, polo Estado, as colectividades territoriais, así como polas outras persoas de dereito público ou persoas de dereito privado encargadas de tal actividade.

Continúa explicando o tribunal que, para negarse a compartir o código fonte do programa de cálculo do imposto sobre a renda das persoas físicas, o ministro de Facenda e Contas Públicas alegou que se trataba dun documento inacabado, que está en constante evolución, o que impide compartilo cos cidadáns, de conformidade co disposto na lei; non obstante, estima o tribunal que o carácter evolutivo dun programa informático non exclúe o dereito de obtelo, polo que anulou o acto administrativo polo que se negou a compartir o código fonte requirido, e ordenou que fose compartido.

2.3 Dereitos ante decisións algorítmicas evidenciados no caso CADA: o dereito de acceso ao código fonte

O uso de intelixencia artificial ou de algoritmos en xeral para tomar decisións que afecten ou poidan afectar á esfera xurídica dos particulares implica relacións xurídicas máis complexas, xa que a decisión non é tomada directamente por unha persoa, senón por un programa informático deseñado para tal fin ou con apoio nun programa informático deseñado para tal fin.

Cando é a Administración pública ou un órgano xurisdicional quen decide, o dereito de acceso aos documentos públicos e ao expediente en xeral non pode verse minguado polo formato en que se atope nin polo nivel de complexidade do sistema utilizado para tomar decisións. Polo tanto, o dereito que debe resaltarse da decisión CADA é o dereito de acceso ao código fonte.

O uso estatal de programas informáticos debe cumprir co fin de facilitar a función pública en favor dos particulares mais non do propio Estado, e moito menos en detrimento dos dereitos reivindicados pola sociedade. Así, a perda de transparencia na xestión pública non pode aceptarse como consecuencia necesaria da automatización de procesos, posto que a celeridade non pode primar respecto do dereito á motivación das decisións. O dereito á defensa implica decisións rápidas, e principalmente motivadas, que poidan controlarse e contradicirse, para o que resulta fundamental acceder a elas no medio en que se atopen documentadas, ademais de acceder ao programa informático que emitiu a decisión ou no que se apoiou a Administración ou o órgano xurisdicional para decidir.

E é que, a partir da incorporación das tecnoloxías de información e comunicación (TIC) na función pública, os dereitos tradicionais se manteñen, adaptándose ás novas realidades, e xorden novos dereitos como consecuencia da aparición de novos fenómenos con incidencia nas relacións sociais, e, en definitiva, nos dereitos subxectivos.

Así, cando se lle confía a un programa informático a toma de decisións públicas, só é posible falar de transparencia das decisións de efectos particulares se estas permiten o acceso ao código fonte5, que debe ser aberto6. De tal xeito, lógrase reutilizar a información pública, para o que debe estar nun formato que poida compartirse mediante tecnoloxías de uso común, salvo que a especialidade do caso supoña formatos especiais, que en todo caso debe ser interoperable e posta á disposición do público, resgardando dereitos de propiedade intelectual de terceiros7, o que representa un reto para a transparencia da actividade pública8, que debe ser respectuosa do dereito de acceso á información e da propiedade privada, ao mesmo tempo.

Os datos públicos deben ser accesibles, deben poder copiarse e pegarse para seren usados, conforme a lei, por exemplo, para saber como se usa determinado orzamento, cales son as mellores opcións para executar unha obra, cal é a efectividade de determinado servizo e, en definitiva, para participar, colaborar e controlar a Administración, baixo un modelo de Administración pública telemática e aberta. Isto trae como consecuencia que os datos sexan abertos, o que se logra cando os datos que se atopan en calquera formato, como pode ser o dixital, se poidan usar para distintas actividades, co obxecto de optimizar as funcións públicas9.

Así, o código fonte dun programa informático usado polo Estado no exercicio da actividade administrativa, como calquera outro dato que conste en documentos administrativos de interese público, debera ser un dato aberto e polo tanto: a) calquera persoa debera poder acceder a el, sen necesidade de solicitarllo individualmente á Administración, sen custo ou cun pagamento mínimo para copialo; b) sen exixirse pagamento ningún por concepto de propiedade intelectual ou por razóns técnicas, o que no caso CADA quedou resolto ao exixirse legalmente a súa entrega nun formato de uso frecuente; c) ser compatible coa interoperabilidade, o que suporía que se poida intercambiar por Internet e que as computadoras poidan lelo; d) ser válida a súa reutilización, así como o seu intercambio por calquera persoa; e e) ter a calidade de poder ser tratado por calquera persoa natural ou xurídica, pública ou privada, en calquera lugar10, directamente ou mediante un programa informático simple ou de maior complexidade como a intelixencia artificial.

3 CASO LOOMIS, ESTADOS UNIDOS, 201611

3.1 Sentenza da Corte Suprema de Wisconsin, Estado de Wisconsin contra Eric L. Loomis, n. 2015AP157-CR, do 13 de xullo de 2016

O fiscal do Ministerio Público sostivo que Loomis foi o condutor nun tiroteo automobilístico, polo que lle imputou cinco delitos, todos como reincidente. Loomis negou a súa participación, renunciou ao seu dereito a xuízo e admitiu os feitos (plea) por dous dos delitos imputados menos graves. O acordo establecía que sería sobresido polos demais delitos, pero que serían considerados no momento de sentenciar (read-in). Por esta razón, foi condenado a 6 anos de prisión e mais 5 anos de liberdade condicional (extended supervision)12.

O aspecto central desta análise é que, despois de aceptar a admisión dos feitos presentada por Eric Loomis, o tribunal ordenou unha investigación previa á decisión (presentence investigation), cuxo informe (presentence investigation report “PSI”) incluíu unha ferramenta de “avaliación de riscos baseada en evidencias” chamada COMPAS, para sentenciar.

COMPAS é un programa informático de avaliación de riscos e necesidades13 deseñado pola compañía Northpointe, Inc.14 para proporcionar apoio ao Ministerio Penitenciario (Department of Corrections) ao tomar decisións respecto dos suxeitos condenados. A avaliación do risco COMPAS baséase na información recompilada do expediente do acusado e nunha entrevista con el. Un informe COMPAS consiste, por unha parte, nunha avaliación de riscos deseñada para predicir a reincidencia e, por outra, nunha avaliación para identificar as necesidades en áreas como o emprego, a vivenda e o uso indebido de substancias.

Como se explica no informe (PSI), as puntuacións de risco están destinadas a predicir a probabilidade xeral de que as persoas con antecedentes penais similares a outros suxeitos sexan menos ou máis propensos a cometer outro delito ao recuperar a súa liberdade. As puntuacións de risco COMPAS emitidas respecto de Eric Loomis indicaron que presentaba un alto risco de reincidencia nos tres gráficos de barras.

Ao respecto, o defensor argumentou que faltaba información precisa e individualizada e que había discriminación por xénero no xulgamento, ao que a Corte Suprema de Wisconsin respondeu que Loomis tivo acceso á información que se usou para o informe de risco, e puido defenderse en todo momento, polo que declarou sen lugar o recurso presentado pola defensa de Eric Loomis e advertiu que, se se usa apropiadamente, unha corte de circuíto pode considerar unha avaliación de risco COMPAS para sentenciar sen que iso viole o dereito ao debido proceso.

3.2 Dereitos ante decisións algorítmicas evidenciados no caso Loomis

3.2.1 Dereito a non ser sometido a decisións automatizadas

Un dos dereitos que poden advertirse de Wisconsin contra Loomis inclúese expresamente na normativa europea de protección de datos: o dereito a non ser sometido a decisións automatizadas15, é dicir, tomadas por medios tecnolóxicos sen participación humana16, polo que serían válidas as decisións automatizadas nas que medie intervención humana, sen perder de vista que a decisión pode limitarse a aceptar o resultado da máquina, o que debe comunicárselle á persoa afectada pola decisión, e indicarse na avaliación de impacto prevista no dereito de Europa17.

Conforme o artigo 22.1 do Regulamento xeral de protección de datos, hai dúas excepcións para aceptar decisións baseadas nun tratamento automatizado: que o prevexa o dereito europeo ou dos Estados membros, ou que o interesado o consentise18. O Estado, no caso concreto, actuando mediante os órganos xurisdicionais, poderá apoiarse en programas informáticos para decidir. Desde os sistemas expertos ata a máis avanzada intelixencia artificial de aprendizaxe automática, o seu uso queda restrinxido a servir de apoio á decisión humana.

Un dos argumentos expresamente utilizados pola Corte Suprema de Wisconsin para rexeitar o recurso presentado pola defensa de Eric Loomis foi que o informe COMPAS só foi un dos elementos considerados para decidir e que, mesmo se non se tivese en conta, o resultado tería sido o mesmo. Tal é a importancia deste elemento que dous dos xuíces que integran a corte presentaron votos concorrentes nos que aclararon que o xuíz pode empregar programas informáticos como COMPAS, sempre que constitúa un elemento adicional para decidir, nunca o elemento central e menos único para sentenciar.

De feito, na sentenza afírmase que os tribunais usan e seguirán usando programas informáticos para emitir as súas decisións, e que polo tanto se require máis investigación sobre o tema. Isto débese a que as vantaxes que lle ofrece ao xulgador o uso destas ferramentas a prol de facilitar o seu traballo as farán progresivamente máis utilizadas, polo que resulta indispensable asegurar a súa precisión en respecto do dereito á defensa.

3.2.2 Dereito ao uso de datos precisos

Os algoritmos informáticos xeran un resultado a partir dos datos que lles sexan incorporados. Estes datos deben ser precisos e actuais19, é dicir, datos de calidade20. Os datos precisos permiten mellorar o rendemento institucional e ofrecer actuacións axustadas ás necesidades cidadás21; para iso, cómpre que os datos que se incorporen proveñan de fontes oficiais e estean relacionados directamente co suxeito respecto do cal se emitirá a decisión, o cal debe ter coñecemento dos resultados desa decisión.

En concreto, a Corte Suprema de Wisconsin recoñece a necesidade de acceder á información relacionada co xeito de ponderar os factores e determinar as puntuacións de risco, o que no caso analizado non foi posible polo segredo comercial que protexe a COMPAS. Isto supón o enfrontamento de dous dereitos constitucionais: dereito á propiedade privada e dereito á defensa. A primeira vista, parecería que non hai dúbidas respecto da primacía do dereito á defensa en relación co dereito á propiedade privada, xa que este último pode protexerse por outros medios sen que sexa estritamente necesario impedirlle á defensa o acceso ao algoritmo para poder defender os intereses xurídicos de Loomis.

Malia iso, o principio de proporcionalidade nin sequera chegou a considerarse, posto que se concluíu, sen ningún argumento, que o dereito á propiedade privada debía primar.

Ademais, no que concirne á precisión dos datos empregados para decidir, a Corte Suprema de Wisconsin manifestou a importancia de considerar que os datos usados sexan aplicables ao caso concreto. Ao comparar datos do suxeito a quen se lle aplica a avaliación de riscos e necesidades co resto da poboación, a avaliación compara os acusados cunha mostra nacional, debendo contrastarse coa poboación de Wisconsin, onde se produciu o feito. Así, a decisión individualiza o acusado e ten en conta datos comparativos aplicables a persoas localizadas na mesma área.

3.2.3 Dereito á actualización dos datos

Cando a Corte Suprema de Wisconsin afirma que os instrumentos de avaliación de riscos deben ser constantemente monitoreados para lograr a exactitude debido ás poboacións cambiantes e subpoboacións, ten en conta que os datos que use o programa informático serán determinantes para o resultado, posto que para o algoritmo os únicos datos existentes son os que se lle incorporen ou incorpore o programa automaticamente, segundo o caso, e a única forma de analizalos é o xeito no que o desenvolvedor o previse ou o determine a propia máquina vía machine learning ou deep learning22.

Por iso, é indispensable que os datos sexan actuais23, xa que a sociedade evoluciona, a cultura cambia e non poden obterse resultados axustados á realidade contemporánea co feito avaliado se non se teñen datos do momento histórico correspondente. Noutras palabras: o uso de datos actualizados permite decisións máis eficaces24. Isto require entender que o programa informático avanza coa tecnoloxía e por iso está en evolución continua, o que inclúe actualizar os datos, ben sexa manual ou automaticamente.

3.2.4 Dereito á igualdade e non discriminación algorítmica

Unha das afirmacións que máis chama a atención no caso Loomis é que, a xuízo do órgano xurisdicional, algúns estudos sobre as puntuacións da avaliación de risco de COMPAS puxeron en dúbida se clasifica desproporcionadamente os infractores minoritarios, asignándolles maior risco de reincidencia, e, aínda así, a corte admitiu o seu uso sen ordenar o acceso ao algoritmo, cando “o que se desexa é que os algoritmos da máquina sexan igualitarios en xeral, e non discriminatorios”25.

Admitir que só o resultado da investigación é suficiente para exercer o dereito á defensa sen que exista a posibilidade de avaliar o experto investigador, neste caso ao programa informático, coñecer como pensa, os seus valores, formación e, peor aínda, sen poder verificar en detalle o proceso seguido para obter o resultado sería suficiente para prohibir o seu uso.

Saber que un procedemento pode ser discriminatorio e, aínda así, deixar de facer o posible para corrixilo é unha postura que non se pode avalar, porque se estaría a actuar en violación directa da Constitución e das convencións internacionais sobre dereitos humanos que consagran o dereito á igualdade.

4 CASO LAZIO, ITALIA, 2019

4.1 Resumo da Sentenza do Consello de Estado Italiano (Sección VI) número 2270, do 8 de abril de 201926

Un grupo de docentes actuaron xudicialmente contra a decisión tomada a partir dun procedemento administrativo polo que foron asignados a cargos respecto dos que non tiñan experiencia, e a provincias afastadas da súa provincia de residencia, grazas a un algoritmo cuxo funcionamento concreto descoñecían. Coa Sentenza n. 12026, do 1 de decembro de 2016, o Tribunal Administrativo Rexional do Lazio rexeitou a pretensión de nulidade, a cal foi apelada ante o Consello de Estado italiano.

O Consello de Estado manifestou a importancia de elevar o nivel de dixitalización da Administración pública para mellorar a calidade dos servizos ofrecidos, tal como se advirte da normativa xurídica italiana e comunitaria; é dicir, de migrar cara a modelos de goberno electrónico. No que concirne ao obxecto da sentenza, o Consello de Estado recoñece as vantaxes indiscutibles derivadas da automatización do proceso de toma de decisións da Administración mediante o uso dun procedemento dixital e a través dun “algoritmo” ou secuencia ordenada de operacións computacionais capaz de avaliar e cualificar unha multitude de solicitudes.

A utilidade desta forma de xestionar o interese público é particularmente evidente no que respecta aos procedementos en serie ou estandarizados, que implican o tratamento de grandes cantidades de requirimentos e se caracteriza pola adquisición de determinados datos obxectivamente comprobables e a ausencia dunha apreciación discrecional.

O Consello de Estado advirte que principios legais e constitucionais obrigan á efectividade administrativa; non obstante, o uso de procedementos “robóticos” non pode ser unha razón para eludir os principios que conforman o sistema legal italiano e que regulan a actividade administrativa. De feito, a regra técnica que rexe cada algoritmo segue a ser unha regra administrativa que debe informarse dos principios xerais da actividade administrativa, como o de transparencia, publicidade, racionalidade e proporcionalidade.

En definitiva, o algoritmo, é dicir, o software –aclara o Consello de Estado–, debe ser considerado en todos os aspectos como un “acto administrativo informático”, que debe ser controlado xudicialmente, como en efecto sucedeu, sendo declarado con lugar o recurso por violación dos principios de imparcialidade, publicidade e transparencia.

4.2 Dereitos ante decisións algorítmicas evidenciados no caso Lazio

4.2.1 Dereito a unha Administración pública máis efectiva

O Consello de Estado asevera que o procedemento administrativo automático debe promoverse por ser máis rápido en caso de operacións netamente repetitivas e non discrecionais, por excluír erros ocasionados por falta de pericia e por dolo inherentes ao ser humano e, ademais, por ofrecer maiores garantías de imparcialidade.

Malia ser certo que telematizar o Estado xera múltiples vantaxes para os cidadáns, como as enumeradas polo Consello de Estado italiano, as decisións automatizadas están prohibidas en Europa, con excepcións puntuais, polo que sempre se requirirá a supervisión humana. Como se puxo de manifesto no caso Loomis, a IA pode servir de apoio, pero non pode tomar decisións que xuridicamente lles correspondan aos seres humanos.

Non obstante, o Consello de Estado aclara que pode facelo en caso de decisións repetitivas nas que non hai discrecionalidade, sempre que se verificase o proceso de obtención e avaliación dos datos para decidir, chegando mesmo a advertir que se interrogue as persoas que desenvolveron os programas informáticos decisorios se fose necesario.

Por outra banda, afirma o Consello de Estado de Italia que as decisións automatizadas exclúen erros por falta de pericia ou dolo; non obstante, debe subliñarse que si pode haber erros, ben sexa a causa do creador, de quen ordenou o uso do produto ou do usuario, de maneira que os erros poden seguir xurdindo, mesmo por fallos na subministración de enerxía eléctrica ou do sistema de Internet, se fose o caso.

En último lugar, afirmouse tamén que hai maiores garantías de imparcialidade; non obstante, hai suficiente referencia empírica documentada sobre nesgos nas decisións automatizadas por problemas do algoritmo, pero principalmente a causa dos datos a partir dos cales decide o programa informático.

Para resumir, usar modelos de goberno electrónico na actividade administrativa é un avance extraordinario pola facilidade que lles ofrece aos cidadáns para se interrelacionaren coa Administración27, o que mesmo é un dereito conforme o estado actual da civilización; polo tanto, o primeiro dereito a destacar na resolución Lazio do Consello de Estado Italiano é o dereito ao uso de algoritmos na Administración pública, o que pode estenderse ao resto das funcións públicas, tendo en conta os riscos advertidos e estudando detalladamente cada caso concreto.

4.2.2 Dereito ao sometemento do algoritmo ao dereito

Para minimizar os riscos advertidos na epígrafe precedente, paralelamente co impulso á telematización do Estado, resulta fundamental someter todo algoritmo ao dereito. Se o ser humano debe cumprir as normas, tamén debe cumprir cando actúa, de xeito indirecto, mediante unha cousa (por agora) construída para executar funcións que normalmente realizaba unha persoa.

Un acto xurídico en papel e asinado cun bolígrafo por unha persoa, igual que se estivese dispoñible en formato dixital e con sinatura electrónica, e mesmo en calquera dos formatos previos xerados por un programa de computación sen intervención humana, ten implicacións nas esferas de dereitos, polo que debe someterse aos valores, principios e regras xurídicas.

Tanto impide a libre circulación un empregado dunha estación de peaxe que, tendo recibido o pagamento, obstrúa o paso como unha barra de peaxe automática. O mesmo sucede co empregado da estación de servizo que non permite abastecer combustible como o programa informático que en Venezuela rexistra a cantidade de litros abastecidos nos estados fronteirizos ou a prezo subsidiado en todo o país e, polo tanto, limita o acceso ao combustible.

Fóra destas decisións taxadas nas que non hai elementos de discrecionalidade, o risco aumenta e, con este, as precaucións necesarias para evitar vulneracións aos dereitos fundamentais. Se un acto administrativo e unha sentenza deben ser motivados, o mesmo requisito cómpre cando son xerados exclusivamente ou con axuda dun programa informático; se non, desaparecería a universalidade do control xudicial dos actos do poder público28.

En síntese, o emprego de programas informáticos na toma de decisións debe regularse, como xa se propuxo en Europa29, por seren instrumentos polos que se automatizan os procedementos legais que constitúen garantías dos dereitos e intereses xurídicos.

4.2.3 Dereito ao pleno coñecemento do algoritmo

O dereito á defensa inclúe a motivación dos actos xurídicos como medio para poder controlar as decisións do poder público. Non se trata de coñecer como funciona a sinapse no xuíz, ou que órganos se utilizan no acto neurolóxico de pensar, senón que argumentos se usaron para tomar a decisión, baseándose en cales datos e cal procedemento se empregou.

A diferenza do que aconteceu no caso Loomis dos Estados Unidos, onde a Corte Suprema de Wisconsin estimou que non era posible acceder ao algoritmo por respecto ao segredo comercial, no caso Lazio, o Consello de Estado italiano manifestou a necesidade de coñecer todo o algoritmo, ou sexa, o procedemento informático programado para a asignación de cargos docentes na sentenza analizada.

A importancia de coñecer a totalidade do algoritmo sitúase unha vez máis no exercicio pleno do dereito á defensa, xa que só coñecendo quen decide ou a cousa que decide, e con base en que datos, procedementos e argumentos decide, é como se poderá controlar. Por argumento en contrario, se o algoritmo non se pode coñecer, entón non se poderá utilizar para tomar decisións xurisdicionais30.

4.2.4 Dereito a coñecer o algoritmo nunha linguaxe comprensible

De novo o dereito á defensa faise presente cando o Consello de Estado italiano manifesta que se debe coñecer o algoritmo nunha linguaxe que poida comprender a persoa afectada. E é que o contrario sería como se a persoa estivese sometida a un proceso no estranxeiro, con leis descoñecidas e nun idioma que se ignora31.

No caso CADA, de Francia, o Estado, actuando a través do órgano administrativo competente, manifestaba que non podía compartir o algoritmo empregado para o cálculo de impostos porque estaba nunha linguaxe que requiría un formato particular para acceder a el.

Para o tribunal francés, ese non era obstáculo, polo que debía entregarse nun formato de uso común, pero non se lle exixía ao Estado adaptarse ás necesidades do requirente. Isto non foi o que ocorreu en Italia, onde se declarou o deber de ofrecer acceso ao algoritmo e nunha linguaxe que poida comprender quen o pide. Iso podería xerar custos adicionais que habería que sopesar en cada caso concreto, o que deberá terse en mente por parte do Estado no momento de optar pola incorporación de sistemas automatizados de toma de decisións.

4.2.5 Dereito ao control xudicial do algoritmo desde o desenvolvedor

Cómpre fixar límites á programación informática, xerando códigos de ética e a aplicación de principios xurídicos, sen perder de vista considerar a criminalización dalgunhas condutas. Así como os lexisladores poden aprobar leis discriminatorias, o desenvolvedor pode manipular o programa informático, mesmo sen ter a intención de facelo, o que derivaría en resultados contrarios ao dereito á imparcialidade32.

A tecnoloxía depende do uso que se lle dea e, cando pode tomar decisións, mediante as instrucións polas que foi desenvolvida, é fundamental acceder ao experto para que explique o seu funcionamento, as decisións que tomou para a súa posta en marcha, por que optou por determinado procedemento en lugar doutro e como obtén os datos que procesará, unido aos fins esperados tanto polo desenvolvedor como por quen ten a última palabra no seu deseño e funcionamento33.

5 CASO SyRI, PAÍSES BAIXOS, 2020

5.1 Sentenza do Tribunal do Distrito da Haia, C/09/550982 / HA ZA 18-388, do 5 de febreiro de 202034

O Systeem Risico Indicatie (SyRI) é un instrumento legal que o Goberno dos Países Baixos usa para previr e combater fraudes en materia de seguridade social e asuntos vinculados con ingresos económicos (income-dependent schemes), así como seguridade social e impostos, e leis laborais. De acordo co lexislador, SyRI é unha infraestrutura técnica con procedementos asociados aos cales poden enlazarse datos e ser analizados anonimamente nun ambiente seguro, co fin de que ser poidan xerar reportes de risco.

Un reporte de risco significa que unha persoa natural ou xurídica é susceptible de ser investigada ante unha posible fraude, uso ilegal e incumprimento da lexislación.

O ministro de Asuntos Sociais e Emprego aplica o instrumento a petición de certos entes ou órganos públicos, así como de persoas xurídicas en exercicio de funcións públicas, os cales intercambiarán datos e, ao aplicar SyRI, poden detectarse abusos en materia fiscal, fraude á seguridade social, fraude aos beneficios sociais, emprego ilegal e abusos asociados, ademais dos seus perpetradores.

Neste caso, o tribunal advertiu que a regulación xurídica SyRI non cumpre co requisito establecido no artigo 8, apartado 2 da Convención Europea de Dereitos Humanos (CEDH), segundo o cal a inxerencia no exercicio do dereito á vida privada só debe darse cando fose necesaria nunha sociedade democrática, o que significa que debe ser necesaria, proporcionada e subsidiaria en relación coa finalidade prevista. A lexislación que regula SyRI supón unha inxerencia inxustificada na vida privada, polo que se declarou contraria ao artigo 8, apartado 2 da Convención Europea de Dereitos Humanos.

5.2 Dereitos ante decisións algorítmicas evidenciados no caso SyRI

5.2.1 Dereito a que se realicen avaliacións de impacto sobre datos persoais

Os datos persoais, cando están dixitalizados, poden ser compartidos máis doada e rapidamente, así como en enormes cantidades, sen que os interesados saiban que os seus datos están sendo usados nin con que propósito. A sentenza SyRI é un exemplo práctico sobre como se aplica o RXPD respecto do deber de realizar estudos de impacto de protección de datos para definir cales son as consecuencias e en que medida se garante o uso limitado e mínimo de datos.

Para o Tribunal de Distrito da Haia, o uso de SyRI viola a normativa comunitaria de protección de datos persoais porque non se demostrou, entre outros aspectos, que se tivesen realizado as avaliacións de impacto para os cinco proxectos SyRI executados.

Unha avaliación desta natureza, segundo afirmou expresamente o tribunal, débese levar a cabo cando un tipo de tratamento, tendo en conta a súa natureza, o alcance, o contexto e os fins, probablemente entraña un alto risco para os dereitos e liberdades das persoas físicas, e mesmo se afirmou que tal avaliación tamén debe levarse a cabo cando se use o algoritmo en apoio a unha decisión humana35.

No caso SyRI, o tratamento de datos podía resultar nun informe de risco polo que se poderían tomar decisións limitadoras de dereitos das persoas investigadas, polo que constituiría unha intromisión non consentida polo dereito ou, polo menos, carente do estudo necesario para obter unha conclusión válida en Europa.

5.2.2 Dereito a informar aos suxeitos investigados respecto do tratamento dos seus datos persoais

Na mesma orde exposta supra, unha investigación sen coñecemento do investigado, que ademais pode culminar nunha sanción, viola o dereito á defensa36. Toda persoa debe saber o que é posible facer cos seus datos por parte de terceiros, especialmente do Estado, e así poder tomar decisións informadas.

Resulta indispensable advertirlles ás persoas que determinados datos poden ser usados para investigar eventuais infraccións administrativas e mesmo penais, posto que se trata de decisións automatizadas, prohibidas polo ordenamento xurídico europeo, que non está exento de fallos, unido a que é o mesmo que se exixe en caso dunha investigación efectuada por seres humanos, de aí que tales garantías non deban desaparecer ante as máquinas, como o expuxo o Consello de Estado italiano no caso Lazio.

En efecto, a normativa europea recoñece que ninguén pode someterse a unha decisión que lle afecte, baseándose nun procesamento automatizado de datos, sen que sexa oído37, o que implica o dereito a estar informado e a opinar.

Ademais, resulta indispensable informar sobre que datos serán tratados automatizadamente, de que maneira e con que fin, o que implica o nivel de transparencia axeitado para a defensa dos dereitos, porque, como o expresou o Tribunal de Distrito da Haia, o uso do modelo de risco e a análise que se leva a cabo nese contexto implica o risco de que se produzan efectos discriminatorios.

De feito, a División Consultiva do Consello de Estado (Advisory Division of the Council of State) declarou no seu ditame sobre o caso SyRI que a análise de grandes conxuntos de datos, con ou sen sistemas de aprendizaxe profunda/autoaprendizaxe, é innegablemente útil38, pero tamén pode producir resultados indesexables39, incluída a exclusión ou discriminación inxustificadas.

A diferenza do expresado polo Consello de Estado de Italia no caso Lazio, o Tribunal de Distrito da Haia advirte sobre a posibilidade de discriminación por parte de intelixencias artificiais, o que non pode ser admitido nun Estado de dereito, tal como tamén o manifestou a Corte Suprema de Wisconsin no caso Loomis, aínda que sen que iso servise para anular a decisión, polas razóns expostas.

6 CONCLUSIÓN

Das catro sentenzas analizadas advírtese a necesidade de regular o uso de programas informáticos e en especial dos máis avanzados, como a intelixencia artificial, na toma de decisións do Estado, en concreto nos eidos administrativo e xurisdicional. Polo menos poden enumerarse 12 dereitos que supoñen límites á actuación do Estado cando usa algoritmos para decidir.

Así, do caso CADA transloce o dereito de acceso ao código fonte do programa informático empregado para emitir decisións, o que é consecuencia do principio de transparencia que rexe a función pública. Sen acceso ao algoritmo, non se poderá saber que datos se tomaron en conta para decidir e cal foi o procedemento seguido para analizar tales datos e tomar unha decisión, o que constitúe unha franca violación ao debido proceso, aplicable no ámbito administrativo e xurisdicional, por impedir un auténtico dereito á defensa.

En segundo lugar, o caso Loomis permite enumerar o dereito a non ser sometido a decisións automatizadas, o dereito ao uso de datos precisos, o dereito á actualización dos datos e o dereito á igualdade e non discriminación algorítmica. Unha decisión automatizada debe ser verificada por un ser humano, posto que o estado actual do desenvolvemento da ciencia é limitado.

Ademais, calquera decisión, automatizada ou non, que se presuma estar baseada en datos erróneos, descontextualizados ou non actualizados, pode afectar a dereitos subxectivos e, en consecuencia, debe ser controlada xudicialmente para ser válida no plano do dereito.

En terceiro lugar, co caso Lazio resáltase o dereito a unha Administración pública máis efectiva, o que pode estenderse a todas as funcións públicas, onde o uso de algoritmos para decidir pode acelerar os procedementos e xerarlle maior comodidade ao usuario. O emprego de programas informáticos para decisións estatais non pode someterse a menores garantías que as previstas para decisións humanas, coas particularidades que este xeito de xestión pública supón; polo tanto, recoñécese o dereito ao sometemento do algoritmo ao dereito; o dereito ao pleno coñecemento do algoritmo; o dereito a coñecer o algoritmo nunha linguaxe comprensible e o dereito ao control xudicial do algoritmo, mesmo desde o desenvolvedor. De tal xeito, o acceso ao algoritmo verifícase en termos realistas e non como unha mera formalidade baleira de contido no que non poderá entenderse, nin polo tanto controlarse, a decisión algorítmica que afecte a dereitos.

Por último, do caso SyRI destacan dereitos relativos á protección de datos persoais ante decisións automatizadas que utilizan datos dixitais en grandes volumes. Puntualízanse dous dereitos, a que se realicen avaliacións de impacto sobre datos persoais e a que se informe os suxeitos investigados respecto do tratamento dos seus datos persoais. Co caso SyRI ponse en evidencia que a decisión automatizada trata datos, pero non poderá facelo validamente sen que o saiban os interesados nun Estado de dereito.

En síntese, as decisións comentadas permiten deducir polo menos doce dereitos que deben ser considerados no momento de incorporar algoritmos na toma de decisións estatais, xa que poden causar danos ou aumentar o risco de causalos.

7 BIBLIOGRAFÍA

Castellanos, J. 2020. «La gestión de la información en el paradigma algorítmico: inteligencia artificial y protección de datos», en Métodos de Información, 11(21): 59-82.

Cerrillo i Martínez, A. 2019. «How can we open the black box of public administration? Transparency and accountability in the use of algorithms», en Revista Catalana de Dret Públic, 58: 13-28. https://doi.org/10.2436/rcdp.i58.2019.3277.

Cerrillo i Martínez, A. 2019b. «El impacto de la inteligencia artificial en el derecho administrativo ¿nuevos conceptos para nuevas realidades técnicas?», en Revista General de Derecho Administrativo, 50.

Cluzel-Métayer, L. 2020. «The Judicial Review of the Automated Administrative Act», en European Review of Digital Administration & Law, 1(1-2): 101-104.

Cotino Hueso, L. 2019. «Derecho y garantías ante el uso público y privado de inteligencia artificial, robótica y big data», en M. Bauzá Reilly (dir.), El Derecho de las TIC en Iberoamérica. Uruguay: La Ley.

Degrave, E. 2020. «The Use of Secret Algorithms to Combat Social Fraud in Belgium», en European Review of Digital Administration & Law – Erdal, 1(1-2).

Mancosu, G. 2018. «L’accès aux données publiques et aux codes source en Italie. À la recherche d’une “transparence algorithmique”, à l’aube du Réglement général sur la protection des données», en Revue française d’administration publique, 3: 580.

Martínez, R. 2019. «Inteligencia artificial desde el diseño. Retos y estrategias para el cumplimiento normativo», en Revista Catalana de Dret Públic, 58: 64-81. https://doi.org/10.2436/rcdp.i58.2019.331.

Mayer-Shömberger, V. e Cukier, K. 2013. Big data. La revolución de los datos masivos. Madrid: Truner. Traducido por Antonio Irirarte.

Nieva Fenoll, J. 2018. Inteligencia Artificial y proceso judicial. Madrid: Marcial Pons.

O’Neil, C. e Gunn, H. 2020. «Near-term artificial intelligence and the ethical matrix», en S. Matthew Liao (ed.), Ethics of artificial intelligence. Oxford: Oxford Scholarship Online.

Palma Ortigosa, A. 2019. «Decisiones automatizadas en el RGPD. El uso de algoritmos en el contexto de la protección de datos», en Revista General de Derecho Administrativo, 50.

Quadra-Salcedo (de la), T. e Piñar Mañas, J. 2018. Sociedad Digital y Derecho. Madrid: Ministerio de Industria, Comercio e Turismo, Red.es e Boletín Oficial del Estado.

Quintanilla, G. e Gil-García, J.R. 2016. «Gobierno abierto y datos vinculados: conceptos, experiencias y lecciones con base en el caso mexicano», en Revista del CLAD Reforma y Democracia, 65: 69-102.

Sánchez, M. 2015. Derecho a la buena administración electrónica (tese de doutoramento). Valencia: Universidad de Valencia.

Velasco, C. 2019. «La ciudad inteligente: entre la transparencia y el control», en Revista General de Derecho Administrativo, 50.

Vestri, G. 2021. «La inteligencia artificial ante el desafío de la transparencia algorítmica: Una aproximación desde la perspectiva jurídico-administrativa», en Revista Aragonesa de Administración Pública, 56: 368-398.

Xurisprudencia

Consello de Estado (Sección Quinta), n. 2270, 8 de abril de 2019. La Pagina Giuridica. 2019. “Consiglio di Stato: l’algoritmo è un atto amministrativo informatico”, en La Pagina Giuridica, 7/08/2019. Dispoñible en: https://www.lapaginagiuridica.it/consiglio-di-stato-lalgoritmo-e-un-atto-amministrativo-informatico/.

Corte de Distrito da Haia. Proceso n. C/09/550982 / HA ZA 18-388. 5 de febreiro de 2020. Dispoñible en: https://uitspraken.rechtspraak.nl/inziendocument?id=ECLI:NL:RBDHA:2020:1878

Harvard Law Review. 2017. «State v. Loomis. Wisconsin Supreme Court Requires Warning Before Use of Algorithmic Risk Assessments in Sentencing», en Harvard Law Review, 130(5). Dispoñible en: https://caselaw.findlaw.com/wi-supreme-court/1742124.html#footnote_60. (Corte Suprema de Wisconsin. Proceso n. 2015AP157–CR, Wisconsin c. Loomis; 13 de xullo de 2016).

Tribunal Administrativo de París. 2016. Lettre du tribunal administratif de París, 46, abril de 2016. Dispoñible en: http://paris.tribunal-administratif.fr/content/download/61318/550698/version/1/file/Lettre%20%20n°46%20Avril%202016.pdf.