Revista Galega de Administración Pública, EGAP

Núm. 69_xaneiro-xuño | pp. 69-94

Santiago de Compostela, 2025

https://doi.org/10.36402/regap.v2i69.5286

© Carlos de Román Castro

ISSN-e: 1132-8371 | ISSN: 1132-8371

Recibido: 14/04/2025 | Aceptado: 26/06/2025

Editado bajo licencia Creative Commons Atribution 4.0 International License

Automatización e Administración pública

Automatización y Administración pública

Automation and public Administration

Carlos de Román Castro

Doutorando en Relacións Laborais e Recursos Humanos.

Universidade de Santiago de Compostela

https://orcid.org/0009-0007-5725-8984

carlosde.roman@rai.usc.es

Resumo: Actualmente, a coñecida como cuarta revolución industrial está liderada polo desenvolvemento e a implementación de sistemas de IA e algoritmos. Este fenómeno internacional non é alleo ao sector público, onde, igual que coa dixitalización das administracións públicas, atoparon unha nova forma de cumprir as súas tarefas dun xeito máis eficaz e eficiente. Este novo paso na evolución da estrutura pública trae consigo novos paradigmas tanto para a democracia como para o propio dereito administrativo. Por iso, este estudo busca unha síntese non exhaustiva destas cuestións a nivel nacional, así como o seu encaixe normativo no contexto actual, caracterizado polo atraso ata a plena promulgación da RIA en 2027.

Palabras clave: Cidadáns, dereitos, decisións, transparencia.

Resumen: Actualmente, la conocida como cuarta revolución industrial está liderada por el desarrollo y la implementación de sistemas de IA y algoritmos. Este fenómeno internacional no es ajeno al sector público, donde, al igual que con la digitalización de las administraciones públicas, han encontrado una nueva forma de cumplir sus tareas de una manera más eficaz y eficiente. Este nuevo paso en la evolución de la estructura pública trae consigo nuevos paradigmas tanto para la democracia como para el propio derecho administrativo. Por ello, este estudio busca una síntesis no exhaustiva de estas cuestiones a nivel nacional, así como su encaje normativo en el contexto actual, caracterizado por el retraso hasta la plena promulgación de la RIA en 2027.

Palabras clave: Ciudadanos, derechos, decisiones, transparencia.

Abstract: Currently, the so-called fourth industrial revolution is spearheaded by the development and implementation of AI systems and algorithms. This international phenomenon is no stranger to the public sector, where public administrations have found a new way to fulfill their duties more effectively and efficiently. This new step in the evolution of the public structure brings with it new paradigms for both democracy and administrative law. Therefore, this study seeks a non-exhaustive summary of these issues at the national level, as well as their regulatory fit in the current context, characterized by the delay until the full enactment of the RIA in 2027.

Key words: Citizens, rights, decisions, transparency.

Sumario: 1 Introdución. 2 Conceptualización da intelixencia artificial. 3 Intelixencia artificial na Administración. 3.1. A prol do progreso 3.2 Un fenómeno internacionalizado. 3.3 Concordancias normativas da IA na Administración. 3.4 Vantaxes do uso da IA por parte da Administración pública. 4 Problemáticas do uso da IA por parte da Administración pública. 4.1 Decisións (in)xustas e (im)perfectas. 4.2 Límites discrecionais na utilización da IA: a cuestión da reserva de humanidade. 4.3 A despersonalización da actuación administrativa automatizada. 4.4 A transparencia: intencionalidade ou informática? 5. Reflexións conclusivas: alea iacta est.

1. Introdución

Entre o 10 e o 17 de febreiro de 1996, na cidade de Filadelfia (Pensilvania, EE.UU.), tivo lugar un evento sen precedentes na historia da humanidade: o superordenador impulsado por intelixencia artificial Deep Blue, desenvolvido pola multinacional americana IBM, enfrontouse nunha partida de xadrez ao campión do mundo —e considerado como o mellor xogador de xadrez da historia— Garry Kasparov. Aínda que Deep Blue logrou imporse na primeira das seis partidas, converténdose na primeira máquina en vencer un campión mundial de xadrez, Kasparov acabou levando a vitoria cun resultado de catro a dous. Un ano despois, entre o 3 e o 11 de maio de 1997, celebrouse na Cidade de Nova York (EE. UU.) o anticipado desquite, cuxo desenlace non deixaría indiferente a ninguén. Nesta ocasión, Deep Blue conseguiu a vitoria cun resultado de tres partidas gañadas, dúas perdidas e un empate, establecendo un precedente inaudito: por primeira vez na historia a máquina superou o ser humano no seu propio xogo, presaxiando un futuro no cal a intelixencia artificial deixaría de ser un soño utópico propio da ciencia ficción e converteríase nunha realidade.

Malia que na historia contemporánea tivemos múltiples mostras do potencial que estas ferramentas poñen sobre a mesa, o lento desenvolvemento da intelixencia artificial (en diante, IA), constantemente topado polas limitacións técnicas, xerou certo escepticismo por esta tecnoloxía, mesmo ante mostras tan categóricas das capacidades destas ferramentas. Non obstante, durante o último lustro —e coa pandemia como elemento catalizador— os avances e a constante integración destas ferramentas en diferentes arestas da sociedade convertéronse na nova orde, establecéndose como vox populi que o futuro pasa por unha sociedade automatizada. Utilizamos día a día smartphones con IA integrada, viaxamos como turistas a outros continentes a visitar cidades intelixentes, conducimos coches autónomos que ademais se aparcan sós e fabricamos robots que son capaces de completar de forma efectiva as máis complexas operacións.

Esta «nova» tecnoloxía vai rumbo de converterse na maior revolución da historia da humanidade, transformando o que nalgún momento foron promesas en oportunidades cada vez menos equidistantes: exploración espacial autónoma, enerxía ilimitada e sostible, materiais que son capaces de autorrepararse, entre outros exemplos que eran simplemente inimaxinables ata a chegada da IA. Non é de estrañar que, ante un poder que semella omnisciente, haxa quen se vexa na tentación de abrazar o demo con fe cega, en prol da consecución do dito potencial, vulnerando os principios reitores do Estado de dereito e cristalizando os piares da democracia. Ante semellante contexto, desde a perspectiva doutrinal detráese unha obriga ética para coa sociedade e os seus integrantes que enuncie incansablemente os desafíos actuais e vindeiros a que vai ter que facer fronte a humanidade, sobre todo cando desde este estudo cremos que estas ferramentas teñen as capacidades de facer do mundo un lugar mellor, un no cal a IA estea ao servizo da humanidade e supoña un avance que entrañe prosperidade para todos.

Un dos sectores onde a implantación da IA ten o potencial de xerar un impacto positivo na sociedade é o sector público, especialmente nas administracións públicas. Non obstante, a pesar das súas innegables vantaxes, o uso destas ferramentas na esfera pública, particularmente en España, afronta unha situación de especial vulnerabilidade ante os desafíos e problemáticas inherentes á natureza das citadas ferramentas. Ante tal conxuntura, principios reitores das actuacións administrativas como a boa administración ou a transparencia, entre outros, vense vulnerados, afectando ás bases da nosa democracia e resultando nunha mingua dos dereitos normativamente recoñecidos aos cidadáns. Este estudo busca a análise destas cuestións ás cales as administracións públicas deben anteporse, sobre todo durante o «baleiro xurídico» existente ata a plena promulgación do Regulamento (UE) 2024/1689 do Parlamento Europeo e do Consello, do 13 de xuño de 2024, polo que se establecen normas harmonizadas en materia de intelixencia artificial, a data do 27 de xullo de 2027. Por este motivo, centrarémonos no corpus normativo alleo a esta norma e, salvo referencias puntuais, non faremos referencia a ela, xa que este estudo busca contribuír a unha comprensión xusta e precisa da situación actual neste período que resta ata a implantación do novo marco normativo en materia de intelixencia artificial.

2. Conceptualización da intelixencia artificial

Establecer unha definición de «intelixencia artificial» común e válida para todos é unha tarefa máis complexa do que puidese parecer en primeira instancia. Partimos dun concepto dinámico, cuxa caracterización e capacidades evolucionaron paulatinamente conforme os saltos computacionais dentro do ámbito da informática, adoptando diferentes acepcións nos distintos campos de estudo: para as ciencias xurídicas son unha ferramenta, mentres que no ámbito da enxeñaría se trata dunha subdisciplina dentro da enxeñaría informática 1. Tampouco axuda á hora de establecer unha única acepción universal a existencia de tan distintos tipos de sistemas de IA con múltiples finalidades, formas e funcionamentos diferentes 2.

Mesmo no propio ámbito das ciencias xurídicas tampouco temos unha definición estandarizada, con distintos achegamentos desde a perspectiva institucional-doutrinal. É por iso polo que se van expor diferentes conceptos para ofrecerlle ao lector unha caracterización o máis ampla posible.

Partindo da perspectiva institucional, é de obrigada mención a definición do termo «sistema de IA» recollida no artigo 3 do recente Regulamento (UE) 2024/1689 en materia de intelixencia artificial 3(en diante, RIA): «un sistema baseado nunha máquina que está deseñada para funcionar con distintos niveis de autonomía e que pode mostrar capacidade de adaptación tras o despregamento, e que, para obxectivos explícitos ou implícitos, infire da información de entrada que recibe o xeito de xerar resultados de saída, como predicións, contidos, recomendacións ou decisións, que poden influír en contornos físicos ou virtuais». Desta forma, o RIA proporciona unha conceptualización comunitaria formal para os Estados membros e permite ir un pouco máis alá da concisa —e informal— acepción do Libro branco da intelixencia artificial 4. Consideramos que esta descrición dos sistemas de IA cumpre co difícil presuposto necesario establecido por MORENO REBATO: ofrecer unha definición garante da suficiente flexibilidade para adaptarse á evolución destes sistemas, sen óbice ao fomento da innovación5 .

Recentemente, e na mesma liña que a Unión Europea, a OCDE actualizou a súa definición de «sistema de IA», establecéndoo do seguinte modo: «Un sistema de IA é un sistema baseado nunha máquina que, para obxectivos explícitos ou implícitos, infire, a partir da entrada que recibe, de que xeito xerar resultados como predicións, contido, recomendacións ou decisións que poden influír en contornos físicos ou virtuais. Os diferentes sistemas de IA varían nos seus niveis de autonomía e adaptabilidade despois do despregamento»6 .

Desde esta perspectiva, resulta inevitable decatarse da ausencia dunha definición no eido nacional deste fenómeno. Aínda que esta carencia responde á falta dunha normativa específica no noso ordenamento xurídico, a súa ausencia vaise evidenciando co paso do tempo. Desta maneira, a futura lei nacional de IA, inspirada no contido do RIA eríxese como unha oportunidade ideal para reafirmar a postura de España ante estas novas tecnoloxías, ofrecendo unha conceptualización propia, á expectativa dunha actuación similar que co Regulamento (UE) 2016/679 de protección de datos persoais7 (en diante, RXPD) e a Lei orgánica 3/2018, do 5 de decembro, de protección de datos persoais e garantía dos dereitos dixitais.

No que respecta á perspectiva doutrinal, temos tamén definicións de distintos autores que poden axudar aos lectores a xerar unha conceptualización da IA, especialmente en canto a perspectiva institucional busca un enfoque máis técnico, mentres que a perspectiva doutrinal se centra máis nos aspectos eminentemente prácticos:

• HERRERA DE LAS HERAS caracteriza a intelixencia artificial mediante «a capacidade dun software para levar a cabo algunha actividade de tratamento de datos que leve aparellada ben a toma de decisións, ben unha proposta para que esas decisións sexan tomadas por humanos8» .
• CASTELLANOS CLARAMUNT refírese á IA como «a capacidade das máquinas para aprender e realizar tarefas que normalmente requirirían de intelixencia humana»9 .

Pola súa banda, VILLANUEVA TURNES expón tras analizar múltiples definicións que, cando nos referimos a intelixencia artificial, se fai alusión á «posibilidade de que programas informáticos realicen actuacións que sexan equivalentes ás que realizan os humanos a partir dunha serie de procesamento algorítmico que leva a cabo un tratamento de datos nunha determinada dirección10» . O autor conclúe establecendo a posibilidade de encadrar dentro deste concepto todos os programas que pretendan ese fin.

O achegamento á comprensión da «intelixencia artificial» comeza cun exercicio de apertura mental que permita dimensionar a amplitude do espectro a que fai alusión este binomio e que vai máis alá da linguaxe xurídica, incluso da propia lingüística. Esta idea vólvese máis comprensible coa utilización dun exemplo, e, en canto este estudo se encadra na doutrina administrativa, cremos ilustrativo o exemplo que segue: É tan sistema de IA o bot ou asistente persoal da tecnolóxica americana Apple Siri como o sistema algorítmico de acceso a servizos públicos do Goberno dos Países Baixos SyRI (sobre o cal afondaremos a posteriori). A priori pouco ou nada se parecen estas ferramentas, pois un é un compoñente dun dispositivo móbil mentres que o outro é unha ferramenta gobernamental; ademais, pouco ou nada se asemella o nivel de intensidade destas ferramentas en relación coa intromisión na vida, seguridade e dereitos dos cidadáns.

Atopámonos entón ante uns sistemas que, polo menos na finalidade do seu deseño e na súa practicidade, pouco ou nada se parecen; non obstante, retrotraendo e sintetizando as definicións expostas ut supra: funcionamento mediante un sistema algorítmico, impulsadas por información de entrada en forma de datos, substitúen unha hipotética acción humana, en menor ou maior medida infiren nas vidas das persoas... Fóra da curiosa homofonía na nomenclatura destes dous sistemas, un é tan sistema de intelixencia artificial como o outro —mesmo cun nivel de afectación aos dereitos tan diferente e un risco desigual— e, como distintos que son, representan á perfección a complexidade presente na delimitación dun termo concreto.

Coa conceptualización da intelixencia artificial, neste traballo non se busca a síntese dunha única definición común e universal, senón que se pretende subliñar a necesidade de entender a IA como un fenómeno máis amplo. Este non debe circunscribir o seu alcance unicamente sobre mostras concretas deste tipo de ferramentas, senón que debe abranguer tamén a disciplina e futuros avances non subsumidos na conceptualización da IA actual, pero que con total seguridade o estarán nun futuro.

3. Intelixencia artificial na Administración

3.1. A prol do progreso

Plenamente inmersos na coñecida como «cuarta revolución industrial», durante as últimas décadas experimentamos un disruptivo, acelerado e exponencial desenvolvemento tecnolóxico caracterizado principalmente pola implantación xeneralizada das tecnoloxías da información e a comunicación (en diante, TIC) arredor de todo o mundo. Así, ferramentas como Internet, ordenadores persoais ou os dispositivos móbiles, entre outros, abriron un novo abano de posibilidades —erixindo un camiño carente de retorno— na vida das persoas que alterou profundamente os comportamentos e as condutas dos seres humanos grazas á inmediatez que profiren as TIC.

Entre os múltiples axentes sociais cuxo comportamento se viu intensamente alterado nesta cuarta revolución industrial, destacan, pola súa relevancia na influencia e lexitimidade no construto económico-social dos países democráticos, as administracións públicas. Estes entes públicos están a experimentar un continuo proceso de cambio —máis precisamente, de adaptación— en consonancia con esta aceleración no ritmo de vida das persoas froito do desenvolvemento tecnolóxico, sempre en prol de escudriñar uns servizos máis eficientes e de mellor calidade para os seus usuarios, os cidadáns11 . A mostra máis clara deste fenómeno atópase na dixitalización da Administración.

Como broche, na actualidade esta revolución tecnolóxica atópase encabezada polos algoritmos, a intelixencia artificial e o resto das tecnoloxías que permiten o uso destas; referímonos así ao big data, machine learning, deep learning, etc. Mentres que coas TIC as administracións buscaban unha «dixitalización», o potencial dos algoritmos e a intelixencia artificial é tal que se procura a «automatización» da Administración, continuando esa espiral de aceleración socioeconómica que sempre parece que ten un final, pero que logo resulta ser un punto e á parte. Aínda que con distinto fin, ambas as dúas etapas retroaliméntanse; así, a necesidade de información, de datos, enarbora a dixitalización como o paso indispensable que converten en realidade a integración e funcionamento destas ferramentas na Administración12. Deste modo, para algúns autores da doutrina administrativista, atopámonos xa inmersos no paradigma da transición da gobernanza pública cara á gobernanza pública algorítmica, fundamentado na crecente influencia do papel destes sistemas nas administracións públicas13 .

A apertura da posibilidade de uso destas ferramentas por parte dos entes públicos desempeña un papel vital como panca para a transformación dixital non só das propias administracións públicas, senón de toda a sociedade en conxunto14 , erixíndose como o axente regulador do cambio —e é que así debese, conforme aos principios constitucionais—. É tal a alteración que esta tecnoloxía produce na nosa realidade, que a necesidade do cumprimento do papel da Administración se intensifica, e se require deste que sexa capaz de emendar as consecuencias adversas do uso destes sistemas nas liberdades públicas e dereitos fundamentais dos cidadáns en distintas áreas ou sectores da sociedade. Para iso, é necesaria unha aproximación democrática, que respecte os citados principios constitucionais tales como son a liberdade ou a xustiza, onde a Administración exerza o seu papel desde a transparencia e permita a participación da sociedade no seu conxunto, xa que, como dixemos ut supra, a automatización da Administración non só afecta á Administración per se, senón que afecta a todo o conxunto da sociedade15 .

Sería unha oportunidade perdida que o achegamento por parte do Estado e administracións públicas fose unicamente regulatorio; así, este ineludible achegamento á IA configúrase como o momento idóneo para aproveitar os beneficios que estas solucións levan ofrecendo durante anos no sector privado, posto que, aínda que públicas, non deixan de ser unha complexa rede cun funcionamento —en certa medida— equivalente ao das empresas privadas. Na actualidade, son múltiples as cuestións éticas e xurídicas que aínda presentan unha elevada conflitividade, pero, na medida en que son naturais a un proceso de transformación de semellante calado, as administracións non deben ser reticentes a capitalizar as súas vantaxes, posto que a finalidade da automatización da Administración non é outra que a de servir ao interese xeral dos seus cidadáns16. É esta, de facto, a intención que tivo a Unión Europea desde a súa aproximación inicial á IA, palpable en documentos de suma relevancia como nas Directrices éticas para unha IA fiable17 ou no xa citado Libro branco da intelixencia artificial18 , nos cales se impulsa as administracións a establecer un enfoque proactivo e a utilizar estes sistemas de IA como para alcanzar os seus fins.

3.2. Un fenómeno internacionalizado

Malia que o foco deste estudo se centra na Administración pública nacional, resulta pertinente enumerar unha serie de exemplos que ilustran este fenómeno e as —tan diversas— posibilidades que estas ferramentas ofrecen a nivel global. Evidénciase así unha influencia que transcende as fronteiras de España e a Unión Europea, manifestándose en distintos contextos e nas diferentes administracións arredor do mundo, independentemente do sistema político, así como do modelo socioeconómico.

No sector sanitario, en Panamá, durante a pandemia da covid-19, o Goberno utilizou chatbots baseados no sistema de mensaxaría instantánea WhatsApp. Por un lado, implementouse a IA coñecida como «Dr. ROSA» (acrónimo de Resposta Operativa Sanitaria Automática), deseñada para avaliar as respostas dos usuarios e determinar síntomas grazas ao uso de algoritmos; ademais, ofrecía aos cidadáns diferentes protocolos de actuación, incluíndo o envío de asistencia sanitaria ao domicilio. Por outro lado, despregouse «Dr. NICO» (Notificación Individual de Caso Negativo Obtido), encargado de informar as persoas sobre o resultado negativo das súas probas de covid-19 e proporcionarlles os protocolos correspondentes19 .

No sector financeiro, en Arxentina, o Ministerio de Finanzas da provincia de Córdoba desenvolveu «Laura»20 , un sistema baseado en algoritmos deseñado para reducir a carga burocrática do funcionariado. Entre as súas funcións atópase a verificación das achegas dos cidadáns ao sistema de pensións durante o inicio da solicitude de xubilación, tarefa que antes requiría da intervención dun funcionario. Ademais, proporciona información sobre determinados beneficios aplicables e posibles incompatibilidades coa situación actual do solicitante.

No sistema xudicial, nos Estados Unidos, utilízase COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), unha ferramenta algorítmica creada pola empresa privada Equivant que avalía o risco de reincidencia dun delincuente21 . Malia que esa ferramenta non pode graduar a gravidade da sentenza, si ten efectos directos sobre os individuos, xa que pode usarse como factor a ter en conta na concesión de penas alternativas á prisión ou a asignación de servizos comunitarios a individuos con baixo risco de reincidencia. Mesmo cando a priori non infire na graduación de penas ou sentenzas, a súa influencia na xustiza é realmente significativa.

No eido político, en Xapón, entre os candidatos a gobernador de Tokyo das eleccións do 7 de xullo de 2024 atopábase Mayor AI, unha IA cuxa candidatura foi presentada por un mozo enmascarado22 . Malia que a dita candidatura só conseguiu un 0,02 dos votos, non foi a única presenza de IA nas citadas eleccións. Por terceira vez consecutiva, foi reelixida a candidata Yoriko Koike, que presentou simultaneamente á súa candidatura un vídeo dunha intelixencia artificial dela mesma que recoñecía os seus logros e promovía as súas políticas, captando a atención dos usuarios das redes sociais 23.

No ámbito do control gobernamental, na China, a IA, os algoritmos e o machine learning lévanse utilizando durante anos como ferramentas de «hipervixilancia» para controlar o comportamento dos seus cidadáns. Así, existen casos como o IJOP (Integrated Joint Operations Platform), que é unha base de datos rexional á cal acceden as autoridades desde unha app que utiliza IA para monitorizar os cidadáns asiáticos-musulmáns na cidade de Xinjiang, baixo un pretexto de seguridade nacional coa finalidade de evitar posibles atentados24 . Non obstante, este sistema derivou nunha discriminación sistémica contra a minoría étnica dos uigures, recompilando información de forma indiscriminada sobre todos os cidadáns, así como utilizando tecnoloxía de recoñecemento facial para o rexistro de datos biométricos. Este caso evidencia os riscos dun uso de IA carente de garantías éticas e contrario aos dereitos humanos, xerando escenarios que ata hai non tanto eran distópicos e propios da literatura ou da ciencia ficción25 .

A medio camiño entre o contexto sanitario e o control gobernamental, na cidade de Bucheon en Corea do Sur, durante a pandemia da covid-19, foron instaladas máis de 10.000 cámaras para localizar e rastrexar os movementos das persoas contaxiadas. Mediante o uso de sistemas de IA para analizar as metraxes das cámaras, o longo e complexo traballo manual é substituído por un número determinado de clics e, en cuestión de minutos, o programa pode dar a localización de múltiples cidadáns26 .

Con esta batería de exemplos preséntanse unha serie de escenarios nos cales, dunha forma ou outra, as distintas administracións públicas arredor do mundo utilizan estas ferramentas para alcanzar os seus obxectivos. Non cabe dúbida de que as administracións deben continuar apostando pola inclusión da IA nas súas estruturas, pero sen esquecer que a finalidade é a de conferir a omnisciente capacidade analítica desta ao servizo do interese público e da cidadanía. O algoritmo debe estar ao servizo da sociedade, e non ao revés. Aínda que a idea dunha «sociedade perfecta» resulte tentadora, o prezo da súa consecución é a constrición da liberdade e a conculcación de dereitos fundamentais de todos e cada un dos integrantes que conforman a sociedade.

3.3. Concordancias normativas da IA na Administración

Desde este traballo compartimos unha postura optimista cos sistemas de IA en relación coas administracións públicas e a súa capacidade de xerar un efecto positivo para a sociedade. Porén, neste contexto vólvese imperiosa unha regulación axeitada que, se ben esperamos que o faga, aínda non chegou, xerando incerteza e incógnitas tanto para os cidadáns como para as propias administracións27 . Procede entón deterse e analizar o encadramento normativo actual —antes da plena promulgación do RIA— da integración das ferramentas de IA e algoritmos no ámbito nacional.

Comezaremos a nosa análise coas leis 39/201528 e 40/201529 , tamén coñecidas informalmente como «as siamesas». No que respecta á automatización, o contido é exiguo, mentres que as referencias a sistemas de IA ou algoritmos son, simplemente, inexistentes. No artigo 41 da Lei 40/2015 defínese a actuación administrativa automatizada30 , a cal é desagregada en 4 eixes principais31 : (1) Acto ou actuación administrativa; (2) Produción de xeito total por medios electrónicos; (3) Arredor dun procedemento administrativo e (4) Os empregados públicos poderán intervir se acaso de xeito indirecto pero non de forma directa. A dita definición é adecuada e correcta no contexto da Administración dixital; non obstante, consideramos que o seu encaixe non está tan claro cando se trata de automatización mediante un sistema de IA ou algoritmos. Para fundamentar esta afirmación, resulta imprescindible, en primeiro lugar, exporlle ao lector a diferenza entre a automatización dixital, para a cal está deseñada a regulación do citado artigo 41, e a automatización “intelixente” da actualidade.

As ferramentas ou sistemas dixitais a que se fai referencia na redacción do artigo 41 céntranse en sistemas que automatizan procedementos en que a intervención do ser humano é irrelevante para os efectos xurídicos en relación co resultado do acto ou do procedemento administrativo. Un exemplo claro sería a automatización do cálculo da pensión de xubilación na Seguridade Social: unha actuación automatizada mediante un programa informático que garante un cálculo perfecto sen a necesidade de intervención activa dun funcionario. A actuación —carente de toda discrecionalidade— está plenamente regulada, e o sistema unicamente é un medio neutro para un resultado.

Ben distinto, ao noso parecer, é que o sistema en cuestión, ademais de realizar os cálculos de natureza estritamente matemática, asumise un rol activo na decisión da concesión ou denegación da pensión de xubilación e, en consecuencia, tivese atribuída unha parte da potestade discrecional. Neste suposto, o sistema non só se limitaría á determinación da base reguladora, porcentaxe aplicable e, finalmente o cálculo do importe nas correspondentes 12 ou 14 pagas anuais, senón que tería plena capacidade efectiva para conceder ou denegar un dereito lexítimo ao que teñen todos os solicitantes que cumpran cunha serie de requisitos. Neste segundo escenario, a automatización non só alcanza os medios como no primeiro suposto do exemplo, senón que tamén acada os resultados da actuación administrativa. O concepto de automatización establecido polo artigo 41 da Lei 40/2015 é sobre a base de sistemas dixitais que permiten exclusivamente a automatización dos medios na actuación administrativa, sen alcanzar a automatización da discrecionalidade administrativa debido ás súas limitacións técnicas. En contrapartida, os sistemas de IA e algorítmicos si posúen a capacidade de incidir de forma activa no resultado da actuación administrativa automatizada, coas respectivas implicacións que iso poida ter nos dereitos dos cidadáns. De ser admitida a discrecionalidade nas actuacións administrativas automatizadas, deben cumprirse dous presupostos recollidos por MARTÍN DELGADO e que van en sintonía coa postura e o exemplo utilizado nesta sección32 : Por un lado, que os criterios empregados polas máquinas sexan os mesmos que os usados polas persoas físicas que integran o órgano que toma a decisión; simultaneamente, a dita actuación debe cumprir cos principios de legalidade, seguridade xurídica e defensa dos administrados. Ante a falta do cumprimento dos dous presupostos, a Administración non debera entender como válida a cesión de discrecionalidade ao sistema informático, sexa no contexto da dixitalización ou no contexto algorítmico, e que, a noso entender, evidencia a necesidade de establecer unha distinción entre os diferentes sistemas, as súas capacidades e as competencias finalmente conferidas.

Malia non atopar diferenza respecto ao trato xurídico entre uns sistemas e outros na redacción das «siamesas», o certo é que no noso ordenamento xurídico xa contamos cun límite supranacional de aplicación —en forma de dereito— que podería ser interpretado como un criterio diferenciador entre uns sistemas e outros. Neste sentido, o artigo 22.1 do RXPD33 , ao que remite o artigo 18 da LOPD34 , establece que «Todo interesando terá dereito a non ser obxecto dunha decisión unicamente no tratamento automatizado (...) que produza efectos xurídicos nel ou lle afecte significativamente de modo similar». É dicir, o lexislador da Unión, salvo nas excepcións previstas no artigo 22.2 do RXPD, non considera a plena automatización de procedementos sen intervención de ser humano cando o resultado deste poida ter repercusións xurídicas ou afectar á vida dos cidadáns.

Se partimos da interpretación que propoñen o Parlamento Europeo e a Comisión Europea na redacción deste precepto, non resulta compatible a interpretación da decisión administrativa automatizada mediante sistemas de IA coas disposicións do artigo 41 da Lei 40/2015. Utilizando os eixes citados máis arriba respecto ao eixe (2), extrapolar os sistemas baseados en IA ou algoritmos á consideración de meros medios electrónicos resulta incoherente xa que a capacidade destes excede substancialmente a de calquera software baseado nunha tecnoloxía menos sofisticada. Desde a nosa humilde opinión, non parece aceptable considerar os sistemas baseados en algoritmos, tales como os arquicoñecidos pola doutrina SALER (antes SATAN), RISCANVI ou Bosco, como meras ferramentas dixitais. En caso de aceptar ese encaixe, podemos botar as mans á cabeza co eixe (4) «os empregados públicos poderán intervir se acaso de xeito indirecto pero non de forma directa»; entón, cando haxa un erro notorio, o funcionario non vai poder solucionalo? É evidente que, en termos de capacidade, as ferramentas baseadas en IA poden desempeñar un papel similar ao doutros medios electrónicos ou dixitais sen que isto afecte á discrecionalidade da decisión automatizada nin ao resultado; no entanto, a disimilitude entre uns sistemas e outros non é unha cuestión banal que deba ser ignorada.

Convén recordar, neste cuasi-limbo xurídico, os principios xerais das administracións públicas establecidos no artigo 3, apartado 1, da Lei 40/2015 e, en especial, os preceptos correspondentes ás letras c), e) e f), que se recollen a continuación: «Participación, obxectividade e transparencia da actuación administrativa», «Boa fe, confianza lexítima e lealdade institucional» e «Responsabilidade pola xestión pública». Este último, ademais, debería ser a garantía da vertente pública respecto ao principio de rendición de contas recollido no artigo 106 apartado 2 da CE35 , principio reitor do Estado de dereito.

No referente ao RD 203/2021 36, de aplicación das leis 39/2015 e 40/2015, malia que tampouco contén ningunha disposición específica en referencia a IA ou algoritmos, si que inclúe algunhas garantías salientables no contexto das decisións administrativas automatizadas que poidan ser de aplicación para a automatización actual. Así, o artigo 11, apartado 1, letra i), dispón o seguinte: «Toda sede electrónica ou sede electrónica asociada disporá do seguinte contido mínimo á disposición das persoas interesadas: i) Relación actualizada das actuacións administrativas automatizadas vinculadas aos servizos, procedementos e trámites descritos na letra anterior. Cada unha acompañarase da descrición do seu deseño e funcionamento, os mecanismos de rendición de contas e transparencia, así como os datos utilizados na súa configuración e aprendizaxe». Evidénciase certo progreso na redacción deste real decreto, que xa vincula os principios de transparencia e rendición de contas ás decisións administrativas automatizas, circunstancia que, aínda que se deduce de forma implícita, non contén ningunha mención explícita nas «siamesas».

Pola súa banda, o artigo 13, apartado 2, establece que as resolucións froito de actuacións administrativas automatizadas no ámbito estatal expresarán as posibles vías de recurso en contra da resolución e o órgano administrativo ou xudicial ante o que deban ser presentados e os respectivos prazos. Así, mediante a disposición destes preceptos establécense uns mínimos de transparencia e trazabilidade dos procedementos administrativos. Certamente, son unhas disposicións moi interesantes que determinan garantías e directrices, pero que non acaban de reflectir a realidade dos anos posteriores á promulgación do mesmo RD, caracterizada por unha opacidade das administracións en cuestións fundamentais tales como o funcionamento do sistema, ámbito obxectivo de utilización ou a citada transparencia37 .

Malia non ter efecto vinculante, é interesante, no relativo ao seu carácter de directriz do dereito no contorno dixital, a Carta de Dereitos Dixitais, elaborada polo Goberno no ano 2021 como parte do Plan de Recuperación, Transformación e Resiliencia. En particular, son especialmente destacables dous artigos en canto á automatización da Administración pública. Así, o artigo XVI dispón o seguinte: «Promoveranse contornos dixitais que contribúan a un dereito de acceso efectivo á información pública, á transparencia, á rendición de contas (...) nas actuacións das administracións públicas nos seus respectivos ámbitos competenciais, de acordo coa Constitución española». Pola súa banda, o artigo XVII ocúpase de establecer os dereitos dixitais que posúen os cidadáns en relación coas administracións públicas: dereito á igualdade, dereito á transparencia, dereito á rendición de contas, así como o dereito á universalidade, neutralidade e non discriminación das tecnoloxías utilizadas pola Administración. Este artigo XVII, ademais, no seu apartado 6, recollido na nota ao pé38 , reitera a promoción dos dereitos mencionados no marco das actuacións administrativas —nas cales consideramos insertas as automatizadas, evidentemente—. A redacción do precepto conclúe cun último apartado tamén extremadamente interesante, onde, froito da influencia directa do artigo 35 do RXPD, se propón unha avaliación de impacto no deseño dos algoritmos, ante a adopción de decisións automatizadas ou semiautomatizadas.

Non deixa de ser paradigmático, cando menos, que as disposicións máis interesantes en materia de garantías e dereitos no contexto da automatización se atopen «confinadas» nunha norma que, aínda con efectos xurídicos, carece de efecto vinculante per se. Sen desmerecer o papel da Carta de Dereitos Dixitais, é necesaria a redacción dunha norma lex ferenda con rango de lei, vinculante no noso ordenamento xurídico, que sirva de garantía eficaz para asegurar o cumprimento das disposicións recollidas na Carta.

Deixando xa de lado a Carta de Dereitos Dixitais, e outra vez fóra do ámbito específico do dereito administrativo, é de obrigada mención a Lei 15/202239 e o seu contido en referencia á IA e os algoritmos no ámbito público. No título preliminar da norma, en concreto no artigo 2, en referencia ao ámbito de aplicación da norma, recóllense como comprendidas no sector público: (a) a Administración xeral do Estado; (b) as administracións das comunidades autónomas, (c) as entidades que integran a Administración local; (d) a Administración de xustiza, e, por último, (e) o sector público institucional. Non cabe dúbida, entón, de que as administracións públicas se atopan suxeitas ás disposicións deste texto lexislativo. Abreviando polo formato do estudo, imos centrarnos principalmente no artigo 23: intelixencia artificial e mecanismos de toma de decisións automatizados.

No primeiro apartado dos catro que conforman o artigo, establécese que as administracións públicas favorecerán a posta en marcha de mecanismos que teñan criterios de minimización de nesgos, transparencia e rendición de contas, sempre que sexa factible tecnicamente. No segundo apartado establécese como prioridade a transparencia no deseño, implementación e capacidade de interpretación de decisións dos algoritmos utilizados polas administracións públicas. No terceiro apartado promóvese un uso ético confiable e respectuoso dos dereitos fundamentais por parte das administracións públicas. No apartado cuarto e último introdúcese o selo de calidade dos algoritmos.

Mentres esperamos a plena aplicación do RIA e as súas disposicións específicas o 27 de xullo de 2027, na actualidade o peso ou carga normativa da automatización na Administración pública atópase sostida, principalmente, polo artigo 22 do RXPD. Malia que o contido da normativa en materia administrativa é insuficiente, temos interesantes disposicións de aplicación en normas relativas a outros ámbitos, o cal denota certa intencionalidade en abordar esta cuestión. É posible que, de igual forma que sucedeu co RXPD e a súa transposición na LOPD, suceda o mesmo co RIA e unha hipotética lei orgánica en materia de intelixencia artificial, suposto ao que se anima desde a Unión na redacción do RIA. Desde aquí o único que esperamos é que esa transposición sexa máis abreviada do que foi a transposición do RXPD e que trate de regular máis alá do contido xa lexislado pola Unión, e que os seus preceptos máis relevantes non nos deriven ao RIA.

3.4. Vantaxes do uso da IA polas administracións públicas

Aínda que o traballo se centra, en maior medida, na conflitividade da implantación e utilización destas ferramentas por parte das administracións, tamén nos gustaría compartir, de forma especialmente sintética, algúns dos aspectos positivos da introdución destas novas tecnoloxías na estrutura do sector público.

A pescuda coa automatización da Administración é clara: mediante a utilización de IA e diversas solucións algorítmicas, preténdese axilizar os numerosos e copiosos procesos aos cales deben facer fronte os funcionarios públicos, co obxectivo de alcanzar unha actuación administrativa máis eficiente e eficaz, incluso evitando posibles actuacións erróneas ou nesgadas froito da intervención humana no procedemento administrativo40 . Un exemplo deste incremento na eficiencia da actuación administrativa atopámolo nas comprobacións automatizadas que realizan os órganos de comprobación e inspección da Dirección Xeral de Tributos ou nos sistemas algorítmicos que utilizan os radares de velocidade usados pola Dirección Xeral de Tráfico41: nos dous supostos, a produtividade alcanzada pola IA excede moito calquera resultado posible acadado polo ser humano.

Desta forma, os incrementos na eficiencia permiten unha mellor xestión dos recursos capitais e humanos por parte da Administración. Mediante a minoración da carga de tarefas repetitivas e complexas, permítese liberar as persoas para desempeñar tarefas máis relevantes ou as reservadas unicamente á intervención humana, mentres se garante simultaneamente unha actuación uniforme en todo o ámbito administrativo42 . Esta optimización do traballo funcionarial permite unha mellora na toma de decisións, mellorando os niveis de produtividade e permitindo que un número reducido de empregados poida alcanzar a dun grupo moito maior sen a dispoñibilidade destas ferramentas43 . Esta melloría na intendencia dos recursos por parte da Administración presenta, ademais, outra dimensión relevante: a posibilidade de reducir os niveis de corrupción. Tal como expón RIVERO ORTEGA, a substitución da intervención humana pola da máquina despraza a subxectividade e as potenciais desviacións cara a intereses particulares, en favor da obxectividade e a prevalencia do interese xeral44 .

O omnisciente poder analítico que confiren estas ferramentas en suma cos poderes discrecionais outorgados ás administracións no noso ordenamento xurídico ten o prometedor potencial de construír un novo tipo de Administración e, con iso, un novo arquetipo de sociedade: inmediata, personalizada, automatizada... e perfecta? Aínda nun estadio inicial en termos de desenvolvemento e capacidade, estas ferramentas xa posúen na actualidade o potencial necesario para construír unha sociedade utópica, como formulaba MOORE en V de Vendetta: unha sociedade sen segredos, sen trampas, sen delitos e finalmente sen liberdade. Por desgraza, nalgúns lugares do mundo xa iniciaron a transformación cara a este novo tipo de sociedade e haberá os que se sintan tentados a iso. Inevitablemente, a absoluta garantía do cumprimento dunha serie de dereitos leva consigo a privación doutros: conseguir unha sociedade «perfectamente» segura tería como prezo o dereito á liberdade de todos e cada un dos cidadáns e o sacrificio de principios vitais en calquera Estado de dereito como, por exemplo, o principio de proporcionalidade ou o principio de responsabilidade.

O certo é que non son poucos os retos éticos, técnicos e normativos aos que van ter que facer fronte as administracións. Tampouco o son as tentacións que poidan xurdir polo camiño froito das extraordinarias capacidades conferidas por estes sistemas; non obstante, atopámonos ante uns efectos naturais neste novo chanzo da transformación dixital que propician un cambio estrutural de semellante calado para a organización do sector público. Mesmo con conciencia do «estado da arte» e a súa potencial conflitividade, desde este traballo adoptamos unha postura optimista respecto ao papel ou á utilidade que a IA lles pode conferir ás administracións públicas e, en definitiva, ao conxunto da sociedade. Precisamente por tal motivo, resulta crucial evidenciar os aspectos negativos, pois só eliminando os seus vicios poderemos aproveitar plenamente as súas virtudes. Desde aquí enxalzamos o enfoque europeo, que busca o equilibrio na balanza entre un achegamento humanista, ético e respectuoso cos dereitos fundamentais á par que permitindo a innovación e o desenvolvemento económico-social da Unión Europea. Esta liña de pensamento, reflectida, entre outros, nos antes citados Libro branco de intelixencia artificial ou no RIA trasládanos a un horizonte esperanzador e representa o camiño a seguir.

4. Problemáticas do uso da IA na Administración pública

4.1. Decisións (in)xustas e (im)perfectas

Durante a síntese das vantaxes, destacouse que unha das principais fortalezas nos sistemas de IA radica na súa capacidade de evitar os erros derivados da intervención humana en diversos procedementos administrativos: sexa un erro procedemental, operacional ou mesmo resultado dunha valoración subxectiva inadecuada froito da intromisión de nesgos persoais no xuízo do funcionario. Non obstante, iso non é óbice para que os propios sistemas dean resultados ou decisións erróneas, nesgadas e en moitas ocasións totalmente inexplicables. É doado deixarse fascinar por unha tecnoloxía así; porén, tal como recolle o artigo 14 do RIA «Supervisión humana», no seu apartado 4, letra b), debemos evitar o coñecido como nesgo da automatización45 e non confiar cegamente nos resultados da IA e algoritmos. Certamente, o poder computacional actual dos grandes modelos de linguaxe excede de xeito exponencial as capacidades cerebrais de calquera ser humano, pero non por iso estes sistemas son infalibles nin próximos á perfección, especialmente cando os intereses principais dos desenvolvedores destes sistemas se basean máis no beneficio económico que na responsabilidade social.

Os sistemas de IA son «grandes calculadoras» que funcionan mediante conxuntos de algoritmos que permiten realizar constantemente cálculos a partir dos cales, en cuestión de segundos, se poden resolver operacións que, de seren abordadas polo ser humano, poderían requirir anos. A información de entrada, a partir da que se realizan estas operacións, é mediante datos. En particular, os máis avanzados utilizan simultaneamente as tecnoloxías de big data (conxuntos masivos de datos) e machine learning (autoaprendizaxe a partir deses datos) para funcionar. Dado que o núcleo funcional destes sistemas son os datos, resulta absolutamente imprescindible unha supervisión e un control desde a orixe dos datos —incluíndo o tratamento destes, acorde coas disposicións do RXPD— ata a utilización destes por parte das administracións, garantindo así a calidade e a representatividade dos datos. Así, un dos obxectivos principais debera ser o de determinar que datos van ser utilizados e cales non, atendendo ao fin específico que pretenda alcanzar a Administración46 . Cando os datos introducidos no sistema non sexan representativos da poboación sobre a cal a Administración pretende tomar unha decisión, cabe esperar resultados que non se correspondan coa realidade e que, ademais, revistan o potencial de xerar efectos prexudiciais na vida dos cidadáns e nos seus dereitos fundamentais.

Supostos como estes revisten un notorio prexuízo para os cidadáns, xa que en ocasións, como no exemplo que imos expor a continuación, afectan ao acceso a servizos esenciais para a cidadanía. A falta de supervisión e control, tanto no concernente aos datos como ao propio funcionamento do sistema de IA, desemboca inevitablemente en toma de decisións erróneas, nesgadas e que producen un efecto discriminatorio contra determinados colectivos da sociedade. O problema vólvese aínda máis gravoso porque o incumprimento das garantías enunciadas nesta sección provoca a «inexplicabilidade da decisión», resultado final da falta de transparencia e trazabilidade do acto ou decisión automatizada, algo que, tal como recolle BERNING PRIETO, resulta absolutamente inadmisible no ordenamento xurídico administrativo47 .

É imperante evitar esta situación, posto que supón un incumprimento do principio dual, ético e xurídico, da igualdade, un mandato xurídico que debe ser especialmente respectado por parte da Administración, sen que o contexto da automatización constitúa unha excepción aceptable48 . Esta problemática dos sistemas de IA e os algoritmos e a súa inferencia na garantía dos dereitos fundamentais —en especial o dereito á protección de datos— albíscase nitidamente na Sentenza do Tribunal de Distrito da Haia do 5 de febreiro de 2020 sobre o Systeem Risico Indicatie (ECLI:NL:RBDHA:2020:1878). O Goberno dos Países Baixos usaba un sistema algorítmico para estimar a probabilidade de fraude por parte dos cidadáns na solicitude de determinadas prestacións e servizos públicos mediante a utilización de datos masivos sobre estes de practicamente calquera fonte a que tivese acceso o Goberno: tal é o exceso que incluso o tribunal cuestiona se existen datos que escapasen ao control do algoritmo. O algoritmo acabou xerando resultados nesgados e discriminatorios que produciron prexuízos na vida e nos dereitos das persoas de zonas máis humildes. O tribunal apreciou unha utilización do algoritmo contraria ao principio de proporcionalidade, xa que, aínda que a finalidade da persecución da corrupción admite certa conculcación nos dereitos fundamentais dos cidadáns, a falta de transparencia, de calidade dos datos e de supervisión no procedemento son excesivos acorde coa finalidade e contrarios ao dereito da Unión 49.

4.2. Límites discrecionais na utilización de IA: a cuestión da reserva de humanidade

Retomando o exemplo da sentenza do Systeem Risico Indicatie —que é un exemplo perfecto porque cumpre con todas as problemáticas expostas neste estudo—, xorde a seguinte pregunta: Que tería acontecido se a decisión final sobre as actuacións con efectos xurídicos do programa as tomase un ser humano? É dicir, que sucedería ante un exercicio de supervisión e control previo á decisión final automatizada? O primeiro, probablemente o Goberno non tería que dimitir e, segundo, permitiríalle á Administración darse conta dos erros e establecer algún mecanismo para solucionar a cuestión, como por exemplo cambiar a outro sistema algorítmico.

O concepto ou expresión de «reserva de humanidade» foi introducido na doutrina administrativa por PONCE SOLÉ, o cal atribúe a súa orixe á profesora DÍEZ SASTRE. O propio concepto foi definido polo autor como «a decisión humana de excluír o uso da IA de certos ámbitos porque se considera inadecuado o uso desta de acordo co Estado de dereito» 50. A reserva de humanidade, polo tanto, operaría como unha sorte de mecanismo de defensa para, en determinadas cuestións, non ceder a discrecionalidade de determinados actos administrativos ao criterio do sistema de IA ou algoritmo. Non se trata dunha garantía de intervención humana en calquera acto administrativo, posto que, tal como reflexiona un sector da doutrina, estamos ante supostos totalmente distintos no caso de potestades reguladas e discrecionais51 , non presentando a primeira ningunha necesidade desta reserva de humanidade, xa que o papel humano ou da máquina é indiferente. Caso distinto é o das potestades discrecionais, onde si ten que existir ata certo punto un xuízo para determinar o resultado a aplicar, sexa froito da automatización ou baseándose na decisión do funcionario. Os dous autores sosteñen a tese da aplicación deste principio no segundo caso, postura que desde aquí consideramos a axeitada e compartimos, pois cremos que os sistemas de IA deben estar ao servizo da cidadanía, sen viceversa. Tal como recolle MARTÍN PAZOS, quizais a cuestión a que debemos aspirar non sexa garantir a intervención humana na actuación administrativa, senón que esta, mesmo sendo froito dun algoritmo, sexa axustada a dereito, a cal será garantida por un sistema de rendición de contas52 .

En definitiva, resulta imprescindible establecer garantías que posibiliten a fiscalización das diferentes actuacións algorítmicas do poder público, sexa en fase previa ou a posteriori da decisión automatizada. No caso contrario, a falta de garantías privaría o cidadán do seu dereito de participación na vida pública, erosionando a relación de confianza necesaria entre Administración e sociedade, e, finalmente, expulsando o cidadán da democracia53.

4.3. A despersonalización da actuación administrativa automatizada

Como xa foi exposto máis arriba nas concordancias normativas, o marco xurídico actual arredor da gobernanza pública algorítmica non é o suficientemente sólido como para regular de xeito efectivo as actuacións automatizadas da Administración. Aínda que o RXPD desempeña un gran papel sostendo a carga xurídica da automatización pública, non debemos esquecer que se trata dunha norma pertencente a outro ámbito, o que, irremediablemente, xera un baleiro normativo sobre a responsabilidade froito das actuacións automatizadas que causen un prexuízo aos cidadáns e aos seus dereitos fundamentais. Ante tales supostos, xorde a interrogante de a quen lle debemos exixir responsabilidade pola actuación automatizada: ao sistema de IA ou á persoa que utiliza o sistema?54

A resposta a esta cuestión atopámola no RIA ius post factum mediante a creación da figura do «responsable do despregamento» 55; non obstante, o dereito non debera obviar a notoria lagoa exposta, pois a intensidade dos efectos dalgúns procedementos públicos automatizados ten consecuencias, en ocasións, santamente irreparables na vida dos cidadáns. Estes efectos pouco ou nada teñen que ver coa vontade do funcionario, senón coa natureza destes sistemas, xa que caben resultados erráticos, nesgados e incomprensibles que non reflicten a realidade sobre a cal se emite o acto administrativo. Deberiamos tomar nota do exemplo dos Países Baixos e evitar resultados similares, especialmente cando xa contamos con precedentes en España. Un caso parecido sería o do sistema algorítmico do bono eléctrico Bosco, sobre o cal diversas organizacións denunciaron efectos discriminatorios e denegacións indebidas de solicitudes que cumprían os requisitos, ata o punto de que esa cuestión chegou á Audiencia Nacional56 . Máis aínda, se cabe, cando no sistema utilizado nos Países Baixos se dan garantías que nin sequera se consideran nos sistemas empregados en España, onde algunhas das ferramentas usadas pola Administración chegaron a ser obxecto de debate doutrinal respecto dunha posible inconstitucionalidade, como no caso do sistema anticorrupción SATAN —na actualidade, SALER— utilizado pola Comunidade Valenciana 57.

Desde a perspectiva deste estudo, non cabe a personalización nin a atribución de responsabilidade dunha hipotética inferencia na vida ou nos dereitos dos cidadáns resultado dunha actuación administrativa automatizada errónea. O dereito administrativo polo seu valor e a súa achega á sociedade debe servir de exemplo tanto para o resto das actuacións do sector público como para o sector privado, establecendo un sistema de rendición de contas que permita establecer unha clara autoría das distintas actuacións automatizadas das distintas administracións en todos os niveis competenciais. Seguindo co exemplo do Systeem Risico Indicatie, o tribunal neerlandés en ningún momento pensa atribuír a responsabilidade ao algoritmo. No seu lugar, considera responsable o ente público que lexislou e aprobou a norma que deu orixe ao sistema, é dicir, ao propio Goberno, posto que foi a súa Administración quen efectivamente utilizou esta ferramenta. Non esquezamos que a Administración é o medio mediante o cal o Goberno garante o cumprimento do interese público e sempre con plena submisión ao dereito58 , dogma que debera permanecer inalterado, posto que a automatización non constitúe ningún tipo de excepción constitucionalmente recollida e que, polo tanto, non permite a dilatación das actuacións da Administración.

4.4. A transparencia: intencionalidade ou informática?

Malia que non foi mencionada na sección dedicada ás concordancias normativas dado que non contén ningunha disposición específica no referente a sistemas de IA ou algoritmos, a Lei 19/201359 , no seu artigo 1, que dispón o obxecto da norma, contén no seu precepto unha definición, ao entender deste estudo, precisa, do que é a transparencia no ámbito administrativo: «regular e garantir o dereito de acceso á información relativa a aquela actividade e establecer as obrigas de bo goberno que deben cumprir os responsables públicos, así como as consecuencias derivadas do seu incumprimento». Neste sentido, entendemos a transparencia como o dereito que garante a cesión de información por parte da Administración aos seus cidadáns, permitindo así a explicación das súas actuacións automatizadas60 e que inclúe, ademais, garantías61 en relación co incumprimento destas obrigas por parte da Administración. Convén distinguir esta «transparencia xurídica» da que denominaremos neste estudo como «transparencia informática», no contexto da automatización mediante IA e algoritmos. Desde este estudo, entendemos a transparencia informática como a capacidade de garantir a trazabilidade na toma de decisións alcanzadas mediante un sistema de IA ou un algoritmo, é dicir, a explicación de como se chegou á decisión final a partir dos datos de entrada. É imperativa esta desagregación conceptual da transparencia para comprender o obstáculo principal ao cal as distintas administracións do mundo van ter que facer fronte en materia de automatización, a coñecida como fenómeno da black box.

O fenómeno da black box ou algoritmo de caixa negra fai referencia ás situacións nas cales, debido á natureza do funcionamento dos algoritmos, resulta imposible comprender ou explicar a lóxica tras as decisións do sistema62 . Mesmo pode acontecer que a información compartida polo sistema que permite explicar o proceso da toma de decisións non se corresponda coa utilizada realmente polo sistema, ou ben sexa totalmente falsa e non garde relación coa decisión alcanzada, o que se coñece no ámbito da informática como unha hallucination. Ante supostos de tal consubstancialidade, o cumprimento das garantías de transparencia por parte da Administración vólvese de facto impracticable. É inevitable recordar o caso do Systeem Risico Indicatie, no cal o Goberno en ningún momento ofreceu explicacións sobre o razoamento detrás do sistema. Unha das posibles razóns tras unha actitude tan carente de transparencia é porque, simplemente, nunca chegaron a comprender como funcionaba porque non era posible. En calquera caso, o preocupante é que o Goberno, de xeito deliberado, decidiu confiar na máquina en lugar de nos seus propios cidadáns, suposto que, ademais de irresponsable e carente de ética, é inaceptable nunha democracia como é a dos Países Baixos: Os cidadáns discriminados e afectados durante anos por este sistema poderán volver confiar algunha vez no Goberno ou na Administración?

O primeiro paso para evitar estas decisións erróneas, discriminatorias e contrarias aos dereitos dos cidadáns é a través do acceso ao código fonte dos sistemas de IA utilizados pola Administración. Este código establece o conxunto de regras matemáticas programadas para transformar unha información de entrada nunha de saída, sendo a única forma de comprender o funcionamento do sistema e xustificar as súas decisións. Non obstante, o acceso ao código fonte —habitualmente— atópase restrinxido por dereitos de propiedade intelectual ou industrial, o que impide o acceso aos cidadáns e mesmo á propia Administración. Así, o principal mecanismo de protección fronte aos erros nas decisións administrativas automatizadas vese debilitado tanto por fenómenos alleos ao dereito, como o black box ou as hallucinations, como polo propio ordenamento xurídico, especificamente no ámbito do dereito mercantil.

Outra cuestión problemática en relación coa transparencia que está a adquirir cada vez máis relevancia na doutrina administrativa é o que COTINO HUESO definiu como a «fuxida do dereito»63 . As administracións públicas utilizan sistemas de IA e algoritmos para analizar cantidades masivas de datos coa finalidade de detectar incumprimentos ou impor sancións aos cidadáns. No entanto, esta práctica vulnera o disposto no RXPD en materia de decisións automatizadas, xa que se esconde o efecto ou consecuencias xurídicas da automatización tras a posterior intervención humana, mesmo cando esta non teña un efecto substancial na decisión final. Preténdese con isto equiparar, falsamente, a automatización do procedemento a unha mera análise previa sen efectos xurídicos, cando en realidade si os ten. Este tipo de actuacións gardan unha notable similitude co caso do Systeem Risico Indicatie, xa que empregan sistemas automatizados e big data para levar a cabo unha sorte de fishing expedition, unha práctica contraria tanto ao dereito da Unión como ao dereito administrativo nacional. Coincidimos coa postura de COTINO HUESO respecto á lexitimidade do uso dos sistemas de IA e algoritmos na loita contra a corrupción ou a protección da seguridade e saída nos distintos niveis e ámbitos, pero son necesarias unha serie de garantías axeitadas que minimicen a mingua dos dereitos fundamentais dos cidadáns. Xorde así na doutrina a necesidade —sexa por medio da formulación dun novo dereito ou de nutrir de novas garantías o existente— dun dereito á transparencia algorítmica, e que a base deste se cimente sobre a explicación da lóxica esbozada e os criterios de funcionamento do algoritmo 64.

5. Reflexións conclusivas: alea iacta est

O tempo para a dúbida ou o escepticismo xa quedou atrás. Quizais antes de aventurarnos a cruzar o Rubicón aínda existía espazo para a dúbida, pero o certo é que, en pleno 2025, os dados foron lanzados hai moito. De igual forma que Xulio César, atopámonos nun punto de non retorno, pero non por iso o desenlace debe ser negativo.

Nunca antes a introdución dunha nova tecnoloxía na sociedade tivo un impacto semellante como o fixo a IA, e é que ningunha outra ferramenta vista ata agora tiña capacidades similares. Xorden entón novos paradigmas aos cales só mediante o dereito —sustentado e impulsado polo resto das disciplinas científicas— se pode dar resposta. Así, o dereito aspira a converterse na guía que permita situar a IA ao servizo dos protagonistas da democracia: os cidadáns e os seus dereitos. Toda futura norma en materia algorítmica debe cumprir coa expectativa de pór a dignidade do ser humano no centro regulatorio (expectativa que, en vista da actualidade xeopolítica internacional, é mellor non trasladar máis alá das fronteiras da Unión Europea) e calquera conculcación dos dereitos debe ser obxecto dun rigoroso escrutinio, respectando os principios reitores do Estado de dereito.

A falta de referencias a sistemas de IA e algoritmos na lexislación administrativa aviva a imperiosa necesidade da promulgación do RIA; non obstante, este período de transición non debe ser esquecido, posto que suporía a lexitimación de actuacións e procedementos contrarios ao dereito, suposto inaceptable en materia administrativa. Neste estudo centrámonos nalgúns dos principais problemas que a integración destas ferramentas na Administración pública produce, evidenciando a necesidade dun marco normativo sólido que lle evite prexuízos á cidadanía e, simultaneamente, lles permita á Administración e aos cidadáns beneficiarse desta nova tecnoloxía. Así mesmo, evidénciase a necesidade dun exercicio de actualización de normas fundamentais no ámbito do dereito administrativo, como a Lei 41/2015 ou a Lei 19/2023, de cara a establecer un control e unha serie de garantías na automatización da Administración, xa que sería unha oportunidade regulatoria perdida ceder a total potestade regulatoria en materia de IA á Unión Europea, en especial cando esta última lles solicitou aos países que complementen o regulamento coa súa regulación propia.

A chegada da IA supón unha nova oportunidade para as administracións, pero todas as boas oportunidades poden verse comprometidas polo libre albedrío e pola falta dunha normalización que retire da ecuación a ética: non esquezamos que a finalidade principal do Estado e as súas administracións é a de servir aos seus cidadáns, non que os cidadáns se convertan en meros peóns da lóxica algorítmica

Bibliografía

BAQUERO PÉREZ, P. J., “Cuestiones éticas sobre la implantación de la inteligencia artificial en la administración pública”, Revista Canaria de Administración Pública, núm. 1, 2023, pp. 243-282 https://doi.org/10.36151/RCAP.2023.8

BERNING PRIETO, A. D. “El uso de sistemas basados en inteligencia artificial por las administraciones públicas: estado actual de la cuestión y algunas propuestas ad futurum para un uso responsable”, Revista de Estudios de la Administración Local y Autonómica, núm. 20, 2023, pp. 165-185. https://doi.org/10.24965/reala.11247

CASTELLANOS CLARAMUNT, J., “Democracia, administración pública e inteligencia artificial desde una perspectiva política y jurídica”, Revista Catalana de Dret Públic, núm. 60, 2020, pp. 1-12. https://doi.org/10.2436/rcdp.i60.2020.3344

CASTELLANOS CLARAMUNT, J., “Inteligencia artificial y democracia: una aproximación jurídica desde el derecho constitucional”, en SALES SARLET, G. B. (coord.) & FAGGIANI, V. (dir.), Retos del derecho ante la IA: apuntes desde una perspectiva interdisciplinar, JMB, Barcelona, España, 2024, pp. 139-165.

CERRILLO MARTÍNEZ, A., “The use of artificial intelligence in public administration”, Review of International and European Economic Law, vol. 3 núm. 5, 2023, pp. 1-8. Accesible en https://rieel.com/index.php/rieel/article/view/91

COMISIÓN EUROPEA, Directrices éticas para una IA fiable, Oficina de Publicacións, 2019, pp. 1-55.

COMISIÓN EUROPEA, Libro blanco sobre inteligencia artificial. Un enfoque europeo orientado a la excelencia y a la confianza, 2020, pp. 1-32.

COSCULLUELA MONTANER, L., Manual de derecho administrativo: Parte General, Thomson Reuters Aranzadi & CIVITAS, Pamplona, España, 2022, pp. 1-757.

COTINO HUESO, L., “SyRI, ¿a quién sanciono?” Garantías frente al uso de inteligencia artificial y decisiones automatizadas en el sector público y la sentencia holandesa de febrero de 2020, La Ley Privacidad, Wolters Kluwer, núm. 4, 2020, pp. 1-11.

COTINO HUESO, L., “Transparencia de la inteligencia artificial pública: marco legal, desafíos y propuestas”, Actualidad Administrativa, Sección Actualidad, LA LEY, núm. 1, 2023, pp. 1-11.

COTINO HUESO, L., Capítulo 5. “Hacia la transparencia 4.0: El uso de la inteligencia artificial y big data para la lucha contra el fraude y la corrupción y las (muchas exigencias constitucionales)” en RAMIÓ MATAS, C. (coord.) Repensando la Administración digital y la innovación pública, Instituto Nacional de Administración Pública (INAP), Madrid, España, 2021, pp. 169-196.

DE ARTIÑANO MARRA, P., SÁNCHEZ ORO, J., “Responsabilidad por el funcionamiento de sistemas de inteligencia artificial: los desafíos de la «documentación técnica» del Reglamento de Inteligencia Artificial”, Derecho Digital e Innovación, núm. 20, 2024, pp. 1-13.

DEVECKA, M. “Did the greeks believe in their robots?”, The Cambridge Classical Journal, 2013, number. 59, pp. 52-69. https://doi.org/10.1017/S1750270513000079

GODOY, O., “De la digitalización a la inteligencia artificial: actividad administrativa, logaritmos y derechos”, Diario LA LEY, LA LEY, núm. 10504, 2024, pp. 1-30

HERRERA DE LAS HERAS, R., “Introducción a la inteligencia artificial desde una perspectiva legal” en Aspectos legales de la Inteligencia Artificial. Personalidad Jurídica de los Robots, Protección de Datos y Responsabilidad Civil, Dykinson, Madrid, España, 2022, pp. 11-27.

HUERGO LORA, A. J., “Inteligencia artificial: una aproximación jurídica no catastrofista”, Revista Española de Control Externo, vol. XXV, núm. 74-75, 2023, pp. 110-129.

JOHN NILSSON, N., “John McCarthy, 1927-2011: A Biographical Memoir”, National Academy of Sciences, 2012, pp. 1-17 https://www.nasonline.org/wp-content/uploads/2024/06/mccarthy-john.pdf (revisado en X).

LÓPEZ DONAIRE, B., “Breves reflexiones sobre la IA y sector público: fundamentos, desafíos y experiencias”, Derecho Digital e Innovación, LA LEY, núm. 16, 2023, pp. 1-15.

MARTÍN DELGADO, I., Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada, Revista de Administración Pública, núm. 180, 2009, pp. 353-386.

MARTÍN PALACIOS, P., “Administración Electrónica y Derechos Digitales”, Derecho Digital e Innovación: Sección Doctrina, Wolters Kluwer, núm. 9, 2021, pp. 1-14.

MARTÍNEZ OTERO, J. M., “Hipervigilancia administrativa y supervisión automatizada: promesas, amenazas y criterios para valorar su oportunidad”, Revista Española de Derecho Administrativo, CIVITAS, núm. 231, 2024, pp. 1-17.

MONTESINOS GARCÍA, A., “Los algoritmos que valoran el riesgo de reincidencia: En especial, el sistema Viogen”, Revista de derecho y proceso penal, vol. 64, 2021, pp. 19-55.

MORENO REBATO, M., Inteligencia artificial (umbrales éticos, Derecho y administraciones públicas), Aranzadi, Navarra, España, 2021, pp. 1-140.

OCDE & CAF, “Uso estratégico y responsable de la inteligencia artificial en el sector público de América Latina y el Caribe, Estudios de la OCDE sobre Gobernanza Púbica, OECD Publishing, Paris, 2022, pp. 1-209 https://doi.org/10.1787/5b189cb4-es

OCDE, “Explanatory memorandum on the updated OECD definition of an AI system”, OCDE Artificial Intelligence Papers, OCDE Publishing, Paris, France, núm. 8, 2024, pp. 1-11. https://doi.org/10.1787/623da898-en

OCDE, “Hola, Mundo: Inteligencia artificial y su uso en el sector público”, Documentos de trabajo sobre gobernanza pública, núm. 36., 2019. pp. 1-185. https://doi.org/10.1787/726fd39d-en

PARRES GARCÍA, A., “Gervasio Para Todo y la gobernanza pública algorítmica”, Documentación Administrativa, núm. 12, 2024, pp. 87-102. DOI: https://doi.org/10.24965/da.11401

PONCE SOLÉ, J., “Inteligencia Artificial, decisiones administrativas discrecionales totalmente automatizadas y alcance del control judicial: ¿indiferencia, insuficiencia o deferencia?, Revista de Derecho Público: teoría y método, vol. 9, 2024, pp. 171-220. https://doi.org/10.37417/RDP/vol_7_2024_2151

RIVERO ORTEGA, R., “¿Pueden los robots remplazar a los funcionarios?”, Derecho Digital e Innovación, LA LEY, núm. 16, 2023, pp. 1-17.

SUBERBIOLA GARBIZU, I., “Inteligencia artificial, opacidad y motivación de las decisiones administrativas” en VAZQUEZ DEL REY VILLANUEVA, A. & SUBERBIOLA GARBIZU, I. (Cord.), MERINO JARA, I., (Dir.), La protección de los derechos fundamentales en el ámbito tributario, Wolters Kluwer España, 2021, pp. 291-328.

VALERO TORRIJOS, J., “Las garantías jurídicas de la inteligencia artificial en la actividad administrativa desde la perspectiva de la buena administración”, Revista Catalana de Dret Públic, núm. 58, 2019, pp. 82-96. https://doi.org/10.2436/rcdp.i58.2019.3307

VELASCO RICO, C. I., “Tecnologías disruptivas en la Administración Pública: Inteligencia artificial y Blockchain” en CERRILLO I MARTÍNEZ, A. (Dir.) & CASTILLO RAMOS-BOSSINI, S. (Cord.) La Administración Digital, Dykinson, Madrid, España, 2022, pp. 228-256.

VILLANUEVA TURNES, A., “II. La inteligencia artificial: Regulación y límites en el sector público”, Revista Española de Derecho Administrativo, CIVITAS, núm. 221, 2022, pp. 1-26.

VILLANUEVA TURNES, A., “Inteligencia artificial y derecho administrativo” en ALONSO SALGADO, C. et al. (Dir.) & LÓPEZ SUAREZ, C. et al. (Cord.), Derecho, nuevas tecnologías e Inteligencia Artificial, Dykinson, Madrid, España, 2023, pp. 135-145.

VILLANUEVA TURNES, A., “La utilización de los algoritmos en la administración púbica y su transparencia” en PÉREZ CALLE, R. D., (Coord.) Economía, Derecho y Empresa ante una nueva era: digitalización, IA y competitividad en un entorno global, Dykinson, Madrid, España, pp. 1-1462.

---

1. 1 Así, o considerado como pai da IA, John McCarthy, acuñou por primeira vez o termo artificial intelligence no ano 1965 no seminario de verán de Darthmouth para definir a busca dun comportamento humano nas máquinas. O seu traballo, xunto co de científicos da época, como Minsky, Selfridge e Allen Newell, sentaría as bases para o nacemento dunha disciplina propia dentro do ámbito da enxeñaría informática, cuxa influencia perdura ata os nosos días. Véxase: JOHN NILSSON, N., “John McCarthy, 1927-2011: A Biographical Memoir”, National Academy of Sciences, 2012, p. 5 e ss

2. 2 SUBERBIOLA GARBIZU, I., “Inteligencia artificial, opacidad y motivación de las decisiones administrativas”, en VÁZQUEZ DEL REY VILLANUEVA, A. & SUBERBIOLA GARBIZU, I. (coords.), MERINO JARA, I., (Dir.), La protección de los derechos fundamentales en el ámbito tributario, Wolters Kluwer España, 2021, p. 291

3. 3 Regulamento (UE) 2024/1689 do Parlamento Europeo e do Consello, do 13 de xuño de 2024, polo que se establecen normas harmonizadas en materia de intelixencia artificial e polo que se modifican os regulamentos (CE) n.º 300/2008, (UE) n.º 167/2013, (UE) n.º 168/2013, (UE) 2018/858, (UE) 2018/1139 e (UE) 2019/2144 e as directivas 2014/90/UE, (UE) 2016/797 e (UE) 2020/1828.

4. 4 Así, no citado documento, a Comisión Europea define a intelixencia artificial simplemente como «unha combinación de tecnoloxías que agrupa datos, algoritmos e capacidade informática». En: COMISIÓN EUROPEA, Libro branco sobre intelixencia artificial. Un enfoque europeo orientado á excelencia e á confianza, 2020, p. 2.

5. 5 MORENO REBATO, M., Inteligencia artificial (umbrales éticos, Derecho y administraciones públicas), Aranzadi, Navarra, España, 2021, p. 21.

6. 6 OCDE, “Explanatory memorandum on the updated OECD definition of an AI system”, OCDE Artificial Intelligence Papers, OCDE Publishing, Paris, France, núm. 8, 2024, p. 4.

7. 7 Regulamento (UE) 2016/679 do Parlamento Europeo e do Consello, do 27 de abril de 2016, relativo á protección das persoas físicas no que respecta ao tratamento de datos persoais e á libre circulación destes datos e polo que se derroga a Directiva 95/46/CE.

8. 8 HERRERA DE LAS HERAS, R., “Introducción a la inteligencia artificial desde una perspectiva legal” en Aspectos legales de la Inteligencia Artificial. Personalidad Jurídica de los Robots, Protección de Datos y Responsabilidad Civil, Dykinson, Madrid, España, 2022, p. 20.

9. 9 CASTELLANOS CLARAMUNT, J., “Inteligencia artificial y democracia: una aproximación jurídica desde el derecho constitucional”, en SALES SARLET, G. B. (coord.) & FAGGIANI, V. (dir.), Retos del derecho ante la IA: apuntes desde una perspectiva interdisciplinar, JMB, Barcelona, España, 2024, p. 141.

10. 10 VILLANUEVA TURNES, A., “II. La inteligencia artificial: Regulación y límites en el sector público”, Revista Española de Derecho Administrativo, CIVITAS, núm. 221, 2022, p. 214.

11. 11 VELASCO RICO, C. I., “Tecnologías disruptivas en la Administración Pública: Inteligencia artificial y Blockchain” en CERRILLO I MARTÍNEZ, A. (Dir.) & CASTILLO RAMOS-BOSSINI, S. (Cord.) La Administración Digital, Dykinson, Madrid, España, 2022, p. 228.

12. 12 GODOY, O., “De la digitalización a la inteligencia artificial: actividad administrativa, logaritmos y derechos”, Diario LA LEY, LA LEY, núm. 10504, 2024, p. 9.

13. 13 Esta dicotomía entre o rumbo da Administración atopa a súa análise en profundidade en: PARRES GARCÍA, A., “Gervasio Para Todo y la gobernanza pública algorítmica”, Documentación Administrativa, núm. 12, 2024, pp. 87-102

14. 14 LÓPEZ DONAIRE, B., “Breves reflexiones sobre la IA y Sector Público: fundamentos, desafíos y experiencias”, Derecho Digital e Innovación, LA LEY, núm. 16, 2023, p. 4.

15. 15 . CASTELLANOS CLARAMUNT, J., op. cit. p. 4.

16. 16 Achégase a fantástica obra de BAQUERO PÉREZ na cal fai unha xenial análise de todas as cuestións éticas que presentan unha elevada conflitividade na automatización da Administración, desde a perspectiva de diferentes escolas de pensamento, BAQUERO PÉREZ, Achégase a fantástica obra de BAQUERO PÉREZ na cal fai unha xenial análise de todas as cuestións éticas que presentan unha elevada conflitividade na automatización da Administración, desde a perspectiva de diferentes escolas de pensamento, BAQUERO PÉREZ, P. J., “Cuestiones éticas sobre la implantación de la inteligencia artificial en la administración pública”, Revista Canaria de Administración Pública, núm. 1, 2023, p. 33..

17. 17 A pesar das múltiples referencias a esta idea durante todo o manuscrito, quedamos coas seguintes: “Os sistemas de IA deberían servir para manter e impulsar procesos democráticos, así como para respectar a pluralidade de valores e eleccións vitais das persoas” e “Os sistemas de IA ofrecen un potencial moi importante para mellorar o alcance e a eficiencia do goberno na prestación de bens e servizos públicos á sociedade”. COMISIÓN EUROPEA, Directrices éticas para una IA fiable, Oficina de Publicacións, 2019, p. 3.

18. 18 Na propia introdución do documento establécese o interese público como un dos alicerces deste novo ecosistema da intelixencia artificial. Véxase: COMISIÓN EUROPEA, Libro branco da intelixencia artificial, op. cit. p. 2.

19. 19 OCDE & CAF, “Uso estratégico y responsable de la inteligencia artificial en el sector público de América Latina y el Caribe, Estudios de la OCDE sobre Gobernanza Púbica, OECD Publishing, Paris, 2022, p. 38.

20. 20 Op. cit., p. 40

21. 21 MONTESINOS GARCÍA, A., “Los algoritmos que valoran el riesgo de reincidencia: En especial, el sistema Viogen”, Revista de derecho y proceso penal, vol. 64, 2021, p. 22.

22. 22 Véxase o seguinte enlace web: https://www.elconfidencial.com/tecnologia/2024-07-11/japon-tokio-alcalde-inteligencia-artificial_3921654/ (revisado o día 14 de abril).

23. 23 Enlace á noticia: https://www.japantimes.co.jp/news/2024/06/29/japan/politics/tokyo-race-digitial-tools (revisado o día 14 de abril). Malia que non ten subtítulos en inglés, compártese tamén o enlace ao vídeo subido na plataforma YouTube: https://www.youtube.com/watch?v=WA-mRcNMo4E (revisado o día 14 de abril).

24. 24 Véxase: https://www.ispionline.it/en/publication/how-china-uses-artificial-intelligence-control-society-23244 (revisado o día 14 de abril).

25. 25 Véxase o enlace á noticia: https://www.reuters.com/world/asia-pacific/skorea-test-ai-powered-facial-recognition-track-covid-19-cases-2021-12-13/ (revisado o día 14 de abril).

26. 26 Véxase o enlace á noticia: https://www.reuters.com/world/asia-pacific/skorea-test-ai-powered-facial-recognition-track-covid-19-cases-2021-12-13/ (revisado o día 14 de abril).

27. 27 CERRILLO MARTÍNEZ, A., “The use of artificial intelligence in public administration”, Review of International and European Economic Law, vol. 3 núm. 5, 2024, p. 2.

28. 28 Lei 39/2015, do 1 de outubro, do procedemento administrativo común das administracións públicas.

29. 29 Lei 40/2015, do 1 de outubro, de réxime xurídico do sector público.

30. 30 Artigo 41. Actuación administrativa automatizada.

    1. Enténdese por actuación administrativa automatizada calquera acto ou actuación realizada integramente a través de medios electrónicos por unha Administración pública no marco dun procedemento administrativo e na cal non interviñese de forma directa un empregado público.

    2. En caso de actuación administrativa automatizada deberá establecerse previamente o órgano ou órganos competentes, segundo os casos, para a definición das especificacións, programación, mantemento, supervisión e control de calidade e, se é o caso, auditoría do sistema de información e do seu código fonte. Así mesmo, indicarase o órgano que debe ser considerado responsable para os efectos de impugnación.

31. 31 Para o desenvolvemento completo da síntese arredor do precepto do artigo 41 confróntese a seguinte obra: VILLANUEVA TURNES, A., “II. La inteligencia artificial: Regulación y límites en el sector público”, op. cit. p. 6.

32. 32 MARTÍN DELGADO, I., Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada, Revista de Administración Pública, núm. 180, 2009, pp. 353-386

33. 33 Regulamento (UE) 2016/679 do Parlamento Europeo e do Consello, do 27 de abril de 2016, relativo á protección das persoas físicas no que respecta ao tratamento de datos persoais e á libre circulación destes datos e polo que se derroga a Directiva 95/46/CE.

34. 34 Lei orgánica 3/2018, do 5 de decembro, de protección de datos persoais e garantía dos dereitos dixitais.

35. 35 Dispón o seguinte: «Os particulares, nos termos establecidos pola lei, terán dereito a ser indemnizados por toda lesión que sufran en calquera dos seus bens e dereitos, salvo nos casos de forza maior, sempre que a lesión sexa consecuencia do funcionamento dos servizos públicos».

36. 36 Real decreto 203/2021, do 30 de marzo, polo que se aproba o Regulamento de actuación e funcionamento do sector público por medios electrónicos.

37. 37 En referencia á opacidade no uso de sistemas de IA por parte da Administración pública española e a insuficiencia de garantías no contexto da automatización, recoméndase a lectura de COTINO HUESO, L., “Transparencia de la inteligencia artificial pública: marco legal, desafíos y propuestas”, Actualidad Administrativa, Sección Actualidad, LA LEY, núm. 1, 2023, pp. 1-11.

38. 38 Promoveranse os dereitos da cidadanía en relación coa intelixencia artificial recoñecidos nesta Carta no marco da actuación administrativa recoñecéndose en todo caso os dereitos a:

    a) Que as decisións e actividades no ámbito dixital respecten os principios de bo goberno e o dereito a unha boa Administración dixital, así como os principios éticos que guían o deseño e os usos da intelixencia artificial.

    b) A transparencia sobre o uso de instrumentos de intelixencia artificial e sobre o seu funcionamento e alcance en cada procedemento concreto e, en particular, acerca dos datos utilizados, a súa marxe de erro, o seu ámbito de aplicación e o seu carácter decisorio ou non decisorio. A lei poderá regular as condicións de transparencia e o acceso ao código fonte, especialmente co obxecto de verificar que non produce resultados discriminatorios.

    c) Obter unha motivación comprensible en linguaxe natural das decisións que se adopten no contorno dixital, con xustificación das normas xurídicas relevantes, tecnoloxía empregada, así como dos criterios de aplicación destas ao caso. O interesado terá dereito a que se motive ou se explique a decisión administrativa cando esta se separe do criterio proposto por un sistema automatizado ou intelixente.

    d) Que a adopción de decisións discrecionais quede reservada a persoas, salvo que normativamente se prevexa a adopción de decisións automatizadas con garantías axeitadas.

39. 39 Lei 15/2022, do 12 de xullo, integral para a igualdade de trato e a non discriminación.

40. 40 SARASÍBER IRIARTE, M., op. cit. p. 2.

41. 41 MARTÍNEZ OTERO, J. M., “Hipervigilancia administrativa y supervisión automatizada: promesas, amenazas y criterios para valorar su oportunidad”, Revista Española de Derecho Administrativo, CIVITAS, núm. 231, 2024, p. 3.

42. 42 GODOY, O., op. cit. p. 9.

43. 43 HUERGO LORA, A. J., “Inteligencia artificial: una aproximación jurídica no catastrofista”, Revista Española de Control Externo, vol. XXV, núm. 74-75, 2023, p. 119.

44. 44 RIVERO ORTEGA, R., “¿Pueden los robots remplazar a los funcionarios?”, Derecho Digital e Innovación, LA LEY, núm. 16, 2023, p. 7.

45. 45 b) Ser conscientes da posible tendencia a confiar automaticamente ou en exceso nos resultados de saída xerados por un sistema de IA de alto risco («nesgo de automatización»), en particular cos sistemas que se utilizan para achegar información ou recomendacións co fin de que persoas físicas adopten unha decisión.

46. 46 BERNING PRIETO, A. D. “El uso de sistemas basados en inteligencia artificial por las Administraciones Públicas: estado actual de la cuestión y algunas propuestas ad futurum para un uso responsable”, Revista de Estudios de la Administración Local y Autonómica, núm. 20, 2023, p. 170.

47. 47 op. cit. p. 172

48. 48 MORENO REBATO, M., op. cit. p. 50.

49. 49 Para unha análise en maior profundidade da sentenza e as súas implicacións: COTINO HUESO, L., “SyRI, ¿a quién sanciono?” Garantías frente al uso de inteligencia artificial y decisiones automatizadas en el sector público y la sentencia holandesa de febrero de 2020”, La Ley Privacidad, Wolters Kluwer, núm. 4, 2020, pp. 1-11.

50. 50 PONCE SOLÉ, J., “Inteligencia Artificial, decisiones administrativas discrecionales totalmente automatizadas y alcance del control judicial: ¿indiferencia, insuficiencia o deferencia?, Revista de Derecho Público: teoría y método, vol. 9, 2024, p. 191.

51. 51 Esta postura atopa o seu reflexo, entre outras obras, en: VILLANUEVA TURNES, A., “La inteligencia artificial: Regulación y límites en el sector público”, op. cit. p. 214.

52. 52 MARTÍN PALACIOS, P., “Administración Electrónica y Derechos Digitales”, Derecho Digital e Innovación: Sección Doctrina, Wolters Kluwer, núm. 9, 2021, p. 44.

53. 53 CASTELLANOS CLARAMUNT, J., “Democracia, administración pública e inteligencia artificial desde una perspectiva política y jurídica”, Revista Catalana de Dret Públic, núm. 60, 2020, p. 6.

54. 54 VILLANUEVA TURNES, A., “Inteligencia artificial y derecho administrativo” en ALONSO SALGADO, C. et al. (Dir.) & LÓPEZ SUAREZ, C. et al. (Cord.), Derecho, nuevas tecnologías e Inteligencia Artificial, Dykinson, Madrid, España, 2023, p. 140.

55. 55 Esta figura, á que se lle atribúe un papel esencial no cumprimento normativo da integración da intelixencia artificial na estrutura pública, atopa a súa definición no artigo 3 número 4: «unha persoa física ou xurídica, autoridade pública, órgano ou organismo que desenvolva un sistema de IA ou un modelo de IA de uso xeral ou para o que se desenvolva un sistema de IA ou un modelo de IA de uso xeral e o introduza no mercado ou poña en servizo o sistema de IA co seu propio nome ou marca, logo de pagamento ou gratuitamente».

56. 56 Cabe destacar que a Audiencia Nacional, na sentenza do 30 de abril de 2024, recurso 51/2022, caso Bosco, non apreciou ese efecto discriminatorio; non obstante —e co recurso de casación xa admitido, á espera do pronunciamento do Tribunal Supremo—, este tribunal tampouco permitiu o acceso ao código fonte dese programa, o cal supón unha falta total de transparencia. Desde aquí pensamos que isto evidencia un flagrante incumprimento de principios administrativos fundamentais tales como como son os principios de boa administración e rendición de contas. Sobre esta cuestión achégase unha revisión publicada na web “Almacén de Derecho” por PONCE SOLÉ, J. https://almacendederecho.org/por-que-se-equivocan-las-sentencias-sobre-el-algoritmo-del-bono-social-electrico (revisado o 14 de abril).

57. 57 COTINO HUESO, L., “SyRI, ¿a quién sanciono?” Garantías frente al uso de inteligencia artificial y decisiones automatizadas en el sector público y la sentencia holandesa de febrero de 2020”, op. cit. p. 4.

58. 58 COSCULLUELA MONTANER, L., Manual de derecho administrativo: Parte General, Thomson Reuters Aranzadi & CIVITAS, Pamplona, España, 2022, p. 48.

59. 59 Lei 19/2013, do 9 de decembro, de transparencia, acceso á información pública e bo goberno.

60. 60 Podería ser cuestionable, en certa medida, se a falta de disposicións específicas na norma evita a suxeición destes sistemas ás obrigas derivadas das disposicións da Lei 19/2013; porén, conxúgase como imprescindible na medida en que as administracións públicas deben servir ao interese xeral da cidadanía cumprindo e respectando os principios constitucionais. En VILLANUEVA TURNES, A., “La utilización de los algoritmos en la administración púbica y su transparencia” en PÉREZ CALLE, R. D., (Coord.) Economía, Derecho y Empresa ante una nueva era: digitalización, IA y competitividad en un entorno global, Dykinson, Madrid, España, 2024, p. 675.

61. 61 Para unha análise en profundidade do dereito á transparencia na gobernanza pública algorítmica e aspectos tales como o alcance ou os elementos suxeitos ao propio dereito, recoméndase a lectura: VALERO TORRIJOS, J., “Las garantías jurídicas de la inteligencia artificial en la actividad administrativa desde la perspectiva de la buena administración”, Revista Catalana de Dret Públic, núm. 58, 2019, pp. 82-96.

62. 62 DE ARTIÑANO MARRA, P., & SÁNCHEZ ORO, J., “Responsabilidad por el funcionamiento de sistemas de inteligencia artificial: los desafíos de la «documentación técnica» del Reglamento de Inteligencia Artificial”, Derecho Digital e Innovación, núm. 20, 2024, p. 6.

63. 63 Fíxose unha breve síntese de definición máis complexa para introducir o lector no concepto; non obstante, recoméndase a lectura do orixinal no cal COTINO LORENZO aborda a súa definición con suma mestría: COTINO HUESO, L., Capítulo 5. “Hacia la transparencia 4.0: El uso de la inteligencia artificial y big data para la lucha contra el fraude y la corrupción y las (muchas exigencias constitucionales)” op cit. pp. 181 e ss.

64. 64 MARTÍN PALACIOS, P., op. cit., p. 5.