Revista Galega de Administración Pública, EGAP

Núm. 69_xaneiro-xuño | pp. 239-265

Santiago de Compostela, 2025

https://doi.org/10.36402/regap.v2i69.5286

© Carlos de Román Castro

ISSN-e: 1132-8371 | ISSN: 1132-8371

Recibido: 14/04/2025 | Aceptado: 26/06/2025

Editado bajo licencia Creative Commons Atribution 4.0 International License

Automatización e Administración pública

Automatización y Administración pública

Automation and public Administration

Carlos de Román Castro

Doctorando en Relaciones Laborales y Recursos Humanos.

Universidad de Santiago de Compostela

https://orcid.org/0009-0007-5725-8984

carlosde.roman@rai.usc.es

Resumo: Actualmente, a coñecida como cuarta revolución industrial está liderada polo desenvolvemento e a implementación de sistemas de IA e algoritmos. Este fenómeno internacional non é alleo ao sector público, onde, igual que coa dixitalización das administracións públicas, atoparon unha nova forma de cumprir as súas tarefas dun xeito máis eficaz e eficiente. Este novo paso na evolución da estrutura pública trae consigo novos paradigmas tanto para a democracia como para o propio dereito administrativo. Por iso, este estudo busca unha síntese non exhaustiva destas cuestións a nivel nacional, así como o seu encaixe normativo no contexto actual, caracterizado polo atraso ata a plena promulgación da RIA en 2027.

Palabras clave: Cidadáns, dereitos, decisións, transparencia.

Resumen: Actualmente, la conocida como cuarta revolución industrial está liderada por el desarrollo y la implementación de sistemas de IA y algoritmos. Este fenómeno internacional no es ajeno al sector público, donde, al igual que con la digitalización de las administraciones públicas, han encontrado una nueva forma de cumplir sus tareas de una manera más eficaz y eficiente. Este nuevo paso en la evolución de la estructura pública trae consigo nuevos paradigmas tanto para la democracia como para el propio derecho administrativo. Por ello, este estudio busca una síntesis no exhaustiva de estas cuestiones a nivel nacional, así como su encaje normativo en el contexto actual, caracterizado por el retraso hasta la plena promulgación de la RIA en 2027.

Palabras clave: Ciudadanos, derechos, decisiones, transparencia.

Abstract: Currently, the so-called fourth industrial revolution is spearheaded by the development and implementation of AI systems and algorithms. This international phenomenon is no stranger to the public sector, where public administrations have found a new way to fulfill their duties more effectively and efficiently. This new step in the evolution of the public structure brings with it new paradigms for both democracy and administrative law. Therefore, this study seeks a non-exhaustive summary of these issues at the national level, as well as their regulatory fit in the current context, characterized by the delay until the full enactment of the RIA in 2027.

Key words: Citizens, rights, decisions, transparency.

Sumario: 1 Introducción. 2 Conceptualización de la inteligencia artificial. 3 Inteligencia artificial en la Administración. 3.1. En aras del progreso 3.2 Un fenómeno internacionalizado. 3.3 Concordancias normativas de la IA en la Administración. 3.4 Ventajas del uso de la IA por parte de la Administración pública. 4 Problemáticas del uso de la IA por parte de la Administración pública. 4.1 Decisiones (in)justas e (im)perfectas. 4.2 Límites discrecionales en la utilización de la IA: la cuestión de la reserva de humanidad. 4.3 La despersonalización de la actuación administrativa automatizada. 4.4 La transparencia: ¿intencionalidad o informática? 5. Reflexiones conclusivas: alea iacta est.

1. Introducción

Entre el 10 y el 17 de febrero de 1996, en la ciudad de Filadelfia (Pensilvania, EE. UU.), tuvo lugar un evento sin precedentes en la historia de la humanidad: el superordenador impulsado por inteligencia artificial Deep Blue, desarrollado por la multinacional americana IBM, se enfrentó en una partida de ajedrez al campeón del mundo —y considerado como el mejor jugador de ajedrez de la historia— Garry Kasparov. Aunque Deep Blue logró imponerse en la primera de las seis partidas, convirtiéndose en la primera máquina en vencer a un campeón mundial de ajedrez, Kasparov terminó llevándose la victoria con un resultado de cuatro a dos. Un año después, entre el 3 y el 11 de mayo de 1997, se celebró en la Ciudad de Nueva York (EE. UU.) la anticipada revancha, cuyo desenlace no dejaría indiferente a nadie. En esta ocasión, Deep Blue se hizo con la victoria con un resultado de tres partidas ganadas, dos perdidas y un empate, estableciendo un precedente inaudito: por primera vez en la historia la máquina superó al ser humano en su propio juego, presagiando un futuro en el cual la inteligencia artificial dejaría de ser un sueño utópico propio de la ciencia ficción y se convertiría en una realidad.

Pese a que en la historia contemporánea hemos tenido múltiples muestras del potencial que estas herramientas ponen sobre la mesa, el lento desarrollo de la inteligencia artificial (en adelante, IA), constantemente topado por las limitaciones técnicas, generó cierto escepticismo por esta tecnología, aun ante muestras tan categóricas de las capacidades de estas herramientas. Sin embargo, durante el último lustro —y con la pandemia como elemento catalizador— los avances y la constante integración de estas herramientas en diferentes aristas de la sociedad se han convertido en el nuevo orden, estableciéndose como vox populi que el futuro pasa por una sociedad automatizada. Utilizamos día a día smartphones con IA integrada, viajamos como turistas a otros continentes a visitar ciudades inteligentes, conducimos coches autónomos que además se aparcan solos y fabricamos robots que son capaces de completar de forma efectiva las más complejas operaciones.

Esta «nueva» tecnología va rumbo de convertirse en la mayor revolución de la historia de la humanidad, transformando lo que en algún momento fueron promesas en oportunidades cada vez menos equidistantes: exploración espacial autónoma, energía ilimitada y sostenible, materiales que son capaces de autorrepararse, entre otros ejemplos que eran simplemente inimaginables hasta la llegada de la IA. No es de extrañar que, ante un poder que asemeja omnisciente, haya quien se vea en la tentación de abrazar al demonio con fe ciega, en pro de la consecución de dicho potencial, vulnerando los principios rectores del Estado de derecho y cristalizando los pilares de la democracia. Ante semejante contexto, desde la perspectiva doctrinal se detrae una obligación ética para con la sociedad y sus integrantes que enuncie incansablemente los desafíos actuales y venideros a los que va a tener que hacer frente la humanidad, sobre todo cuando desde este estudio creemos que estas herramientas tienen las capacidades de hacer del mundo un lugar mejor, uno en el cual la IA esté al servicio de la humanidad y suponga un avance que entrañe prosperidad para todos.

Uno de los sectores en los que la implantación de la IA tiene el potencial de generar un impacto positivo en la sociedad es el sector público, especialmente en las administraciones públicas. No obstante, a pesar de sus innegables ventajas, el uso de estas herramientas en la esfera pública, particularmente en España, enfrenta una situación de especial vulnerabilidad ante los desafíos y problemáticas inherentes a la naturaleza de dichas herramientas. Ante tal coyuntura, principios rectores de las actuaciones administrativas como la buena administración o la transparencia, entre otros, se ven vulnerados, afectando a las bases de nuestra democracia y resultando en una merma de los derechos normativamente reconocidos a los ciudadanos. Este estudio busca el análisis de estas cuestiones a las que las administraciones públicas deben anteponerse, sobre todo durante el «vacío jurídico» existente hasta la plena promulgación del Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial, a fecha de 27 de julio de 2027. Por este motivo, nos centraremos en el corpus normativo ajeno a esta norma y, salvo referencias puntuales, no haremos referencia a ella, ya que este estudio busca contribuir a una comprensión justa y precisa de la situación actual en este periodo que resta hasta la implantación del nuevo marco normativo en materia de inteligencia artificial.

2. Conceptualización de la inteligencia artificial

Establecer una definición de «inteligencia artificial» común y válida para todos es una tarea más compleja de lo que pudiera parecer en primera instancia. Partimos de un concepto dinámico, cuya caracterización y capacidades han evolucionado paulatinamente conforme a los saltos computacionales dentro del ámbito de la informática, adoptando diferentes acepciones en los distintos campos de estudio: para las ciencias jurídicas son una herramienta, mientras que en el ámbito de la ingeniería se trata de una subdisciplina dentro de la ingeniería informática1. Tampoco ayuda a la hora de establecer una única acepción universal la existencia de tan distintos tipos de sistemas de IA con múltiples finalidades, formas y funcionamientos diferentes2.

Incluso en el propio ámbito de las ciencias jurídicas tampoco tenemos una definición estandarizada, con distintos acercamientos desde la perspectiva institucional-doctrinal. Es por ello por lo que se van a exponer diferentes conceptos para ofrecer al lector una caracterización lo más amplia posible.

Partiendo de la perspectiva institucional, es de obligada mención la definición del término «sistema de IA» recogida en el artículo 3 del reciente Reglamento (UE) 2024/1689 en materia de inteligencia artificial3 (en adelante, RIA): «un sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtuales». De esta forma, el RIA proporciona una conceptualización comunitaria formal para los Estados miembros y permite ir un poco más allá de la escueta —e informal— acepción del Libro blanco de la inteligencia artificial4. Consideramos que esta descripción de los sistemas de IA cumple con el difícil presupuesto necesario establecido por MORENO REBATO: ofrecer una definición garante de la suficiente flexibilidad para adaptarse a la evolución de estos sistemas, sin óbice al fomento de la innovación5.

Recientemente, y en la misma línea que la Unión Europea, la OCDE actualizó su definición de «sistema de IA», estableciéndolo del siguiente modo: «Un sistema de IA es un sistema basado en una máquina que, para objetivos explícitos o implícitos, infiere, a partir de la entrada que recibe, cómo generar resultados como predicciones, contenido, recomendaciones o decisiones que pueden influir en entornos físicos o virtuales. Los diferentes sistemas de IA varían en sus niveles de autonomía y adaptabilidad después del despliegue»6.

Desde esta perspectiva, resulta inevitable percatarse de la ausencia de una definición en el ámbito nacional de este fenómeno. Aunque esta carencia responde a la falta de una normativa específica en nuestro ordenamiento jurídico, su ausencia se va evidenciando con el paso del tiempo. De esta manera, la futura ley nacional de IA, inspirada en el contenido del RIA se erige como una oportunidad ideal para reafirmar la postura de España ante estas nuevas tecnologías, ofreciendo una conceptualización propia, a la expectativa de una actuación similar que con el Reglamento (UE) 2016/679 de protección de datos personales7 (en adelante, RGPD) y la Ley orgánica 3/2018, de 5 de diciembre, de protección de datos personales y garantía de los derechos digitales.

En lo que respecta a la perspectiva doctrinal, tenemos también definiciones de distintos autores que pueden ayudar a los lectores a generar una conceptualización de la IA, especialmente en cuanto la perspectiva institucional busca un enfoque más técnico, mientras que la perspectiva doctrinal se centra más en los aspectos eminentemente prácticos:

• HERRERA DE LAS HERAS caracteriza la inteligencia artificial mediante «la capacidad de un software para llevar a cabo alguna actividad de tratamiento de datos que lleve aparejada bien la toma de decisiones, bien una propuesta para que esas decisiones sean tomadas por humanos»8.
• CASTELLANOS CLARAMUNT se refiere a la IA como «la capacidad de las máquinas para aprender y realizar tareas que normalmente requerirían de inteligencia humana»9.

Por su parte, VILLANUEVA TURNES expone, tras analizar múltiples definiciones que, cuando nos referimos a inteligencia artificial, se hace alusión a la «posibilidad de que programas informáticos realicen actuaciones que sean equivalentes a las que realizan los humanos a raíz de una serie de procesamiento algorítmico que lleva a cabo un tratamiento de datos en una determinada dirección»10. El autor concluye estableciendo la posibilidad de encuadrar dentro de este concepto a todos los programas que pretendan dicho fin.

El acercamiento a la comprensión de la «inteligencia artificial» comienza con un ejercicio de apertura mental que permita dimensionar la amplitud del espectro al que hace alusión este binomio y que va más allá del lenguaje jurídico, inclusive de la propia lingüística. Esta idea se vuelve más comprensible con la utilización de un ejemplo, y, en cuanto este estudio se encuadra en la doctrina administrativa, creemos ilustrativo el ejemplo que sigue: Es tan sistema de IA el bot o asistente personal de la tecnológica americana Apple Siri como el sistema algorítmico de acceso a servicios públicos del Gobierno de los Países Bajos SyRI (sobre el cual profundizaremos a posteriori). A priori poco o nada se parecen dichas herramientas, pues uno es un componente de un dispositivo móvil mientras que el otro es una herramienta gubernamental; además, poco o nada se asemeja el nivel de intensidad de estas herramientas en relación con la intromisión en la vida, seguridad y derechos de los ciudadanos.

Nos encontramos entonces ante unos sistemas que, al menos en la finalidad de su diseño y en su practicidad, poco o nada se parecen; sin embargo, retrotrayendo y sintetizando las definiciones expuestas ut supra: funcionamiento mediante un sistema algorítmico, impulsadas por información de entrada en forma de datos, sustituyen una hipotética acción humana, en menor o mayor medida infieren en las vidas de las personas… Fuera de la curiosa homofonía en la nomenclatura de estos dos sistemas, uno es tan sistema de inteligencia artificial como el otro —aun con un nivel de afectación a los derechos tan diferente y un riesgo desigual— y, en cuanto que tan distintos, representan a la perfección la complejidad presente en la delimitación de un término concreto.

Con la conceptualización de la inteligencia artificial, en este trabajo no se busca la síntesis de una única definición común y universal, sino que se pretende subrayar la necesidad de entender la IA como un fenómeno más amplio. Este no debe circunscribir su alcance únicamente sobre muestras concretas de este tipo de herramientas, sino que debe abarcar también a la disciplina y a futuros avances no subsumidos en la conceptualización de la IA actual, pero que con total seguridad lo estarán en un futuro.

3. Inteligencia artificial en la Administración

3.1. En aras del progreso

Plenamente inmersos en la conocida como «cuarta revolución industrial», durante las últimas décadas hemos experimentado un disruptivo, acelerado y exponencial desarrollo tecnológico caracterizado principalmente por la implantación generalizada de las tecnologías de la información y la comunicación (en adelante, TIC) alrededor de todo el mundo. Así, herramientas como internet, ordenadores personales o los dispositivos móviles, entre otros, abrieron un nuevo abanico de posibilidades —erigiendo un camino carente de retorno— en la vida de las personas que ha alterado profundamente los comportamientos y las conductas de los seres humanos gracias a la inmediatez que profieren las TIC.

Entre los múltiples agentes sociales cuyo comportamiento se ha visto intensamente alterado en esta cuarta revolución industrial, destacan, por su relevancia en la influencia y legitimidad en el constructo económico-social de los países democráticos, las administraciones públicas. Estos entes públicos están experimentando un continuo proceso de cambio —más precisamente, de adaptación— en consonancia con esta aceleración en el ritmo de vida de las personas fruto del desarrollo tecnológico, siempre en pro de escudriñar unos servicios más eficientes y de mejor calidad para sus usuarios, los ciudadanos11. La muestra más clara de este fenómeno se encuentra en la digitalización de la Administración.

Cual broche, en la actualidad esta revolución tecnológica se encuentra encabezada por los algoritmos, la inteligencia artificial y el resto de las tecnologías que permiten el uso de estas; nos referimos así al big data, machine learning, deep learning, etc. Mientras que con las TIC las administraciones buscaban una «digitalización», el potencial de los algoritmos y la inteligencia artificial es tal que se busca la «automatización» de la Administración, continuando esa espiral de aceleración socioeconómica que siempre parece que tiene un final, pero que luego resulta ser un punto y aparte. Aunque con distinto fin, ambas etapas se retroalimentan; así, la necesidad de información, de datos, enarbola la digitalización como el paso indispensable que convierten en realidad la integración y funcionamiento de estas herramientas en la Administración12. De este modo, para algunos autores de la doctrina administrativista, nos encontramos ya inmersos en el paradigma de la transición de la gobernanza pública hacia la gobernanza pública algorítmica, fundamentado en la creciente influencia del papel de estos sistemas en las administraciones públicas13.

La apertura de la posibilidad de uso de estas herramientas por parte de los entes públicos juega un papel vital como palanca para la transformación digital no solo de las propias administraciones públicas, sino de toda la sociedad en conjunto14, erigiéndose como el agente regulador del cambio —y es que así debiere, conforme a los principios constitucionales—. Es tal la alteración que esta tecnología produce en nuestra realidad, que la necesidad del cumplimiento del papel de la Administración se intensifica, y se requiere del mismo que sea capaz de subsanar las consecuencias adversas del uso de estos sistemas en las libertades públicas y derechos fundamentales de los ciudadanos en distintas áreas o sectores de la sociedad. Para ello, es necesaria una aproximación democrática, que respete los citados principios constitucionales tales como son la libertad o la justicia, en donde la Administración ejerza su papel desde la transparencia y permita la participación de la sociedad en su conjunto, ya que, como dijimos ut supra, la automatización de la Administración no solo afecta a la Administración per se, sino que afecta a todo el conjunto de la sociedad15.

Sería una oportunidad perdida que el acercamiento por parte del Estado y administraciones públicas fuese únicamente regulatorio; así, este ineludible acercamiento a la IA se configura como el momento idóneo para aprovechar los beneficios que estas soluciones llevan ofreciendo durante años en el sector privado, puesto que, aunque públicas, no dejan de ser un complejo entramado con un funcionamiento —en cierta medida— equivalente al de las empresas privadas. En la actualidad, son múltiples las cuestiones éticas y jurídicas que todavía presentan una elevada conflictividad, pero, en cuanto que son naturales a un proceso de transformación de semejante calado, las administraciones no deben ser reticentes a capitalizar sus ventajas, puesto que la finalidad de la automatización de la Administración no es otra que la de servir al interés general de sus ciudadanos16. Es esta, de facto, la intención que ha tenido la Unión Europea desde su aproximación inicial a la IA, palpable en documentos de suma relevancia como en las Directrices éticas para una IA fiable17 o en el ya citado Libro blanco de la inteligencia artificial18, en los cuales se impulsa a las administraciones a establecer un enfoque proactivo y a utilizar estos sistemas de IA como para alcanzar sus fines.

3.2 Un fenómeno internacionalizado

Pese a que el foco de este estudio se centra en la Administración pública nacional, resulta pertinente enumerar una serie de ejemplos que ilustran este fenómeno y las —tan diversas— posibilidades que estas herramientas ofrecen a nivel global. Se evidencia así una influencia que trasciende las fronteras de España y la Unión Europea, manifestándose en distintos contextos y en las diferentes administraciones alrededor del mundo, independientemente del sistema político, así como del modelo socioeconómico.

En el sector sanitario, en Panamá, durante la pandemia del Covid-19, el Gobierno utilizó chatbots basados en el sistema de mensajería instantánea WhatsApp. Por un lado, se implementó la IA conocida como «Dr. ROSA» (acrónimo de Respuesta Operativa Sanitaria Automática), diseñada para evaluar las respuestas de los usuarios y determinar síntomas gracias al uso de algoritmos; además, ofrecía a los ciudadanos diferentes protocolos de actuación, incluyendo el envío de asistencia sanitaria al domicilio. Por otro lado, se desplegó a «Dr. NICO» (Notificación Individual de Caso Negativo Obtenido), encargado de informar a las personas sobre el resultado negativo de sus pruebas de Covid-19 y proporcionarles los protocolos correspondientes19.

En el sector financiero, en Argentina, el Ministerio de Finanzas de la provincia de Córdoba ha desarrollado «Laura»20, un sistema basado en algoritmos diseñado para reducir la carga burocrática del funcionariado. Entre sus funciones se encuentra la verificación de las aportaciones de los ciudadanos al sistema de pensiones durante el inicio de la solicitud de jubilación, tarea que antes requería de la intervención de un funcionario. Además, proporciona información sobre determinados beneficios aplicables y posibles incompatibilidades con la situación actual del solicitante.

En el sistema judicial, en Estados Unidos, se utiliza COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), una herramienta algorítmica creada por la empresa privada Equivant que evalúa el riesgo de reincidencia de un delincuente21. Pese a que dicha herramienta no puede graduar la gravedad de la sentencia, sí tiene efectos directos sobre los individuos, por cuanto puede usarse como factor a tener en cuenta en la concesión de penas alternativas a la prisión o la asignación de servicios comunitarios a individuos con bajo riesgo de reincidencia. Aun cuando a priori no infiere en la graduación de penas o sentencias, su influencia en la justicia es realmente significativa.

En el ámbito político, en Japón, entre los candidatos a gobernador de Tokio de las elecciones del 7 de julio de 2024 se encontraba Mayor AI, una IA cuya candidatura fue presentada por un joven enmascarado22. Pese a que dicha candidatura solo consiguió un 0,02 de los votos, no fue la única presencia de IA en las citadas elecciones. Por tercera vez consecutiva, fue reelegida la candidata Yoriko Koike, que presentó simultáneamente a su candidatura un vídeo de una inteligencia artificial de ella misma que reconocía sus logros y promovía sus políticas, captando la atención de los usuarios de las redes sociales23.

En el ámbito del control gubernamental, en China, la IA, los algoritmos y el machine learning se llevan utilizando durante años como herramientas de «hipervigilancia» para controlar el comportamiento de sus ciudadanos. Así, existen casos como el IJOP (Integrated Joint Operations Platform), que es una base de datos regional a la que acceden las autoridades desde una app que utiliza IA para monitorizar a los ciudadanos asiáticos-musulmanes en la ciudad de Xinjiang, bajo un pretexto de seguridad nacional con la finalidad de evitar posibles atentados24. Sin embargo, este sistema ha derivado en una discriminación sistémica contra la minoría étnica de los uygures, recopilando información de forma indiscriminada sobre todos los ciudadanos, así como utilizando tecnología de reconocimiento facial para el registro de datos biométricos. Este caso evidencia los riesgos de un uso de IA carente de garantías éticas y contrario a los derechos humanos, generando escenarios que hasta hace no tanto eran distópicos y propios de la literatura o de la ciencia ficción25.

A medio camino entre el contexto sanitario y el control gubernamental, en la ciudad de Bucheon en Corea del Sur, durante la pandemia del Covid-19, fueron instaladas más de 10.000 cámaras para localizar y rastrear los movimientos de las personas contagiadas. Mediante el uso de sistemas de IA para analizar los metrajes de las cámaras, el largo y complejo trabajo manual es sustituido por un número determinado de clics y, en cuestión de minutos, el programa puede dar la ubicación de múltiples ciudadanos26.

Con esta retahíla de ejemplos se plantean una serie de escenarios en los cuales, de una forma u otra, las distintas administraciones públicas alrededor del mundo utilizan estas herramientas para alcanzar sus objetivos. No cabe duda de que las administraciones deben continuar apostando por la inclusión de la IA en sus estructuras, pero sin olvidar que la finalidad es la de conferir la omnisciente capacidad analítica de esta al servicio del interés público y de la ciudadanía. El algoritmo debe estar al servicio de la sociedad, y no al revés. Aunque la idea de una «sociedad perfecta» resulte tentadora, el precio de su consecución es la constricción de la libertad y la conculcación de derechos fundamentales de todos y cada uno de los integrantes que conforman la sociedad.

3.3. Concordancias normativas de la IA en la Administración

Desde este trabajo compartimos una postura optimista con los sistemas de IA en relación con las administraciones públicas y su capacidad de generar un efecto positivo para la sociedad. Sin embargo, en este contexto se vuelve imperiosa una regulación adecuada que, aunque esperamos que lo haga, todavía no ha llegado, generando incerteza e incógnitas tanto para los ciudadanos como para las propias administraciones27. Procede entonces detenerse y analizar el encuadre normativo actual —antes de la plena promulgación del RIA— de la integración de las herramientas de IA y algoritmos en el ámbito nacional.

Comenzaremos nuestro análisis con las leyes 39/201528 y 40/201529, también conocidas informalmente como «las siamesas». En lo que respecta a la automatización, el contenido es exiguo, mientras que las referencias a sistemas de IA o algoritmos son, sencillamente, inexistentes. En el artículo 41 de la Ley 40/2015 se define la actuación administrativa automatizada30, la cual es desagregada en 4 ejes principales31: (1) Acto o actuación administrativa; (2) Producción de manera total por medios electrónicos; (3) En torno a un procedimiento administrativo y (4) Los empleados públicos podrán intervenir si acaso de manera indirecta pero no de forma directa. Dicha definición es adecuada y correcta en el contexto de la Administración digital; sin embargo, consideramos que su encaje no está tan claro cuando se trata de automatización mediante un sistema de IA o algoritmos. Para fundamentar esta afirmación, resulta imprescindible, en primer lugar, exponer al lector la diferencia entre la automatización digital, para la cual está diseñada la regulación del citado artículo 41, y la automatización “inteligente” de la actualidad.

Las herramientas o sistemas digitales a los que se hace referencia en la redacción del artículo 41 se centran en sistemas que automatizan procedimientos en los que la intervención del ser humano es irrelevante a efectos jurídicos en relación con el resultado del acto o del procedimiento administrativo. Un ejemplo claro sería la automatización del cálculo de la pensión de jubilación en la Seguridad Social: una actuación automatizada mediante un programa informático que garantiza un cálculo perfecto sin la necesidad de intervención activa de un funcionario. La actuación —carente de toda discrecionalidad— está plenamente reglada, y el sistema únicamente es un medio neutro para un resultado.

Bien distinto, a nuestro parecer, es que el sistema en cuestión, además de realizar los cálculos de naturaleza estrictamente matemática, asumiese un rol activo en la decisión de la concesión o denegación de la pensión de jubilación y, en consecuencia, tuviese atribuida una parte de la potestad discrecional. En este supuesto, el sistema no solo se limitaría a la determinación de la base reguladora, porcentaje aplicable y, finalmente el cálculo del importe en las correspondientes 12 o 14 pagas anuales, sino que tendría plena capacidad efectiva para conceder o denegar un derecho legítimo al que tienen todos los solicitantes que cumplan con una serie de requisitos. En este segundo escenario, la automatización no solo alcanza a los medios como en el primer supuesto del ejemplo, sino que también alcanza a los resultados de la actuación administrativa. El concepto de automatización establecido por el artículo 41 de la Ley 40/2015 es sobre la base de sistemas digitales que permiten exclusivamente la automatización de los medios en la actuación administrativa, sin alcanzar la automatización de la discrecionalidad administrativa debido a sus limitaciones técnicas. En contrapartida, los sistemas de IA y algorítmicos sí poseen la capacidad de incidir de forma activa en el resultado de la actuación administrativa automatizada, con las respectivas implicaciones que ello pueda tener en los derechos de los ciudadanos. De ser admitida la discrecionalidad en las actuaciones administrativas automatizadas, deben cumplirse dos presupuestos recogidos por MARTÍN DELGADO y que van en sintonía con la postura y el ejemplo usados en esta sección32: Por un lado, que los criterios utilizados por las máquinas sean los mismos que los empleados por las personas físicas que integran el órgano que toma la decisión; simultáneamente, dicha actuación debe cumplir con los principios de legalidad, seguridad jurídica y defensa de los administrados. Ante la falta del cumplimiento de ambos presupuestos, la Administración no debiera entender como válida la cesión de discrecionalidad al sistema informático, sea en el contexto de la digitalización o en el contexto algorítmico, y que, a nuestro entender, evidencia la necesidad de establecer una distinción entre los diferentes sistemas, sus capacidades y las competencias finalmente conferidas.

Pese a no encontrar diferencia respecto al trato jurídico entre unos sistemas y otros en la redacción de «las siamesas», lo cierto es que en nuestro ordenamiento jurídico ya contamos con un límite supranacional de aplicación —en forma de derecho— que podría ser interpretado como un criterio diferenciador entre unos sistemas y otros. En este sentido, el artículo 22.1 del RGPD33, al que remite el artículo 18 de la LOPD34, establece que «Todo interesando tendrá derecho a no ser objeto de una decisión únicamente en el tratamiento automatizado (…) que produzca efectos jurídicos en él o le afecte significativamente de modo similar». Es decir, el legislador de la Unión, salvo en las excepciones previstas en el artículo 22.2 del RGPD, no contempla la plena automatización de procedimientos sin intervención del ser humano cuando el resultado de este pueda tener repercusiones jurídicas o afectar a la vida de los ciudadanos.

Si partimos de la interpretación que proponen el Parlamento Europeo y la Comisión Europea en la redacción de este precepto, no resulta compatible la interpretación de la decisión administrativa automatizada mediante sistemas de IA con las disposiciones del artículo 41 de la Ley 40/2015. Utilizando los ejes citados ut supra respecto al eje (2), extrapolar los sistemas basados en IA o algoritmos a la consideración de meros medios electrónicos resulta incoherente por cuanto la capacidad de estos excede sustancialmente la de cualquier software basado en una tecnología menos sofisticada. Desde nuestra humilde opinión, no parece aceptable considerar los sistemas basados en algoritmos, tales como los archiconocidos por la doctrina SALER (antes SATAN), RISCANVI o Bosco, como meras herramientas digitales. En caso de aceptar dicho encaje, podemos llevarnos las manos a la cabeza con el eje (4) «los empleados públicos podrán intervenir si acaso de manera indirecta pero no de forma directa»; entonces, cuando haya un error notorio, ¿el funcionario no va a poder solucionarlo? Es evidente que, en términos de capacidad, las herramientas basadas en IA pueden desempeñar un papel similar al de otros medios electrónicos o digitales sin que esto afecte a la discrecionalidad de la decisión automatizada ni al resultado; sin embargo, la disimilitud entre unos sistemas y otros no es una cuestión baladí que deba ser ignorada.

Conviene recordar, en este cuasi-limbo jurídico, los principios generales de las administraciones públicas establecidos en el artículo 3, apartado 1, de la Ley 40/2015 y, en especial, los preceptos correspondientes a las letras c), e) y f), que se recogen a continuación: «Participación, objetividad y transparencia de la actuación administrativa», «Buena fe, confianza legítima y lealtad institucional» y «Responsabilidad por la gestión pública». Este último, además, debería ser la garantía de la vertiente pública respecto al principio de rendición de cuentas recogido en el artículo 106 apartado 2 de la CE35, principio rector del Estado de derecho.

En lo referente al RD 203/202136, de aplicación de las leyes 39/2015 y 40/2015, pese a que tampoco contiene ninguna disposición específica en referencia a IA o algoritmos, sí que incluye algunas garantías reseñables en el contexto de las decisiones administrativas automatizadas que puedan ser de aplicación para la automatización actual. Así, el artículo 11, apartado 1, letra i), dispone lo siguiente: «Toda sede electrónica o sede electrónica asociada dispondrá del siguiente contenido mínimo a disposición de las personas interesadas: i) Relación actualizada de las actuaciones administrativas automatizadas vinculadas a los servicios, procedimientos y trámites descritos en la letra anterior. Cada una se acompañará de la descripción de su diseño y funcionamiento, los mecanismos de rendición de cuentas y transparencia, así como los datos utilizados en su configuración y aprendizaje». Se evidencia cierto progreso en la redacción de este real decreto, que ya vincula los principios de transparencia y rendición de cuentas a las decisiones administrativas automatizas, circunstancia que, aunque se deduce de forma implícita, no contiene ninguna mención explícita en «las siamesas».

Por su parte, el artículo 13, apartado 2, establece que las resoluciones fruto de actuaciones administrativas automatizadas en el ámbito estatal expresarán las posibles vías de recurso en contra de la resolución y el órgano administrativo o judicial ante el que deban ser presentados y los respectivos plazos. Así, mediante la disposición de estos preceptos se establecen unos mínimos de transparencia y trazabilidad de los procedimientos administrativos. Ciertamente, son unas disposiciones muy interesantes que determinan garantías y directrices, pero que no acaban de reflejar la realidad de los años posteriores a la promulgación del mismo RD, caracterizada por una opacidad de las administraciones en cuestiones fundamentales tales como el funcionamiento del sistema, ámbito objetivo de utilización o la citada transparencia37.

Pese a no tener efecto vinculante, es interesante, en lo relativo a su carácter de directriz del derecho en el entorno digital, La Carta de Derechos Digitales, elaborada por el Gobierno en el año 2021 como parte del Plan de Recuperación, Transformación y Resiliencia. En particular, son especialmente destacables dos artículos en cuanto a la automatización de la Administración pública. Así, el artículo XVI dispone lo siguiente: «Se promoverán entornos digitales que contribuyan a un derecho de acceso efectivo a la información pública, la transparencia, la rendición de cuentas (…) en las actuaciones de las administraciones públicas en sus respectivos ámbitos competenciales, de acuerdo con la Constitución española». Por su parte, el artículo XVII se ocupa de establecer los derechos digitales que poseen los ciudadanos en relación con las administraciones públicas: derecho a la igualdad, derecho a la transparencia, derecho a la rendición de cuentas, así como el derecho a la universalidad, neutralidad y no discriminación de las tecnologías utilizadas por la Administración. Este artículo XVII, además, en su apartado 6, recogido en la nota al pie38, reitera la promoción de los derechos mencionados en el marco de las actuaciones administrativas —en las que consideramos insertas las automatizadas, evidentemente—. La redacción del precepto concluye con un último apartado también extremadamente interesante, en el cual, fruto de la influencia directa del artículo 35 del RGPD, se propone una evaluación de impacto en el diseño de los algoritmos, ante la adopción de decisiones automatizadas o semiautomatizadas.

No deja de ser paradigmático, cuando menos, que las disposiciones más interesantes en materia de garantías y derechos en el contexto de la automatización se encuentren «confinadas» en una norma que, aun con efectos jurídicos, carece de efecto vinculante per se. Sin desmerecer el papel de la Carta de Derechos Digitales, es necesaria la redacción de una norma lex ferenda con rango de ley, vinculante en nuestro ordenamiento jurídico, que sirva de garantía eficaz para asegurar el cumplimiento de las disposiciones recogidas en la Carta.

Dejando ya de lado la Carta de Derechos Digitales, y otra vez fuera del ámbito específico del derecho administrativo, es de obligada mención la Ley 15/202239 y su contenido en referencia a la IA y los algoritmos en el ámbito público. En el título preliminar de la norma, en concreto en el artículo 2, en referencia al ámbito de aplicación de la norma, se recogen como comprendidas en el sector público: (a) la Administración general del Estado; (b) las administraciones de las comunidades autónomas, (c) las entidades que integran la Administración local; (d) la Administración de justicia, y, por último, (e) el sector público institucional. No cabe duda, entonces, de que las administraciones públicas se encuentran sujetas a las disposiciones de este texto legislativo. Abreviando por el formato del estudio, vamos a centrarnos principalmente en el artículo 23: inteligencia artificial y mecanismos de toma de decisiones automatizados.

En el primer apartado de los cuatro que conforman el artículo, se establece que las administraciones públicas favorecerán la puesta en marcha de mecanismos que tengan criterios de minimización de sesgos, transparencia y rendición de cuentas, siempre que sea factible técnicamente. En el segundo apartado se establece como prioridad la transparencia en el diseño, implementación y capacidad de interpretación de decisiones de los algoritmos utilizados por las administraciones públicas. En el tercer apartado se promueve un uso ético confiable y respetuoso de los derechos fundamentales por parte de las administraciones públicas. En el apartado cuarto y último se introduce el sello de calidad de los algoritmos.

En tanto que esperamos la plena aplicación del RIA y sus disposiciones específicas el 27 de julio de 2027, en la actualidad el peso o carga normativa de la automatización en la Administración pública se encuentra sostenida, principalmente, por el artículo 22 del RGPD. Pese a que el contenido de la normativa en materia administrativa es insuficiente, tenemos interesantes disposiciones de aplicación en normas relativas a otros ámbitos, lo cual denota una cierta intencionalidad en abordar esta cuestión. Es posible que, de igual forma que sucedió con el RGPD y su transposición en la LOPD, suceda lo mismo con el RIA y una hipotética ley orgánica en materia de inteligencia artificial, supuesto al que se anima desde la Unión en la redacción del RIA. Desde aquí lo único que esperamos es que dicha transposición sea más abreviada de lo que fue la transposición del RGPD y que trate de regular más allá del contenido ya legislado por la Unión, y que sus preceptos más relevantes no nos deriven al RIA.

3.4. Ventajas del uso de la IA por las administraciones públicas

Aunque el trabajo se centra, en mayor medida, en la conflictividad de la implantación y utilización de estas herramientas por parte de las administraciones, también nos gustaría compartir, de forma especialmente sintética, algunos de los aspectos positivos de la introducción de estas nuevas tecnologías en la estructura del sector público.

La pesquisa con la automatización de la Administración es clara: mediante la utilización de IA y diversas soluciones algorítmicas, se pretende agilizar los numerosos y copiosos procesos a los cuales deben hacer frente los funcionarios públicos, con el objetivo de alcanzar una actuación administrativa más eficiente y eficaz, inclusive evitando posibles actuaciones erróneas o sesgadas fruto de la intervención humana en el procedimiento administrativo40. Un ejemplo de este incremento en la eficiencia de la actuación administrativa lo encontramos en las comprobaciones automatizadas que realizan los órganos de comprobación e inspección de la Dirección General de Tributos o en los sistemas algorítmicos que utilizan los radares de velocidad usados por la Dirección General de Tráfico41: en ambos supuestos, la productividad alcanzada por la IA excede sobremanera cualquier resultado posible logrado por el ser humano.

De esta forma, los incrementos en la eficiencia permiten una mejor gestión de los recursos capitales y humanos por parte de la Administración. Mediante la aminoración de la carga de tareas repetitivas y complejas, se permite liberar a las personas para desempeñar tareas más relevantes o aquellas reservadas únicamente a la intervención humana, mientras se garantiza simultáneamente una actuación uniforme en todo el ámbito administrativo42. Esta optimización del trabajo funcionarial permite una mejora en la toma de decisiones, mejorando los niveles de productividad y permitiendo que un número reducido de empleados pueda alcanzar la de un grupo mucho mayor sin la disponibilidad de estas herramientas43. Esta mejoría en la intendencia de los recursos por parte de la Administración presenta, además, otra dimensión relevante: la posibilidad de reducir los niveles de corrupción. Tal y como expone RIVERO ORTEGA, la sustitución de la intervención humana por la de la máquina desplaza la subjetividad y las potenciales desviaciones hacia intereses particulares, en favor de la objetividad y la prevalencia del interés general44.

El omnisciente poder analítico que confieren estas herramientas en suma con los poderes discrecionales otorgados a las administraciones en nuestro ordenamiento jurídico tiene el promisor potencial de construir un nuevo tipo de Administración y, con ello, un nuevo arquetipo de sociedad: inmediata, personalizada, automatizada… y ¿perfecta? Aun en un estadio inicial en términos de desarrollo y capacidad, estas herramientas ya poseen en la actualidad el potencial necesario para construir una sociedad utópica, como planteaba MOORE en V de Vendetta: una sociedad sin secretos, sin trampas, sin delitos y finalmente sin libertad. Por desgracia, en algunos lugares del mundo ya han iniciado la transformación hacia este nuevo tipo de sociedad y habrá quienes se sientan tentados a ello. Inevitablemente, la absoluta garantía del cumplimiento de una serie de derechos conlleva la privación de otros: conseguir una sociedad «perfectamente» segura tendría como precio el derecho a la libertad de todos y cada uno de los ciudadanos y el sacrificio de principios vitales en cualquier Estado de derecho como, por ejemplo, el principio de proporcionalidad o el principio de responsabilidad.

Lo cierto es que no son pocos los retos éticos, técnicos y normativos a los que van a tener que hacer frente las administraciones. Tampoco lo son las tentaciones que puedan surgir por el camino fruto de las extraordinarias capacidades conferidas por estos sistemas; sin embargo, nos encontramos ante unos efectos naturales en este nuevo peldaño de la transformación digital que propician un cambio estructural de semejante calado para la organización del sector público. Aun con conciencia del «estado del arte» y su potencial conflictividad, desde este trabajo adoptamos una postura optimista respecto al papel o a la utilidad que la IA puede conferir a las administraciones públicas y, en definitiva, al conjunto de la sociedad. Precisamente por tal motivo, resulta crucial evidenciar los aspectos negativos, pues solo eliminando sus vicios podremos aprovechar plenamente sus virtudes. Desde aquí ensalzamos el enfoque europeo, que busca el equilibrio en la balanza entre un acercamiento humanista, ético y respetuoso con los derechos fundamentales a la par que permitiendo la innovación y el desarrollo económico-social de la Unión Europea. Esta línea de pensamiento, reflejada, entre otros, en los antes citados Libro blanco de inteligencia artificial o en el RIA nos traslada a un horizonte esperanzador y representa el camino a seguir.

4. Problemáticas del uso de la IA en la Administración pública

4.1. Decisiones (in)justas e (im)perfectas

Durante la síntesis de las ventajas, se destacó que una de las principales fortalezas en los sistemas de IA radica en su capacidad de evitar los errores derivados de la intervención humana en diversos procedimientos administrativos: sea un error procedimental, operacional o incluso resultado de una valoración subjetiva inadecuada fruto de la intromisión de sesgos personales en el juicio del funcionario. Sin embargo, ello no es óbice para que los propios sistemas den resultados o decisiones erróneas, sesgadas y en muchas ocasiones totalmente inexplicables. Es fácil dejarse fascinar por una tecnología así; no obstante, tal y como recoge el artículo 14 del RIA «Supervisión humana», en su apartado 4, letra b), debemos evitar el conocido como sesgo de la automatización45 y no confiar ciegamente en los resultados de la IA y algoritmos. Ciertamente, el poder computacional actual de los grandes modelos de lenguaje excede de manera exponencial las capacidades cerebrales de cualquier ser humano, pero no por ello estos sistemas son infalibles ni próximos a la perfección, especialmente cuando los intereses principales de los desarrolladores de estos sistemas se basan más en el beneficio económico que en la responsabilidad social.

Los sistemas de IA son «grandes calculadoras» que funcionan mediante conjuntos de algoritmos que permiten realizar constantemente cálculos a partir de los cuales, en cuestión de segundos, se pueden resolver operaciones que, de ser abordadas por el ser humano, podrían requerir años. La información de entrada, a partir de la que se realizan estas operaciones, es mediante datos. En particular, los más avanzados utilizan simultáneamente las tecnologías de big data (conjuntos masivos de datos) y machine learning (autoaprendizaje a partir de esos datos) para funcionar. Dado que el núcleo funcional de estos sistemas son los datos, resulta absolutamente imprescindible una supervisión y un control desde el origen de los datos —incluyendo el tratamiento de estos, acorde con las disposiciones del RGPD— hasta la utilización de los mismos por parte de las administraciones, garantizando así la calidad y la representatividad de los datos. Así, uno de los objetivos principales debiera ser el de determinar qué datos van a ser utilizados y cuáles no, atendiendo al fin específico que pretenda alcanzar la Administración46. Cuando los datos introducidos en el sistema no sean representativos de la población sobre la cual la Administración pretende tomar una decisión, cabe esperar resultados que no se correspondan con la realidad y que, además, revistan el potencial de generar efectos perjudiciales en la vida de la ciudadanos y en sus derechos fundamentales.

Supuestos como estos revisten un notorio perjuicio para los ciudadanos, ya que en ocasiones, como en el ejemplo que vamos a exponer a continuación, afectan al acceso a servicios esenciales para la ciudadanía. La falta de supervisión y control, tanto en lo concerniente a los datos como al propio funcionamiento del sistema de IA, desemboca inevitablemente en toma de decisiones erróneas, sesgadas y que producen un efecto discriminatorio contra determinados colectivos de la sociedad. El problema se vuelve aún más gravoso, por cuanto el incumplimiento de las garantías enunciadas en esta sección provoca la «inexplicabilidad de la decisión», resultado final de la falta de transparencia y trazabilidad del acto o decisión automatizada, algo que, tal y como recoge BERNING PRIETO, resulta absolutamente inadmisible en el ordenamiento jurídico administrativo47.

Es imperante evitar esta situación, puesto que supone un incumplimiento del principio dual, ético y jurídico, de la igualdad, un mandato jurídico que debe ser especialmente respetado por parte de la Administración, sin que el contexto de la automatización constituya una excepción aceptable48. Esta problemática de los sistemas de IA y los algoritmos y su inferencia en la garantía de los derechos fundamentales —en especial el derecho a la protección de datos— se vislumbra nítidamente en la Sentencia del Tribunal de Distrito de la Haya de 5 de febrero de 2020 sobre el Systeem Risico Indicatie (ECLI:NL:RBDHA:2020:1878). El Gobierno de los Países Bajos usaba un sistema algorítmico para estimar la probabilidad de fraude por parte de los ciudadanos en la solicitud de determinadas prestaciones y servicios públicos mediante la utilización de datos masivos sobre estos de prácticamente cualquier fuente a la que tuviera acceso el Gobierno: tal es el exceso que incluso el tribunal cuestiona si existen datos que hayan escapado al control del algoritmo. El algoritmo acabó produciendo resultados sesgados y discriminatorios que crearon perjuicios en la vida y los derechos de las personas de zonas más humildes. El tribunal apreció una utilización del algoritmo contraria al principio de proporcionalidad, ya que, aunque la finalidad de la persecución de la corrupción admite cierta conculcación en los derechos fundamentales de los ciudadanos, la falta de transparencia, de calidad de los datos y de supervisión en el procedimiento son excesivos acorde con la finalidad y contrarios al derecho de la Unión49.

4.2. Límites discrecionales en la utilización de IA: la cuestión de la reserva de humanidad

Retomando el ejemplo de la sentencia del Systeem Risico Indicatie —que es un ejemplo perfecto porque cumple con todas las problemáticas expuestas en este estudio—, se plantea la siguiente pregunta: ¿Qué hubiese ocurrido si la decisión final sobre las actuaciones con efectos jurídicos del programa las hubiese tomado un ser humano? Es decir, ¿qué hubiese pasado ante un ejercicio de supervisión y control previo a la decisión final automatizada? Lo primero, probablemente el Gobierno no habría tenido que dimitir y, segundo, hubiese permitido a la Administración darse cuenta de los errores y establecer algún mecanismo para solventar la cuestión, como por ejemplo cambiar a otro sistema algorítmico.

El concepto o expresión de «reserva de humanidad» fue introducido en la doctrina administrativa por PONCE SOLÉ, el cual atribuye su origen a la profesora DÍEZ SASTRE. El propio concepto ha sido definido por el autor como «la decisión humana de excluir el uso de la IA de ciertos ámbitos porque se considera inadecuado el uso de esta de acuerdo con el Estado de derecho»50. La reserva de humanidad, por tanto, operaría como una suerte de mecanismo de defensa para, en determinadas cuestiones, no ceder la discrecionalidad de determinados actos administrativos al criterio del sistema de IA o algoritmo. No se trata de una garantía de intervención humana en cualquier acto administrativo, puesto que, tal y como reflexiona un sector de la doctrina, estamos ante supuestos totalmente distintos en el caso de potestades regladas y discrecionales51, no presentando la primera ninguna necesidad de esta reserva de humanidad, ya que el papel humano o de la máquina es indiferente. Caso distinto es el de las potestades discrecionales, donde sí tiene que existir hasta cierto punto un juicio para determinar el resultado a aplicar, sea fruto de la automatización o basándose en la decisión del funcionario. Ambos autores sostienen la tesis de la aplicación de este principio en el segundo caso, postura que desde aquí consideramos la adecuada y compartimos, por cuanto creemos que los sistemas de IA deben estar al servicio del ciudadano, sin viceversa. Tal y como recoge MARTÍN PALACIOS, quizá la cuestión a la que debemos aspirar no sea garantizar la intervención humana en la actuación administrativa, sino que esta, aun siendo fruto de un algoritmo, sea ajustada a derecho, la cual será garantizada por un sistema de rendición de cuentas52.

En definitiva, resulta imprescindible establecer garantías que posibiliten la fiscalización de las diferentes actuaciones algorítmicas del poder público, sea en fase previa o a posteriori de la decisión automatizada. En caso contrario, la falta de garantías privaría al ciudadano de su derecho de participación en la vida pública, erosionando la relación de confianza necesaria entre Administración y sociedad, y, finalmente, expulsando al ciudadano de la democracia53.

4.3. La despersonalización de la actuación administrativa automatizada

Como ya fue expuesto más arriba en las concordancias normativas, el marco jurídico actual en torno a la gobernanza pública algorítmica no es lo suficientemente sólido como para reglar de manera efectiva las actuaciones automatizadas de la Administración. Aunque el RGPD desempeña un gran papel sosteniendo la carga jurídica de la automatización pública, no debemos olvidar que se trata de una norma perteneciente a otro ámbito, lo que, irremediablemente, genera un vacío normativo en torno a la responsabilidad fruto de las actuaciones automatizadas que causen un perjuicio a los ciudadanos y a sus derechos fundamentales. Ante tales supuestos, surge la interrogante de a quién le debemos exigir responsabilidad por la actuación automatizada: ¿al sistema de IA o a la persona que utiliza el sistema?54

La respuesta a esta cuestión la encontramos en el RIA ius post factum mediante la creación de la figura del «responsable del despliegue»55; sin embargo, el derecho no debiera obviar la notoria laguna expuesta, pues la intensidad de los efectos de algunos procedimientos públicos automatizados tiene consecuencias, en ocasiones, santamente irreparables en la vida de los ciudadanos. Estos efectos poco o nada tienen que ver con la voluntad del funcionario, sino con la naturaleza de estos sistemas, por cuanto caben resultados erráticos, sesgados e incomprensibles que no reflejan la realidad sobre la cual se emite el acto administrativo. Deberíamos tomar nota del ejemplo de los Países Bajos y evitar resultados similares, especialmente cuando ya contamos con precedentes en nuestro país. Un caso parecido sería el del sistema algorítmico del bono eléctrico Bosco, sobre el cual diversas organizaciones denunciaron efectos discriminatorios y denegaciones indebidas de solicitudes que cumplían los requisitos, hasta el punto de que dicha cuestión ha llegado a la Audiencia Nacional56. Más aún, si cabe, cuando en el sistema utilizado en los Países Bajos se dan garantías que ni siquiera se contemplan en los sistemas empleados en España, donde algunas de las herramientas usadas por la Administración han llegado a ser objeto de debate doctrinal respecto de una posible inconstitucionalidad, como en el caso del sistema anticorrupción SATAN —en la actualidad, SALER— utilizado por la Comunidad Valenciana57.

Desde la perspectiva de este estudio, no cabe la personalización ni la atribución de responsabilidad de una hipotética inferencia en la vida o en los derechos de los ciudadanos resultado de una actuación administrativa automatizada errónea. El derecho administrativo por su valor y su aportación a la sociedad debe servir de ejemplo tanto para el resto de las actuaciones del sector público como para el sector privado, estableciendo un sistema de rendición de cuentas que permita establecer una clara autoría de las distintas actuaciones automatizadas de las distintas administraciones en todos los niveles competenciales. Siguiendo con el ejemplo del Systeem Risico Indicatie, el tribunal neerlandés en ningún momento plantea atribuir la responsabilidad al algoritmo. En su lugar, considera responsable al ente público que legisló y aprobó la norma que dio origen al sistema, es decir, al propio Gobierno, puesto que fue su Administración quien efectivamente utilizó esta herramienta. No olvidemos que la Administración es el medio mediante el cual el Gobierno garantiza el cumplimiento del interés público y siempre con plena sumisión al derecho58, dogma que debiera permanecer inalterado, puesto que la automatización no constituye ningún tipo de excepción constitucionalmente recogida y que, por tanto, no permite la dilatación de las actuaciones de la Administración.

4.4.La transparencia: ¿intencionalidad o informática?

Pese a que no fue mencionada en la sección dedicada a las concordancias normativas dado que no contiene ninguna disposición específica en lo referente a sistemas de IA o algoritmos, la Ley 19/201359, en su artículo 1, que dispone el objeto de la norma, contiene en su precepto una definición, al entender de este estudio, precisa, de lo que es la transparencia en el ámbito administrativo: «regular y garantizar el derecho de acceso a la información relativa a aquella actividad y establecer las obligaciones de buen gobierno que deben cumplir los responsables públicos, así como las consecuencias derivadas de su incumplimiento». En este sentido, entendemos la transparencia como el derecho que garantiza la cesión de información por parte de la Administración a sus ciudadanos, permitiendo así la explicación de sus actuaciones automatizadas60 y que incluye, además, garantías61 en relación con el incumplimiento de estas obligaciones por parte de la Administración. Conviene distinguir esta «transparencia jurídica» de la que denominaremos en este estudio como «transparencia informática», en el contexto de la automatización mediante IA y algoritmos. Desde este estudio, entendemos la transparencia informática como la capacidad de garantizar la trazabilidad en la toma de decisiones alcanzadas mediante un sistema de IA o un algoritmo, es decir, la explicación de como se ha llegado a la decisión final a partir de los datos de entrada. Es imperativo este desglose conceptual de la transparencia para comprender el obstáculo principal al que las distintas administraciones del mundo van a tener que hacer frente en materia de automatización, el conocido como fenómeno de la black box.

El fenómeno de la black box o algoritmo de caja negra hace referencia a las situaciones en las cuales, debido a la naturaleza del funcionamiento de los algoritmos, resulta imposible comprender o explicar la lógica tras las decisiones del sistema62. Incluso puede ocurrir que la información compartida por el sistema que permite explicar el proceso de la toma de decisiones no se corresponda con la utilizada realmente por el sistema, o bien sea totalmente falsa y no guarde relación con la decisión alcanzada, lo que se conoce en el ámbito de la informática como una hallucination. Ante supuestos de tal consustancialidad, el cumplimiento de las garantías de transparencia por parte de la Administración se vuelve de facto impracticable. Es inevitable recordar el caso del Systeem Risico Indicatie, en el cual el Gobierno en ningún momento ofreció explicaciones sobre el razonamiento detrás del sistema. Una de las posibles razones tras una actitud tan carente de transparencia es porque, sencillamente, nunca llegaron a comprender cómo funcionaba porque no era posible. En cualquier caso, lo preocupante es que el Gobierno, de manera deliberada, decidió confiar en la máquina en lugar de en sus propios ciudadanos, supuesto que, además de irresponsable y carente de ética, es inaceptable en una democracia como es la de los Países Bajos: ¿Los ciudadanos discriminados y afectados durante años por este sistema podrán volver a confiar alguna vez en el Gobierno o en la Administración?

El primer paso para evitar estas decisiones erróneas, discriminatorias y contrarias a los derechos de los ciudadanos es a través del acceso al código fuente de los sistemas de IA utilizados por la Administración. Este código establece el conjunto de reglas matemáticas programadas para transformar una información de entrada en una de salida, siendo la única forma de comprender el funcionamiento del sistema y justificar sus decisiones. Sin embargo, el acceso al código fuente —habitualmente— se encuentra restringido por derechos de propiedad intelectual o industrial, lo que impide el acceso a los ciudadanos e incluso a la propia Administración. Así, el principal mecanismo de protección frente a los errores en las decisiones administrativas automatizadas se ve debilitado tanto por fenómenos ajenos al derecho, como el black box o las hallucinations, como por el propio ordenamiento jurídico, específicamente en el ámbito del derecho mercantil.

Otra cuestión problemática en relación con la transparencia que está adquiriendo cada vez más relevancia en la doctrina administrativa es lo que COTINO HUESO ha definido como la «huida del derecho»63. Las administraciones públicas utilizan sistemas de IA y algoritmos para analizar cantidades masivas de datos con la finalidad de detectar incumplimientos o imponer sanciones a los ciudadanos. No obstante, esta práctica vulnera lo dispuesto en el RGPD en materia de decisiones automatizadas, ya que se esconde el efecto o consecuencias jurídicas de la automatización tras la posterior intervención humana, aun cuando esta no tenga un efecto sustancial en la decisión final. Se pretende con esto equiparar, falsamente, la automatización del procedimiento a un mero análisis previo sin efectos jurídicos, cuando en realidad sí los tiene. Este tipo de actuaciones guardan una notable similitud con el caso del Systeem Risico Indicatie, ya que emplean sistemas automatizados y big data para llevar a cabo una suerte de fishing expedition, una práctica contraria tanto al derecho de la Unión como al derecho administrativo nacional. Coincidimos con la postura de COTINO HUESO respecto a la legitimidad del uso de los sistemas de IA y algoritmos en la lucha contra la corrupción o la protección de la seguridad y salida en los distintos niveles y ámbitos, pero son necesarias una serie de garantías adecuadas que minimicen la merma de los derechos fundamentales de los ciudadanos. Surge así en la doctrina la necesidad —sea por medio de la formulación de un nuevo derecho o de nutrir de nuevas garantías el existente— de un derecho a la transparencia algorítmica, y que la base de este se cimente sobre la explicación de la lógica esbozada y los criterios de funcionamiento del algoritmo64.

5. Reflexiones conclusivas: alea iacta est

El tiempo para la duda o el escepticismo ya ha quedado atrás. Quizá antes de aventurarnos a cruzar el Rubicón todavía existía espacio para la duda, pero lo cierto es que, en pleno 2025, los dados fueron lanzados hace mucho. De igual forma que Julio César, nos encontramos en un punto de no retorno, pero no por ello el desenlace debe ser negativo.

Nunca antes la introducción de una nueva tecnología en la sociedad ha tenido un impacto semejante como lo ha hecho la IA, y es que ninguna otra herramienta vista hasta ahora tenía capacidades similares. Se plantean entonces nuevos paradigmas a los que solo mediante el derecho —sustentado e impulsado por el resto de las disciplinas científicas— se puede dar respuesta. Así, el derecho aspira a convertirse en la guía que permita situar la IA al servicio de los protagonistas de la democracia: los ciudadanos y sus derechos. Toda futura norma en materia algorítmica debe cumplir con la expectativa de poner la dignidad del ser humano en el centro regulatorio (expectativa que, en vista de la actualidad geopolítica internacional, es mejor no trasladar más allá de las fronteras de la Unión Europea) y cualquier conculcación de los derechos debe ser objeto de un riguroso escrutinio, respetando los principios rectores del Estado de derecho.

La falta de referencias a sistemas de IA y algoritmos en la legislación administrativa aviva la imperiosa necesidad de la promulgación del RIA; sin embargo, este periodo de transición no debe ser olvidado, puesto que supondría la legitimación de actuaciones y procedimientos contrarios al derecho, supuesto inaceptable en materia administrativa. En este estudio nos hemos centrado en algunos de los principales problemas que la integración de estas herramientas en la Administración pública produce, evidenciando la necesidad de un marco normativo sólido que evite perjuicios a la ciudadanía y, simultáneamente, permita a la Administración y a los ciudadanos beneficiarse de esta nueva tecnología. Asimismo, se evidencia la necesidad de un ejercicio de actualización de normas fundamentales en el ámbito del derecho administrativo, como la Ley 41/2015 o la Ley 19/2023, de cara a establecer un control y una serie de garantías en la automatización de la Administración, ya que sería una oportunidad regulatoria perdida ceder la total potestad regulatoria en materia de IA a la Unión Europea, en especial cuando esta última ha solicitado a los países que complementen el reglamento con su regulación propia.

La llegada de la IA supone una nueva oportunidad para las administraciones, pero todas las buenas oportunidades pueden verse comprometidas por el libre albedrío y por la falta de una normalización que retire de la ecuación la ética: no olvidemos que la finalidad principal del Estado y sus administraciones es la de servir a sus ciudadanos, no que los ciudadanos se conviertan en meros peones de la lógica algorítmica

Bibliografía

BAQUERO PÉREZ, P. J., “Cuestiones éticas sobre la implantación de la inteligencia artificial en la administración pública”, Revista Canaria de Administración Pública, núm. 1, 2023, pp. 243-282 https://doi.org/10.36151/RCAP.2023.8

BERNING PRIETO, A. D. “El uso de sistemas basados en inteligencia artificial por las administraciones públicas: estado actual de la cuestión y algunas propuestas ad futurum para un uso responsable”, Revista de Estudios de la Administración Local y Autonómica, núm. 20, 2023, pp. 165-185. https://doi.org/10.24965/reala.11247

CASTELLANOS CLARAMUNT, J., “Democracia, administración pública e inteligencia artificial desde una perspectiva política y jurídica”, Revista Catalana de Dret Públic, núm. 60, 2020, pp. 1-12. https://doi.org/10.2436/rcdp.i60.2020.3344

CASTELLANOS CLARAMUNT, J., “Inteligencia artificial y democracia: una aproximación jurídica desde el derecho constitucional”, en SALES SARLET, G. B. (coord.) & FAGGIANI, V. (dir.), Retos del derecho ante la IA: apuntes desde una perspectiva interdisciplinar, JMB, Barcelona, España, 2024, pp. 139-165.

CERRILLO MARTÍNEZ, A., “The use of artificial intelligence in public administration”, Review of International and European Economic Law, vol. 3 núm. 5, 2023, pp. 1-8. Accesible en https://rieel.com/index.php/rieel/article/view/91

COMISIÓN EUROPEA, Directrices éticas para una IA fiable, Oficina de Publicaciones, 2019, pp. 1-55.

COMISIÓN EUROPEA, Libro blanco sobre inteligencia artificial. Un enfoque europeo orientado a la excelencia y a la confianza, 2020, pp. 1-32.

COSCULLUELA MONTANER, L., Manual de derecho administrativo: Parte General, Thomson Reuters Aranzadi & CIVITAS, Pamplona, España, 2022, pp. 1-757.

COTINO HUESO, L., “SyRI, ¿a quién sanciono?” Garantías frente al uso de inteligencia artificial y decisiones automatizadas en el sector público y la sentencia holandesa de febrero de 2020, La Ley Privacidad, Wolters Kluwer, núm. 4, 2020, pp. 1-11.

COTINO HUESO, L., “Transparencia de la inteligencia artificial pública: marco legal, desafíos y propuestas”, Actualidad Administrativa, Sección Actualidad, LA LEY, núm. 1, 2023, pp. 1-11.

COTINO HUESO, L., Capítulo 5. “Hacia la transparencia 4.0: El uso de la inteligencia artificial y big data para la lucha contra el fraude y la corrupción y las (muchas exigencias constitucionales)” en RAMIÓ MATAS, C. (coord.) Repensando la Administración digital y la innovación pública, Instituto Nacional de Administración Pública (INAP), Madrid, España, 2021, pp. 169-196.

DE ARTIÑANO MARRA, P., SÁNCHEZ ORO, J., “Responsabilidad por el funcionamiento de sistemas de inteligencia artificial: los desafíos de la «documentación técnica» del Reglamento de Inteligencia Artificial”, Derecho Digital e Innovación, núm. 20, 2024, pp. 1-13.

DEVECKA, M. “Did the greeks believe in their robots?”, The Cambridge Classical Journal, 2013, number. 59, pp. 52-69. https://doi.org/10.1017/S1750270513000079

GODOY, O., “De la digitalización a la inteligencia artificial: actividad administrativa, logaritmos y derechos”, Diario LA LEY, LA LEY, núm. 10504, 2024, pp. 1-30

HERRERA DE LAS HERAS, R., “Introducción a la inteligencia artificial desde una perspectiva legal” en Aspectos legales de la Inteligencia Artificial. Personalidad Jurídica de los Robots, Protección de Datos y Responsabilidad Civil, Dykinson, Madrid, España, 2022, pp. 11-27.

HUERGO LORA, A. J., “Inteligencia artificial: una aproximación jurídica no catastrofista”, Revista Española de Control Externo, vol. XXV, núm. 74-75, 2023, pp. 110-129.

JOHN NILSSON, N., “John McCarthy, 1927-2011: A Biographical Memoir”, National Academy of Sciences, 2012, pp. 1-17 https://www.nasonline.org/wp-content/uploads/2024/06/mccarthy-john.pdf (revisado en X).

LÓPEZ DONAIRE, B., “Breves reflexiones sobre la IA y sector público: fundamentos, desafíos y experiencias”, Derecho Digital e Innovación, LA LEY, núm. 16, 2023, pp. 1-15.

MARTÍN DELGADO, I., Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada, Revista de Administración Pública, núm. 180, 2009, pp. 353-386.

MARTÍN PALACIOS, P., “Administración Electrónica y Derechos Digitales”, Derecho Digital e Innovación: Sección Doctrina, Wolters Kluwer, núm. 9, 2021, pp. 1-14.

MARTÍNEZ OTERO, J. M., “Hipervigilancia administrativa y supervisión automatizada: promesas, amenazas y criterios para valorar su oportunidad”, Revista Española de Derecho Administrativo, CIVITAS, núm. 231, 2024, pp. 1-17.

MONTESINOS GARCÍA, A., “Los algoritmos que valoran el riesgo de reincidencia: En especial, el sistema Viogen”, Revista de derecho y proceso penal, vol. 64, 2021, pp. 19-55.

MORENO REBATO, M., Inteligencia artificial (umbrales éticos, Derecho y administraciones públicas), Aranzadi, Navarra, España, 2021, pp. 1-140.

OCDE & CAF, “Uso estratégico y responsable de la inteligencia artificial en el sector público de América Latina y el Caribe, Estudios de la OCDE sobre Gobernanza Púbica, OECD Publishing, Paris, 2022, pp. 1-209 https://doi.org/10.1787/5b189cb4-es.

OCDE, “Explanatory memorandum on the updated OECD definition of an AI system”, OCDE Artificial Intelligence Papers, OCDE Publishing, Paris, France, núm. 8, 2024, pp. 1-11. https://doi.org/10.1787/623da898-en.

OCDE, “Hola, Mundo: Inteligencia artificial y su uso en el sector público”, Documentos de trabajo sobre gobernanza pública, núm. 36., 2019. pp. 1-185. https://doi.org/10.1787/726fd39d-en.

PARRES GARCÍA, A., “Gervasio Para Todo y la gobernanza pública algorítmica”, Documentación Administrativa, núm. 12, 2024, pp. 87-102. DOI: https://doi.org/10.24965/da.11401

PONCE SOLÉ, J., “Inteligencia Artificial, decisiones administrativas discrecionales totalmente automatizadas y alcance del control judicial: ¿indiferencia, insuficiencia o deferencia?, Revista de Derecho Público: teoría y método, vol. 9, 2024, pp. 171-220. https://doi.org/10.37417/RDP/vol_7_2024_2151

RIVERO ORTEGA, R., “¿Pueden los robots remplazar a los funcionarios?”, Derecho Digital e Innovación, LA LEY, núm. 16, 2023, pp. 1-17.

SUBERBIOLA GARBIZU, I., “Inteligencia artificial, opacidad y motivación de las decisiones administrativas” en VAZQUEZ DEL REY VILLANUEVA, A. & SUBERBIOLA GARBIZU, I. (Cord.), MERINO JARA, I., (Dir.), La protección de los derechos fundamentales en el ámbito tributario, Wolters Kluwer España, 2021, pp. 291-328.

VALERO TORRIJOS, J., “Las garantías jurídicas de la inteligencia artificial en la actividad administrativa desde la perspectiva de la buena administración”, Revista Catalana de Dret Públic, núm. 58, 2019, pp. 82-96. https://doi.org/10.2436/rcdp.i58.2019.3307.

VELASCO RICO, C. I., “Tecnologías disruptivas en la Administración Pública: Inteligencia artificial y Blockchain” en CERRILLO I MARTÍNEZ, A. (Dir.) & CASTILLO RAMOS-BOSSINI, S. (Cord.) La Administración Digital, Dykinson, Madrid, España, 2022, pp. 228-256.

VILLANUEVA TURNES, A., “II. La inteligencia artificial: Regulación y límites en el sector público”, Revista Española de Derecho Administrativo, CIVITAS, núm. 221, 2022, pp. 1-26.

VILLANUEVA TURNES, A., “Inteligencia artificial y derecho administrativo” en ALONSO SALGADO, C. et al. (Dir.) & LÓPEZ SUAREZ, C. et al. (Cord.), Derecho, nuevas tecnologías e Inteligencia Artificial, Dykinson, Madrid, España, 2023, pp. 135-145.

VILLANUEVA TURNES, A., “La utilización de los algoritmos en la administración púbica y su transparencia” en PÉREZ CALLE, R. D., (Coord.) Economía, Derecho y Empresa ante una nueva era: digitalización, IA y competitividad en un entorno global, Dykinson, Madrid, España, pp. 1-1462.

---

1. 1 Así, el considerado como padre de la IA, John McCarthy, acuñó por primera vez el término artificial intelligence en el año 1965 en el seminario de verano de Darthmouth para definir la búsqueda de un comportamiento humano en las máquinas. Su trabajo, junto con el de científicos de la época, como Minsky, Selfridge y Allen Newell, sentaría las bases para el nacimiento de una disciplina propia dentro del ámbito de la ingeniería informática, cuya influencia perdura hasta nuestros días. Véase: JOHN NILSSON, N., “John McCarthy, 1927-2011: A Biographical Memoir”, National Academy of Sciences, 2012, p. 5 y ss.

2. 2 SUBERBIOLA GARBIZU, I., “Inteligencia artificial, opacidad y motivación de las decisiones administrativas”, en VÁZQUEZ DEL REY VILLANUEVA, A. & SUBERBIOLA GARBIZU, I. (coords.), MERINO JARA, I., (Dir.), La protección de los derechos fundamentales en el ámbito tributario, Wolters Kluwer España, 2021, p. 291.

3. 3 Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial y por el que se modifican los reglamentos (CE) n.º 300/2008, (UE) n.º 167/2013, (UE) n.º 168/2013, (UE) 2018/858, (UE) 2018/1139 y (UE) 2019/2144 y las directivas 2014/90/UE, (UE) 2016/797 y (UE) 2020/1828.

4. 4 Así, en el citado documento la Comisión Europea define la inteligencia artificial simplemente como «una combinación de tecnologías que agrupa datos, algoritmos y capacidad informática». En: COMISIÓN EUROPEA, Libro blanco sobre inteligencia artificial. Un enfoque europeo orientado a la excelencia y a la confianza, 2020, p. 2.

5. 5 MORENO REBATO, M., Inteligencia artificial (umbrales éticos, Derecho y administraciones públicas), Aranzadi, Navarra, España, 2021, p. 21.

6. 6 OCDE, “Explanatory memorandum on the updated OECD definition of an AI system”, OCDE Artificial Intelligence Papers, OCDE Publishing, Paris, France, núm. 8, 2024, p. 4.

7. 7 Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE.

8. 8 HERRERA DE LAS HERAS, R., “Introducción a la inteligencia artificial desde una perspectiva legal” en Aspectos legales de la Inteligencia Artificial. Personalidad Jurídica de los Robots, Protección de Datos y Responsabilidad Civil, Dykinson, Madrid, España, 2022, p. 20.

9. 9 CASTELLANOS CLARAMUNT, J., “Inteligencia artificial y democracia: una aproximación jurídica desde el derecho constitucional”, en SALES SARLET, G. B. (coord.) & FAGGIANI, V. (dir.), Retos del derecho ante la IA: apuntes desde una perspectiva interdisciplinar, JMB, Barcelona, España, 2024, p. 141.

10. 10 VILLANUEVA TURNES, A., “II. La inteligencia artificial: Regulación y límites en el sector público”, Revista Española de Derecho Administrativo, CIVITAS, núm. 221, 2022, p. 214.

11. 11 VELASCO RICO, C. I., “Tecnologías disruptivas en la Administración Pública: Inteligencia artificial y Blockchain” en CERRILLO I MARTÍNEZ, A. (Dir.) & CASTILLO RAMOS-BOSSINI, S. (Cord.) La Administración Digital, Dykinson, Madrid, España, 2022, p. 228.

12. 12 GODOY, O., “De la digitalización a la inteligencia artificial: actividad administrativa, logaritmos y derechos”, Diario LA LEY, LA LEY, núm. 10504, 2024, p. 9.

13. 13 Esta dicotomía entre el rumbo de la Administración encuentra su análisis en profundidad en: PARRES GARCÍA, A., “Gervasio Para Todo y la gobernanza pública algorítmica”, Documentación Administrativa, núm. 12, 2024, pp. 87-102.

14. 14 LÓPEZ DONAIRE, B., “Breves reflexiones sobre la IA y Sector Público: fundamentos, desafíos y experiencias”, Derecho Digital e Innovación, LA LEY, núm. 16, 2023, p. 4.

15. 15 CASTELLANOS CLARAMUNT, J., op. cit. p. 4.

16. 16 Se adjunta la fantástica obra de BAQUERO PÉREZ en la cual hace un genial análisis de todas las cuestiones éticas que presentan una elevada conflictividad en la automatización de la Administración, desde la perspectiva de diferentes escuelas de pensamiento, BAQUERO PÉREZ, P. J., “Cuestiones éticas sobre la implantación de la inteligencia artificial en la administración pública”, Revista Canaria de Administración Pública, núm. 1, 2023, p. 33.

17. 17 A pesar de las múltiples referencias a esta idea durante todo el manuscrito, nos quedamos con las siguientes: “Los sistemas de IA deberían servir para mantener e impulsar procesos democráticos, así como para respetar la pluralidad de valores y elecciones vitales de las personas” y “Los sistemas de IA ofrecen un potencial muy importante para mejorar el alcance y la eficiencia del gobierno en la prestación de bienes y servicios públicos a la sociedad”. COMISIÓN EUROPEA, Directrices éticas para una IA fiable, Oficina de Publicaciones, 2019, p. 3.

18. 18 En la propia introducción del documento se establece el interés público como uno de los cimientos de este nuevo ecosistema de la inteligencia artificial. Véase: COMISIÓN EUROPEA, Libro blanco de la inteligencia artificial, op. cit. p. 2.

19. 19 OCDE & CAF, “Uso estratégico y responsable de la inteligencia artificial en el sector público de América Latina y el Caribe, Estudios de la OCDE sobre Gobernanza Púbica, OECD Publishing, Paris, 2022, p. 38.

20. 20 Op. cit., p. 40.

21. 21 MONTESINOS GARCÍA, A., “Los algoritmos que valoran el riesgo de reincidencia: En especial, el sistema Viogen”, Revista de derecho y proceso penal, vol. 64, 2021, p. 22.

22. 22 Véase el siguiente enlace web: https://www.elconfidencial.com/tecnologia/2024-07-11/japon-tokio-alcalde-inteligencia-artificial_3921654/ (revisado el día 14 de abril).

23. 23 Enlace a la noticia: https://www.japantimes.co.jp/news/2024/06/29/japan/politics/tokyo-race-digitial-tools (revisado el día 14 de abril). Pese a que no tiene subtítulos en inglés, se comparte también el enlace al vídeo subido en la plataforma YouTube: https://www.youtube.com/watch?v=WA-mRcNMo4E (revisado el día 14 de abril).

24. 24 Véase: https://www.ispionline.it/en/publication/how-china-uses-artificial-intelligence-control-society-23244 (revisado el día 14 de abril).

25. 25 En Human Rights Watch hicieron un proceso de ingeniería inversa con una copia de la aplicación para dispositivos móviles mediante la cual consiguieron acceso a la base de datos del programa. Es realmente preocupante todo lo que descubrieron, ya que el contexto es plenamente opaco y contrario a los derechos humanos: https://www.hrw.org/report/2019/05/01/chinas-algorithms-repression/reverse-engineering-xinjiang-police-mass (revisado el día 14 de abril).

26. 26 Véase el enlace a la noticia: https://www.reuters.com/world/asia-pacific/skorea-test-ai-powered-facial-recognition-track-covid-19-cases-2021-12-13/ (revisado el día 14 de abril).

27. 27 CERRILLO MARTÍNEZ, A., “The use of artificial intelligence in public administration”, Review of International and European Economic Law, vol. 3 núm. 5, 2024, p. 2.

28. 28 Ley 39/2015, de 1 de octubre, del procedimiento administrativo común de las administraciones públicas.

29. 29 Ley 40/2015, de 1 de octubre, de régimen jurídico del sector público.

30. 30 Artículo 41. Actuación administrativa automatizada.

    1. Se entiende por actuación administrativa automatizada cualquier acto o actuación realizada íntegramente a través de medios electrónicos por una Administración pública en el marco de un procedimiento administrativo y en la que no haya intervenido de forma directa un empleado público.

    2. En caso de actuación administrativa automatizada deberá establecerse previamente el órgano u órganos competentes, según los casos, para la definición de las especificaciones, programación, mantenimiento, supervisión y control de calidad y, en su caso, auditoría del sistema de información y de su código fuente. Asimismo, se indicará el órgano que debe ser considerado responsable a efectos de impugnación.

31. 31 Para el desarrollo completo de la síntesis en torno al precepto del artículo 41, confróntese la siguiente obra: VILLANUEVA TURNES, A., “II. La inteligencia artificial: Regulación y límites en el sector público”, op. cit. p. 6.

32. 32 MARTÍN DELGADO, I., Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada, Revista de Administración Pública, núm. 180, 2009, pp. 353-386.

33. 33 Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE.

34. 34 Ley orgánica 3/2018, de 5 de diciembre, de protección de datos personales y garantía de los derechos digitales.

35. 35 Dispone lo siguiente: «Los particulares, en los términos establecidos por la ley, tendrán derecho a ser indemnizados por toda lesión que sufran en cualquiera de sus bienes y derechos, salvo en los casos de fuerza mayor, siempre que la lesión sea consecuencia del funcionamiento de los servicios públicos».

36. 36 Real decreto 203/2021, de 30 de marzo, por el que se aprueba el Reglamento de actuación y funcionamiento del sector público por medios electrónicos.

37. 37 En referencia a la opacidad en el uso de sistemas de IA por parte de la Administración Pública española y la insuficiencia de garantías en el contexto de la automatización se recomienda la lectura de COTINO HUESO, L., “Transparencia de la inteligencia artificial pública: marco legal, desafíos y propuestas”, Actualidad Administrativa, Sección Actualidad, LA LEY, núm. 1, 2023, pp. 1-11.

38. 38 Se promoverán los derechos de la ciudadanía en relación con la inteligencia artificial reconocidos en esta Carta en el marco de la actuación administrativa reconociéndose en todo caso los derechos a:

    a) Que las decisiones y actividades en el entorno digital respeten los principios de buen gobierno y el derecho a una buena Administración digital, así como los principios éticos que guían el diseño y los usos de la inteligencia artificial.

    b) La transparencia sobre el uso de instrumentos de inteligencia artificial y sobre su funcionamiento y alcance en cada procedimiento concreto y, en particular, acerca de los datos utilizados, su margen de error, su ámbito de aplicación y su carácter decisorio o no decisorio. La ley podrá regular las condiciones de transparencia y el acceso al código fuente, especialmente con objeto de verificar que no produce resultados discriminatorios.

    c) Obtener una motivación comprensible en lenguaje natural de las decisiones que se adopten en el entorno digital, con justificación de las normas jurídicas relevantes, tecnología empleada, así como de los criterios de aplicación de las mismas al caso. El interesado tendrá derecho a que se motive o se explique la decisión administrativa cuando esta se separe del criterio propuesto por un sistema automatizado o inteligente.

    d) Que la adopción de decisiones discrecionales quede reservada a personas, salvo que normativamente se prevea la adopción de decisiones automatizadas con garantías adecuadas.

39. 39 Ley 15/2022, de 12 de julio, integral para la igualdad de trato y la no discriminación.

40. 40 SARASÍBER IRIARTE, M., op. cit. p. 2.

41. 41 MARTÍNEZ OTERO, J. M., “Hipervigilancia administrativa y supervisión automatizada: promesas, amenazas y criterios para valorar su oportunidad”, Revista Española de Derecho Administrativo, CIVITAS, núm. 231, 2024, p. 3.

42. 42 GODOY, O., op. cit. p. 9.

43. 43 HUERGO LORA, A. J., “Inteligencia artificial: una aproximación jurídica no catastrofista”, Revista Española de Control Externo, vol. XXV, núm. 74-75, 2023, p. 119.

44. 44 RIVERO ORTEGA, R., “¿Pueden los robots remplazar a los funcionarios?”, Derecho Digital e Innovación, LA LEY, núm. 16, 2023, p. 7.

45. 45 b) Ser conscientes de la posible tendencia a confiar automáticamente o en exceso en los resultados de salida generados por un sistema de IA de alto riesgo («sesgo de automatización»), en particular con aquellos sistemas que se utilizan para aportar información o recomendaciones con el fin de que personas físicas adopten una decisión.

46. 46 BERNING PRIETO, A. D. “El uso de sistemas basados en inteligencia artificial por las Administraciones Públicas: estado actual de la cuestión y algunas propuestas ad futurum para un uso responsable”, Revista de Estudios de la Administración Local y Autonómica, núm. 20, 2023, p. 170.

47. 47 op. cit. p. 172.

48. 48 MORENO REBATO, M., op. cit. p. 50.

49. 49 Para un análisis en mayor profundidad de la sentencia y sus implicaciones: COTINO HUESO, L., “SyRI, ¿a quién sanciono?” Garantías frente al uso de inteligencia artificial y decisiones automatizadas en el sector público y la sentencia holandesa de febrero de 2020”, La Ley Privacidad, Wolters Kluwer, núm. 4, 2020, pp. 1-11.

50. 50 PONCE SOLÉ, J., “Inteligencia Artificial, decisiones administrativas discrecionales totalmente automatizadas y alcance del control judicial: ¿indiferencia, insuficiencia o deferencia?, Revista de Derecho Público: teoría y método, vol. 9, 2024, p. 191.

51. 51 Esta postura encuentra su reflejo, entre otras obras, en: VILLANUEVA TURNES, A., “II. La inteligencia artificial: Regulación y límites en el sector público”, op. cit. p. 214.

52. 52 MARTÍN PALACIOS, P., “Administración Electrónica y Derechos Digitales”, Derecho Digital e Innovación: Sección Doctrina, Wolters Kluwer, núm. 9, 2021, p. 4.

53. 53 CASTELLANOS CLARAMUNT, J., “Democracia, administración pública e inteligencia artificial desde una perspectiva política y jurídica”, Revista Catalana de Dret Públic, núm. 60, 2020, p. 6.

54. 54 VILLANUEVA TURNES, A., “Inteligencia artificial y derecho administrativo” en ALONSO SALGADO, C. et al. (Dir.) & LÓPEZ SUAREZ, C. et al. (Cord.), Derecho, nuevas tecnologías e Inteligencia Artificial, Dykinson, Madrid, España, 2023, p. 140.

55. 55 Esta figura, a la que se le atribuye un papel esencial en torno al cumplimiento normativo de la integración de la inteligencia artificial en la estructura pública, encuentra su definición en el artículo 3 número 4: «una persona física o jurídica, autoridad pública, órgano u organismo que desarrolle un sistema de IA o un modelo de IA de uso general o para el que se desarrolle un sistema de IA o un modelo de IA de uso general y lo introduzca en el mercado o ponga en servicio el sistema de IA con su propio nombre o marca, previo pago o gratuitamente».

56. 56 Cabe destacar que la Audiencia Nacional, en la sentencia de 30 de abril de 2024, recurso 51/2022, caso Bosco, no apreció ese efecto discriminatorio; sin embargo —y con el recurso de casación ya admitido, a la espera del pronunciamiento del Tribunal Supremo—, este tribunal tampoco ha permitido el acceso al código fuente de dicho programa, lo cual supone una falta total de transparencia. Desde aquí pensamos que esto evidencia un flagrante incumplimiento de principios administrativos fundamentales tales como como son los principios de buena administración y rendición de cuentas. Sobre esta cuestión se adjunta una revisión publicada en la web “Almacén de Derecho” por PONCE SOLÉ, J. https://almacendederecho.org/por-que-se-equivocan-las-sentencias-sobre-el-algoritmo-del-bono-social-electrico (revisado el 14 de abril).

57. 57 COTINO HUESO, L., “SyRI, ¿a quién sanciono?” Garantías frente al uso de inteligencia artificial y decisiones automatizadas en el sector público y la sentencia holandesa de febrero de 2020”, op. cit. p. 4.

58. 58 COSCULLUELA MONTANER, L., Manual de derecho administrativo: Parte General, Thomson Reuters Aranzadi & CIVITAS, Pamplona, España, 2022, p. 48.

59. 59 Ley 19/2013, de 9 de diciembre, de transparencia, acceso a la información pública y buen gobierno.

60. 60 Podría ser cuestionable, en cierta medida, si la falta de disposiciones específicas en la norma evita la sujeción de estos sistemas a las obligaciones derivadas de las disposiciones de la Ley 19/2013, sin embargo, se conjuga como imprescindible en tanto que las administraciones públicas deben servir al interés general de la ciudadanía cumpliendo y respetando los principios constitucionales. En VILLANUEVA TURNES, A., “La utilización de los algoritmos en la administración púbica y su transparencia” en PÉREZ CALLE, R. D., (Coord.) Economía, Derecho y Empresa ante una nueva era: digitalización, IA y competitividad en un entorno global, Dykinson, Madrid, España, 2024, p. 675.

61. 61 Para un análisis en profundidad del derecho a la transparencia en la gobernanza pública algorítmica y aspectos tales como el alcance o los elementos sujetos al propio derecho, se recomienda la lectura: VALERO TORRIJOS, J., “Las garantías jurídicas de la inteligencia artificial en la actividad administrativa desde la perspectiva de la buena administración”, Revista Catalana de Dret Públic, núm. 58, 2019, pp. 82-96.

62. 62 DE ARTIÑANO MARRA, P., & SÁNCHEZ ORO, J., “Responsabilidad por el funcionamiento de sistemas de inteligencia artificial: los desafíos de la «documentación técnica» del Reglamento de Inteligencia Artificial”, Derecho Digital e Innovación, núm. 20, 2024, p. 6.

63. 63 Se ha hecho una breve síntesis de una definición más compleja para introducir al lector en el concepto; sin embargo, se recomienda la lectura del original en el cual COTINO LORENZO aborda la definición del mismo con suma maestría: COTINO HUESO, L., Capítulo 5. “Hacia la transparencia 4.0: El uso de la inteligencia artificial y big data para la lucha contra el fraude y la corrupción y las (muchas exigencias constitucionales)” op cit. pp. 181 y ss.

64. 64 MARTÍN PALACIOS, P., op. cit., p. 5.