Revista Galega de Administración Pública, EGAP
Núm. 69_enero-junio 2025 | pp. 267-298
Santiago de Compostela, 2025
https://doi.org/10.36402/regap.v2i69.5301
© Jesús A. Tahirí Moreno
ISSN-e: 1132-8371 | ISSN: 1132-8371
Recibido: 30/04/2025 | Aceptado: 26/06/2025
Editado bajo licencia Creative Commons Atribution 4.0 International License
O despregamento da intelixencia artificial nas comunidades autónomas: estudo da pioneira Ley 2/2025, do 2 de abril, para o desenvolvemento e impulso da intelixencia artificial en Galicia
El despliegue de la inteligencia artificial en las comunidades autónomas: estudio de la pionera Ley 2/2025, de 2 de abril, para el desarrollo e impulso de la inteligencia artificial en Galicia
The Deployment of Artificial Intelligence in Autonomous Communities: An Analysis of the Pioneering Law 2/2025 of 2nd April for the Development and Promotion of Artificial Intelligence in Galicia
Jesús A. Tahirí Moreno
Contratado predoctoral de Derecho Administrativo
Universidad de Zaragoza (España)
ORCID: https://orcid.org/0000-0002-7063-8697
Resumo:1 Neste estudo lévase a cabo unha análise da Lei 2/2025, do 2 de abril, para o desenvolvemento e impulso da intelixencia artificial en Galicia. O obxectivo do traballo é dobre: en primeiro termo, preténdese dotar o lector dunha panorámica do texto lexislativo, comentando os aspectos que posúen unha maior significación xurídica. En segundo e último termo, acométese unha revisión crítica da norma, coa finalidade de lles proporcionar aos poderes públicos algunhas recomendacións de lege ferenda que poidan terse en conta en futuras reformas.
Palabras clave: Intelixencia artificial, sector público, decisións automatizadas, dereito administrativo, gobernanza de intelixencia artificial.
Resumen: En el presente estudio se lleva a cabo un análisis de la Ley 2/2025, de 2 de abril, para el desarrollo e impulso de la inteligencia artificial en Galicia. El objetivo del trabajo es doble: en primer término, se pretende dotar al lector de una panorámica del texto legislativo, comentando aquellos aspectos que poseen una mayor significación jurídica. En segundo y último término, se acomete una revisión crítica de la norma, con la finalidad de proporcionar a los poderes públicos algunas recomendaciones de lege ferenda que puedan tenerse en cuenta en futuras reformas.
Palabras clave: Inteligencia artificial, sector público, decisiones automatizadas, derecho administrativo, gobernanza de inteligencia artificial.
Abstract: This paper analyses Law 2/2025 of 2 April on the development and promotion of artificial intelligence in Galicia. The aim of the study is twofold: firstly, it aims to provide the reader with an overview of the act, commenting on those aspects that have a greater legal significance. Secondly, it undertakes a critical review of the regulation, with the aim of providing the public authorities with some lege ferenda recommendations that can be taken into account in future amendments.
Key words: Artificial intelligence, public sector, automated decision making, administrative law, artificial intelligence governance.
Sumario: 1. Consideraciones previas: la necesidad de regular el uso de la inteligencia artificial de forma específica en las administraciones públicas. 2. Principios generales y derechos de la ciudadanía frente al uso de sistemas de inteligencia artificial en la actuación administrativa. 2.1. Naturaleza jurídica y contenido de los principios generales de actuación. En particular, los principios de reserva de humanidad y revisión humana y de proactividad y personalización. 2.2. El derecho a la transparencia y a la supervisión humana, a la igualdad y a la tutela como límites al uso de sistemas de inteligencia artificial. 2.3. La introducción de un nuevo título de imputación en materia de responsabilidad patrimonial: respeto a la legislación básica estatal e interpretación conforme a la Constitución. 2.4. Las obligaciones en materia de evaluación de impacto de los sistemas de inteligencia artificial. 3. La profesionalización de la Administración: un pilar esencial para la correcta aplicación y desarrollo de sistemas de inteligencia artificial. 3.1. Los órganos promotores funcionales y los órganos responsables tecnológicos. 3.2. La Oficina de Inteligencia Artificial. 3.3. La Comisión estratégica para el asesoramiento en inteligencia artificial. 3.4. El Consejo Gallego de Inteligencia Artificial. 3.5. Las personas comisionadas de inteligencia artificial. 4. La actividad planificadora en materia de inteligencia artificial. 4.1. La Estrategia gallega de inteligencia artificial. 4.2. Los programas sectoriales de inteligencia artificial. 4.3. Los proyectos de inteligencia artificial. 5. Colaboración público-privada y cooperación interadministrativa: herramientas estratégicas para el diseño, desarrollo y adquisición de sistemas de inteligencia artificial destinados a la mejora de los servicios públicos. 5.1. La adquisición de sistemas de inteligencia artificial a través de la compra pública de innovación. 5.2. Los acuerdos de contratación conjunta de sistemas de inteligencia artificial. 5.3. La elaboración de un catálogo de cláusulas tipo en función del nivel de riesgo del sistema de inteligencia artificial. 6. La Administración autonómica gallega como arquetipo de Administración facilitadora. 6.1. Medidas en materia de simplificación administrativa. 6.2. Medidas fiscales, de impulso a la transición energética y de impulso empresarial. 6.3. La creación de factorías o fábricas de inteligencia artificial: un espacio para el fomento de la colaboración público-privada. 6.4. Medidas de alfabetización en materia de inteligencia artificial. 7. Consideraciones finales. 8. Bibliografía.
1. Consideraciones previas: la necesidad de regular el uso de la inteligencia artificial de forma específica en las administraciones públicas
En el mes de junio del año 2024, la Unión Europea aprobó el Reglamento europeo de inteligencia artificial (en adelante, RIA)2, una norma pionera en el mundo que establece una panoplia de requisitos obligatorios a los sistemas de inteligencia artificial calificados de alto riesgo. Pese a las bondades del acto legislativo europeo, lo cierto es que su eficacia es limitada, por cuanto quedan fuera de su ámbito de aplicación prácticamente todos los sistemas que no sean de alto riesgo.
En esencia, la norma tiene un fuerte componente privatista, ya que su finalidad principal es garantizar el buen funcionamiento del mercado único europeo y la libre circulación de mercancías. Hablando en román paladino, el RIA no constituye un texto normativo que dé respuestas a las particularidades que entraña el empleo de la inteligencia artificial en las administraciones públicas.
La Ley 2/2025, de 2 de abril, para el desarrollo e impulso de la inteligencia artificial en Galicia (en adelante, LIAG), nace precisamente con la vocación de cubrir las lagunas que deja el RIA e impulsar la inteligencia artificial en la Comunidad Autónoma de Galicia. El objeto de la norma no es regular la inteligencia artificial como producto (ese papel le corresponde al RIA)3, sino pautar la forma en que el sector público autonómico puede desplegar la inteligencia artificial en el ejercicio de actuaciones administrativas con pleno respeto a los derechos de la ciudadanía. Nos encontramos, por tanto, ante una norma ambiciosa de amplio espectro, que surge de la voluntad del legislador gallego de poner la tecnología al servicio de las personas.
Prueba de ello es que el poder legislativo autonómico se ha preocupado de articular un marco jurídico general que va desde el reconocimiento de principios generales de actuación y derechos específicos hasta un ingente número de medidas dirigidas a estimular la inversión en inteligencia artificial. Sin olvidarse, por supuesto, de la cuestión organizativa, pues, como se verá, la ley crea un conjunto de órganos especializados que garantizarán la profesionalización de la Administración autonómica de forma previa al despliegue generalizado de la inteligencia artificial. Tampoco descuida el legislador la planificación, otro de los aspectos más relevantes de la norma. Entre los documentos que componen el sistema de planificación, cabe destacar la figura de los proyectos de inteligencia artificial, documentos estos de especial importancia para la adquisición, diseño o desarrollo de sistemas de inteligencia artificial.
Los destinatarios de la ley son principalmente el sector público autonómico y la ciudadanía en sus relaciones administrativas, de conformidad con el artículo 3. En cuanto al concepto de sistema de inteligencia artificial planteado por el legislador, es idéntico al previsto en el RIA. Ello significa que se parte de un concepto restrictivo, lo que podría afectar al número de sistemas de inteligencia artificial que finalmente quedan sujetos a las prescripciones de la ley.
En cuanto al método de trabajo, el análisis realizado es de conjunto, incidiendo en aquellas cuestiones que he considerado más relevantes en términos jurídico-dogmáticos. Soy consciente de que habrá apartados del texto legislativo que no se desarrollarán lo suficiente, pero el propósito del estudio se limita a, de una parte, ofrecer al lector una panorámica de la norma examinada; y, de otra, realizar una serie de recomendaciones o propuestas de lege ferenda sobre los puntos que pudieran ser objeto de mejora.
Con independencia de sus virtudes y defectos, existe un elemento que no admite discusión: la ley gallega viene a dar respuesta a las necesidades de la Administración del siglo XXI. El sector público, ya sea autonómico o estatal, no puede utilizar una herramienta tan potente como la inteligencia artificial sin un marco jurídico claro que garantice los derechos de la ciudadanía, la capacitación de los empleados públicos y la fiabilidad, explicabilidad y transparencia de los sistemas usados.
2. Principios generales y derechos de la ciudadanía frente al uso de sistemas de inteligencia artificial en la actuación administrativa
2.1. Naturaleza jurídica y contenido de los principios generales de actuación. En particular, los principios de reserva de humanidad y revisión humana y de proactividad y personalización
El legislador gallego ha optado por regular los principios generales (capítulo I)4 y los derechos de la ciudadanía (capítulo II)5 de forma conjunta en el título preliminar. Ello se justifica debido a la proyección general de tales principios y derechos, que despliegan sus efectos desde la fase de diseño y desarrollo hasta la de adquisición y uso de los sistemas de inteligencia artificial (arts. 5.1 y 22 de la LIAG).
Pese a que la mayoría de los principios generales ya forman parte del Reglamento europeo de inteligencia artificial, su virtualidad reside en que son objeto de aplicación a todos los sistemas de inteligencia artificial que emplee el sector público autonómico, con independencia de su nivel de riesgo. No está de más recordar que los requisitos esenciales establecidos por el RIA se aplican exclusivamente a los sistemas de inteligencia artificial calificados como de alto riesgo y a los modelos de inteligencia artificial de uso general.
En consecuencia, la Ley 2/2025 amplía el radio de acción mediante el establecimiento de una serie de «principios generales»6 que la Administración autonómica habrá de respetar cuando diseñe, desarrolle, adquiera o utilice cualesquiera sistemas de inteligencia artificial.
Entre este totum revolutum de principios, deberes y derechos, destacan algunos por su carácter ex novo. Me refiero a los principios de reserva de humanidad y revisión humana (art. 12 LIAG) y proactividad y personalización (art. 13 LIAG). Al tratarse de conceptos novedosos, merecen un análisis individualizado que ponga de relieve sus efectos en la actuación administrativa.
Por lo que respecta a los principios de reserva de humanidad y revisión humana, es importante distinguir entre uno y otro concepto, por cuanto su contenido difiere. Así pues, el primero comporta la prohibición del uso de sistemas de inteligencia artificial en determinadas parcelas de la actuación administrativa7. Por su parte, el segundo implica el deber de contar con un ser humano que revise y valide los resultados emitidos por un sistema de inteligencia artificial8.
El artículo 12, que desarrolla ambos conceptos, se estructura en 5 apartados. El primero de ellos contiene una habilitación para el uso de sistemas de inteligencia tanto en la actividad material o técnica como en la actuación administrativa formalizada. Este apartado debe interpretarse en consonancia con el artículo 50 de la ley9, de contenido similar pero que incorpora la posibilidad de fundamentar la toma de decisiones en las previsiones o recomendaciones emitidas por sistemas de inteligencia artificial. En otras palabras, se prevé expresamente la motivación in aliunde de las decisiones administrativas10.
A continuación, los apartados 2 y 3 del mismo artículo regulan el uso de sistemas de inteligencia artificial como apoyo o fundamento para la toma de decisiones (decisiones semiautomatizadas) y el uso destinado a la adopción de actos administrativos sin intervención humana directa (decisiones automatizadas). En el primer caso, para la perfección del acto administrativo se exige que el titular del órgano competente valide el resultado arrojado por la máquina.
En el segundo supuesto, la norma restringe el uso de sistemas de inteligencia artificial a la adopción de actos administrativos que impliquen el ejercicio de potestades regladas11. Si la adopción del acto exige una valoración subjetiva o la aplicación de conceptos jurídicos indeterminados, opera, pues, el principio de reserva de humanidad. No obstante, los efectos del comentado principio deben matizarse, ya que el apartado 4 del artículo 12 introduce una excepción a la reserva de humanidad.
Al respecto, la reserva de humanidad no desplegará sus efectos si se cumplen los siguientes requisitos: i) el órgano competente de la actuación administrativa automatizada ha aprobado unas instrucciones «que permitan concretar los requisitos necesarios para definir de forma detallada e inequívoca los casos ordinarios a los que resulte de aplicación»; y ii) el sistema de inteligencia artificial ha sido diseñado de forma tal que pueda respetar la norma reguladora del procedimiento y las instrucciones. Además, el sistema deberá permitir a los interesados comprender y cuestionar el resultado (requisito de explicabilidad) y no podrá ser alterado sin supervisión.
En mi opinión, estos requisitos son tan exigentes que el uso de sistemas de inteligencia artificial para la adopción de actos administrativos automatizados dictados en el ejercicio de potestades discrecionales se restringirá al mínimo. Sin embargo, ello no quiere decir que no vaya a emplearse la inteligencia artificial en ámbitos de actuación en los que exista discrecionalidad. Antes bien, su aplicación será posible siempre que exista la validación del titular del órgano competente. De este modo, la norma permite eludir la prohibición convirtiendo la decisión automatizada en semiautomatizada.
En virtud de lo expuesto, puede afirmarse que la plasmación del principio de reserva de humanidad en la norma no se traduce en una prohibición absoluta de uso de sistemas de inteligencia artificial en sectores concretos de la Administración pública. Ni siquiera cuando las decisiones, previsiones o recomendaciones generadas por este tipo de herramientas produzcan un impacto irreversible o den lugar a actuaciones que puedan generar riesgos para la vida o la integridad física o psicosocial. Incluso en estos supuestos de máximo riesgo, el uso de sistemas de inteligencia artificial será posible, siempre que conste la validación de una persona física y una decisión humana final (art. 12, apartado 5 LIAG).
En conclusión, más que una reserva de humanidad en sentido estricto, lo que prevé el artículo 12 es un principio de supervisión, validación o revisión humana de las actuaciones automatizadas. Y ello en la medida en que no existen espacios donde el uso de sistemas de inteligencia artificial esté completamente vedado (salvo, claro está, los sistemas prohibidos del RIA). La reserva de humanidad, como el propio artífice del concepto sostiene, «se trataría de la decisión respecto de ciertos ámbitos en los que los seres humanos, a través de los órganos legitimados para ello, excluyen la aplicación de la IA porque se considera inadecuado el uso de esta»12. A mi juicio, aquí no opera ninguna exclusión, pues la mera validación de la decisión por el órgano competente permite que la decisión plenamente automatizada sea válida.
En cuanto al principio de proactividad y personalización13, responde a un modelo de Administración pública inteligente que se anticipa a las necesidades de la ciudadanía. Así, gracias al uso de sistemas de inteligencia artificial, podrán reconocerse derechos de oficio, sin necesidad de que las personas interesadas presenten una solicitud. El artículo 13, que regula dicho principio, está redactado en clave facultativa (se emplea el verbo podrán), por lo que corresponde a la Administración autonómica y al sector público gallego decidir si se desarrollan esta categoría de procedimientos «proactivos y personalizados».
Ahora bien, si la Administración finalmente opta por regular procedimientos que finalicen con actuaciones proactivas personalizadas, es necesario que estos vayan acompañados de las medidas adecuadas para garantizar la protección de los «derechos, libertades e intereses legítimos de las personas destinatarias» (art. 13, apartado 2 LIAG). En particular, la Administración tiene la obligación de garantizar la igualdad en el acceso a los servicios públicos. Ergo, toda actuación proactiva personalizada discriminatoria que carezca de una justificación objetiva y razonable vulnerará el derecho fundamental a la igualdad y la prohibición de la discriminación. Las diferencias, por tanto, deben estar justificadas y constar en la norma que regule el procedimiento.
2.2. El derecho a la transparencia y a la supervisión humana, a la igualdad y a la tutela como límites al uso de sistemas de inteligencia artificial
Como adelantaba supra, junto a los principios generales de actuación, el legislador autonómico desarrolla en un capítulo independiente lo que denomina como «derechos de la ciudadanía». De la rúbrica podría inferirse que solo los derechos enumerados en este capítulo, en contraposición a los principios de actuación, constituyen auténticos derechos subjetivos que otorgan, siguiendo la clásica definición doctrinal, una situación de poder al ciudadano que puede hacer valer frente a la Administración.
Empero, lo cierto es que muchos de los principios generales de actuación enunciados no son, en puridad, principios que ayuden al operador jurídico a interpretar y aplicar la norma (función informadora) u orienten el comportamiento de la Administración (al modo en que lo hacen los principios de actuación del artículo 3 de la Ley 40/2015, de 1 de octubre, de régimen jurídico del sector público).
Antes bien, buena parte de estos son no ya derechos, que también, sino obligaciones o deberes muy concretos que la Administración no puede desconocer y que el ciudadano puede exigir [v.g., el requisito de auditabilidad, trazabilidad y explicabilidad de los sistemas del artículo 7 LIAG o el de seguridad y privacidad del artículo 11 LIAG]. En términos dogmáticos, su grado de concreción es tal que resulta difícil calificarlos como principios, ya sean estos normativos o cumplan una función informadora o meramente programática. Una muestra del popurrí conceptual entre derechos, principios y deberes la encontramos precisamente en dos de los tres derechos que la norma reconoce.
Así, el derecho a la igualdad del artículo 24, más allá de las diferencias de redacción, coincide plenamente en su contenido sustantivo con el principio general relativo a la imparcialidad y a la ausencia de sesgos del artículo 10. El artículo 24, eso sí, desarrolla supuestos concretos, frente a la redacción genérica del artículo 10.
Con independencia de las diferencias o similitudes existentes entre ambos preceptos, lo cierto es que el derecho fundamental a la igualdad y a la prohibición de la discriminación despliega sus efectos en cualesquiera ámbitos de actuación de la Administración, emplee esta inteligencia artificial o no. En consecuencia, y como ya he mencionado anteriormente, salvo que exista una justificación objetiva y razonable, el uso de inteligencia artificial por la Administración no puede generar situaciones discriminatorias.
Dicho esto, el reconocimiento expreso del derecho a la igualdad en una norma sectorial como la analizada puede ser positivo, al contribuir a su refuerzo y concreción. No obstante, partiendo de una interpretación sistemática, habría sido más adecuado que el precepto se limitara a declarar el derecho a la igualdad y la prohibición de la discriminación de forma genérica, remitiéndose a continuación a la Constitución y al derecho de la Unión Europea.
Mención aparte merece el derecho a la transparencia y a la supervisión humana. Respecto del primero, también se contempla en el capítulo relativo a los principios generales (art. 8 LIAG). Sin embargo, la transparencia del artículo 8 alude a un deber concreto de facilitar determinada información en el portal de transparencia (publicidad activa)14, mientras que el derecho a la transparencia del artículo 23.1 se trata de un derecho del interesado en sus relaciones con la Administración15.
A diferencia de lo que ocurre con el derecho a la igualdad, el desarrollo del derecho a la transparencia algorítmica sí requiere de concreción. En particular, el legislador gallego ha optado por un concepto de transparencia de amplio contenido que reconoce a los interesados un haz de derechos, algunos de los cuales pueden ser de difícil materialización (v.g., el derecho a conocer la racionalidad y la lógica del sistema de inteligencia artificial). Así pues, puede afirmarse que el derecho a la transparencia del artículo 23 cubre una laguna jurídica que refuerza las garantías del interesado en sus relaciones con la Administración.
Con el objetivo de materializar el derecho a la transparencia algorítmica, el artículo 35 regula el Inventario de sistemas de inteligencia artificial, registro administrativo en el que el sector público autonómico inscribirá de oficio todos los sistemas de inteligencia artificial que se diseñen o utilicen. En este registro constarán los datos identificativos y los datos de rendimiento de los sistemas (art. 35.4 LIAG).
Asimismo, siguiendo la estela de otras comunidades autónomas, la disposición final primera de la ley examinada modifica la Ley 1/2016, de 18 de enero, de transparencia y buen gobierno. En concreto, la modificación añade una letra f) al artículo 8, a fin de obligar a las entidades sujetas a dicha norma a hacer pública la relación de sistemas de inteligencia artificial y modelos de inteligencia artificial de uso general que tengan impacto en la actuación administrativa16.
Además del derecho a la transparencia algorítmica, se reconoce en las letras b) y c) del artículo 23 el derecho a la explicabilidad y a la supervisión humana. Aunque la rúbrica del precepto no hace mención expresa a la explicabilidad, este derecho se reconoce de forma meridiana en la letra b), por cuanto dispone que toda persona tiene derecho a «recibir una explicación de la decisión tomada por el sistema de inteligencia artificial».
Cabe destacar que el «derecho a una explicación» regulado por el legislador autonómico tiene un mayor alcance que el reconocido en el artículo 86 del RIA. Este último se aplica en exclusiva a determinados sistemas de inteligencia artificial de alto riesgo y, además, puede ser objeto de limitación por el derecho interno o de la Unión. En cambio, el ámbito de aplicación del derecho a la explicabilidad en la Ley 2/2025 es absoluto, en el sentido de que afecta a todos los sistemas de inteligencia artificial empleados por el sector público autonómico.
En cuanto al tipo de decisiones que se ven afectadas por este derecho a la explicación, una lectura atenta de la letra b) nos permite concluir que afecta a todas. Esto es, tanto a las decisiones automatizadas como a las semiautomatizadas. Y ello es así porque, entre la información que debe facilitar la Administración, se encuentra la relativa al «nivel de intervención humana en la adopción de la decisión que le afecta» [23.1, letra b) LIAG]. Respecto a la tipología de actos administrativos, el derecho a la explicabilidad operará no solo cuando se trate de resoluciones que pongan fin al procedimiento, sino también sobre las recomendaciones, previsiones o predicciones que constituyan actos de trámite y contribuyan a fundamentar la decisión final.
Por último, la letra c) del artículo 23 contiene el derecho a la supervisión humana en sentido estricto. Así pues, el interesado podrá exigir la intervención de un empleado público en el proceso de adopción de decisiones automatizadas cuando «produzca efectos jurídicos o impacte significativamente de modo similar en sus intereses». Este derecho, que fue propuesto en su momento por el profesor Bermejo Latre17, garantiza una especie de «derecho de oposición» a la actuación administrativa automatizada (similar al derecho de oposición a la tramitación del procedimiento simplificado del art. 96.2 de la Ley 39/2015) cuando afecte a sus derechos e intereses legítimos.
No obstante la bondad del derecho, quizás hubiese sido más adecuado circunscribir el supuesto de hecho a las decisiones adoptadas con inteligencia artificial que produzcan efectos jurídicos desfavorables18. Si lo que se persigue con la implementación de la inteligencia artificial en la Administración es incrementar la eficacia y la eficiencia en la prestación de los servicios públicos, lo suyo sería que el derecho a la intervención humana opere únicamente cuando las decisiones sean restrictivas de derechos o produzcan efectos desfavorables. Un derecho a la intervención humana cuyo contenido sea demasiado amplio podría desvirtuar o reducir a la nada el uso de inteligencia artificial en las administraciones públicas.
A modo de cierre, la ley gallega reconoce como derecho específico frente al uso de sistemas de inteligencia artificial lo que denomina como «derecho a la tutela» (art. 25 LIAG). Este derecho, a su vez, contiene dos facultades nítidamente diferenciadas en las letras a) y b) del apartado 1 del artículo 25. Al respecto, la letra a) reconoce un derecho a «hacer valer todos los derechos en materia de datos personales frente a las decisiones, previsiones o recomendaciones efectuadas por el sistema de inteligencia artificial o frente al propio funcionamiento de este». Huelga decir que no era necesario incluir una referencia como esta en la norma, pues los derechos en materia de datos personales previstos en el RGPD y en el derecho interno gozan de eficacia directa y son de aplicación inmediata.
Cuestión distinta es el «derecho a la revisión de decisiones, previsiones o recomendaciones» arrojadas por un sistema de inteligencia artificial [artículo 25.1, letra b) LIAG]. En este ámbito, sí es necesario aclarar y concretar los contornos del derecho a recurrir determinadas actuaciones administrativas. En particular, el legislador autonómico exige como presupuesto que las decisiones «produzcan efectos jurídicos o impacten significativamente de modo similar».
La redacción no es casual, ya que está plenamente alineada con la jurisprudencia del Tribunal de Justicia de la Unión Europea19 y con el artículo 86 del RIA. La distinción entre «producción de efectos jurídicos» e «impacto significativo de modo similar» implica que pueden ser objeto de impugnación no solo las decisiones, previsiones o recomendaciones que produzcan efectos jurídicos directos, sino también aquellas otras que, pese a no producir tales efectos, influyen de forma determinante en la actuación administrativa.
Consecuencia lógica de lo anterior es que el derecho a la revisión comprende tanto los actos jurídicos formalizados (actos decisorios en los términos empleados por el legislador) y las actuaciones materiales que produzcan efectos jurídicos directos como las actuaciones administrativas que, si bien no inciden directamente en la esfera jurídica del interesado, sí lo hacen indirectamente. La inclusión expresa de las actuaciones materiales en el derecho de revisión supone un paso adelante que era necesario dar. Con tal proceder, la norma supera razonamientos anacrónicos en virtud de los cuales las actuaciones materiales de los empleados públicos no pueden fiscalizarse porque obedecen a criterios subjetivos inexpugnables.
No podemos seguir razonando como si siguiéramos en el siglo XX y el personal al servicio de la Administración actuara según su «leal saber y entender». En mi opinión, la fiscalización de las actuaciones materiales ejecutadas como consecuencia o con la ayuda de las decisiones de un sistema de inteligencia artificial es un requisito elemental en un modelo de Administración tecnológicamente avanzada ajustado a las exigencias de un Estado social y democrático de derecho del siglo XXI.
Sin duda, la implementación generalizada de la inteligencia artificial contribuirá a la mejora de los servicios públicos. Ahora bien, el uso de esta herramienta debe ir acompañado de garantías que aseguren que la ciudadanía recibe un mejor servicio, sí, pero con pleno respeto a sus derechos fundamentales.
La solicitud de revisión puede basarse tanto en motivos técnicos como jurídicos. Aunque, a mi modo de ver, el fallo o deficiencia técnica siempre se traducirá en una decisión contraria a Derecho, en la medida en que un sistema cuyos parámetros no estén correctamente calibrados provocará actuaciones administrativas arbitrarias.
Con todo, los interesados podrán impugnar tales decisiones cuando consideren que el sistema incurre en deficiencias técnicas, sus premisas o resultados sean arbitrarios o discriminatorios y, como cláusula de cierre, cuando vulneren «principios». En este último supuesto se pone como ejemplo el principio de buena fe, pero huelga decir que es extensible a cualesquiera otros. En particular, los interesados podrán fundar su solicitud de revisión en la vulneración de los principios generales reconocidos en el título preliminar (v.g., la reserva de humanidad del artículo 12 o el requisito de seguridad y privacidad del artículo 11). Pero, como es obvio, también podrán hacerlo cuando la decisión vulnere otros principios constitucional o legalmente reconocidos.
El «derecho a la revisión» del artículo 25.1.b) debe interpretarse en conexión con el deber de respuesta frente a los fallos de los sistemas de inteligencia artificial contemplado en el artículo 53 de la misma norma. Este deber impone a la entidad instrumental competente en la materia la obligación de desarrollar un protocolo de reacción inmediata que dé respuestas a los posibles fallos en el funcionamiento del sistema. En concreto, el protocolo se basará en los principios de recurso inmediato a la revisión humana, de celeridad en la adopción de resoluciones y de minimización de los perjuicios derivados del mal funcionamiento (art. 53.2 LIAG).
Como cláusula de cierre, el apartado 2 del artículo 25 contiene una remisión a la sección 4 del capítulo IX del RIA, cuyos artículos 85 y 86 regulan el derecho a presentar reclamaciones ante las autoridades de vigilancia del mercado competentes y el derecho a una explicación de las decisiones adoptadas con base en los resultados emitidos por un sistema de inteligencia artificial.
2.3. La introducción de un nuevo título de imputación en materia de responsabilidad patrimonial: respeto a la legislación básica estatal e interpretación conforme a la Constitución
Una de las cuestiones más interesantes (desde el punto de vista competencial) que, a mi juicio, plantea la ley gallega es la introducción de un nuevo título de imputación en materia de responsabilidad patrimonial. Así, el artículo 15 reconoce el derecho a la indemnización aun en los supuestos en que el daño provocado por el sistema de inteligencia artificial sea responsabilidad exclusiva del contratista que ha desarrollado el sistema20.
El legislador gallego establece, pues, un supuesto de responsabilidad patrimonial por hecho ajeno. En consecuencia, aunque la Administración autonómica alegara que los daños derivados del uso del sistema obedecen a un fallo de este cuya causa radica en el incumplimiento de las condiciones contractuales contempladas en los pliegos de contratación, no podría declarar la inexistencia de responsabilidad.
Como es bien sabido, la configuración del sistema de responsabilidad patrimonial de todas las administraciones públicas corresponde en exclusiva al legislador estatal, ex artículo 149.1.18.ª (STC 112/2018, de 17 de octubre, FJ 4 y STC 61/1997, de 20 de marzo, FJ 33). Es cierto que el Tribunal Constitucional permite a las comunidades autónomas establecer otros supuestos indemnizatorios en el ámbito de sus competencias, pero con un matiz: el respeto a la legislación básica estatal.
En mi opinión, una interpretación del artículo 15 que supusiera la imputación de la responsabilidad a la Administración por un hecho ajeno en supuestos de daños causados como consecuencia de un incumplimiento de los pliegos o una ejecución defectuosa del contrato podría dar lugar a la inconstitucionalidad del precepto. Y ello por cuanto el título de imputación que genera responsabilidad siempre ha de ser el «funcionamiento normal o anormal de los servicios públicos».
Ergo, si el legislador autonómico regula un título de imputación en virtud del cual se reconoce un derecho a la indemnización sin que el daño sea consecuencia del funcionamiento del servicio (ya que la responsabilidad es exclusiva del contratista), dicho título de imputación podría vulnerar no solo la legislación básica estatal, sino también el artículo 106.2 de la Constitución.
Sin embargo, el precepto salva la posible tacha de inconstitucionalidad al especificar que la reparación de los daños se realizará de conformidad con la normativa europea y la legislación básica estatal. Con todo, el legislador autonómico, a mi modo de ver, carecería de competencia para declarar la responsabilidad de la Administración por un hecho ajeno.
2.4. Las obligaciones en materia de evaluación de impacto de los sistemas de inteligencia artificial
Junto a las obligaciones ya impuestas por el RIA y el Reglamento general de protección de datos (RGPD)21, merecen especial atención los mandatos que el legislador autonómico establece en materia de evaluación y supervisión del funcionamiento de los sistemas de inteligencia artificial. Así pues, de lo dispuesto en la ley podemos diferenciar dos tipos de evaluación: la evaluación previa a la puesta en servicio o diseño del sistema de inteligencia artificial (art. 16 LIAG) y la evaluación posterior (art. 17 LIAG).
La evaluación previa tiene por objeto, en palabras del legislador, determinar con la antelación suficiente los riesgos potenciales derivados de la implantación del sistema en relación con su «efectividad, seguridad, uso de recursos y costes económicos e impacto organizativo, social y ambiental, así como los mecanismos de mitigación o compensación de sus efectos» (art. 16.2 LIAG).
Como puede observarse, se trata de una evaluación global que aborda no solo las cuestiones relativas a la seguridad y eficacia del sistema, sino también aquellas otras relacionadas con la eficiencia en la gestión de los recursos públicos e incluso con el impacto medioambiental.
En mi opinión, se trata de una medida muy positiva, por cuanto se impone a la Administración el deber de analizar con carácter previo los costes y beneficios de la implantación de un sistema de inteligencia artificial, y ello aun cuando no se considere de alto riesgo a los efectos del RIA. En el supuesto de que se trate de sistemas calificados como de alto riesgo, estas evaluaciones deberán realizarse en consonancia con los requisitos obligatorios previstos por el RIA22, cuestión esta última sobre la que advierte el legislador en el apartado 2 del artículo 5.
Tras el despliegue del sistema de inteligencia artificial, la Administración autonómica gallega realizará evaluaciones adicionales debido a «cambios normativos, sociales y tecnológicos y a los conocimientos adquiridos en el despliegue…» (art. 17.1 LIAG). Al igual que ocurre en las evaluaciones previas, la Administración, cuando actúe en calidad de proveedora, habrá de tener en cuenta, además, las obligaciones previstas por el RIA para los sistemas de inteligencia artificial de alto riesgo23. El objetivo de la evaluación continua de los sistemas es, en palabras del legislador autonómico, «asegurar su calidad y que las personas afectadas reciban un trato justo y no discriminatorio…».
Si, finalizada una evaluación continua, la Administración verifica que el uso de un concreto sistema puede causar daños de «muy difícil reparación» a las personas, a la sociedad o al medioambiente, deberá valorarse el abandono del uso del sistema, previa ponderación de los costes y beneficios derivados de su uso (art. 18 LIAG). Es lo que se conoce como principio de precaución, principio del derecho europeo de honda raigambre y que el legislador autonómico ha introducido en la Ley 2/202524. Este mecanismo de seguridad es fundamental en la gestión de riesgos y permite actuar en situaciones de incertidumbre cuando las evidencias científicas no pueden determinar de forma objetiva los riesgos potenciales de un proceso o producto.
Finalmente, se incorpora una modalidad de evaluación ambiental de los sistemas de inteligencia artificial en el apartado 2 del artículo 17, a fin de que empleen fuentes de energía renovable y sean medioambientalmente sostenibles. Dicha evaluación está en consonancia con el artículo 40 del RIA, artículo este que contiene un mandato específico dirigido a la Comisión Europea para que en sus peticiones de normalización incluyan solicitudes de documentación con la finalidad de mejorar el funcionamiento de los sistemas de alto riesgo desde la perspectiva del consumo de recursos25.
A la pregunta de cómo se llevarán a cabo estas evaluaciones, la respuesta es que el legislador gallego delega esta función en la propia Administración, que deberá desarrollar las herramientas de autodiagnosis que permitan evaluar de forma continuada el cumplimiento de los principios generales previstos en la ley. En concreto, la labor de desarrollo recae sobre la entidad instrumental del sector público competente en materia de tecnologías (art. 52 LIAG).
3. La profesionalización de la Administración: un pilar esencial para la correcta aplicación y desarrollo de sistemas de inteligencia artificial
La profesionalización de la Administración en materia de inteligencia artificial constituye un aspecto nuclear que determinará el éxito o el fracaso de su implementación. Al respecto, es importante tener en consideración que nos encontramos ante una herramienta que, bien empleada, puede contribuir eficazmente a la satisfacción de los intereses generales a través de la mejora de la actuación administrativa.
Entre los beneficios que el uso de la inteligencia artificial proporcionará a la ciudadanía se encuentran la mejora de la eficiencia en la gestión de los recursos públicos (podremos hacer más con menos), la mejora de la eficacia en la prestación del servicio (lo haremos mejor) y un mayor control y transparencia de la actividad de la Administración. Sin embargo, si no se cuenta con un equipo de personas altamente cualificado, la relación coste-beneficio podría invertirse, puesto que el uso de la inteligencia artificial sin una capacitación adecuada provocará mayores riesgos que beneficios.
La ley gallega, sabedora de la necesidad de contar con expertos en la materia, articula una estructura organizativa específica cuya misión es participar en el desarrollo de los proyectos de inteligencia artificial, supervisar los riesgos derivados de la implementación y el uso de los sistemas de inteligencia artificial y, en definitiva, asesorar al resto de órganos de la Administración y del sector público autonómico.
3.1. Los órganos promotores funcionales y los órganos responsables tecnológicos
La norma crea la figura de los órganos promotores funcionales y los órganos responsables tecnológicos. En palabras del legislador autonómico, la principal función de los primeros es la definición funcional y el seguimiento de los proyectos de inteligencia artificial (art. 27.1 LIAG). En aras de cumplir dicha tarea, el apartado 2 del artículo 27 enumera las funciones específicas de los órganos promotores funcionales.
Dichos órganos son los encargados de identificar las necesidades y problemas que requieren la implementación de un sistema de inteligencia artificial. Asimismo, son los encargados de elaborar el informe del proyecto de inteligencia artificial y de realizar el seguimiento funcional del proyecto. En lo que respecta a la elaboración del informe, se trata de una tarea que realizará en tándem con el órgano responsable tecnológico.
Su identificación y designación corresponde a cada consejería y entidad instrumental del sector público. Constituyen, en buena lógica, órganos especializados de carácter sectorial por razón de la materia. Ello es así en la medida en que son los encargados de identificar los problemas y necesidades específicas, tarea que sería harto complicada si el órgano tuviera una naturaleza general26.
Por lo que respecta a los órganos responsables tecnológicos, su designación para cada consejería o entidad instrumental corresponde a la entidad instrumental competente en materia de tecnologías (art. 27.3 LIAG). A diferencia de los órganos promotores funcionales, los órganos responsables tecnológicos desempeñan funciones técnicas en materia de inteligencia artificial. A título ilustrativo, se encargan de evaluar la relación coste-beneficio de la implementación de los sistemas de inteligencia artificial, establecen las especificaciones técnicas de cada sistema y supervisan su entrenamiento, entre otras tareas.
La principal diferencia entre ambos órganos podría resumirse de la siguiente manera: mientras que los órganos promotores funcionales son los encargados de identificar los problemas y necesidades específicas de cada sector, el objetivo de los órganos responsables tecnológicos es dar una respuesta técnica que cubra tales necesidades. Estos últimos no necesitan, pues, conocer el ámbito concreto de actuación administrativa. No obstante, ambos deberán colaborar de forma coordinada para lograr una solución de éxito que se plasme en el proyecto de inteligencia artificial.
3.2. La Oficina de Inteligencia Artificial
Además de los órganos responsables tecnológicos, la entidad instrumental del sector público competente en materia de tecnologías contará en su estructura organizativa con una Oficina de Inteligencia Artificial. Este órgano, inspirado en la Oficina de Inteligencia Artificial prevista en el RIA, desempeña funciones coordinadoras en lo referente a la implementación de proyectos de inteligencia artificial en el sector público autonómico. A fin de cumplir dicho objetivo, la ley gallega le atribuye competencias en materia de supervisión y apoyo de las actuaciones de los órganos responsables tecnológicos y los órganos promotores funcionales (art. 28.1 LIAG).
En especial, la oficina será la encargada de analizar y proponer para su aprobación los proyectos de inteligencia artificial (art. 42.1 LIAG). Junto a esta relevante función consultiva (quizás la más importante), también llevará a cabo labores de supervisión de los riesgos relacionados con el uso y la implementación de sistemas de inteligencia artificial, así como de asesoramiento continuo sobre las tendencias que surjan en este campo. Finalmente, corresponde a este órgano coordinar las relaciones entre la Administración autonómica y las autoridades competentes en la materia (v.g., la Agencia Española de Supervisión de la Inteligencia Artificial o la Oficina Europea de Inteligencia Artificial).
De lo expuesto puede concluirse que la Oficina de Inteligencia Artificial gallega constituye un órgano necesario de cara a garantizar una actuación coherente y coordinada en el sector público autonómico. Téngase en cuenta que por cada consejería o entidad instrumental podrá existir, como mínimo, un proyecto de inteligencia artificial. Esto exige la aplicación de unos criterios comunes que homogenicen la implementación de sistemas de inteligencia artificial en la actuación administrativa.
3.3. La Comisión estratégica para el asesoramientoen inteligencia artificial
Otro de los órganos que podrá constituirse dentro de la estructura de la entidad instrumental del sector público competente en materia de tecnologías es la Comisión estratégica para el asesoramiento en inteligencia artificial. En contraposición a los órganos anteriores, de creación obligatoria, esta comisión tiene carácter facultativo.
Su finalidad, siguiendo el tenor literal del articulado de la ley, es analizar y valorar «aquellos proyectos que por su nivel de riesgo, impacto o complejidad tengan, a su juicio, carácter estratégico» (art. 29.1 LIAG). Este órgano de naturaleza especial será de suma utilidad para el asesoramiento en contextos en los que la inteligencia artificial se emplea, entre otras situaciones, en infraestructuras críticas, ya sea para mejorar su funcionamiento o como componente de seguridad (v.g., para controlar y gestionar el suministro de agua o el tráfico aéreo).
La comisión tendrá la naturaleza de grupo de trabajo (art. 29.2 LIAG) y sus informes serán tenidos en cuenta por la entidad instrumental del sector público en materia de tecnologías, órgano competente para la adopción del proyecto de inteligencia artificial, de acuerdo con el artículo 42.2 de la ley. Nos encontramos, pues, ante un órgano constituido ad hoc por razón del carácter estratégico del proyecto de inteligencia artificial. Por consiguiente, su existencia se limita al asesoramiento especializado en relación con un proyecto determinado. Ergo, podrán constituirse tantas comisiones como proyectos de inteligencia artificial de carácter estratégico existan.
Por lo que atañe a su duración, de sus funciones se deduce que se trata de un órgano de carácter temporal. Una vez que la comisión haya emitido el informe y se haya tomado la decisión relativa a la adopción del proyecto de inteligencia artificial, será disuelta por haber cumplido el fin que justificó su creación.
3.4. El Consejo Gallego de Inteligencia Artificial
Pone el broche a la estructura organizativa analizada el Consejo Gallego de Inteligencia Artificial, mecanismo institucional de colaboración público-privada desarrollado por el artículo 30 de la ley. Al igual que la Oficina de Inteligencia Artificial, este órgano se inspira, aunque su naturaleza es completamente diferente, en el Consejo Europeo de Inteligencia Artificial del artículo 65 del RIA.
El Consejo tiene naturaleza meramente consultiva y carácter permanente. Otro dato significativo que cabe destacar es que no se integra en la estructura organizativa de la entidad instrumental del sector público competente en materia de tecnologías, lo que sí ocurre con la Oficina de Inteligencia Artificial. A diferencia de esta, el Consejo se adscribe a la consejería competente en materia de tecnologías de la información.
Ello se explica por las funciones que tiene encomendadas y la composición del órgano, factores ambos que impiden insertar al Consejo Gallego de Inteligencia Artificial en una estructura jerárquica. La voluntad del legislador ha sido, pues, configurar este órgano como cauce de participación y representación de las partes interesadas en la materia, de ahí que su composición sea plural, formando parte del mismo tanto personal directivo del sector público autonómico como representantes del sector privado (art. 30.3 LIAG). Por su parte, la presidencia recae sobre la persona titular de la entidad instrumental competente en materia de tecnologías.
Respecto de las funciones a desempeñar, destacan, en el plano consultivo, la de tomar conocimiento de la Estrategia gallega de inteligencia artificial, a fin de formular las observaciones y sugerencias que procedan. Asimismo, es el órgano encargado de asesorar, previa solicitud, a la entidad instrumental del sector público competente en materia de tecnologías. De otra parte, también se le atribuyen funciones destinadas a la mejora del diseño y la planificación de las políticas públicas relativas a la inteligencia artificial27.
En definitiva, estamos ante un órgano que, bien entendido, puede ser de enorme utilidad para el diseño de políticas públicas eficaces en materia de inteligencia artificial. La incorporación como vocales de miembros del sector empresarial y de profesionales de las tecnologías contribuirá a una mejor regulación y a facilitar la implementación de la inteligencia artificial no solo en las administraciones públicas, sino también en el sector privado.
3.5. Las personas comisionadas de inteligencia artificial
La persona comisionada de inteligencia artificial es una figura de nueva creación que responde a la necesidad de profesionalizar la Administración con carácter previo al completo despliegue de los sistemas de inteligencia artificial en la actividad administrativa.
En palabras del legislador gallego, constituyen «un elemento crucial en el mecanismo de gobierno interno de la Administración autonómica, en su rol de proveedor y responsable del despliegue de sistemas de inteligencia artificial» (apartado VI de la exposición de motivos). En síntesis, su finalidad es la de velar por el cumplimiento de los principios y obligaciones aplicables a los sistemas de inteligencia artificial implementados en el sector público autonómico.
En cuanto a su formación, no se exige un título concreto, pero sí que posean conocimientos «técnicos, jurídicos, éticos, de normas de seguridad y de decisiones automatizadas» (art. 36.2 LIAG). Se trata, pues, de un perfil interdisciplinar que exige una formación polivalente, no limitada a aspectos meramente técnicos o jurídicos. Las funciones concretas a desempeñar por las personas comisionadas están determinadas en el apartado 3 del artículo 36, al cual me remito. Aquí solo abordaré las competencias que, a mi juicio, pueden producir efectos jurídicos significativos en los procedimientos administrativos.
En primer lugar, los interesados en el procedimiento podrán, con carácter previo a la interposición de un recurso, plantear una queja o sugerencia ante la persona comisionada. La queja o sugerencia tiene carácter potestativo, por lo que en ningún caso los interesados estarán obligados a formularla. Ahora bien, si decidieran hacerlo, la persona comisionada tiene un plazo de dos meses para comunicar a los interesados la adopción (o no adopción) de medidas. El procedimiento a seguir será el previsto en el artículo 16 de la Ley 1/2015, de 1 de abril, de garantía de la calidad de los servicios públicos y de buena administración.
A mi modo de ver, la formulación de una simple queja no suspende el plazo para interponer el recurso que corresponda en la vía administrativa o judicial. Luego, el interesado, una vez presentada la queja o sugerencia, deberá formular recurso antes de que prescriba su derecho a recurrir.
En segundo lugar, debe diferenciarse el derecho a plantear quejas o sugerencias del deber de la persona comisionada de emitir informe en caso de que se formule recurso o reclamación en vía administrativa. En este supuesto, sí se suspende el plazo que tiene la Administración para resolver el recurso o la reclamación, ex artículo 22.1, letra d) de la Ley 1/2015, de 1 de octubre, del procedimiento administrativo común de las administraciones públicas. El informe que dicte la persona comisionada, que habrá de valorar no solo las cuestiones técnicas, sino también las jurídicas, deberá tenerse en cuenta en la resolución del recurso.
En otro orden de cosas, ya se ha puesto de manifiesto en los párrafos anteriores que las personas comisionadas de inteligencia artificial deben ser empleados públicos con perfiles interdisciplinares. Pero, ¿existen tales perfiles en la actualidad? La respuesta es un no rotundo. ¿A quién corresponde, pues, desempeñar las funciones de esta nueva figura? El legislador autonómico, partiendo de una solución difícilmente sostenible a medio plazo, atribuye las funciones de las personas comisionadas a los delegados de protección de datos, quienes recibirán una formación específica en la materia que los capacite para el desempeño de sus nuevas tareas.
¿Es la atribución de funciones a los delegados de protección de datos una solución adecuada para afrontar la implementación generalizada de la inteligencia artificial en la Administración? Solo el tiempo tiene la respuesta. A mi parecer, en un futuro no muy lejano, es probable que sea necesaria la creación de cuerpos funcionariales a nivel estatal y autonómico dedicados plenamente al ejercicio de funciones relacionadas con el uso y la supervisión de la inteligencia artificial en las administraciones públicas.
4. La actividad planificadora en materia de inteligencia artificial
En buena medida, el éxito de una política pública viene precedido de una correcta planificación que identifique los objetivos a perseguir y los medios necesarios para alcanzarlos. El legislador gallego, consciente de la importancia de la planificación administrativa para el impulso y el desarrollo de la inteligencia artificial en Galicia, crea un sistema que va de lo general (Estrategia gallega de inteligencia artificial) a lo específico (proyectos de inteligencia artificial).
Resulta de interés destacar que la planificación que plantea el legislador autonómico no se limita a la actividad interna de la Administración, sino que se extiende al ámbito privado. Siguiendo la clasificación propuesta por el profesor Vaquer Caballería, se trataría, por tanto, de una planificación de naturaleza mixta, a caballo entre la planificación socioeconómica de un sector concreto y la planificación interna de la Administración28.
4.1. La Estrategia gallega de inteligencia artificial
En la cúspide del sistema de planificación se encuentra la Estrategia gallega de inteligencia artificial, regulada en el artículo 32 de la norma. Este documento tiene por objeto, grosso modo, el «establecimiento de los objetivos generales y particulares que se pretendan conseguir con su desarrollo en el ámbito de la inteligencia artificial en Galicia» (art. 32.1 LIAG).
La elaboración de la estrategia corresponde a la entidad instrumental del sector público competente en materia de tecnologías, mientras que su adopción es competencia de la Xunta de Galicia. Se trata, pues, de un procedimiento bifásico en el que la entidad instrumental competente elabora el documento pero la decisión final la toma el órgano de gobierno de la comunidad autónoma.
Respecto al contenido, la ley desarrolla pormenorizadamente la información básica que debe incorporarse a la Estrategia gallega de inteligencia artificial en el apartado 3 del artículo 32. Sin ánimo de transcribir aquí el contenido literal del precepto, interesa destacar las cuestiones relativas al seguimiento y ejecución de la estrategia, así como lo referente a la evaluación ex post de estrategias anteriores.
De una parte, el legislador obliga a que la planificación incluya indicadores o métodos que permitan controlar el seguimiento de la ejecución y evaluar la eficacia de los programas [art. 32.3, letra h) LIAG]. Esta información deberá ponerse a disposición de las partes interesadas y de la sociedad en general. De otra, también impone que en cada estrategia se incluya el nivel de cumplimiento de los objetivos previstos en estrategias previas [art. 32.3, letra i) LIAG].
Aquí me parece conveniente insistir en que la entidad instrumental encargada de la elaboración del documento no puede limitarse a redactar fórmulas genéricas en las que se declare el cumplimiento de lo previsto en estrategias anteriores. Por el contrario, la ciudadanía tiene el derecho a conocer los resultados concretos y el grado de cumplimiento del contenido de la estrategia de forma precisa.
Ambas medidas tienen un doble objetivo. El primero, que la Administración cuente con la información suficiente para corregir posibles deficiencias y valorar la eficacia y el grado de cumplimiento de las estrategias adoptadas. En otras palabras, supone introducir un mecanismo para la evaluación ex post de las políticas públicas en materia de inteligencia artificial. El segundo, rendir cuentas ante la ciudadanía, garantizando que esta pueda seguir las actuaciones de la Administración autonómica en la materia durante todo el ciclo de vida de la estrategia.
El periodo de vigencia de la estrategia será de cinco años, que podrá verse reducido si existen razones que lo justifiquen. En una materia como la inteligencia artificial, en constante y rápida evolución, cierto grado de flexibilidad es imperativo. No será extraño, por tanto, que algunos de los documentos que se adopten en el futuro tengan una vigencia inferior.
4.2. Los programas sectoriales de inteligencia artificial
El segundo escalón del sistema de planificación lo integran los programas sectoriales de inteligencia artificial. En puridad, es preciso aclarar que el sistema no actúa como un sistema jerárquico, sino concéntrico, en la medida en que estos programas forman parte de la Estrategia gallega de inteligencia artificial [art. 32.3, letra b) LIAG].
Los programas, como su propio nombre indica, constituyen planes de naturaleza sectorial elaborados por la consejería competente por razón de la materia en colaboración con la entidad instrumental del sector público competente en materia de tecnologías. Ello quiere decir que pueden existir, como mínimo, tantos programas sectoriales como consejerías. El contenido de estos documentos, con algunos matices, es prácticamente idéntico al de la Estrategia gallega de inteligencia artificial.
En relación con su aprobación, esta corresponde a la Xunta de Galicia, no a las consejerías, de conformidad con el artículo 33 de la ley. Así pues, las consejerías se limitarán a elaborar y proponer el programa sectorial, pero el visto bueno final lo dará en todo caso el órgano de gobierno autonómico. Ello se desprende del tenor literal del articulado y de la propia naturaleza concéntrica del sistema de planificación. Los programas sectoriales no tienen carácter autónomo. Antes bien, constituyen la clave de bóveda de la Estrategia gallega de inteligencia artificial.
4.3. Los proyectos de inteligencia artificial
El sistema de planificación articulado por el legislador gallego se completa con la figura de los proyectos de inteligencia artificial (denominados también por la norma proyectos de sistemas de inteligencia artificial). Esta categoría es sustancialmente diferente a las dos anteriores, por cuanto no solo se ocupa de los objetivos o necesidades a cubrir, sino también de establecer las especificaciones técnicas del sistema de inteligencia artificial a implementar [art. 34.2, letra c) LIAG].
Debido a su carácter mixto, la elaboración del informe del proyecto de inteligencia artificial compete conjuntamente a los órganos promotores funcionales y a los responsables tecnológicos (art. 41.1 LIAG). Una vez redactado, el informe del proyecto pasará a la Oficina de Inteligencia Artificial, que, tras analizarlo, emitirá una propuesta para su aprobación en el plazo máximo de un mes, de acuerdo con el procedimiento establecido en el título III de la ley (art. 42.1 LIAG).
La aprobación definitiva corresponde a la persona titular de la entidad instrumental competente en materia de tecnologías, que dictará resolución en el plazo máximo de dos meses, a contar desde la recepción del informe del proyecto en el registro de la entidad instrumental. El transcurso del plazo para resolver producirá la denegación del proyecto por silencio negativo (art. 42, apartados 2 y 3 LIAG).
La aprobación de un proyecto conlleva el inicio de la fase de diseño y desarrollo o, en su lugar, de la fase de adquisición e implementación del sistema. Qué fase concreta proceda es algo que dependerá del propio proyecto de inteligencia artificial aprobado, ya que uno de los puntos que necesariamente debe contener es «La determinación de la forma de creación del sistema de inteligencia artificial, bien por diseño por los propios medios, bien por adquisición» [art. 34.2, letra d) LIAG].
5. Colaboración público-privada y cooperación interadministrativa: herramientas estratégicas para el diseño, desarrollo y adquisición de sistemas de inteligencia artificial destinados a la mejora de los servicios públicos
El ritmo al que avanza la tecnología hace que sea harto complicado, por no decir imposible, que la Administración diseñe y desarrolle con medios propios sistemas de inteligencia artificial. La complejidad de la materia y su carácter innovador, unidos a la escasez de conocimientos técnicos, capital humano y medios materiales, hacen muy difícil que las administraciones públicas desarrollen sus propios sistemas.
Sin embargo, lejos de ser un obstáculo, lo cierto es que se trata de una ventana de oportunidad para fortalecer y aprovechar los mecanismos existentes de colaboración público-privada29. La relevancia de aunar sinergias entre ambos sectores se pone de relieve a lo largo de la norma analizada30, hasta el punto de que se otorga a dicha colaboración el rango de principio general de actuación (art. 20 LIAG).
En el campo de la inteligencia artificial la cooperación con el sector privado es primordial, dado su vasto conocimiento y amplia experiencia en un ámbito tan complejo como es el de las tecnologías innovadoras.
El legislador gallego, conocedor de los motivos que aquí se señalan, dispone que «se procurará la elección de modalidades de contratación pública de innovación» (art. 45.1, in fine LIAG). El citado precepto debe interpretarse en conexión con el artículo 68 de la ley, rubricado «Compra pública estratégica de inteligencia artificial», que prevé disposiciones específicas en materia de diseño, desarrollo o adquisición de sistemas de inteligencia artificial.
5.1. La adquisición de sistemas de inteligencia artificial a través de la compra pública de innovación
En cuanto a las modalidades de contratación pública de soluciones innovadoras, los instrumentos con los que cuenta el sector público gallego son tres: la compra pública precomercial, la compra pública de tecnología innovadora y el procedimiento específico de contratación de asociación para la innovación31. Estos tres mecanismos forman parte de lo que se conoce como Compra Pública de Innovación, un concepto que define «una actuación administrativa de fomento del I+D+i orientada a potenciar el desarrollo de nuevos mercados innovadores desde el lado de la demanda a través del instrumento de la contratación pública»32.
La opción de uno u otro dependerá básicamente del grado de madurez de la tecnología33. En mi opinión, el desarrollo de sistemas de inteligencia artificial cuya finalidad específica sea la realización u orientación de actuaciones administrativas tiene un carácter claramente novedoso, por lo que el uso de la compra pública de innovación está plenamente justificado, de acuerdo con el concepto de innovación establecido por la Directiva 2014/24/UE, sobre contratación pública34.
Este razonamiento implica que los órganos de contratación podrán acudir a cualquiera de los instrumentos disponibles, inclusive la compra pública precomercial. Y ello por una simple razón: si bien ya existen en el mercado sistemas de inteligencia artificial, es altamente probable que estos softwares no se adapten a las exigencias y especificidades que requiere su uso en las administraciones públicas. La innovación radica, pues, bien en la adaptación o mejora de los sistemas existentes al contexto en que han de ser aplicados, bien en el desarrollo de nuevos softwares que aún no están disponibles en el mercado.
Dicho lo cual, el legislador gallego prioriza el procedimiento de asociación para la innovación respecto de las demás modalidades. No obstante, la propia norma permite acudir a las demás opciones de compra pública de innovación cuando existan motivos que lo justifiquen. La ventaja del procedimiento de asociación para la innovación reside principalmente en que la Administración podrá adquirir los sistemas de inteligencia artificial creados en la fase de investigación y desarrollo35. Ello permite centralizar la fase de I+D+i y de comercialización en un solo procedimiento de contratación, en contraposición a la compra pública precomercial y a la compra pública de tecnología innovadora.
5.2. Los acuerdos de contratación conjunta de sistemas de inteligencia artificial
El apartado 3 del artículo 68 prevé la posibilidad de que la Administración y el sector público autonómico lleguen a acuerdos con otras administraciones con la finalidad de contratar de forma coordinada las soluciones de inteligencia artificial destinadas a la mejora de los servicios públicos.
En concreto, aunque no solo, el citado apartado regula dos modalidades de contratación conjunta. La primera únicamente tiene por objeto la elaboración de especificaciones técnicas comunes. En esta modalidad, los procedimientos de contratación seguirán siendo independientes. La segunda, por su parte, implica la asunción de la gestión del procedimiento de contratación en nombre de todas las administraciones que participen en el acuerdo de contratación conjunta.
Esta última opción puede resultar muy útil de cara a facilitar la adquisición de sistemas de inteligencia artificial por parte de las entidades locales, principalmente de los pequeños municipios, que pueden tener serias dificultades para licitar debido a la escasez de medios personales y materiales36. Asimismo, una de las ventajas de la contratación centralizada es que permitirá adquirir soluciones de inteligencia artificial en mejores condiciones gracias a la economía de escala.
En ambos supuestos, los términos de la colaboración deberán quedar reflejados en los acuerdos de contratación conjunta que se formalicen.
5.3. La elaboración de un catálogo de cláusulas tipo en función del nivel de riesgo del sistema de inteligencia artificial
Qué tipos de sistemas de inteligencia artificial emplee el sector público dependerá en gran medida del contenido de los pliegos de cláusulas administrativas y técnicas que se utilicen en los procedimientos de contratación pública. Así pues, podríamos afirmar sin temor a caer en la hipérbole que ambos documentos constituyen uno de los elementos basilares sobre los que se edificará el modelo de Administración digital del siglo XXI.
Con la finalidad de garantizar un uso de la inteligencia artificial responsable y respetuoso con los derechos de los ciudadanos, el legislador autonómico impone a la entidad instrumental competente en materia de tecnologías la obligación de elaborar un catálogo de cláusulas en función del nivel de riesgo de los sistemas de inteligencia artificial a diseñar, desarrollar o adquirir37. Para acometer esta tarea, la entidad contará con la asistencia de la Asesoría Jurídica General y de la Secretaría de la Junta Consultiva de Contratación Administrativa de la Comunidad Autónoma de Galicia.
La diferenciación en función del riesgo responde al principio de proporcionalidad, pues carece de sentido exigir los mismos requisitos a un sistema de inteligencia artificial de alto riesgo (v.g., un sistema que actúe como componente de seguridad de una infraestructura crítica) que a un sistema que se limita a realizar sencillas tareas de gestión que no afectan a la esfera jurídica del ciudadano (v.g., un sistema destinado a tareas de gestión administrativa con efectos ad intra).
Respecto del contenido, el apartado 4 del artículo 68 enumera un conjunto de requisitos mínimos que las cláusulas tipo deben garantizar. Este apartado debe interpretarse en conexión con el artículo 45.3, que remite, a su vez, a los requisitos de diseño contemplados en el artículo 43; la mayoría de ellos coinciden con los requisitos esenciales exigidos por el RIA para los sistemas de inteligencia artificial de alto riesgo. Cabe destacar que no se trata de un listado que opere numerus clausus38, por lo que la entidad instrumental podrá incorporar cláusulas que garanticen otros requisitos no previstos expresamente.
De nuevo, es preciso tener presente que los sistemas de inteligencia artificial calificados como de alto riesgo cumplirán por imperativo del RIA con prácticamente todos los requisitos exigidos por la ley gallega. De ahí que, si los sistemas a adquirir cuentan con la declaración UE de conformidad y el marcado CE, cabría presumir que cumplen con los requisitos de la ley gallega que coincidan con los previstos por el Reglamento europeo de inteligencia artificial (v.g., los requisitos relativos a la ciberseguridad o a la supervisión humana).
Cuestión distinta es que la Administración decida elevar los estándares de seguridad y calidad de los sistemas que emplee. Ello es perfectamente posible y no vulneraría el derecho de la Unión, en la medida en que no supone un obstáculo a la comercialización. Los Estados miembros tienen el poder de decidir los requisitos que deben cumplir los sistemas que vaya a utilizar su sector público. El RIA simplemente establece un suelo mínimo y máximo que opera de cara a la comercialización de determinados sistemas de inteligencia artificial y modelos de inteligencia artificial de uso general en el mercado único europeo.
Ello implica que un Estado miembro no podría exigir mayores ni menores requisitos que los previstos en el RIA para permitir la introducción en el mercado o la puesta en servicio de un sistema. Ahora bien, lo que sí puede hacer es determinar qué requisitos deben cumplir los sistemas que va a emplear la Administración. Aquí solo opera un límite negativo: si el RIA exige la evaluación previa de la conformidad de un sistema y el correspondiente marcado CE, su comercialización o puesta en servicio está supeditada a que el sistema cuente con la declaración UE de conformidad y el referido marcado.
En resumen, el legislador estatal y autonómico puede decidir los requisitos que deben cumplir los sistemas de inteligencia artificial desplegados en el sector público, con la única salvedad de que no podrán ponerse en servicio sistemas que no cuenten con el marcado CE, cuando este sea obligatorio. Muestra de ello es que la propia ley gallega establece un conjunto de requisitos mínimos aplicables a todos los sistemas de inteligencia artificial, sin distinciones en función del riesgo, a diferencia del RIA, cuyas exigencias imperativas solo se aplican a determinados sistemas (sistemas de alto riesgo y modelos de inteligencia artificial de uso general, principalmente).
6. La Administración autonómica gallega como arquetipo de Administración facilitadora
Siguiendo la lúcida teoría propuesta por el profesor Gamero Casado, un análisis detallado de la ley gallega permite concluir que el legislador autonómico se inclina por una concepción de la Administración pública como Administración facilitadora. En palabras del profesor, se entiende por tal «una Administración cercana, que se identifica con los objetivos del sector privado y que se implica proactivamente en su consecución»39.
En el ámbito que nos ocupa, la Administración no se limita a supervisar y controlar la conducta de los operadores que participan en la cadena de suministro de la industria de la inteligencia artificial. Antes bien, trasciende tal función reguladora40 para colocarse al lado (no encima) del sector privado, posicionándose así como un actor determinante para el fortalecimiento y el despegue de un campo que ya está transformando la sociedad.
La Administración facilitadora supone abandonar una relación basada en la desconfianza en el sector privado para avanzar hacia una relación simbiótica basada en el principio de confianza recíproca. Partiendo de esta concepción, las causas y motivos que llevan a la ordenación de un sector económico no se fundamentan únicamente en garantizar derechos o atender el interés general a través del sector privado (actividad de garantía, siguiendo al profesor Esteve Pardo41), sino que también se persigue lograr el máximo beneficio para la sociedad mediante la creación de las condiciones óptimas para impulsar la inversión y generar riqueza.
Pese a que el espíritu de la norma está impregnado de esta concepción, las medidas concretas que confirman la función facilitadora de la Administración autonómica gallega se concentran en el título V, rubricado «De las medidas para el impulso de la inteligencia artificial en Galicia». Este título, a su vez, se divide en tres capítulos. El primero se dedica a la introducción de medidas económicas y fiscales; el segundo a medidas en materia de I+D+i y, el tercero, a medidas de formación y capacitación.
La importancia de las medidas de impulso está fuera de toda duda, pues representan nada menos que un 26 % del total del articulado (diecinueve artículos, excluyendo las disposiciones). Al tratarse de un análisis global de la norma, no es posible (ni recomendable) centrar el estudio en todas y cada una de las medidas propuestas, por lo que destacaré las que considero más importantes.
6.1. Medidas en materia de simplificación administrativa
En materia de simplificación administrativa y agilización de proyectos estratégicos, todos los proyectos industriales relacionados directamente con la inteligencia artificial que se desarrollen en Galicia se considerarán proyectos industriales estratégicos a los efectos de lo dispuesto en el Decreto legislativo 1/2015, de 12 de febrero.
Ello significa que podrán beneficiarse de las medidas de simplificación administrativa (reducción de plazos, concesión directa de subvenciones, etcétera…) contempladas en el artículo 79.4 del Decreto legislativo 1/2015. Asimismo, por lo que se refiere a los proyectos empresariales singulares, el sector de la inteligencia artificial será considerado como de especial importancia a los efectos de la Ley 3/2022, de 18 de octubre, de áreas empresariales de Galicia.
6.2. Medidas fiscales, de impulso a la transición energética y de impulso empresarial
Entre las actuaciones dirigidas al impulso empresarial, el emprendimiento y la inversión, destacan la creación de un sistema de vigilancia tecnológica en inteligencia artificial para las empresas (art. 58.2 LIAG); la creación de programas de incubación, aceleración y consolidación de empresas emergentes o startups en inteligencia artificial (art. 59 LIAG) o el diseño de instrumentos financieros que fomenten la inversión en inteligencia artificial y tecnologías emergentes (art. 60 LIAG).
En materia de transición energética, el legislador introduce un mandato dirigido al sector público gallego para que promueva el uso de la inteligencia artificial en toda la cadena de suministro eléctrica. En este ámbito, si bien es cierto que la inteligencia artificial puede ayudar a optimizar el consumo energético y contribuir a la sostenibilidad medioambiental, no debe pasarse por alto que un uso intensivo también tiene consecuencias negativas en el medioambiente.
Este impacto negativo se debe principalmente al alto consumo de energía y agua que requiere para operar. De ahí que los poderes públicos deban ser conscientes de la necesidad de abogar por un uso estratégico, racional y controlado de la inteligencia artificial.
Finalmente, en materia tributaria, el artículo 61 dispone que se promoverán medidas fiscales tendentes a la reducción de los costes fiscales que afronten las empresas dedicadas a la inteligencia artificial y al otorgamiento de beneficios fiscales para las personas que inviertan en dichas empresas.
6.3. La creación de factorías o fábricas de inteligencia artificial: un espacio para el fomento de la colaboración público-privada
Otra de las medidas que podrían convertir a Galicia en un polo de atracción de talento son las factorías o fábricas de inteligencia artificial. Estas fábricas constituyen un espacio de innovación construido en torno a un supercomputador (en el caso concreto, en torno al Centro de Supercomputación de Galicia). Una de las principales ventajas de su construcción es que permitirá a las empresas acceder a recursos de supercomputación (v.g., para desarrollar y entrenar sus propios modelos de inteligencia artificial) que antes estaban reservados en exclusiva a la comunidad investigadora. En consecuencia, se trata de un mecanismo que fomentará y reforzará la colaboración público-privada en el desarrollo de soluciones de inteligencia artificial.
En el momento de escribir estas páginas, la única fábrica de inteligencia artificial con la que contamos en España tiene su sede en Barcelona, concretamente en el Barcelona Supercomputing Center - Centro Nacional de Supercomputación (BCN-CNS). No obstante, conviene tener presente que la creación de estas factorías no es una decisión exclusiva de los poderes públicos autonómicos o estatales, ya que parten de una iniciativa europea. Así, corresponde a la Empresa Común de Informática de Alto Rendimiento Europea (EuroHPC JU), a través de un procedimiento específico (convocatoria de manifestación de interés), seleccionar los mejores proyectos de factoría de entre los presentados por los candidatos42.
Dicho esto, y habida cuenta del espíritu y del contenido de la norma analizada, es probable que la factoría de Barcelona no sea la única en España. Este espíritu se desprende de los mandatos dirigidos al impulso de grandes infraestructuras de supercomputación (art. 64 LIAG)43; a la creación de un espacio de datos que facilite el acceso a información de calidad en los términos establecidos por la normativa europea (art. 65 LIAG); y, en definitiva, a la expresa referencia a la puesta en marcha de factorías de inteligencia artificial o iniciativas similares (art. 66 LIAG).
6.4. Medidas de alfabetización en materia de inteligencia artificial
La alfabetización en materia de inteligencia artificial44 es un factor ineludible para maximizar los beneficios y minimizar los potenciales riesgos derivados de su uso. A tal fin, y en cumplimiento del artículo 4 del RIA, el legislador autonómico prevé el impulso y la promoción de medidas formativas que no se circunscriben únicamente a los empleados públicos, sino que también se extienden al sector privado (sean trabajadores o personas desempleadas) y a la ciudadanía en general.
Por lo que respecta a los empleados públicos, el sector público autonómico deberá habilitar los medios necesarios que garanticen su capacitación inicial y formación continua (art. 69 LIAG). El contenido, en buena lógica, comprende tanto los aspectos técnicos de la inteligencia artificial como los jurídicos y éticos. En mi opinión, la formación previa del empleado público en materia de inteligencia artificial es una conditio sine qua non para la implementación generalizada de esta herramienta.
Planteo la siguiente reflexión, ¿permitiríamos a un agente de las fuerzas y cuerpos de seguridad utilizar un arma sin la correspondiente formación y licencia? Obviamente, no, ya que un uso incorrecto del arma reglamentaria puede provocar daños a derechos fundamentales como la integridad física o la vida.
Pues bien, aunque el símil pueda parecernos exagerado prima facie, lo cierto es que un uso inadecuado de los sistemas de inteligencia artificial puede lesionar derechos fundamentales como el derecho a la igualdad, a la intimidad, a la protección de datos e incluso a la propia vida o a la integridad física. Por este motivo, estaría plenamente justificado prohibir el uso de la inteligencia artificial en la actividad administrativa cuando el empleado público carezca de la capacitación necesaria para utilizar la inteligencia artificial con plenas garantías.
En la esfera del sector privado, la ley también obliga al sector público autonómico a promover medidas de alfabetización directas e indirectas (estas últimas a través de medidas de apoyo a empresas y entidades del tercer sector que lleven a cabo planes de formación en inteligencia artificial); programas de actuación profesional; y, por último, formación en la materia para personas desempleadas a través del servicio público de empleo autonómico.
Las medidas, contenidas en el artículo 70, tienen por objeto la capacitación de las personas trabajadoras o desempleadas, por lo que su ámbito de actuación queda constreñido a la esfera laboral. La inclusión expresa de medidas dirigidas a estos grupos específicos es, a mi juicio, muy necesaria, ya que cada día son más los puestos de trabajo que aplican inteligencia artificial. Una buena formación en la materia incrementará la productividad y mejorará la empleabilidad de las personas demandantes de empleo.
Además, se prevé el apoyo específico a programas de máster y doctorado en el campo de la inteligencia artificial (art. 71 LIAG) y, lo que me parece más importante, medidas de alfabetización dirigidas a la ciudadanía en general (art. 72 LIAG). Este último aspecto es trascendental, ya que los riesgos derivados de un uso inadecuado de la inteligencia artificial ya se están materializando. La sociedad necesita que las administraciones públicas prevengan y conciencien a la ciudadanía sobre los usos nocivos de la inteligencia artificial.
7. Consideraciones finales
Tras el examen del texto legislativo, puede confirmarse que el legislador gallego ha cubierto con acierto una laguna normativa que, de no haberse corregido, podría haber generado graves perjuicios en los derechos e intereses legítimos de la ciudadanía. Como reseñaba al inicio de este estudio, la articulación de un marco jurídico específico que regule el uso de la inteligencia artificial es un presupuesto fundamental para la implementación generalizada de la inteligencia artificial en las administraciones públicas.
Como recomendación, convendría mejorar en un futuro la sistemática de la ley y reducir su carácter principialista, diferenciando nítidamente lo que constituyen principios generales de actuación de lo que son deberes jurídicos concretos, requisitos técnicos de los sistemas o derechos subjetivos (v.g., art. 6, apartados 2 y 3; y arts. 7, 8, 10, 11, 16, 17 LIAG, principalmente). El capítulo II del título preliminar, aun estando de acuerdo con su contenido, podría generar confusión en el operador jurídico encargado de la interpretación y aplicación de la norma. En derecho administrativo, el nomen iuris de las instituciones no es, bajo mi punto de vista, una cuestión menor, pues la configuración legislativa de un precepto como principio general de actuación, sin negar su relevancia, no produce los mismos efectos que su configuración como deber jurídico o derecho subjetivo.
Una alternativa podría ser que el título IV, dedicado a regular el uso de los sistemas y modelos de inteligencia artificial, acogiera algunas de las obligaciones o derechos contenidos en el título preliminar, como la buena administración del artículo 6 y la reserva de humanidad y supervisión humana del artículo 12. Ídem ocurre con el capítulo III del mismo título, dedicado a los derechos de la ciudadanía. Al tratarse de derechos que el ciudadano puede hacer valer frente a la Administración como consecuencia de un uso contrario a derecho de la inteligencia artificial, tendrían un mejor encaje en el título IV.
En cuanto a los principios generales que en realidad son requisitos obligatorios que han de cumplir los sistemas de inteligencia artificial o la Administración en su calidad de proveedora o responsable del despliegue, sería más adecuado que pasaran a formar parte del capítulo II del título III. Dentro de esta categoría se incluyen los «principios generales» de auditabilidad, trazabilidad y explicabilidad del artículo 7; de seguridad y privacidad del artículo 11 y de evaluación de los artículos 16 y 17. La seguridad del sistema o su explicabilidad no son principios de actuación, sino requisitos técnicos que el software de inteligencia artificial tiene que cumplir para poder ser desplegado en el sector público autonómico.
De otra parte, se recomienda corregir las redundancias presentes en algunos artículos. Como botón de muestra, el artículo 50, dedicado al alcance del uso de sistemas de inteligencia artificial en la toma de decisiones, viene a decir lo mismo que el artículo 12, pero de forma distinta. Igual sucede con la exigencia de motivación de las decisiones, que se repite, aunque de forma diferente, en los artículos 6 y 23.1, b) de la ley. Estas redundancias refuerzan el argumento de la necesidad de mejorar la estructura del texto analizado, a fin de dotar de coherencia y unidad a su contenido.
En lo que respecta a la estructura organizativa y a la profesionalización, la ley cubre una exigencia básica para el despliegue de la inteligencia artificial en el sector público autonómico. Resulta especialmente plausible la configuración del Consejo Gallego de Inteligencia Artificial como fórmula institucionalizada de colaboración público-privada. Aprovechar el conocimiento del sector privado en materia de inteligencia artificial es una cuestión vital para la mejora de las políticas públicas en este ámbito.
En fin, sin ánimo de extenderme, para terminar solo me resta decir que la sociedad gallega cuenta con una norma necesaria y adecuada a la realidad social. Galicia ha dado el primer paso, ahora solo queda que las demás comunidades autónomas y el Estado, con sus matices y diferencias, avancen en la misma dirección. La Administración del siglo XXI exige reformas estructurales de profundo calado, reformas estas que afectan, a su vez, a los propios cimientos del Derecho Administrativo. De ahí que los administrativistas no podamos permanecer ajenos a los cambios, ni pretender hallar respuestas a los problemas que plantea la Administración actual con esquemas mentales anacrónicos.
La ley gallega, con su espíritu visionario, da un paso decisivo hacia la más que necesaria remodelación de la arquitectura administrativa. Estaremos bien atentos a su desarrollo reglamentario y aplicación.
8. Bibliografía
Álvarez García, V. y Tahirí Moreno, J., “La regulación de la inteligencia artificial en Europa a través de la técnica armonizadora del nuevo enfoque”, Revista General de Derecho Administrativo, 63, 2023.
Bermejo Latre, J. L., “La aplicación de la inteligencia artificial en la actividad formal e informal de la Administración”, en Valcárcel Fernández, P. y Hernández González, F. L. (coords.), El derecho administrativo en la era de la inteligencia artificial, Instituto Nacional de la Administración pública, 2025, pp. 223-250.
Carrillo Donaire, J. A., “La compra pública de innovación: retos y oportunidades para el desarrollo de la I+d+i desde la demanda pública”, en IUS ET VERITAS: Revista de la Asociación IUS ET VERITAS, 2021, pp. 38-59.
Cofrades Aquilué, L, “La función de asistencia y cooperación en contratación pública”, en Gimeno Feliu, J. M. (dir.) y de Guerrero Manso, C. (coord.), Observatorio de los contratos públicos 2022, Aranzadi, 2023, pp. 321–339
De Guerrero Manso, C., “La asociación para la innovación: Nuevo procedimiento de adjudicación que permite a los órganos de contratación ser protagonistas del proceso de adquisición de bienes, servicios u obras innovadoras”, en Fernández Salmerón, M. y Martínez Gutiérrez, R. (dirs.), Transparencia, innovación y buen gobierno en la contratación pública, Comares, 2018, pp. 271-304.
Esteve Pardo, J., “La Administración garante. Una aproximación”, Revista de Administración pública, 197, 2015, pp. 11-39.
Gamero Casado, E., “La Administración facilitadora: el papel de la Administración pública en el nuevo orden socio económico”, Revista Andaluza de Administración pública, 113, 2022, pp. 271-291 https://doi.org/10.46735/raap.n113.1355.
Gimeno Feliu J. M., “La colaboración público-privada en un contexto de moderna gobernanza económica al servicio de la ciudanía”, Revista General de Derecho Administrativo, 65, 2024.
Muñoz Machado, S. y Esteve Pardo, J., “Fundamentos e instituciones de la regulación”, en Muñoz Machado, S., Derecho de la regulación económica, Iustel, 2009.
Ponce Solé, J., “Reserva de humanidad y supervisión humana de la Inteligencia artificial”, El Cronista del Estado Social y Democrático de Derecho, 100, 2022, pp. 58-67.
Tahirí Moreno, J. A., “El principio de presunción de falibilidad de las decisiones algorítmicas desfavorables: Una nueva garantía jurídica frente a las decisiones automatizadas y el uso de sistemas de inteligencia artificial en la Administración pública”, Revista Aragonesa de Administración pública, 60, 2023, pp. 188-214.
Tahirí Moreno, J. A., “Una panorámica de los sistemas de inteligencia artificial desde la perspectiva del derecho administrativo”, Revista Aragonesa de Administración pública, 61, 2024, pp. 137-168.
Tahirí Moreno, J. A., “Artículo 40. Normas armonizadas y documentos de normalización”, en Moisés Barrio A. (dir.), Comentarios al Reglamento Europeo de Inteligencia Artificial, La Ley Aranzadi, 2024.
Tahirí Moreno, J. A., y Cofrades Aquilué, L., “Déficits y excesos normativos en materia de transparencia, buena administración y buen gobierno: un análisis de la cuestión a partir de la legislación estatal y extremeña”, Revista de Estudios de la Administración Local y Autonómica, 22, 2024, pp. 92–117. https://doi.org/10.24965/reala.11350.
Valcárcel Fernández, P., “La Compra Pública de Innovación (CPI): el procedimiento de adjudicación de Asociación para la Innovación”, en Gallego Córcoles, I. y Gamero Casado, E. (dirs.), Tratado de contratos del sector público, Vol. 2, Tirant Lo Blanch, 2018, pp. 1669-1712.
Vaquer Caballería, M., “Lección 18. Planificación administrativa”, en Velasco Caballero, F. y Darnaculleta Gardella, M. (dirs.), Manual de Derecho Administrativo, 2.ª ed. Marcial Pons, 2024, pp. 451-469.
Velasco Caballero, F., “La Administración pública en la colaboración público-privada”, Revista Catalana de Dret Públic, 67, 2023, pp. 36-66.
Velasco Rico, C., “Personalización, proactividad e inteligencia artificial. ¿Un nuevo paradigma para la prestación electrónica de servicios públicos?”, Revista de Internet, Derecho y Política (IDP), 30, 2020.
1 El presente estudio es resultado de las investigaciones realizadas en el marco de los Proyectos de Generación de Conocimiento «Innovación para una salud de vanguardia: compra pública, tecnología, sostenibilidad ambiental y factores socioeconómicos (IN-SALVAN)» (PID2021-127828NB-I00); «Hacia la buena administración desde la contratación pública en el contexto de la Unión Europea de la salud» (PID2023-150327NB-I00) y «Los retos de la inteligencia artificial para el Estado social y democrático de Derecho» (PID2022-136548NB-I00), financiados por el Ministerio de Ciencia, Innovación y Universidades.
2 Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial y por el que se modifican los reglamentos (CE) n.° 300/2008, (UE) n.° 167/2013, (UE) n.° 168/2013, (UE) 2018/858, (UE) 2018/1139 y (UE) 2019/2144 y las directivas 2014/90/UE, (UE) 2016/797 y (UE) 2020/1828 (Reglamento de inteligencia artificial).
3 Un análisis pormenorizado de la regulación de la inteligencia artificial como producto puede encontrarse en Álvarez García, V. y Tahirí Moreno, J., “La regulación de la inteligencia artificial en Europa a través de la técnica armonizadora del nuevo enfoque”, Revista General de Derecho Administrativo, 63, 2023.
4 Por lo que se refiere a los principios, la norma gallega reconoce los siguientes: el principio de buena administración digital y diligencia debida; de auditabilidad, trazabilidad y explicabilidad; de transparencia; de claridad; de imparcialidad y ausencia de sesgos; de seguridad y privacidad; de reserva de humanidad y supervisión humana; de proactividad y personalización; de universalidad y accesibilidad; de fiabilidad y responsabilidad; de evaluación del impacto organizativo, económico, social y medioambiental; de evaluación continua; de precaución; de formación continua; de colaboración y transferencia; y, finalmente, de capacidad técnica, proporcionalidad y suficiencia financiera.
5 Como derechos, se reconoce el derecho a la transparencia y supervisión humana, el derecho a la igualdad y el derecho a la tutela.
6 Algunos de estos “principios” son verdaderas obligaciones, de ahí el entrecomillado. Sirvan como muestra los “principios” de auditabilidad, trazabilidad y explicabilidad del artículo 7 de la ley. Lejos de ser principios generales, constituyen requisitos obligatorios que deben cumplir los sistemas de inteligencia artificial que emplee la Administración. No podrá, pues, utilizarse un sistema que no sea auditable, trazable y explicable.
7 El principio de reserva de humanidad ha sido desarrollado a nivel doctrinal por el profesor Ponce Solé. Para profundizar en el concepto, véase Ponce Solé, “Reserva de humanidad y supervisión humana de la Inteligencia artificial”, El Cronista del Estado Social y Democrático de Derecho, 100, 2022, pp. 58-67.
8 La diferencia entre ambas técnicas puede encontrarse en Ponce Solé, “Reserva de humanidad y supervisión humana de la Inteligencia artificial”, El Cronista del Estado Social y Democrático de Derecho, 100, 2022, pp. 63-66.
9 El artículo 50 forma parte, junto con otros tres artículos, del título IV, que lleva por rúbrica «El uso de sistemas de inteligencia artificial y modelos de inteligencia artificial de uso general».
10 Dispone el apartado 2 del artículo 50 que «La Administración general de la Comunidad Autónoma de Galicia y su sector público podrán apoyar su toma de decisiones en las previsiones o recomendaciones emitidas por sistemas de inteligencia artificial».
11 Así se desprende del inciso final del apartado 3 cuando dispone que «deberá tratarse de actos administrativos que no requieran de una valoración subjetiva de las circunstancias concurrentes o una interpretación jurídica».
12 Ponce Solé, J., “Reserva de humanidad y supervisión humana de la Inteligencia artificial”, El Cronista del Estado Social y Democrático de Derecho, 100, 2022, p. 63.
13 Del desarrollo y actualización de ambos principios en la doctrina española se ha ocupado la profesora Clara Velasco Rico. Para profundizar en su significado, véase Velasco Rico, C., “Personalización, proactividad e inteligencia artificial. ¿Un nuevo paradigma para la prestación electrónica de servicios públicos?”, Revista de Internet, Derecho y Política, 30, 2020.
14 Aquí se incurre en el mismo error de calificación, pues el legislador denomina principio general de actuación lo que verdaderamente es un deber jurídico de hacer pública una información muy concreta de los sistemas de inteligencia artificial.
15 Un análisis doctrinal y jurisprudencial actualizado con propuestas de lege ferenda en materia de transparencia puede encontrarse en Tahirí Moreno, J. A., y Cofrades Aquilué, L., “Déficits y excesos normativos en materia de transparencia, buena administración y buen gobierno: un análisis de la cuestión a partir de la legislación estatal y extremeña”, Revista de Estudios de la Administración Local y Autonómica, 22, 2024, pp. 92-117. https://doi.org/10.24965/reala.11350.
16 Dispone la nueva letra f) del artículo 8 de la Ley de transparencia y buen gobierno gallega que los sujetos obligados facilitarán información sobre “La relación de sistemas de inteligencia artificial o modelos de inteligencia artificial de uso general que tengan impacto en los procedimientos administrativos o en la prestación de los servicios públicos, con descripción de manera comprensible de su arquitectura y funcionamiento, de los datos que utilizan, del nivel de riesgo que implican y del impacto de sus resultados en los procedimientos administrativos, en especial si son o no directamente decisorios de los mismos”.
17 Bermejo Latre, J. L., “La aplicación de la inteligencia artificial en la actividad formal e informal de la Administración”, en Valcárcel Fernández, P. y Hernández González, F. L. (coords.), El derecho administrativo en la era de la inteligencia artificial, Instituto Nacional de la Administración Pública, 2025, p. 238.
18 Este planteamiento lo desarrollé hace dos años en Tahirí Moreno, J. A., “El principio de presunción de falibilidad de las decisiones algorítmicas desfavorables: Una nueva garantía jurídica frente a las decisiones automatizadas y el uso de sistemas de inteligencia artificial en la Administración Pública”, Revista Aragonesa de Administración Pública, 60, 2023, pp. 188-214.
19 Sentencia del Tribunal de Justicia de la Unión Europea de 7 de diciembre de 2023, asunto C-634/21, ECLI:EU:C:2023:957.
20 A tal efecto, dispone el apartado 2 del artículo 15 que “Los daños causados por los sistemas de inteligencia artificial diseñados o empleados por la Administración general de la Comunidad Autónoma de Galicia y su sector público, independientemente de su grado de autonomía, deberán ser reparados íntegramente por ella, de acuerdo con lo establecido en la Ley 40/2015, de 1 de octubre, y en la Ley 39/2015, de 1 de octubre. Lo dispuesto anteriormente se entenderá sin perjuicio de la posibilidad de reclamar, en su caso, a los proveedores de tales sistemas. En todo caso, en estos extremos se estará a la normativa europea que resulte de aplicación” (la cursiva es mía).
21 Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (Reglamento general de protección de datos).
22 En este sentido, el RIA ya obliga a los proveedores de sistemas de inteligencia artificial de alto riesgo a contar con un sistema de gestión de riesgos.
23 Principalmente en lo relativo a las obligaciones en materia de vigilancia poscomercialización.
24 Pese a que la finalidad originaria del principio de precaución era garantizar un alto nivel de protección del medio ambiente (art. 191 TFUE), lo cierto es que su aplicación se ha extendido a otros ámbitos en los que los datos científicos disponibles no permiten determinar los riesgos de forma clara. Sobre el contenido del principio de precaución, véase https://eur-lex.europa.eu/legal-content/ES/TXT/PDF/?uri=CELEX:52000DC0001.
25 Un análisis específico del precepto puede encontrarse en Tahirí Moreno, J. A., “Artículo 40. Normas armonizadas y documentos de normalización”, en Moisés Barrio A. (dir.), Comentarios al Reglamento Europeo de Inteligencia Artificial, Aranzadi La Ley, 2024.
26 Poco tienen que ver las necesidades funcionales de la Consejería de Economía e Industria con las de la Consejería del Mar. Se requiere, por tanto, órganos incardinados en las estructuras administrativas de cada consejería o entidad del sector público que conozcan bien la situación de cada parcela de actuación.
27 Otra cuestión relevante, al menos desde el punto de vista económico, es que ninguno de los miembros que componen el Consejo Gallego de Inteligencia Artificial percibirá retribuciones por el ejercicio de sus funciones. Esta política basada en la creación de órganos a coste cero suele ser muy habitual. No obstante, dejando a un margen la cuestión presupuestaria o la necesidad de contención del gasto, el tiempo dedicado al desempeño de tales funciones debería ser retribuido.
28 Vaquer Caballería, M., “Lección 18. Planificación administrativa”, en Velasco Caballero, F. y Darnaculleta Gardella, M. (dirs.), Manual de Derecho Administrativo, 2.ª ed. Marcial Pons, 2024, pp. 454-457.
29 Sobre la colaboración público-privada, véase Velasco Caballero, F., “La Administración pública en la colaboración público-privada”, Revista Catalana de Dret Públic, 67, 2023, pp. 36-66 y Gimeno Feliu J. M., “La colaboración público-privada en un contexto de moderna gobernanza económica al servicio de la ciudanía”, Revista General de Derecho Administrativo, 65, 2024.
30 En particular, el artículo 39 de la ley gallega mandata al sector público autonómico el impulso de la colaboración público-privada para el desarrollo de proyectos de inteligencia artificial, ya sea a través de consorcios, sociedades de economía mixta, convenios o contratos públicos.
31 Para profundizar en la materia, recomiendo la lectura de la Comunicación de la Comisión. Orientaciones sobre la contratación pública en materia de innovación [C (2021) 4320 final]. El texto está disponible en https://ec.europa.eu/docsroom/documents/45975.
32 Carrillo Donaire, J.A., “La compra pública de innovación: retos y oportunidades para el desarrollo de la I+d+i desde la demanda pública”, IUS ET VERITAS: Revista de la Asociación IUS ET VERITAS, 2021, p. 41.
33 Carrillo Donaire, J.A., “La compra pública de innovación: retos y oportunidades para el desarrollo de la I+d+i desde la demanda pública”, IUS ET VERITAS: Revista de la Asociación IUS ET VERITAS, 2021, p. 43.
34 Define la Directiva 2014/24/UE la innovación como la “introducción de un producto, servicio o proceso nuevos o significativamente mejorados, que incluye, aunque no se limita a ellos, los procesos de producción, edificación o construcción, un nuevo método de comercialización o un nuevo método de organización de prácticas empresariales, la organización del lugar de trabajo o las relaciones exteriores, entre otros con el objetivo de ayudar a resolver desafíos de la sociedad o a apoyar la Estrategia Europa 2020 para un crecimiento inteligente, sostenible e integrador.
35 Acerca del procedimiento de asociación para la innovación, véase Valcárcel Fernández, P., “La Compra Pública de Innovación (CPI): el procedimiento de adjudicación de Asociación para la Innovación”, en Gallego Córcoles, I. y Gamero Casado, E. (dirs.), Tratado de contratos del sector público, Vol. 2, Tirant Lo Blanch, 2018, pp. 1669-1712 y De Guerrero Manso, C., “La asociación para la innovación: Nuevo procedimiento de adjudicación que permite a los órganos de contratación ser protagonistas del proceso de adquisición de bienes, servicios u obras innovadoras”, en Fernández Salmerón, M. y Martínez Gutiérrez, R. (Dirs.), Transparencia, innovación y buen gobierno en la contratación pública, Comares, 2018, pp. 271-304.
36 Un estudio sobre las dificultades de los pequeños municipios para hacer frente a la gestión contractual puede encontrarse en Cofrades Aquilué, L, “La función de asistencia y cooperación en contratación pública”, en Gimeno Feliú, J. M. (dir.) y De Guerrero Manso, C. (coord.), Observatorio de los contratos públicos 2022, Aranzadi, 2022, pp. 321-339.
37 Al respecto, pueden ser de gran utilidad para el sector público autonómico las cláusulas tipo elaboradas por la Comunidad de Práctica en Contratación de Inteligencia Artificial, actualizadas en el mes marzo de 2025 y disponibles en https://public-buyers-community.ec.europa.eu/communities/procurement-ai/news/updated-eu-ai-model-contractual-clauses-now-available. La actualización incluye una versión para los modelos de alto riesgo y otra para el resto, además de un comentario orientado a facilitar su aplicación.
38 Ello se deduce de la redacción del párrafo segundo, el cual dispone que, “entre otros extremos, dichas cláusulas garantizarán…” (art. 68.4).
39 Gamero Casado, E., “La Administración facilitadora: el papel de la Administración pública en el nuevo orden socio económico”, Revista Andaluza De Administración Pública, 113, 2022, p. 276 https://doi.org/10.46735/raap.n113.1355.
40 Sobre la función reguladora de la Administración, véase, por todos, Muñoz Machado, S. y Esteve Pardo, J., “Fundamentos e instituciones de la regulación”, en Muñoz Machado, S., Derecho de la regulación económica, Iustel, 2009.
41 Esteve Pardo, J., “La Administración garante. Una aproximación”, Revista de Administración Pública, 197, 2015, pp. 23-30.
42 La normativa europea de referencia, recientemente modificada para permitir la creación de factorías de inteligencia artificial, es el Reglamento (UE) 2021/1173 del Consejo de 13 de julio de 2021 por el que se crea la Empresa Común de Informática de Alto Rendimiento Europea y por el que se deroga el Reglamento (UE) 2018/1488.
43 De hecho, el apartado 3 del artículo 64 hace una referencia expresa a la promoción de sinergias con la EuroHPCJU y otras iniciativas de supercomputación a nivel europeo.
44 El RIA define la alfabetización en materia de IA como las capacidades, los conocimientos y la comprensión que permiten a los proveedores, responsables del despliegue y demás personas afectadas, teniendo en cuenta sus respectivos derechos y obligaciones en el contexto del presente reglamento, llevar a cabo un despliegue informado de los sistemas de IA y tomar conciencia de las oportunidades y los riesgos que plantea la IA, así como de los perjuicios que puede causar [art. 3, cardinal 56)].