Revista Galega de Administración Pública, EGAP
Núm. 69_xaneiro-xuño | pp. 95-126
Santiago de Compostela, 2025
https://doi.org/10.36402/regap.v2i69.5301
© Jesús A. Tahirí Moreno
ISSN-e: 1132-8371 | ISSN: 1132-8371
Recibido: 30/04/2025 | Aceptado: 26/06/2025
Editado bajo licencia Creative Commons Atribution 4.0 International License
O despregamento da intelixencia artificial nas comunidades autónomas: estudo da pioneira Lei 2/2025, do 2 de abril, para o desenvolvemento e impulso da intelixencia artificial en Galicia
El despliegue de la inteligencia artificial en las comunidades autónomas: estudio de la pionera Ley 2/2025, de 2 de abril, para el desarrollo e impulso de la inteligencia artificial en Galicia
The Deployment of Artificial Intelligence in Autonomous Communities: An Analysis of the Pioneering Law 2/2025 of 2nd April for the Development and Promotion of Artificial Intelligence in Galicia
Jesús A. Tahirí Moreno
Contratado predoutoral de Dereito Administrativo
Universidade de Zaragoza (España)
ORCID: https://orcid.org/0000-0002-7063-8697
Resumo: Neste estudo lévase a cabo unha análise da Lei 2/2025, do 2 de abril, para o desenvolvemento e impulso da intelixencia artificial en Galicia.1 O obxectivo do traballo é dobre: en primeiro termo, preténdese dotar o lector dunha panorámica do texto lexislativo, comentando os aspectos que posúen unha maior significación xurídica. En segundo e último termo, acométese unha revisión crítica da norma, coa finalidade de lles proporcionar aos poderes públicos algunhas recomendacións de lege ferenda que poidan terse en conta en futuras reformas.
Palabras clave: Intelixencia artificial, sector público, decisións automatizadas, dereito administrativo, gobernanza intelixencia artificial.
Resumen: En el presente estudio se lleva a cabo un análisis de la Ley 2/2025, de 2 de abril, para el desarrollo e impulso de la inteligencia artificial en Galicia. El objetivo del trabajo es doble: en primer término, se pretende dotar al lector de una panorámica del texto legislativo, comentando aquellos aspectos que poseen una mayor significación jurídica. En segundo y último término, se acomete una revisión crítica de la norma, con la finalidad de proporcionar a los poderes públicos algunas recomendaciones de lege ferenda que puedan tenerse en cuenta en futuras reformas.
Palabras clave: Inteligencia artificial, sector público, decisiones automatizadas, derecho administrativo, gobernanza inteligencia artificial.
Abstract: This paper analyses Law 2/2025 of 2 April on the development and promotion of artificial intelligence in Galicia. The aim of the study is twofold: firstly, it aims to provide the reader with an overview of the act, commenting on those aspects that have a greater legal significance. Secondly, it undertakes a critical review of the regulation, with the aim of providing the public authorities with some lege ferenda recommendations that can be taken into account in future amendments.
Key words: Artificial intelligence, public sector, automated decision making, administrative law, artificial intelligence governance.
Sumario: 1. Consideracións previas: a necesidade de regular o uso da intelixencia artificial de forma específica nas administracións públicas. 2. Principios xerais e dereitos da cidadanía fronte ao uso de sistemas de intelixencia artificial na actuación administrativa. 2.1. Natureza xurídica e contido dos principios xerais de actuación. En particular, os principios de reserva de humanidade e revisión humana e de proactividade e personalización. 2.2. O dereito á transparencia e á supervisión humana, á igualdade e á tutela como límites ao uso de sistemas de intelixencia artificial. 2.3. A introdución dun novo título de imputación en materia de responsabilidade patrimonial: respecto á lexislación básica estatal e interpretación conforme a Constitución. 2.4. As obrigas en materia de avaliación de impacto dos sistemas de intelixencia artificial. 3. A profesionalización da Administración: un piar esencial para a correcta aplicación e desenvolvemento de sistemas de intelixencia artificial. 3.1. Os órganos promotores funcionais e os órganos responsables tecnolóxicos. 3.2. A Oficina de Intelixencia Artificial. 3.3. A Comisión estratéxica para o asesoramento en intelixencia artificial. 3.4. O Consello Galego de Intelixencia Artificial. 3.5. As persoas comisionadas de intelixencia artificial. 4. A actividade planificadora en materia de intelixencia artificial. 4.1. A Estratexia galega de intelixencia artificial. 4.2. Os programas sectoriais de intelixencia artificial. 4.3. Os proxectos de intelixencia artificial. 5. Colaboración público-privada e cooperación interadministrativa: ferramentas estratéxicas para o deseño, desenvolvemento e adquisición de sistemas de intelixencia artificial destinados á mellora dos servizos públicos. 5.1. A adquisición de sistemas de intelixencia artificial a través da compra pública de innovación. 5.2. Os acordos de contratación conxunta de sistemas de intelixencia artificial. 5.3. A elaboración dun catálogo de cláusulas tipo en función do nivel de risco do sistema de intelixencia artificial. 6. A Administración autonómica galega como arquetipo de Administración facilitadora. 6.1. Medidas en materia de simplificación administrativa. 6.2. Medidas fiscais, de impulso á transición enerxética e de impulso empresarial. 6.3. A creación de factorías ou fábricas de intelixencia artificial: un espazo para o fomento da colaboración público-privada. 6.4. Medidas de alfabetización en materia de intelixencia artificial. 7. Consideracións finais. 8. Bibliografía.
1. Consideracións previas: a necesidade de regular o uso da intelixencia artificial de forma específica nas administracións públicas
No mes de xuño do ano 2024, a Unión Europea aprobou o Regulamento europeo de intelixencia artificial (en diante, RIA)2, unha norma pioneira no mundo que establece unha panoplia de requisitos obrigatorios aos sistemas de intelixencia artificial cualificados de alto risco. Malia as bondades do acto lexislativo europeo, o certo é que a súa eficacia é limitada, pois quedan fóra do seu ámbito de aplicación practicamente todos os sistemas que non sexan de alto risco.
En esencia, a norma ten un forte compoñente privatista, xa que a súa finalidade principal é garantir o bo funcionamento do mercado único europeo e a libre circulación de mercadorías. Falando en román paladino, o RIA non constitúe un texto normativo que dea respostas ás particularidades que entraña o emprego da intelixencia artificial nas administracións públicas.
A Lei 2/2025, do 2 de abril, para o desenvolvemento e impulso da intelixencia artificial en Galicia (en diante, LIAG), nace precisamente coa vocación de cubrir as lagoas que deixa o RIA e impulsar a intelixencia artificial na Comunidade Autónoma de Galicia. O obxecto da norma non é regular a intelixencia artificial como produto (ese papel correspóndelle ao RIA)3, senón pautar a forma en que o sector público autonómico pode despregar a intelixencia artificial no exercicio de actuacións administrativas con pleno respecto aos dereitos da cidadanía. Atopámonos, polo tanto, ante unha norma ambiciosa de amplo espectro, que xorde da vontade do lexislador galego de pór a tecnoloxía ao servizo das persoas.
Proba diso é que o poder lexislativo autonómico se preocupou de articular un marco xurídico xeral que vai desde o recoñecemento de principios xerais de actuación e dereitos específicos ata un inxente número de medidas dirixidas a estimular o investimento en intelixencia artificial. Sen esquecerse, por suposto, da cuestión organizativa, pois, como se verá, a lei crea un conxunto de órganos especializados que garantirán a profesionalización da Administración autonómica de forma previa ao despregamento xeneralizado da intelixencia artificial. Tampouco descoida o lexislador a planificación, outro dos aspectos máis relevantes da norma. Entre os documentos que compoñen o sistema de planificación, cabe destacar a figura dos proxectos de intelixencia artificial, documentos estes de especial importancia para a adquisición, deseño ou desenvolvemento de sistemas de intelixencia artificial.
Os destinatarios da lei son principalmente o sector público autonómico e a cidadanía nas súas relacións administrativas, de conformidade co artigo 3. En canto ao concepto de sistema de intelixencia artificial formulado polo lexislador, é idéntico ao previsto no RIA. Iso significa que se parte dun concepto restritivo, o que podería afectar ao número de sistemas de intelixencia artificial que finalmente quedan suxeitos ás prescricións da lei.
En canto ao método de traballo, a análise realizada é de conxunto, incidindo nas cuestións que considerei máis relevantes en termos xurídico-dogmáticos. Son consciente de que haberá apartados do texto lexislativo que non se desenvolverán o suficiente, pero o propósito do estudo limítase a, dunha parte, ofrecerlle ao lector unha panorámica da norma examinada; e, doutra, realizar unha serie de recomendacións ou propostas de lege ferenda sobre os puntos que puidesen ser obxecto de mellora.
Con independencia das súas virtudes e defectos, existe un elemento que non admite discusión: a lei galega vén dar resposta ás necesidades da Administración do século XXI. O sector público, xa sexa autonómico ou estatal, non pode utilizar unha ferramenta tan potente como a intelixencia artificial sen un marco xurídico claro que garanta os dereitos da cidadanía, a capacitación dos empregados públicos e a fiabilidade, explicabilidad e transparencia dos sistemas usados.
2. Principios xerais e dereitos da cidadanía fronte ao uso de sistemas de intelixencia artificial na actuación administrativa
2.1. Natureza xurídica e contido dos principios xerais de actuación. En particular, os principios de reserva de humanidade e revisión humana e de proactividade e personalización
O lexislador galego optou por regular os principios xerais (capítulo I)4 e os dereitos da cidadanía (capítulo II)5 de forma conxunta no título preliminar. Iso xustifícase debido á proxección xeral de tales principios e dereitos, que despregan os seus efectos desde a fase de deseño e desenvolvemento ata a de adquisición e uso dos sistemas de intelixencia artificial (arts. 5.1 e 22 da LIAG).
Malia que a maioría dos principios xerais xa forman parte do Regulamento europeo de intelixencia artificial, a súa virtualidade reside en que son obxecto de aplicación a todos os sistemas de intelixencia artificial que empregue o sector público autonómico, con independencia do seu nivel de risco. Non está de máis recordar que os requisitos esenciais establecidos polo RIA se aplican exclusivamente aos sistemas de intelixencia artificial cualificados como de alto risco e aos modelos de intelixencia artificial de uso xeral.
En consecuencia, a Lei 2/2025 amplía o raio de acción mediante o establecemento dunha serie de «principios xerais»6 que a Administración autonómica deberá respectar cando deseñe, desenvolva, adquira ou utilice calquera sistema de intelixencia artificial.
Entre este totum revolutum de principios, deberes e dereitos, destacan algúns polo seu carácter ex novo. Refírome aos principios de reserva de humanidade e revisión humana (art. 12 LIAG) e proactividade e personalización (art. 13 LIAG). Ao tratarse de conceptos novidosos, merecen unha análise individualizada que poña de relevo os seus efectos na actuación administrativa.
Polo que respecta aos principios de reserva de humanidade e revisión humana, é importante distinguir entre un e outro concepto, xa que o seu contido difire. Así pois, o primeiro comporta a prohibición do uso de sistemas de intelixencia artificial en determinadas parcelas da actuación administrativa7. Pola súa banda, o segundo implica o deber de contar cun ser humano que revise e valide os resultados emitidos por un sistema de intelixencia artificial8.
O artigo 12, que desenvolve ambos os dous conceptos, estrutúrase en 5 apartados. O primeiro deles contén unha habilitación para o uso de sistemas de intelixencia tanto na actividade material ou técnica como na actuación administrativa formalizada. Este apartado debe interpretarse en consonancia co artigo 50 da lei9, de contido similar pero que incorpora a posibilidade de fundamentar a toma de decisións nas previsións ou recomendacións emitidas por sistemas de intelixencia artificial. Noutras palabras, prevese expresamente a motivación in aliunde das decisións administrativas10.
A continuación, os apartados 2 e 3 do mesmo artigo regulan o uso de sistemas de intelixencia artificial como apoio ou fundamento para a toma de decisións (decisións semiautomatizadas) e o uso destinado á adopción de actos administrativos sen intervención humana directa (decisións automatizadas). No primeiro caso, para a perfección do acto administrativo exíxese que o titular do órgano competente valide o resultado ofrecido pola máquina.
No segundo suposto, a norma restrinxe o uso de sistemas de intelixencia artificial á adopción de actos administrativos que impliquen o exercicio de potestades reguladas11. Se a adopción do acto exixe unha valoración subxectiva ou a aplicación de conceptos xurídicos indeterminados, opera, pois, o principio de reserva de humanidade. Non obstante, os efectos do comentado principio deben matizarse, xa que o apartado 4 do artigo 12 introduce unha excepción á reserva de humanidade.
Ao respecto, a reserva de humanidade non despregará os seus efectos se se cumpren os seguintes requisitos: i) o órgano competente da actuación administrativa automatizada aprobou unhas instrucións «que permitan concretar os requisitos necesarios para definir de forma detallada e inequívoca os casos ordinarios aos que resulte de aplicación»; e ii) o sistema de intelixencia artificial foi deseñado de tal forma que poida respectar a norma reguladora do procedemento e as instrucións. Ademais, o sistema deberá permitirlles aos interesados comprender e cuestionar o resultado (requisito de explicabilidade) e non poderá ser alterado sen supervisión.
Na miña opinión, estes requisitos son tan exixentes que o uso de sistemas de intelixencia artificial para a adopción de actos administrativos automatizados ditados no exercicio de potestades discrecionais se restrinxirá ao mínimo. No entanto, iso non quere dicir que non se vaia empregar a intelixencia artificial en ámbitos de actuación en que exista discrecionalidade. Antes ben, a súa aplicación será posible sempre que exista a validación do titular do órgano competente. Deste xeito, a norma permite eludir a prohibición convertendo a decisión automatizada en semiautomatizada.
En virtude do exposto, pode afirmarse que a plasmación do principio de reserva de humanidade na norma non se traduce nunha prohibición absoluta de uso de sistemas de intelixencia artificial en sectores concretos da Administración pública. Nin sequera cando as decisións, previsións ou recomendacións xeradas por este tipo de ferramentas produzan un impacto irreversible ou dean lugar a actuacións que poidan xerar riscos para a vida ou a integridade física ou psicosocial. Mesmo nestes supostos de máximo risco, o uso de sistemas de intelixencia artificial será posible, sempre que conste a validación dunha persoa física e unha decisión humana final (art. 12, apartado 5 LIAG).
En conclusión, máis que unha reserva de humanidade en sentido estrito, o que prevé o artigo 12 é un principio de supervisión, validación ou revisión humana das actuacións automatizadas. E iso na medida en que non existen espazos onde o uso de sistemas de intelixencia artificial estea completamente vedado (salvo, claro está, os sistemas prohibidos do RIA). A reserva de humanidade, como o propio artífice do concepto sostén, trataríase da decisión respecto de certos ámbitos en que os seres humanos, a través dos órganos lexitimados para iso, exclúen a aplicación da IA porque se considera inadecuado o uso desta»12. Ao meu xuízo, aquí non opera ningunha exclusión, pois a mera validación da decisión polo órgano competente permite que a decisión plenamente automatizada sexa válida.
En canto ao principio de proactividade e personalización13, responde a un modelo de Administración pública intelixente que se anticipa ás necesidades da cidadanía. Así, grazas ao uso de sistemas de intelixencia artificial, poderán recoñecerse dereitos de oficio, sen necesidade de que as persoas interesadas presenten unha solicitude. O artigo 13, que regula ese principio, está redactado en clave facultativa (emprégase o verbo poderán), polo que lles corresponde á Administración autonómica e ao sector público galego decidir se se desenvolven esta categoría de procedementos «proactivos e personalizados».
Agora ben, se a Administración finalmente opta por regular procedementos que finalicen con actuacións proactivas personalizadas, é necesario que estes vaian acompañados das medidas adecuadas para garantir a protección dos «dereitos, liberdades e intereses lexítimos das persoas destinatarias» (art. 13, apartado 2 LIAG). En particular, a Administración ten a obriga de garantir a igualdade no acceso aos servizos públicos. Polo tanto, toda actuación proactiva personalizada discriminatoria que careza dunha xustificación obxectiva e razoable vulnerará o dereito fundamental á igualdade e a prohibición da discriminación. As diferenzas, xa que logo, deben estar xustificadas e constar na norma que regule o procedemento.
2.2. O dereito á transparencia e á supervisión humana, á igualdade e á tutela como límites ao uso de sistemas de intelixencia artificial
Como adiantaba supra, xunto aos principios xerais de actuación, o lexislador autonómico desenvolve nun capítulo independente o que denomina como «dereitos da cidadanía». Deste título podería inferirse que só os dereitos enumerados neste capítulo, en contraposición aos principios de actuación, constitúen auténticos dereitos subxectivos que outorgan, seguindo a clásica definición doutrinal, unha situación de poder ao cidadán que pode facer valer fronte á Administración.
Porén, o certo é que moitos dos principios xerais de actuación enunciados non son, en puridade, principios que lle axuden ao operador xurídico a interpretar e aplicar a norma (función informadora) ou orienten o comportamento da Administración (ao modo en que o fan os principios de actuación do artigo 3 da Lei 40/2015, do 1 de outubro, de réxime xurídico do sector público).
Antes ben, boa parte destes son non xa dereitos, que tamén, senón obrigas ou deberes moi concretos que a Administración non pode descoñecer e que o cidadán pode exixir [v.g., o requisito de auditabilidade, trazabilidade e explicabilidade dos sistemas do artigo 7 LIAG ou o de seguridade e privacidade do artigo 11 LIAG]. En termos dogmáticos, o seu grao de concreción é tal que resulta difícil cualificalos como principios, xa sexan estes normativos ou cumpran unha función informadora ou meramente programática. Unha mostra do popurrí conceptual entre dereitos, principios e deberes atopámola precisamente en dous dos tres dereitos que a norma recoñece.
Así, o dereito á igualdade do artigo 24, máis alá das diferenzas de redacción, coincide plenamente no seu contido substantivo co principio xeral relativo á imparcialidade e á ausencia de nesgos do artigo 10. O artigo 24, iso si, desenvolve supostos concretos, fronte á redacción xenérica do artigo 10.
Con independencia das diferenzas ou similitudes existentes entre os dous preceptos, o certo é que o dereito fundamental á igualdade e á prohibición da discriminación desprega os seus efectos en calquera ámbito de actuación da Administración, empregue esta intelixencia artificial ou non. En consecuencia, e como xa mencionei anteriormente, salvo que exista unha xustificación obxectiva e razoable, o uso de intelixencia artificial pola Administración non pode xerar situacións discriminatorias.
Dito isto, o recoñecemento expreso do dereito á igualdade nunha norma sectorial como a analizada pode ser positivo, ao contribuír ao seu reforzo e concreción. Non obstante, partindo dunha interpretación sistemática, tería sido máis axeitado que o precepto se limitase a declarar o dereito á igualdade e a prohibición da discriminación de forma xenérica, remitíndose a continuación á Constitución e ao dereito da Unión Europea.
Mención á parte merece o dereito á transparencia e á supervisión humana. Respecto do primeiro, tamén se considera no capítulo relativo aos principios xerais (art. 8 LIAG). Non obstante, a transparencia do artigo 8 alude a un deber concreto de facilitar determinada información no portal de transparencia (publicidade activa)14, mentres que o dereito á transparencia do artigo 23.1 se trata dun dereito do interesado nas súas relacións coa Administración15.
A diferenza do que ocorre co dereito á igualdade, o desenvolvemento do dereito á transparencia algorítmica si require de concreción. En particular, o lexislador galego optou por un concepto de transparencia de amplo contido que lles recoñece aos interesados un feixe de dereitos, algúns dos cales poden ser de difícil materialización (v.g., o dereito a coñecer a racionalidade e a lóxica do sistema de intelixencia artificial). Así pois, pode afirmarse que o dereito á transparencia do artigo 23 cobre unha lagoa xurídica que reforza as garantías do interesado nas súas relacións coa Administración.
Co obxectivo de materializar o dereito á transparencia algorítmica, o artigo 35 regula o Inventario de sistemas de intelixencia artificial, rexistro administrativo en que o sector público autonómico inscribirá de oficio todos os sistemas de intelixencia artificial que se deseñen ou utilicen. Neste rexistro constarán os datos identificativos e os datos de rendemento dos sistemas (art. 35.4 LIAG).
Así mesmo, seguindo o ronsel doutras comunidades autónomas, a disposición derradeira primeira da lei examinada modifica a Lei 1/2016, do 18 de xaneiro, de transparencia e bo goberno. En concreto, a modificación engade unha letra f) ao artigo 8, co fin de obrigar as entidades suxeitas á dita norma a facer pública a relación de sistemas de intelixencia artificial e modelos de intelixencia artificial de uso xeral que teñan impacto na actuación administrativa16.
Ademais do dereito á transparencia algorítmica, recoñécese nas letras b) e c) do artigo 23 o dereito á explicabilidade e á supervisión humana. Aínda que o título do precepto non fai mención expresa á explicabilidade, este dereito recoñécese de forma meridiana na letra b), pois dispón que toda persoa ten dereito a «recibir unha explicación da decisión tomada polo sistema de intelixencia artificial».
Cabe destacar que o «dereito a unha explicación» regulado polo lexislador autonómico ten un maior alcance que o recoñecido no artigo 86 do RIA. Este último aplícase en exclusiva a determinados sistemas de intelixencia artificial de alto risco e, ademais, pode ser obxecto de limitación polo dereito interno ou da Unión. En cambio, o ámbito de aplicación do dereito á explicabilidade na Lei 2/2025 é absoluto, no sentido de que afecta a todos os sistemas de intelixencia artificial empregados polo sector público autonómico.
En canto ao tipo de decisións que se ven afectadas por este dereito á explicación, unha lectura atenta da letra b) permítenos concluír que afecta a todas. Isto é, tanto ás decisións automatizadas como ás semiautomatizadas. E iso é así porque, entre a información que debe facilitar a Administración, atópase a relativa ao «nivel de intervención humana na adopción da decisión que lle afecta» [23.1, letra b) LIAG]. Respecto á tipoloxía de actos administrativos, o dereito á explicabilidade operará non só cando se trate de resolucións que poñan fin ao procedemento, senón tamén sobre as recomendacións, previsións ou predicións que constitúan actos de trámite e contribúan a fundamentar a decisión final.
Por último, a letra c) do artigo 23 contén o dereito á supervisión humana en sentido estrito. Así pois, o interesado poderá exixir a intervención dun empregado público no proceso de adopción de decisións automatizadas cando «produza efectos xurídicos ou impacte significativamente de modo similar nos seus intereses». Este dereito, que foi proposto no seu momento polo profesor Bermejo Latre17, garante unha especie de «dereito de oposición» á actuación administrativa automatizada (similar ao dereito de oposición á tramitación do procedemento simplificado do art. 96.2 da Lei 39/2015) cando afecte aos seus dereitos e intereses lexítimos.
Malia a bondade do dereito, quizais tería sido máis axeitado circunscribir o suposto de feito ás decisións adoptadas con intelixencia artificial que produzan efectos xurídicos desfavorables18. Se o que se persegue coa implementación da intelixencia artificial na Administración é incrementar a eficacia e a eficiencia na prestación dos servizos públicos, o seu sería que o dereito á intervención humana opere unicamente cando as decisións sexan restritivas de dereitos ou produzan efectos desfavorables. Un dereito á intervención humana cuxo contido sexa demasiado amplo podería desvirtuar ou reducir á nada o uso de intelixencia artificial nas administracións públicas.
A xeito de peche, a lei galega recoñece como dereito específico fronte ao uso de sistemas de intelixencia artificial o que denomina como «dereito á tutela» (art. 25 LIAG). Este dereito, pola súa vez, contén dúas facultades nitidamente diferenciadas nas letras a) e b) do apartado 1 do artigo 25. Ao respecto, a letra a) recoñece un dereito a «facer valer todos os dereitos en materia de datos persoais fronte ás decisións, previsións ou recomendacións efectuadas polo sistema de intelixencia artificial ou fronte ao propio funcionamento deste». Sobra dicir que non era necesario incluír unha referencia como esta na norma, pois os dereitos en materia de datos persoais previstos no RXPD e no dereito interno gozan de eficacia directa e son de aplicación inmediata.
Cuestión distinta é o «dereito á revisión de decisións, previsións ou recomendacións» xeradas por un sistema de intelixencia artificial [artigo 25.1, letra b) LIAG]. Neste ámbito, si é necesario aclarar e concretar os contornos do dereito a recorrer contra determinadas actuacións administrativas. En particular, o lexislador autonómico exixe como presuposto que as decisións «produzan efectos xurídicos ou impacten significativamente de xeito similar».
A redacción non é casual, xa que está plenamente aliñada coa xurisprudencia do Tribunal de Xustiza da Unión Europea19 e co artigo 86 do RIA. A distinción entre «produción de efectos xurídicos» e «impacto significativo de modo similar» implica que poden ser obxecto de impugnación non só as decisións, previsións ou recomendacións que produzan efectos xurídicos directos, senón tamén aqueloutras que, malia non produciren tales efectos, inflúen de forma determinante na actuación administrativa.
Consecuencia lóxica do anterior é que o dereito á revisión comprende tanto os actos xurídicos formalizados (actos decisorios nos termos empregados polo lexislador) e as actuacións materiais que produzan efectos xurídicos directos como as actuacións administrativas que, se ben non inciden directamente na esfera xurídica do interesado, si o fan indirectamente. A inclusión expresa das actuacións materiais no dereito de revisión supón un paso adiante que era necesario dar. Con tal proceder, a norma supera razoamentos anacrónicos en virtude dos cales as actuacións materiais dos empregados públicos non poden fiscalizarse porque obedecen a criterios subxectivos inexpugnables.
Non podemos seguir razoando como se seguísemos no século XX e o persoal ao servizo da Administración actuase segundo o seu «leal saber e entender». Na miña opinión, a fiscalización das actuacións materiais executadas como consecuencia ou coa axuda das decisións dun sistema de intelixencia artificial é un requisito elemental nun modelo de Administración tecnoloxicamente avanzada axustado ás exixencias dun Estado social e democrático de dereito do século XXI.
Sen dúbida, a implementación xeneralizada da intelixencia artificial contribuirá á mellora dos servizos públicos. Agora ben, o uso desta ferramenta debe ir acompañado de garantías que aseguren que a cidadanía recibe un mellor servizo, si, pero con pleno respecto aos seus dereitos fundamentais.
A solicitude de revisión pode basearse tanto en motivos técnicos como xurídicos. Aínda que, ao meu modo de ver, o fallo ou deficiencia técnica sempre se traducirá nunha decisión contraria a dereito, na medida en que un sistema cuxos parámetros non estean correctamente calibrados provocará actuacións administrativas arbitrarias.
Con todo, os interesados poderán impugnar tales decisións cando consideren que o sistema incorre en deficiencias técnicas, as súas premisas ou resultados sexan arbitrarios ou discriminatorios e, como cláusula de peche, cando vulneren «principios». Neste último suposto ponse como exemplo o principio de boa fe, pero sobra dicir que é extensible a calquera outros. En particular, os interesados poderán fundar a súa solicitude de revisión na vulneración dos principios xerais recoñecidos no título preliminar (v.g., a reserva de humanidade do artigo 12 ou o requisito de seguridade e privacidade do artigo 11). Pero, como é obvio, tamén poderán facelo cando a decisión vulnere outros principios constitucional ou legalmente recoñecidos.
O «dereito á revisión» do artigo 25.1.b) debe interpretarse en conexión co deber de resposta fronte aos fallos dos sistemas de intelixencia artificial considerado no artigo 53 da mesma norma. Este deber imponlle á entidade instrumental competente na materia a obriga de desenvolver un protocolo de reacción inmediata que dea respostas aos posibles fallos no funcionamento do sistema. En concreto, o protocolo basearase nos principios de recurso inmediato á revisión humana, de celeridade na adopción de resolucións e de minimización dos prexuízos derivados do mal funcionamento (art. 53.2 LIAG).
Como cláusula de peche, o apartado 2 do artigo 25 contén unha remisión á sección 4 do capítulo IX do RIA, cuxos artigos 85 e 86 regulan o dereito a presentar reclamacións ante as autoridades de vixilancia do mercado competentes e o dereito a unha explicación das decisións adoptadas con base nos resultados emitidos por un sistema de intelixencia artificial.
2.3. A introdución dun novo título de imputación en materia de responsabilidade patrimonial: respecto á lexislación básica estatal e interpretación conforme a Constitución
Unha das cuestións máis interesantes (desde o punto de vista competencial) que, ao meu xuízo, formula a lei galega é a introdución dun novo título de imputación en materia de responsabilidade patrimonial. Así, o artigo 15 recoñece o dereito á indemnización mesmo nos supostos en que o dano provocado polo sistema de intelixencia artificial sexa responsabilidade exclusiva do contratista que desenvolveu o sistema20.
O lexislador galego establece, pois, un suposto de responsabilidade patrimonial por feito alleo. En consecuencia, aínda que a Administración autonómica alegase que os danos derivados do uso do sistema obedecen a un fallo deste cuxa causa radica no incumprimento das condicións contractuais previstas nos pregos de contratación, non podería declarar a inexistencia de responsabilidade.
Como é ben sabido, a configuración do sistema de responsabilidade patrimonial de todas as administracións públicas correspóndelle en exclusiva ao lexislador estatal, ex artigo 149.1.18.ª (STC 112/2018, do 17 de outubro, FX 4 e STC 61/1997, do 20 de marzo, FX 33). É certo que o Tribunal Constitucional lles permite ás comunidades autónomas establecer outros supostos indemnizatorios no eido das súas competencias, pero cun matiz: o respecto á lexislación básica estatal.
Na miña opinión, unha interpretación do artigo 15 que supuxese a imputación da responsabilidade á Administración por un feito alleo en supostos de danos causados como consecuencia dun incumprimento dos pregos ou unha execución defectuosa do contrato podería dar lugar á inconstitucionalidade do precepto. E iso porque o título de imputación que xera responsabilidade sempre ha de ser o «funcionamento normal ou anormal dos servizos públicos».
Polo tanto, se o lexislador autonómico regula un título de imputación en virtude do cal se recoñece un dereito a indemnización sen que o dano sexa consecuencia do funcionamento do servizo (xa que a responsabilidade é exclusiva do contratista), o dito título de imputación podería vulnerar non só a lexislación básica estatal, senón tamén o artigo 106.2 da Constitución.
No entanto, o precepto salva a posible tacha de inconstitucionalidade ao especificar que a reparación dos danos se realizará de conformidade coa normativa europea e a lexislación básica estatal. Con todo, o lexislador autonómico, ao meu modo de ver, carecería de competencia para declarar a responsabilidade da Administración por un feito alleo.
2.4. As obrigas en materia de avaliación de impacto dos sistemas de intelixencia artificial
Xunto ás obrigas xa impostas polo RIA e o Regulamento xeral de protección de datos (RXPD)21, merecen especial atención os mandatos que o lexislador autonómico establece en materia de avaliación e supervisión do funcionamento dos sistemas de intelixencia artificial. Así pois, do disposto na lei podemos diferenciar dous tipos de avaliación: a avaliación previa á posta en servizo ou deseño do sistema de intelixencia artificial (art. 16 LIAG) e a avaliación posterior (art. 17 LIAG).
A avaliación previa ten por obxecto, en palabras do lexislador, determinar coa antelación suficiente os riscos potenciais derivados da implantación do sistema en relación coa súa «efectividade, seguridade, uso de recursos e custos económicos e impacto organizativo, social e ambiental, así como os mecanismos de mitigación ou compensación dos seus efectos» (art. 16.2 LIAG).
Como pode observarse, trátase dunha avaliación global que aborda non só as cuestións relativas á seguridade e eficacia do sistema, senón tamén aqueloutras relacionadas coa eficiencia na xestión dos recursos públicos e mesmo co impacto ambiental.
Na miña opinión, trátase dunha medida moi positiva, xa que se lle impón á Administración o deber de analizar con carácter previo os custos e beneficios da implantación dun sistema de intelixencia artificial, e iso incluso cando non se considere de alto risco para os efectos do RIA. No suposto de que se trate de sistemas cualificados como de alto risco, estas avaliacións deberán realizarse en consonancia cos requisitos obrigatorios previstos polo RIA22, cuestión esta última sobre a que advirte o lexislador no apartado 2 do artigo 5.
Tras o despregamento do sistema de intelixencia artificial, a Administración autonómica galega realizará avaliacións adicionais debido a «cambios normativos, sociais e tecnolóxicos e aos coñecementos adquiridos no despregamento...» (art. 17.1 LIAG). Como acontece nas avaliacións previas, a Administración, cando actúe en calidade de provedora, deberá ter en conta, ademais, as obrigas previstas polo RIA para os sistemas de intelixencia artificial de alto risco23. O obxectivo da avaliación continua dos sistemas é, en palabras do lexislador autonómico, «asegurar a súa calidade e que as persoas afectadas reciban un trato xusto e non discriminatorio…».
Se, finalizada unha avaliación continua, a Administración verifica que o uso dun sistema concreto lles pode causar danos de «moi difícil reparación» ás persoas, á sociedade ou ao medio ambiente, deberá valorarse o abandono do uso do sistema, logo da ponderación dos custos e beneficios derivados do seu uso (art. 18 LIAG). É o que se coñece como principio de precaución, principio do dereito europeo de fondo raizame e que o lexislador autonómico introduciu na Lei 2/202524. Este mecanismo de seguridade é fundamental na xestión de riscos e permite actuar en situacións de incerteza cando as evidencias científicas non poden determinar de forma obxectiva os riscos potenciais dun proceso ou produto.
Finalmente, incorpórase unha modalidade de avaliación ambiental dos sistemas de intelixencia artificial no apartado 2 do artigo 17, co fin de que empreguen fontes de enerxía renovable e sexan ambientalmente sostibles. A dita avaliación está en consonancia co artigo 40 do RIA, artigo este que contén un mandato específico dirixido á Comisión Europea para que nas súas peticións de normalización inclúan solicitudes de documentación coa finalidade de mellorar o funcionamento dos sistemas de alto risco desde a perspectiva do consumo de recursos25.
Á pregunta de como se levarán a cabo estas avaliacións, a resposta é que o lexislador galego delega esta función na propia Administración, que deberá desenvolver as ferramentas de autodiagnose que permitan avaliar de forma continuada o cumprimento dos principios xerais previstos na lei. En concreto, o labor de desenvolvemento recae sobre a entidade instrumental do sector público competente en materia de tecnoloxías (art. 52 LIAG).
3. A profesionalización da Administración: un piar esencial para a correcta aplicación e desenvolvemento de sistemas de intelixencia artificial
A profesionalización da Administración en materia de intelixencia artificial constitúe un aspecto nuclear que determinará o éxito ou o fracaso da súa implementación. Ao respecto, é importante ter en consideración que nos atopamos ante unha ferramenta que, ben empregada, pode contribuír eficazmente á satisfacción dos intereses xerais a través da mellora da actuación administrativa.
Entre os beneficios que o uso da intelixencia artificial lle proporcionará á cidadanía atópanse a mellora da eficiencia na xestión dos recursos públicos (poderemos facer máis con menos), a mellora da eficacia na prestación do servizo (farémolo mellor) e un maior control e transparencia da actividade da Administración. Non obstante, se non se conta cun equipo de persoas altamente cualificado, a relación custo-beneficio podería inverterse, posto que o uso da intelixencia artificial sen unha capacitación axeitada provocará maiores riscos que beneficios.
A lei galega, sabedora da necesidade de contar con expertos na materia, articula unha estrutura organizativa específica cuxa misión é participar no desenvolvemento dos proxectos de intelixencia artificial, supervisar os riscos derivados da implementación e o uso dos sistemas de intelixencia artificial e, en definitiva, asesorar o resto de órganos da Administración e do sector público autonómico.
3.1. Os órganos promotores funcionais e os órganos responsables tecnolóxicos
A norma crea a figura dos órganos promotores funcionais e os órganos responsables tecnolóxicos. En palabras do lexislador autonómico, a principal función dos primeiros é a definición funcional e o seguimento dos proxectos de intelixencia artificial (art. 27.1 LIAG). Coa finalidade de cumprir esa tarefa, o apartado 2 do artigo 27 enumera as funcións específicas dos órganos promotores funcionais.
Os ditos órganos son os encargados de identificar as necesidades e problemas que requiren a implementación dun sistema de intelixencia artificial. Así mesmo, son os encargados de elaborar o informe do proxecto de intelixencia artificial e de realizar o seguimento funcional do proxecto. No que respecta á elaboración do informe, trátase dunha tarefa que realizará en tándem co órgano responsable tecnolóxico.
A súa identificación e designación correspóndelle a cada consellería e entidade instrumental do sector público. Constitúen, en boa lóxica, órganos especializados de carácter sectorial por razón da materia. Iso é así na medida en que son os encargados de identificar os problemas e necesidades específicas, tarefa que sería moi complicada se o órgano tivese unha natureza xeral26.
Polo que respecta aos órganos responsables tecnolóxicos, a súa designación para cada consellería ou entidade instrumental corresponde á entidade instrumental competente en materia de tecnoloxías (art. 27.3 LIAG). A diferenza dos órganos promotores funcionais, os órganos responsables tecnolóxicos desempeñan funcións técnicas en materia de intelixencia artificial. A título ilustrativo, encárganse de avaliar a relación custo-beneficio da implementación dos sistemas de intelixencia artificial, establecen as especificacións técnicas de cada sistema e supervisan o seu adestramento, entre outras tarefas.
A principal diferenza entre os dous órganos podería resumirse do seguinte xeito: mentres que os órganos promotores funcionais son os encargados de identificar os problemas e necesidades específicas de cada sector, o obxectivo dos órganos responsables tecnolóxicos é dar unha resposta técnica que cubra tales necesidades. Estes últimos non necesitan, pois, coñecer o ámbito concreto de actuación administrativa. Non obstante, os dous deberán colaborar de forma coordinada para lograr unha solución de éxito que se plasme no proxecto de intelixencia artificial.
3.2. A Oficina de Intelixencia Artificial
Ademais dos órganos responsables tecnolóxicos, a entidade instrumental do sector público competente en materia de tecnoloxías contará na súa estrutura organizativa cunha Oficina de Intelixencia Artificial. Este órgano, inspirado na Oficina de Intelixencia Artificial prevista no RIA, desempeña funcións coordinadoras no referente á implementación de proxectos de intelixencia artificial no sector público autonómico. Co fin de cumprir ese obxectivo, a lei galega atribúelle competencias en materia de supervisión e apoio das actuacións dos órganos responsables tecnolóxicos e os órganos promotores funcionais (art. 28.1 LIAG).
En especial, a oficina será a encargada de analizar e propor para a súa aprobación os proxectos de intelixencia artificial (art. 42.1 LIAG). Xunto a esta relevante función consultiva (quizais a máis importante), tamén levará a cabo labores de supervisión dos riscos relacionados co uso e a implementación de sistemas de intelixencia artificial, así como de asesoramento continuo sobre as tendencias que xurdan neste campo. Finalmente, correspóndelle a este órgano coordinar as relacións entre a Administración autonómica e as autoridades competentes na materia (v.g., a Axencia Española de Supervisión da Intelixencia Artificial ou a Oficina Europea de Intelixencia Artificial).
Do exposto pode concluírse que a Oficina de Intelixencia Artificial galega constitúe un órgano necesario de cara a garantir unha actuación coherente e coordinada no sector público autonómico. Téñase en conta que por cada consellería ou entidade instrumental poderá existir, como mínimo, un proxecto de intelixencia artificial. Isto exixe a aplicación duns criterios comúns que homoxeneicen a implementación de sistemas de intelixencia artificial na actuación administrativa.
3.3. A Comisión estratéxica para o asesoramento en intelixencia artificial
Outro dos órganos que poderá constituírse dentro da estrutura da entidade instrumental do sector público competente en materia de tecnoloxías é a Comisión estratéxica para o asesoramento en intelixencia artificial. En contraposición aos órganos anteriores, de creación obrigatoria, esta comisión ten carácter facultativo.
A súa finalidade, seguindo o teor literal do articulado da lei, é analizar e valorar «os proxectos que polo seu nivel de risco, impacto ou complexidade teñan, ao seu xuízo, carácter estratéxico» (art. 29.1 LIAG). Este órgano de natureza especial será de suma utilidade para o asesoramento en contextos en que a intelixencia artificial se emprega, entre outras situacións, en infraestruturas críticas, xa sexa para mellorar o seu funcionamento ou como compoñente de seguridade (v.g., para controlar e xestionar a subministración de auga ou o tráfico aéreo).
A comisión terá a natureza de grupo de traballo (art. 29.2 LIAG) e os seus informes serán tidos en conta pola entidade instrumental do sector público en materia de tecnoloxías, órgano competente para a adopción do proxecto de intelixencia artificial, de acordo co artigo 42.2 da lei. Atopámonos, pois, ante un órgano constituído ad hoc por razón do carácter estratéxico do proxecto de intelixencia artificial. Por conseguinte, a súa existencia limítase ao asesoramento especializado en relación cun proxecto determinado. Xa que logo, poderán constituírse tantas comisións como proxectos de intelixencia artificial de carácter estratéxico existan.
Polo que atinxe á súa duración, das súas funcións dedúcese que se trata dun órgano de carácter temporal. Unha vez que a comisión emita o informe e tome a decisión relativa á adopción do proxecto de intelixencia artificial, será disolta por cumprir o fin que xustificou a súa creación.
3.4. O Consello Galego de Intelixencia Artificial
Pon o broche á estrutura organizativa analizada o Consello Galego de Intelixencia Artificial, mecanismo institucional de colaboración público-privada desenvolvido polo artigo 30 da lei. Igual que a Oficina de Intelixencia Artificial, este órgano inspírase, aínda que a súa natureza é completamente diferente, no Consello Europeo de Intelixencia Artificial do artigo 65 do RIA.
O Consello ten natureza meramente consultiva e carácter permanente. Outro dato significativo que cabe destacar é que non se integra na estrutura organizativa da entidade instrumental do sector público competente en materia de tecnoloxías, o que si acontece coa Oficina de Intelixencia Artificial. A diferenza desta, o Consello adscríbese á consellería competente en materia de tecnoloxías da información.
Iso explícase polas funcións que ten encomendadas e a composición do órgano, factores ambos que impiden inserir o Consello Galego de Intelixencia Artificial nunha estrutura xerárquica. A vontade do lexislador foi, pois, configurar este órgano como canle de participación e representación das partes interesadas na materia, de aí que a súa composición sexa plural, formando parte del tanto persoal directivo do sector público autonómico como representantes do sector privado (art. 30.3 LIAG). Pola súa banda, a presidencia recae sobre a persoa titular da entidade instrumental competente en materia de tecnoloxías.
Respecto das funcións que debe desempeñar, destacan, no plano consultivo, a de tomar coñecemento da Estratexia galega de intelixencia artificial, co fin de formular as observacións e suxestións que procedan. Así mesmo, é o órgano encargado de asesorar, logo de solicitude, a entidade instrumental do sector público competente en materia de tecnoloxías. Por outra banda, tamén se lle atribúen funcións destinadas á mellora do deseño e a planificación das políticas públicas relativas á intelixencia artificial27.
En definitiva, estamos ante un órgano que, ben entendido, pode ser de enorme utilidade para o deseño de políticas públicas eficaces en materia de intelixencia artificial. A incorporación como vogais de membros do sector empresarial e de profesionais das tecnoloxías contribuirá a unha mellor regulación e a facilitar a implementación da intelixencia artificial non só nas administracións públicas, senón tamén no sector privado.
3.5. As persoas comisionadas de intelixencia artificial
A persoa comisionada de intelixencia artificial é unha figura de nova creación que responde á necesidade de profesionalizar a Administración con carácter previo ao completo despregamento dos sistemas de intelixencia artificial na actividade administrativa.
En palabras do lexislador galego, constitúen «un elemento crucial no mecanismo de goberno interno da Administración autonómica, no seu rol de provedor e responsable do despregamento de sistemas de intelixencia artificial» (apartado VI da exposición de motivos). En síntese, a súa finalidade é a de velar polo cumprimento dos principios e obrigas aplicables aos sistemas de intelixencia artificial implementado no sector público autonómico.
En canto á súa formación, non se exixe un título concreto, pero si que posúan coñecementos «técnicos, xurídicos, éticos, de normas de seguridade e de decisións automatizadas» (art. 36.2 LIAG). Trátase, pois, dun perfil interdisciplinario que exixe unha formación polivalente, non limitada a aspectos meramente técnicos ou xurídicos. As funcións concretas a desempeñar polas persoas comisionadas están determinadas no apartado 3 do artigo 36, ao cal me remito. Aquí só abordarei as competencias que, ao meu xuízo, poden producir efectos xurídicos significativos nos procedementos administrativos.
En primeiro lugar, os interesados no procedemento poderán, con carácter previo á interposición dun recurso, presentar unha queixa ou suxestión ante a persoa comisionada. A queixa ou suxestión ten carácter potestativo, polo que en ningún caso os interesados estarán obrigados a formulala. Agora ben, se decidisen facelo, a persoa comisionada ten un prazo de dous meses para comunicarlles aos interesados a adopción (ou non adopción) de medidas. O procedemento a seguir será o previsto no artigo 16 da Lei 1/2015, do 1 de abril, de garantía da calidade dos servizos públicos e de boa administración.
Ao meu modo de ver, a formulación dunha simple queixa non suspende o prazo para interpor o recurso que corresponda na vía administrativa ou xudicial. Logo, o interesado, unha vez presentada a queixa ou suxestión, deberá presentar recurso antes de que prescriba o seu dereito a recorrer.
En segundo lugar, debe diferenciarse o dereito a formular queixas ou suxestións do deber da persoa comisionada de emitir informe en caso de que se presente recurso ou reclamación en vía administrativa. Neste suposto, si se suspende o prazo que ten a Administración para resolver o recurso ou a reclamación, ex artigo 22.1, letra d) da Lei 1/2015, do 1 de outubro, do procedemento administrativo común das administracións públicas. O informe que dite a persoa comisionada, que deberá valorar non só as cuestións técnicas, senón tamén as xurídicas, deberá terse en conta na resolución do recurso.
Noutra orde de cousas, xa se puxo de manifesto nos parágrafos anteriores que as persoas comisionadas de intelixencia artificial deben ser empregados públicos con perfís interdisciplinarios. Pero, existen tales perfís na actualidade? A resposta é un non rotundo. A quen lle corresponde, pois, desempeñar as funcións desta nova figura? O lexislador autonómico, partindo dunha solución dificilmente sostible a medio prazo, atribúelles as funcións das persoas comisionadas aos delegados de protección de datos, os cales recibirán unha formación específica na materia que os capacite para o desempeño das súas novas tarefas.
É a atribución de funcións aos delegados de protección de datos unha solución axeitada para afrontar a implementación xeneralizada da intelixencia artificial na Administración? Só o tempo ten a resposta. Ao meu parecer, nun futuro non moi afastado, é probable que sexa necesaria a creación de corpos funcionariais no eido estatal e autonómico dedicados plenamente ao exercicio de funcións relacionadas co uso e a supervisión da intelixencia artificial nas administracións públicas.
4. A actividade planificadora en materia de intelixencia artificial
En boa medida, o éxito dunha política pública vén precedido dunha correcta planificación que identifique os obxectivos a perseguir e os medios necesarios para alcanzalos. O lexislador galego, consciente da importancia da planificación administrativa para o impulso e o desenvolvemento da intelixencia artificial en Galicia, crea un sistema que vai do xeral (Estratexia galega de intelixencia artificial) ao específico (proxectos de intelixencia artificial).
Resulta de interese destacar que a planificación que propón o lexislador autonómico non se limita á actividade interna da Administración, senón que se estende ao ámbito privado. Seguindo a clasificación proposta polo profesor Vaquer Caballería, trataríase, polo tanto, dunha planificación de natureza mixta, a cabalo entre a planificación socioeconómica dun sector concreto e a planificación interna da Administración28.
4.1. A Estratexia galega de intelixencia artificial
Na cúspide do sistema de planificación atópase a Estratexia galega de intelixencia artificial, regulada no artigo 32 da norma. Este documento ten por obxecto, grosso modo, o «establecemento dos obxectivos xerais e particulares que se pretendan conseguir co seu desenvolvemento no ámbito da intelixencia artificial en Galicia» (art. 32.1 LIAG).
A elaboración da estratexia correspóndelle á entidade instrumental do sector público competente en materia de tecnoloxías, mentres que a súa adopción é competencia da Xunta de Galicia. Trátase, pois, dun procedemento bifásico onde a entidade instrumental competente elabora o documento pero a decisión final a toma o órgano de goberno da comunidade autónoma.
Respecto ao contido, a lei desenvolve pormenorizadamente a información básica que debe incorporarse á Estratexia galega de intelixencia artificial no apartado 3 do artigo 32. Sen ánimo de transcribir aquí o contido literal do precepto, interesa destacar as cuestións relativas ao seguimento e execución da estratexia, así como o referente á avaliación ex post de estratexias anteriores.
Dunha parte, o lexislador obriga a que a planificación inclúa indicadores ou métodos que permitan controlar o seguimento da execución e avaliar a eficacia dos programas [art. 32.3, letra h) LIAG]. Esta información deberá pórse á disposición das partes interesadas e da sociedade en xeral. Doutra, tamén impón que en cada estratexia se inclúa o nivel de cumprimento dos obxectivos previstos en estratexias previas [art. 32.3, letra i) LIAG].
Aquí paréceme conveniente insistir en que a entidade instrumental encargada da elaboración do documento non pode limitarse a redactar fórmulas xenéricas en que se declare o cumprimento do previsto en estratexias anteriores. Pola contra, a cidadanía ten o dereito a coñecer os resultados concretos e o grao de cumprimento do contido da estratexia de forma precisa.
Ambas as dúas medidas teñen un dobre obxectivo. O primeiro, que a Administración conte coa información suficiente para corrixir posibles deficiencias e valorar a eficacia e o grao de cumprimento das estratexias adoptadas. Noutras palabras, supón introducir un mecanismo para a avaliación ex post das políticas públicas en materia de intelixencia artificial. O segundo, render contas ante a cidadanía, garantindo que esta poida seguir as actuacións da Administración autonómica na materia durante todo o ciclo de vida da estratexia.
O período de vixencia da estratexia será de cinco anos, que poderá verse reducido de existiren razóns que o xustifiquen. Nunha materia como a intelixencia artificial, en constante e rápida evolución, certo grao de flexibilidade é imperativo. Non será estraño, polo tanto, que algúns dos documentos que se adopten no futuro teñan unha vixencia inferior.
4.2. Os programas sectoriais de intelixencia artificial
O segundo chanzo do sistema de planificación intégrano os programas sectoriais de intelixencia artificial. En puridade, cómpre aclarar que o sistema non actúa como un sistema xerárquico, senón concéntrico, na medida en que estes programas forman parte da Estratexia galega de intelixencia artificial [art. 32.3, letra b) LIAG].
Os programas, como o seu propio nome indica, constitúen plans de natureza sectorial elaborados pola consellería competente por razón da materia en colaboración coa entidade instrumental do sector público competente en materia de tecnoloxías. Iso quere dicir que poden existir, como mínimo, tantos programas sectoriais como consellerías. O contido destes documentos, con algúns matices, é practicamente idéntico ao da Estratexia galega de intelixencia artificial.
En relación coa súa aprobación, esta correspóndelle á Xunta de Galicia, non ás consellerías, de conformidade co artigo 33 da lei. Así pois, as consellerías limitaranse a elaborar e a propor o programa sectorial, pero o visto e prace final darao en todo caso o órgano de goberno autonómico. Iso despréndese do teor literal do articulado e da propia natureza concéntrica do sistema de planificación. Os programas sectoriais non teñen carácter autónomo. Antes ben, constitúen a clave de bóveda da Estratexia galega de intelixencia artificial.
4.3. Os proxectos de intelixencia artificial
O sistema de planificación articulado polo lexislador galego complétase coa figura dos proxectos de intelixencia artificial (denominados tamén pola norma proxectos de sistemas de intelixencia artificial). Esta categoría é substancialmente diferente ás dúas anteriores, pois non só se ocupa dos obxectivos ou necesidades que cómpre cubrir, senón tamén de establecer as especificacións técnicas do sistema de intelixencia artificial que se deben implementar [art. 34.2, letra c) LIAG].
Debido ao seu carácter mixto, a elaboración do informe do proxecto de intelixencia artificial compete conxuntamente aos órganos promotores funcionais e aos responsables tecnolóxicos (art. 41.1 LIAG). Unha vez redactado, o informe do proxecto pasará á Oficina de Intelixencia Artificial, que, tras analizalo, emitirá unha proposta para a súa aprobación no prazo máximo dun mes, de acordo co procedemento establecido no título III da lei (art. 42.1 LIAG).
A aprobación definitiva correspóndelle á persoa titular da entidade instrumental competente en materia de tecnoloxías, que ditará resolución no prazo máximo de dous meses, contados desde a recepción do informe do proxecto no rexistro da entidade instrumental. O transcurso do prazo para resolver producirá a denegación do proxecto por silencio negativo (art. 42, apartados 2 e 3 LIAG).
A aprobación dun proxecto leva consigo o inicio da fase de deseño e desenvolvemento ou, no seu lugar, da fase de adquisición e implementación do sistema. Que fase concreta proceda é algo que dependerá do propio proxecto de intelixencia artificial aprobado, xa que un dos puntos que necesariamente debe conter é «A determinación da forma de creación do sistema de intelixencia artificial, ben por deseño polos propios medios, ben por adquisición» [art. 34.2, letra d) LIAG].
5. Colaboración público-privada e cooperación interadministrativa: ferramentas estratéxicas para o deseño, desenvolvemento e adquisición de sistemas de intelixencia artificial destinados á mellora dos servizos públicos
O ritmo a que avanza a tecnoloxía fai que sexa moi complicado, por non dicir imposible, que a Administración deseñe e desenvolva con medios propios sistemas de intelixencia artificial. A complexidade da materia e o seu carácter innovador, unidos á escaseza de coñecementos técnicos, capital humano e medios materiais, fan moi difícil que as administracións públicas desenvolvan os seus propios sistemas.
Non obstante, lonxe de ser un obstáculo, o certo é que se trata dunha ventá de oportunidade para fortalecer e aproveitar os mecanismos existentes de colaboración público-privada29. A relevancia de xuntar sinerxías entre os dous sectores ponse de relevo ao longo da norma analizada30, ata o punto de que se lle outorga á devandita colaboración o rango de principio xeral de actuación (art. 20 LIAG).
No campo da intelixencia artificial a cooperación co sector privado é primordial, dado o seu vasto coñecemento e ampla experiencia nun ámbito tan complexo como é o das tecnoloxías innovadoras.
O lexislador galego, coñecedor dos motivos que aquí se sinalan, dispón que «se procurará a elección de modalidades de contratación pública de innovación» (art. 45.1, in fine LIAG). O citado precepto debe interpretarse en conexión co artigo 68 da lei, titulado «Compra pública estratéxica de intelixencia artificial», que prevé disposicións específicas en materia de deseño, desenvolvemento ou adquisición de sistemas de intelixencia artificial.
5.1. A adquisición de sistemas de intelixencia artificial a través da compra pública de innovación
En canto ás modalidades de contratación pública de solucións innovadoras, os instrumentos con que conta o sector público galego son tres: a compra pública precomercial, a compra pública de tecnoloxía innovadora e o procedemento específico de contratación de asociación para a innovación31. Estes tres mecanismos forman parte do que se coñece como Compra Pública de Innovación, un concepto que define «unha actuación administrativa de fomento do I+D+i orientada a potenciar o desenvolvemento de novos mercados innovadores desde o lado da demanda a través do instrumento da contratación pública»32.
A opción dun ou outro dependerá basicamente do grao de madureza da tecnoloxía33. Na miña opinión, o desenvolvemento de sistemas de intelixencia artificial cuxa finalidade específica sexa a realización ou orientación de actuacións administrativas ten un carácter claramente novidoso, polo que o uso da compra pública de innovación está plenamente xustificado, de acordo co concepto de innovación establecido pola Directiva 2014/24/UE, sobre contratación pública34.
Este razoamento implica que os órganos de contratación poderán acudir a calquera dos instrumentos dispoñibles, mesmo a compra pública precomercial. E iso por unha simple razón: se ben xa existen no mercado sistemas de intelixencia artificial, é altamente probable que estes softwares non se adapten ás exixencias e especificidades que require o seu uso nas administracións públicas. A innovación radica, pois, ben na adaptación ou mellora dos sistemas existentes ao contexto en que han de ser aplicados, ben no desenvolvemento de novos softwares que aínda non están dispoñibles no mercado.
Dito o cal, o lexislador galego prioriza o procedemento de asociación para a innovación respecto das demais modalidades. Non obstante, a propia norma permite acudir ás demais opcións de compra pública de innovación cando existan motivos que o xustifiquen. A vantaxe do procedemento de asociación para a innovación reside principalmente en que a Administración poderá adquirir os sistemas de intelixencia artificial creados na fase de investigación e desenvolvemento35. Iso permite centralizar a fase de I+D+i e de comercialización nun só procedemento de contratación, en contraposición á compra pública precomercial e á compra pública de tecnoloxía innovadora.
5.2. Os acordos de contratación conxunta de sistemas de intelixencia artificial
O apartado 3 do artigo 68 prevé a posibilidade de que a Administración e o sector público autonómico cheguen a acordos con outras administracións coa finalidade de contratar de forma coordinada as solucións de intelixencia artificial destinadas á mellora dos servizos públicos.
En concreto, aínda que non só, o citado apartado regula dúas modalidades de contratación conxunta. A primeira unicamente ten por obxecto a elaboración de especificacións técnicas comúns. Nesta modalidade, os procedementos de contratación seguirán sendo independentes. A segunda, pola súa banda, implica a asunción da xestión do procedemento de contratación en nome de todas as administracións que participen no acordo de contratación conxunta.
Esta última opción pode resultar moi útil de cara a facilitar a adquisición de sistemas de intelixencia artificial por parte das entidades locais, principalmente dos pequenos municipios, que poden ter serias dificultades para licitar debido á escaseza de medios persoais e materiais36. Así mesmo, unha das vantaxes da contratación centralizada é que permitirá adquirir solucións de intelixencia artificial en mellores condicións grazas á economía de escala.
Nos dous supostos, os termos da colaboración deberán quedar reflectidos nos acordos de contratación conxunta que se formalicen.
5.3. A elaboración dun catálogo de cláusulas tipo en función do nivel de risco do sistema de intelixencia artificial
Que tipos de sistemas de intelixencia artificial empregue o sector público dependerá en boa medida do contido dos pregos de cláusulas administrativas e técnicas que se utilicen nos procedementos de contratación pública. Así pois, poderiamos afirmar sen temor a caer na hipérbole que ambos os dous documentos constitúen un dos elementos basilares sobre os que se edificará o modelo de Administración dixital do século XXI.
Coa finalidade de garantir un uso da intelixencia artificial responsable e respectuoso cos dereitos dos cidadáns, o lexislador autonómico imponlle á entidade instrumental competente en materia de tecnoloxías a obriga de elaborar un catálogo de cláusulas en función do nivel de risco dos sistemas de intelixencia artificial a deseñar, desenvolver ou adquirir37. Para acometer esta tarefa, a entidade contará coa asistencia da Asesoría Xurídica Xeral e da Secretaría da Xunta Consultiva de Contratación Administrativa da Comunidade Autónoma de Galicia.
A diferenciación en función do risco responde ao principio de proporcionalidade, pois carece de sentido exixirlle os mesmos requisitos a un sistema de intelixencia artificial de alto risco (v.g., un sistema que actúe como compoñente de seguridade dunha infraestrutura crítica) que a un sistema que se limita a realizar sinxelas tarefas de xestión que non afectan á esfera xurídica do cidadán (v.g., un sistema destinado a tarefas de xestión administrativa con efectos ad intra).
Respecto do contido, o apartado 4 do artigo 68 enumera un conxunto de requisitos mínimos que as cláusulas tipo deben garantir. Este apartado debe interpretarse en conexión co artigo 45.3, que remite, pola súa vez, aos requisitos de deseño considerados no artigo 43; a maioría deles coinciden cos requisitos esenciais exixidos polo RIA para os sistemas de intelixencia artificial de alto risco. Cabe destacar que non se trata dunha listaxe que opere numerus clausus38, polo que a entidade instrumental poderá incorporar cláusulas que garantan outros requisitos non previstos expresamente.
De novo, cómpre ter presente que os sistemas de intelixencia artificial cualificados como de alto risco cumprirán por imperativo do RIA con practicamente todos os requisitos exixidos pola lei galega. De aí que, se os sistemas a adquirir contan coa declaración UE de conformidade e a marcación CE, cabería presumir que cumpren cos requisitos da lei galega que coincidan cos previstos polo Regulamento europeo de intelixencia artificial (v.g., os requisitos relativos á ciberseguridade ou á supervisión humana).
Cuestión distinta é que a Administración decida elevar os estándares de seguridade e calidade dos sistemas que empregue. Iso é perfectamente posible e non vulneraría o dereito da Unión, na medida en que non supón un obstáculo á comercialización. Os Estados membros teñen o poder de decidir os requisitos que deben cumprir os sistemas que vaia utilizar o seu sector público. O RIA simplemente establece un chan mínimo e máximo que opera de cara á comercialización de determinados sistemas de intelixencia artificial e modelos de intelixencia artificial de uso xeral no mercado único europeo.
Iso implica que un Estado membro non podería exixir maiores nin menores requisitos que os previstos no RIA para permitir a introdución no mercado ou a posta en servizo dun sistema. Agora ben, o que si pode facer é determinar que requisitos deben cumprir os sistemas que vai empregar a Administración. Aquí só opera un límite negativo: se o RIA exixe a avaliación previa da conformidade dun sistema e a correspondente marcación CE, a súa comercialización ou posta en servizo está supeditada a que o sistema conte coa declaración UE de conformidade e a referida marcación.
En resumo, o lexislador estatal e autonómico pode decidir os requisitos que deben cumprir os sistemas de intelixencia artificial despregados no sector público, coa única excepción de que non se poderán pór en servizo sistemas que non conten ca marcación CE, cando esta sexa obrigatoria. Mostra diso é que a propia lei galega establece un conxunto de requisitos mínimos aplicables a todos os sistemas de intelixencia artificial, sen distincións en función do risco, a diferenza do RIA, cuxas exixencias imperativas só se aplican a determinados sistemas (sistemas de alto risco e modelos de intelixencia artificial de uso xeral, principalmente).
6. A Administración autonómica galega como arquetipo de Administración facilitadora
Seguindo a lúcida teoría proposta polo profesor Gamero Casado, unha análise detallada da lei galega permite concluír que o lexislador autonómico se inclina por unha concepción da Administración pública como Administración facilitadora. En palabras do profesor, enténdese por tal «unha Administración próxima, que se identifica cos obxectivos do sector privado e que se implica proactivamente na súa consecución»39.
No ámbito que nos ocupa, a Administración non se limita a supervisar e controlar a conduta dos operadores que participan na cadea de subministración da industria da intelixencia artificial. Antes ben, transcende tal función reguladora40 para colocarse ao lado (non enriba) do sector privado, posicionándose así como un actor determinante para o fortalecemento e o desenvolvemento dun campo que xa está a transformar a sociedade.
A Administración facilitadora supón abandonar unha relación baseada na desconfianza no sector privado para avanzar cara a unha relación simbiótica baseada no principio de confianza recíproca. Partindo desta concepción, as causas e motivos que levan á ordenación dun sector económico non se fundamentan unicamente en garantir dereitos ou atender o interese xeral a través do sector privado (actividade de garantía, seguindo o profesor Esteve Pardo41), senón que tamén se persegue lograr o máximo beneficio para a sociedade mediante a creación das condicións óptimas para impulsar o investimento e xerar riqueza.
Malia que o espírito da norma está impregnado desta concepción, as medidas concretas que confirman a función facilitadora da Administración autonómica galega concéntranse no título V: «Das medidas para o impulso da intelixencia artificial en Galicia». Este título, pola súa vez, divídese en tres capítulos. O primeiro dedícase á introdución de medidas económicas e fiscais; o segundo, a medidas en materia de I+D+i e, o terceiro, a medidas de formación e capacitación.
A importancia das medidas de impulso está fóra de toda dúbida, pois representan nada menos que un 26 % do total do articulado (dezanove artigos, excluíndo as disposicións). Ao tratarse dunha análise global da norma, non é posible (nin recomendable) centrar o estudo en todas e cada unha das medidas propostas, polo que destacarei as que considero máis importantes.
6.1. Medidas en materia de simplificación administrativa
En materia de simplificación administrativa e axilización de proxectos estratéxicos, todos os proxectos industriais relacionados directamente coa intelixencia artificial que se desenvolvan en Galicia se considerarán proxectos industriais estratéxicos para os efectos do disposto no Decreto lexislativo 1/2015, do 12 de febreiro.
Iso significa que poderán beneficiarse das medidas de simplificación administrativa (redución de prazos, concesión directa de subvencións, etcétera...) consideradas no artigo 79.4 do Decreto lexislativo 1/2015. Así mesmo, polo que se refire aos proxectos empresariais singulares, o sector da intelixencia artificial será considerado como de especial importancia para os efectos da Lei 3/2022, do 18 de outubro, de áreas empresariais de Galicia.
6.2. Medidas fiscais, de impulso á transiciónenerxética e de impulso empresarial
Entre as actuacións dirixidas ao impulso empresarial, o emprendemento e o investimento, destacan a creación dun sistema de vixilancia tecnolóxica en intelixencia artificial para as empresas (art. 58.2 LIAG); a creación de programas de incubación, aceleración e consolidación de empresas emerxentes ou startups en intelixencia artificial (art. 59 LIAG) ou o deseño de instrumentos financeiros que fomenten o investimento en intelixencia artificial e tecnoloxías emerxentes (art. 60 LIAG).
En materia de transición enerxética, o lexislador introduce un mandato dirixido ao sector público galego para que promova o uso da intelixencia artificial en toda a cadea de subministración eléctrica. Neste ámbito, malia ser certo que a intelixencia artificial pode axudar a optimizar o consumo enerxético e contribuír á sostibilidade ambiental, non debe pasarse por alto que un uso intensivo tamén ten consecuencias negativas no medio ambiente.
Este impacto negativo débese principalmente ao alto consumo de enerxía e auga que require para operar. De aí que os poderes públicos deban ser conscientes da necesidade de avogar por un uso estratéxico, racional e controlado da intelixencia artificial.
Finalmente, en materia tributaria, o artigo 61 dispón que se promoverán medidas fiscais tendentes á redución dos custos fiscais que afronten as empresas dedicadas á intelixencia artificial e ao outorgamento de beneficios fiscais para as persoas que invistan nesas empresas.
6.3. A creación de factorías ou fábricas de intelixencia artificial: un espazo para o fomento da colaboración público-privada
Outra das medidas que poderían converter Galicia nun polo de atracción de talento son as factorías ou fábricas de intelixencia artificial. Estas fábricas constitúen un espazo de innovación construído arredor dun supercomputador (no caso concreto, arredor do Centro de Supercomputación de Galicia). Unha das principais vantaxes da súa construción é que lles permitirá ás empresas acceder a recursos de supercomputación (v.g., para desenvolver e adestrar os seus propios modelos de intelixencia artificial) que antes estaban reservados en exclusiva á comunidade investigadora. En consecuencia, trátase dun mecanismo que fomentará e reforzará a colaboración público-privada no desenvolvemento de solucións de intelixencia artificial.
No momento de escribir estas páxinas, a única fábrica de intelixencia artificial con que contamos en España ten a súa sede en Barcelona, concretamente no Barcelona Supercomputing Center - Centro Nacional de Supercomputación (BCN-CNS). Non obstante, convén ter presente que a creación destas factorías non é unha decisión exclusiva dos poderes públicos autonómicos ou estatais, xa que parten dunha iniciativa europea. Así, correspóndelle á Empresa Común de Informática de Alto Rendemento Europea (EuroHPC JU), a través dun procedemento específico (convocatoria de manifestación de interese), seleccionar os mellores proxectos de factoría de entre os presentados polos candidatos42.
Dito isto, e tendo en conta o espírito e o contido da norma analizada, é probable que a factoría de Barcelona non sexa a única en España. Este espírito despréndese dos mandatos dirixidos ao impulso de grandes infraestruturas de supercomputación (art. 64 LIAG)43; á creación dun espazo de datos que facilite o acceso a información de calidade nos termos establecidos pola normativa europea (art. 65 LIAG); e, en definitiva, á expresa referencia á posta en marcha de factorías de intelixencia artificial ou iniciativas similares (art. 66 LIAG).
6.4. Medidas de alfabetización en materia de intelixencia artificial
A alfabetización en materia de intelixencia artificial44 é un factor ineludible para maximizar os beneficios e minimizar os potenciais riscos derivados do seu uso. Para tal fin, e en cumprimento do artigo 4 do RIA, o lexislador autonómico prevé o impulso e a promoción de medidas formativas que non se circunscriben unicamente aos empregados públicos, senón que tamén se estenden ao sector privado (sexan traballadores ou persoas desempregadas) e á cidadanía en xeral.
Polo que respecta aos empregados públicos, o sector público autonómico deberá habilitar os medios necesarios que garantan a súa capacitación inicial e formación continua (art. 69 LIAG). O contido, en boa lóxica, comprende tanto os aspectos técnicos da intelixencia artificial como os xurídicos e éticos. Na miña opinión, a formación previa do empregado público en materia de intelixencia artificial é unha conditio sine qua non para a implementación xeneralizada desta ferramenta.
Formulo a seguinte reflexión: permitiriámoslle a un axente das forzas e corpos de seguridade utilizar unha arma sen a correspondente formación e licenza? Obviamente, non, xa que un uso incorrecto da arma regulamentaria pode provocar danos a dereitos fundamentais como a integridade física ou a vida.
Pois ben, aínda que o símil poida parecernos exaxerado prima facie, o certo é que un uso inadecuado dos sistemas de intelixencia artificial pode lesionar dereitos fundamentais como o dereito á igualdade, á intimidade, á protección de datos e mesmo á propia vida ou á integridade física. Por este motivo, estaría plenamente xustificado prohibir o uso da intelixencia artificial na actividade administrativa cando o empregado público careza da capacitación necesaria para utilizar a intelixencia artificial con plenas garantías.
Na esfera do sector privado, a lei tamén obriga o sector público autonómico a promover medidas de alfabetización directas e indirectas (estas últimas a través de medidas de apoio a empresas e entidades do terceiro sector que leven a cabo plans de formación en intelixencia artificial); programas de actuación profesional; e, por último, formación na materia para persoas desempregadas a través do servizo público de emprego autonómico.
As medidas, contidas no artigo 70, teñen por obxecto a capacitación das persoas traballadoras ou desempregadas, polo que o seu ámbito de actuación queda constrinxido á esfera laboral. A inclusión expresa de medidas dirixidas a estes grupos específicos é, ao meu xuízo, moi necesaria, xa que cada día son máis os postos de traballo que aplican intelixencia artificial. Unha boa formación na materia incrementará a produtividade e mellorará a empregabilidade das persoas demandantes de emprego.
Ademais, prevese o apoio específico a programas de máster e doutoramento no campo da intelixencia artificial (art. 71 LIAG) e, o que me parece máis importante, medidas de alfabetización dirixidas á cidadanía en xeral (art. 72 LIAG). Este último aspecto é transcendental, pois os riscos derivados dun uso inadecuado da intelixencia artificial xa se están a materializar. A sociedade necesita que as administracións públicas preveñan e conciencien a cidadanía sobre os usos nocivos da intelixencia artificial.
7. Consideracións finais
Tras o exame do texto lexislativo, pode confirmarse que o lexislador galego cubriu con acerto unha lagoa normativa que, de non se ter corrixido, podería xerar graves prexuízos nos dereitos e intereses lexítimos da cidadanía. Como salientaba ao inicio deste estudo, a articulación dun marco xurídico específico que regule o uso da intelixencia artificial é un presuposto fundamental para a implementación xeneralizada da intelixencia artificial nas administracións públicas.
Como recomendación, conviría mellorar nun futuro a sistemática da lei e reducir o seu carácter principialista, diferenciando nitidamente o que constitúen principios xerais de actuación do que son deberes xurídicos concretos, requisitos técnicos dos sistemas ou dereitos subxectivos (v.g., art. 6, apartados 2 e 3; e arts. 7, 8, 10, 11, 16, 17 LIAG, principalmente). O capítulo II do título preliminar, mesmo estando de acordo co seu contido, podería xerar confusión no operador xurídico encargado da interpretación e aplicación da norma. En dereito administrativo, o nomen iuris das institucións non é, baixo o meu punto de vista, unha cuestión menor, pois a configuración lexislativa dun precepto como principio xeral de actuación, sen negar a súa relevancia, non produce os mesmos efectos que a súa configuración como deber xurídico ou dereito subxectivo.
Unha alternativa podería ser que o título IV, dedicado a regular o uso dos sistemas e modelos de intelixencia artificial, acollese algunhas das obrigas ou dereitos contidos no título preliminar, como a boa administración do artigo 6 e a reserva de humanidade e supervisión humana do artigo 12. O mesmo acontece co capítulo III do mesmo título, dedicado aos dereitos da cidadanía. Ao tratarse de dereitos que o cidadán pode facer valer fronte á Administración como consecuencia dun uso contrario a dereito da intelixencia artificial, terían un mellor encaixe no título IV.
En canto aos principios xerais que en realidade son requisitos obrigatorios que han de cumprir os sistemas de intelixencia artificial ou a Administración na súa calidade de provedora ou responsable do despregamento, sería máis axeitado que pasasen a formar parte do capítulo II do título III. Dentro desta categoría inclúense os «principios xerais» de auditabilidade, trazabilidade e explicabilidade do artigo 7; de seguridade e privacidade do artigo 11 e de avaliación dos artigos 16 e 17. A seguridade do sistema ou a súa explicabilidade non son principios de actuación, senón requisitos técnicos que o software de intelixencia artificial ten que cumprir para poder ser despregado no sector público autonómico.
Por outra banda, recoméndase corrixir as redundancias presentes nalgúns artigos. Como botón de mostra, o artigo 50, dedicado ao alcance do uso de sistemas de intelixencia artificial na toma de decisións, vén dicir o mesmo que o artigo 12, pero de forma distinta. Igual sucede coa exixencia de motivación das decisións, que se repite, aínda que de forma diferente, nos artigos 6 e 23.1, b) da lei. Estas redundancias reforzan o argumento da necesidade de mellorar a estrutura do texto analizado, co fin de dotar de coherencia e unidade o seu contido.
No que respecta á estrutura organizativa e á profesionalización, a lei cobre unha exixencia básica para o despregamento da intelixencia artificial no sector público autonómico. Resulta especialmente plausible a configuración do Consello Galego de Intelixencia Artificial como fórmula institucionalizada de colaboración público-privada. Aproveitar o coñecemento do sector privado en materia de intelixencia artificial é unha cuestión vital para a mellora das políticas públicas neste ámbito.
En fin, sen ánimo de estenderme, para rematar só me resta dicir que a sociedade galega conta cunha norma necesaria e axeitada á realidade social. Galicia deu o primeiro paso, agora só queda que as demais comunidades autónomas e o Estado, cos seus matices e diferenzas, avancen na mesma dirección. A Administración do século XXI exixe reformas estruturais de profundo calado, reformas estas que afectan, pola súa vez, aos propios alicerces do dereito administrativo. De aí que os administrativistas non poidamos permanecer alleos aos cambios, nin pretender achar respostas aos problemas que formula a Administración actual con esquemas mentais anacrónicos.
A lei galega, co seu espírito visionario, dá un paso decisivo cara á máis que necesaria remodelación da arquitectura administrativa. Estaremos ben atentos ao seu desenvolvemento regulamentario e aplicación.
8. Bibliografía
Álvarez García, V. e Tahirí Moreno, J., “La regulación de la inteligencia artificial en Europa a través de la técnica armonizadora del nuevo enfoque”, Revista General de Derecho Administrativo, 63, 2023.
Bermejo Latre, J. L., “La aplicación de la inteligencia artificial en la actividad formal e informal de la Administración”, en Valcárcel Fernández, P. e Hernández González, F. L. (coords.), El derecho administrativo en la era de la inteligencia artificial, Instituto Nacional de la Administración pública, 2025, pp. 223-250.
Carrillo Donaire, J. A., “La compra pública de innovación: retos y oportunidades para el desarrollo de la I+d+i desde la demanda pública”, en IUS ET VERITAS: Revista de la Asociación IUS ET VERITAS, 2021, pp. 38-59.
Cofrades Aquilué, L, “La función de asistencia y cooperación en contratación pública”, en Gimeno Feliu, J. M. (dir.) e de Guerrero Manso, C. (coord.), Observatorio de los contratos públicos 2022, Aranzadi, 2023, pp. 321–339
De Guerrero Manso, C., “La asociación para la innovación: Nuevo procedimiento de adjudicación que permite a los órganos de contratación ser protagonistas del proceso de adquisición de bienes, servicios u obras innovadoras”, en Fernández Salmerón, M. e Martínez Gutiérrez, R. (dirs.), Transparencia, innovación y buen gobierno en la contratación pública, Comares, 2018, pp. 271-304.
Esteve Pardo, J., “La Administración garante. Una aproximación”, Revista de Administración pública, 197, 2015, pp. 11-39.
Gamero Casado, E., “La Administración facilitadora: el papel de la Administración pública en el nuevo orden socio económico”, Revista Andaluza de Administración pública, 113, 2022, pp. 271-291 https://doi.org/10.46735/raap.n113.1355.
Gimeno Feliu J. M., “La colaboración público-privada en un contexto de moderna gobernanza económica al servicio de la ciudanía”, Revista General de Derecho Administrativo, 65, 2024.
Muñoz Machado, S. e Esteve Pardo, J., “Fundamentos e instituciones de la regulación”, en Muñoz Machado, S., Derecho de la regulación económica, Iustel, 2009.
Ponce Solé, J., “Reserva de humanidad y supervisión humana de la Inteligencia artificial”, El Cronista del Estado Social y Democrático de Derecho, 100, 2022, pp. 58-67.
Tahirí Moreno, J. A., “El principio de presunción de falibilidad de las decisiones algorítmicas desfavorables: Una nueva garantía jurídica frente a las decisiones automatizadas y el uso de sistemas de inteligencia artificial en la Administración pública”, Revista Aragonesa de Administración pública, 60, 2023, pp. 188-214.
Tahirí Moreno, J. A., “Una panorámica de los sistemas de inteligencia artificial desde la perspectiva del derecho administrativo”, Revista Aragonesa de Administración pública, 61, 2024, pp. 137-168.
Tahirí Moreno, J. A., “Artículo 40. Normas armonizadas y documentos de normalización”, en Moisés Barrio A. (dir.), Comentarios al Reglamento Europeo de Inteligencia Artificial, La Ley Aranzadi, 2024.
Tahirí Moreno, J. A., e Cofrades Aquilué, L., “Déficits y excesos normativos en materia de transparencia, buena administración y buen gobierno: un análisis de la cuestión a partir de la legislación estatal y extremeña”, Revista de Estudios de la Administración Local y Autonómica, 22, 2024, pp. 92–117. https://doi.org/10.24965/reala.11350.
Valcárcel Fernández, P., “La Compra Pública de Innovación (CPI): el procedimiento de adjudicación de Asociación para la Innovación”, en Gallego Córcoles, I. e Gamero Casado, E. (dirs.), Tratado de contratos del sector público, Vol. 2, Tirant Lo Blanch, 2018, pp. 1669-1712.
Vaquer Caballería, M., “Lección 18. Planificación administrativa”, en Velasco Caballero, F. e Darnaculleta Gardella, M. (dirs.), Manual de Derecho Administrativo, 2.ª ed. Marcial Pons, 2024, pp. 451-469.
Velasco Caballero, F., “La Administración pública en la colaboración público-privada”, Revista Catalana de Dret Públic, 67, 2023, pp. 36-66.
Velasco Rico, C., “Personalización, proactividad e inteligencia artificial. ¿Un nuevo paradigma para la prestación electrónica de servicios públicos?”, Revista de Internet, Derecho y Política (IDP), 30, 2020.
1 Este estudo é resultado das investigacións realizadas no marco dos Proxectos de Xeración de Coñecemento «Innovación para unha saúde de vangarda: compra pública, tecnoloxía, sostibilidade ambiental e factores socioeconómicos (IN-SALVAN)» (PID2021-PID2021-127828NB-I00-I00); «Cara á boa administración desde a contratación pública no contexto da Unión Europea da saúde» (PID2023-PID2023-150327NB-I00-I00) e «Os retos da intelixencia artificial para o Estado social e democrático de Dereito» (PID2022-PID2022-136548NB-I00-I00), financiados polo Ministerio de Ciencia, Innovación e Universidades.
2 Regulamento (UE) 2024/1689 do Parlamento Europeo e do Consello, do 13 de xuño de 2024, polo que se establecen normas harmonizadas en materia de intelixencia artificial e polo que se modifican os regulamentos (CE) n.° 300/2008, (UE) n.° 167/2013, (UE) n.° 168/2013, (UE) 2018/858, (UE) 2018/1139 e (UE) 2019/2144 e as directivas 2014/90/UE, (UE) 2016/797 e (UE) 2020/1828 (Regulamento de intelixencia artificial).
3 Unha análise pormenorizada da regulación da intelixencia artificial como produto pode atoparse en Álvarez García, V. e Tahirí Moreno, J., “La regulación de la inteligencia artificial en Europa a través de la técnica armonizadora del nuevo enfoque”, Revista General de Derecho Administrativo, 63, 2023.
4 Polo que se refire aos principios, a norma galega recoñece os seguintes: o principio de boa administración dixital e dilixencia debida; de auditabilidade, trazabilidade e explicabilidade; de transparencia; de claridade; de imparcialidade e ausencia de nesgos; de seguridade e privacidade; de reserva de humanidade e supervisión humana; de proactividade e personalización; de universalidade e accesibilidade; de fiabilidade e responsabilidade; de avaliación do impacto organizativo, económico, social e ambiental; de avaliación continua; de precaución; de formación continua; de colaboración e transferencia; e, finalmente, de capacidade técnica, proporcionalidade e suficiencia financeira.
5 Como dereitos, recoñécese o dereito á transparencia e supervisión humana, o dereito á igualdade e o dereito á tutela.
6 Algúns destes “principios” son verdadeiras obrigas, de aí que se poña entre comiñas. Sirvan como mostra os “principios” de auditabilidade, trazabilidade e explicabilidade do artigo 7 da lei. Lonxe de seren principios xerais, constitúen requisitos obrigatorios que deben cumprir os sistemas de intelixencia artificial que empregue a Administración. Non poderá, pois, utilizarse un sistema que non sexa auditable, trazable e explicable.
7 O principio de reserva de humanidade foi desenvolvido a nivel doutrinal polo profesor Ponce Solé. Para afondar no concepto, véxase Ponce Solé, “Reserva de humanidad y supervisión humana de la Inteligencia artificial”, El Cronista del Estado Social y Democrático de Derecho, 100, 2022, pp. 58-67.
8 A diferenza entre as dúas técnicas pode atoparse en Ponce Solé, “Reserva de humanidad y supervisión humana de la Inteligencia artificial”, El Cronista del Estado Social y Democrático de Derecho, 100, 2022, pp. 63-66.
9 O artigo 50 forma parte, xunto con outros tres artigos, do título IV: «O uso de sistemas de intelixencia artificial e modelos de intelixencia artificial de uso xeral».
10 Dispón o apartado 2 do artigo 50 que «A Administración xeral da Comunidade Autónoma de Galicia e o seu sector público poderán apoiar a súa toma de decisións nas previsións ou recomendacións emitidas por sistemas de intelixencia artificial».
11 Así se desprende do inciso final do apartado 3 cando dispón que «deberá tratarse de actos administrativos que non requiran dunha valoración subxectiva das circunstancias concorrentes ou unha interpretación xurídica».
12 Ponce Solé, J., “Reserva de humanidad y supervisión humana de la Inteligencia artificial”, El Cronista del Estado Social y Democrático de Derecho, 100, 2022, p. 63.
13 Do desenvolvemento e actualización dos dous principios na doutrina española ocupouse a profesora Clara Velasco Rico. Para afondar no seu significado, véxase Velasco Rico, C., “Personalización, proactividad e inteligencia artificial. ¿Un nuevo paradigma para la prestación electrónica de servicios públicos?”, Revista de Internet, Derecho y Política, 30, 2020.
14 Aquí incórrese no mesmo erro de cualificación, pois o lexislador denomina principio xeral de actuación o que verdadeiramente é un deber xurídico de facer pública unha información moi concreta dos sistemas de intelixencia artificial.
15 Unha análise doutrinal e xurisprudencial actualizada con propostas de lege ferenda en materia de transparencia pode atoparse en Tahirí Moreno, J. A., e Cofrades Aquilué, L., “Déficits y excesos normativos en materia de transparencia, buena administración y buen gobierno: un análisis de la cuestión a partir de la legislación estatal y extremeña”, Revista de Estudios de la Administración Local y Autonómica, 22, 2024, pp. 92-117. https://doi.org/10.24965/reala.11350.
16 Dispón a nova letra f) do artigo 8 da Lei de transparencia e bo goberno galega que os suxeitos obrigados facilitarán información sobre “A relación de sistemas de intelixencia artificial ou modelos de intelixencia artificial de uso xeral que teñan impacto nos procedementos administrativos ou na prestación dos servizos públicos, con descrición de xeito comprensible da súa arquitectura e funcionamento, dos datos que utilizan, do nivel de risco que implican e do impacto dos seus resultados nos procedementos administrativos, en especial se son ou non directamente decisorios destes”.
17 Bermejo Latre, J. L., “La aplicación de la inteligencia artificial en la actividad formal e informal de la Administración”, en Valcárcel Fernández, P. e Hernández González, F. L. (coords.), El derecho administrativo en la era de la inteligencia artificial, Instituto Nacional da Administración Pública, 2025, p. 238.
18 Este enfoque desenvolvino hai dous anos en Tahirí Moreno, J. A., “El principio de presunción de falibilidad de las decisiones algorítmicas desfavorables: Una nueva garantía jurídica frente a las decisiones automatizadas y el uso de sistemas de inteligencia artificial en la Administración Pública”, Revista Aragonesa de Administración Pública, 60, 2023, pp. 188-214.
19 Sentenza do Tribunal de Xustiza da Unión Europea do 7 de decembro de 2023, asunto C-634/21, ECLI:EU:C:2023:957.
20 Para tal efecto, dispón o apartado 2 do artigo 15 que “Os danos causados polos sistemas de intelixencia artificial deseñados ou empregados pola Administración xeral da Comunidade Autónoma de Galicia e o seu sector público, independentemente do seu grao de autonomía, deberán ser reparados integramente por ela, de acordo co establecido na Lei 40/2015, do 1 de outubro, e na Lei 39/2015, do 1 de outubro. O disposto anteriormente entenderase sen prexuízo da posibilidade de lles reclamar, se é o caso, aos provedores de tales sistemas. En todo caso, nestes extremos observarase a normativa europea que resulte de aplicación” (a cursiva é miña).
21 Regulamento (UE) 2016/679 do Parlamento Europeo e do Consello, do 27 de abril de 2016, relativo á protección das persoas físicas no que respecta ao tratamento de datos persoais e á libre circulación destes datos e polo que se derroga a Directiva 95/46/CE (Regulamento xeral de protección de datos).
22 Neste sentido, o RIA xa obriga os provedores de sistemas de intelixencia artificial de alto risco a contar cun sistema de xestión de riscos.
23 Principalmente no relativo ás obrigas en materia de vixilancia poscomercialización.
24 Malia que a finalidade orixinaria do principio de precaución era garantir un alto nivel de protección do medio ambiente (art. 191 TFUE), o certo é que á súa aplicación se estendeu a outros ámbitos en que os datos científicos dispoñibles non permiten determinar os riscos de forma clara. Sobre o contido do principio de precaución, véxase https://eur-lex.europa.eu/legal-content/ES/TXT/PDF/?uri=CELEX:52000DC0001.
25 Unha análise específica do precepto pode atoparse en Tahirí Moreno, J. A., “Artículo 40. Normas armonizadas y documentos de normalización”, en Moisés Barrio A. (dir.), Comentarios al Reglamento Europeo de Inteligencia Artificial, Aranzadi La Ley, 2024.
26 Pouco teñen que ver as necesidades funcionais da Consellería de Economía e Industria coas da Consellería do Mar. Requírese, polo tanto, órganos incardinados nas estruturas administrativas de cada consellería ou entidade do sector público que coñezan ben a situación de cada parcela de actuación.
27 Outra cuestión relevante, polo menos desde o punto de vista económico, é que ningún dos membros que compoñen o Consello Galego de Intelixencia Artificial percibirá retribucións polo exercicio das súas funcións. Esta política baseada na creación de órganos a custo cero adoita ser moi habitual. Non obstante, deixando a unha marxe a cuestión orzamentaria ou a necesidade de contención do gasto, o tempo dedicado ao desempeño de tales funcións debería ser retribuído.
28 Vaquer Caballería, M., “Lección 18. Planificación administrativa”, en Velasco Caballero, F. e Darnaculleta Gardella, M. (dirs.), Manual de Derecho Administrativo, 2.ª ed. Marcial Pons, 2024, pp. 454-457.
29 Sobre a colaboración público-privada, véxase Velasco Caballero, F., “La Administración pública en la colaboración público-privada”, Revista Catalana de Dret Públic, 67, 2023, pp. 36-66 e Gimeno Feliu J. M., “La colaboración público-privada en un contexto de moderna gobernanza económica al servicio de la ciudanía”, Revista General de Derecho Administrativo, 65, 2024.
30 En particular, o artigo 39 da lei galega concédelle ao sector público autonómico o mandato do impulso da colaboración público-privada para o desenvolvemento de proxectos de intelixencia artificial, xa sexa a través de consorcios, sociedades de economía mixta, convenios ou contratos públicos.
31 Para afondar na materia, recomendo a lectura da Comunicación da Comisión. Orientacións sobre a contratación pública en materia de innovación [C (2021) 4320 final]. O texto está dispoñible en https://ec.europa.eu/docsroom/documents/45975.
32 Carrillo Donaire, J.A., “La compra pública de innovación: retos y oportunidades para el desarrollo de la I+d+i desde la demanda pública”, IUS ET VERITAS: Revista de la Asociación IUS ET VERITAS, 2021, p. 41.
33 Carrillo Donaire, J.A., “La compra pública de innovación: retos y oportunidades para el desarrollo de la I+d+i desde la demanda pública”, IUS ET VERITAS: Revista de la Asociación IUS ET VERITAS, 2021, p. 43.
34 Define a Directiva 2014/24/UE a innovación como a “introdución dun produto, servizo ou proceso novos ou significativamente mellorados, que inclúe, aínda que non se limita a eles, os procesos de produción, edificación ou construción, un novo método de comercialización ou un novo método de organización de prácticas empresariais, a organización do lugar de traballo ou as relacións exteriores, entre outros co obxectivo de axudar a resolver desafíos da sociedade ou a apoiar a Estratexia Europa 2020 para un crecemento intelixente, sostible e integrador.
35 Acerca do procedemento de asociación para a innovación, véxase Valcárcel Fernández, P., “La Compra Pública de Innovación (CPI): el procedimiento de adjudicación de Asociación para la Innovación”, en Gallego Córcoles, I. e Gamero Casado, E. (dirs.), Tratado de contratos del sector público, Vol. 2, Tirant Lo Blanch, 2018, pp. 1669-1712 e De Guerrero Manso, C., “La asociación para la innovación: Nuevo procedimiento de adjudicación que permite a los órganos de contratación ser protagonistas del proceso de adquisición de bienes, servicios u obras innovadoras”, en Fernández Salmerón, M. e Martínez Gutiérrez, R. (Dirs.), Transparencia, innovación y buen gobierno en la contratación pública, Comares, 2018, pp. 271-304.
36 Un estudo sobre as dificultades dos pequenos municipios para facer fronte á xestión contractual pode atoparse en Cofrades Aquilué, L, “La función de asistencia y cooperación en contratación pública”, en Gimeno Feliú, J. M. (dir.) e De Guerrero Manso, C. (coord.), Observatorio de los contratos públicos 2022, Aranzadi, 2022, pp. 321-339.
37 Ao respecto, poden ser de grande utilidade para o sector público autonómico as cláusulas tipo elaboradas pola Comunidade de Práctica en Contratación de Intelixencia Artificial, actualizadas no mes marzo de 2025 e dispoñibles en https://public-buyers-community.ec.europa.eu/communities/procurement-ai/news/updated-eu-ai-model-contractual-clauses-now-available. A actualización inclúe unha versión para os modelos de alto risco e outra para o resto, ademais dun comentario orientado a facilitar a súa aplicación.
38 Iso dedúcese da redacción do parágrafo segundo, o cal dispón que, “entre outros extremos, as ditas cláusulas garantirán...” (art. 68.4).
39 Gamero Casado, E., “La Administración facilitadora: el papel de la Administración pública en el nuevo orden socio económico”, Revista Andaluza de Administración Pública, 113, 2022, p. 276 https://doi.org/10.46735/raap.n113.1355.
40 Sobre a función reguladora da Administración, véxase, por todos, Muñoz Machado, S. e Esteve Pardo, J., “Fundamentos e instituciones de la regulación”, en Muñoz Machado, S., Derecho de la regulación económica, Iustel, 2009.
41 Esteve Pardo, J., “La Administración garante. Una aproximación”, Revista de Administración Pública, 197, 2015, pp. 23-30.
42 A normativa europea de referencia, recentemente modificada para permitir a creación de factorías de intelixencia artificial, é o Regulamento (UE) 2021/1173 do Consello do 13 de xullo de 2021 polo que se crea a Empresa Común de Informática de Alto Rendemento Europea e polo que se derroga o Regulamento (UE) 2018/1488.
43 De feito, o apartado 3 do artigo 64 fai unha referencia expresa á promoción de sinerxías coa EuroHPC JU e outras iniciativas de supercomputación a nivel europeo.
44 O RIA define a alfabetización en materia de IA como as capacidades, os coñecementos e a comprensión que lles permiten aos provedores, responsables do despregamento e demais persoas afectadas, tendo en conta os seus respectivos dereitos e obrigas no contexto deste regulamento, levar a cabo un despregamento informado dos sistemas de IA e tomar conciencia das oportunidades e os riscos que presenta a IA, así como dos prexuízos que pode causar [art. 3, cardinal 56)].