Revista Administración & Cidadanía, EGAP

Vol. 18_núm. 2_2023 | pp. 11-32

Santiago de Compostela, 2023

https://doi.org/10.36402/ac.v18i2.5173

© Lorenzo Cotino Hueso

ISSN-L: 1887-0279 | ISSN: 1887-0287

Recibido: 23/01/2024 | Aceptado: 15/02/2024

Editado baixo licenza Creative Commons Atribution 4.0 International License

O Convenio sobre intelixencia artificial, dereitos humanos, democracia e Estado de dereito do Consello de Europa

El Convenio sobre inteligencia artificial, derechos humanos, democracia y Estado de derecho del Consejo de Europa

The Council of Europe’s Convention on artificial intelligence, human rights, democracy and the rule of law

Lorenzo Cotino Hueso1

Catedrático de Dereito Constitucional

Universidade de Valencia. Valgrai

https://orcid.org/0000-0003-2661-0010

cotino@uv.es

Resumo: Analízase o Convenio do Consello de Europa sobre intelixencia artificial. Primeiro ponse no contexto da regulación europea e mundial da IA, especialmente acelerada en 2023 con desenvolvementos como ChatGPT e a culminación do Regulamento da UE. Examínase o potencial xurídico e normativo do Convenio, destácase que non está limitado aos sistemas de alto risco como o Regulamento de IA. Tamén, a importancia da proclamación de “principios” normativos, os dereitos e obrigas específicas que establece, así como a relevancia especial do enfoque baseado en riscos e as súas garantías. A pesar de quedar á sombra do Regulamento de IA e o dereito da UE, sublíñanse os aspectos que o convenio complementa e afírmase a súa certa superioridade polo valor case constitucional e tamén simbólico dun Convenio do Consello de Europa.

Palabras clave: Intelixencia artificial, algoritmos, dereitos fundamentais, tratado de dereitos humanos, Consello de Europa, tratado internacional, Regulamento IA Unión Europea.

Resumen: Se analiza el Convenio del Consejo de Europa sobre inteligencia artificial. Primero se pone en el contexto de la regulación europea y mundial de la IA, especialmente acelerada en 2023 con desarrollos como ChatGPT y la culminación del Reglamento de la UE. Se examina el potencial jurídico y normativo del Convenio, se destaca que no está limitado a los sistemas de alto riesgo como el Reglamento de IA. También, la importancia de la proclamación de “principios” normativos, los derechos y obligaciones específicas que establece, así como la relevancia especial del enfoque basado en riesgos y sus garantías. Pese a quedar a la sombra del Reglamento de IA y el derecho de la UE, se subrayan los aspectos que el convenio complementa y se afirma su cierta superioridad por el valor casi constitucional y también simbólico de un Convenio del Consejo de Europa.

Palabras clave: Inteligencia artificial, algoritmos, derechos fundamentales, tratado de derechos humanos, Consejo de Europa, tratado internacional, Reglamento IA Unión Europea.

Abstract: The Council of Europe Convention on Artificial Intelligence is analyzed. It is put in the context of European and global regulation of AI, especially accelerated in 2023 with developments such as ChatGPT and the completion of the EU Regulation. It is examined the legal and regulatory potential of the Convention, stressing that it is not limited to high-risk systems such as the IA Regulation. Also, the importance of the proclamation of regulatory “principles”; the specific rights and guarantees that are recognized, as well as the particular relevance of the risk-based approach and its concrete safeguards. Despite being in the shadow of the IA Regulation and EU law, the aspects that the Convention complements are underlined and its certain superiority is affirmed caused by the quasi-constitutional and also symbolic value of a Council of Europe Convention.

Key words: Artificial intelligence, algorithms, fundamental rights, human rights treaty, Council of Europe, convention, AI Act.

Sumario: 1 O Consello de Europa súmase á regulación da intelixencia artificial co “Convenio IA”. 2 O valor normativo, interpretativo e simbólico dun Convenio IA. 3 As disposicións xerais: obxecto, ámbito de aplicación e as exclusións en investigación, defensa e seguridade nacional. 4 A importante regulación de “ principios” e o enfoque dos “suxeitos afectados” e os grupos e colectivos. 5 Os dereitos á documentación, rexistros ou notificacións e a garantía dunha autoridade independente. 6 As relevantes obrigas de avaliación e mitigación de riscos e impactos. 7 Algunhas cláusulas habituais dos convenios de dereitos e o “Mecanismo de seguimento e cooperación”. 8 A interrelación do Convenio co dereito da Unión Europea e, en especial, co Regulamento de intelixencia artificial. 9 Para concluír: o Convenio incorpora a “lírica” á “prosa” que supón o Regulamento da Unión Europea. 10 Bibliografía empregada.

1 O CONSELLO DE EUROPA SÚMASE Á REGULACIÓN DA INTELIXENCIA ARTIFICIAL CO “CONVENIO IA”

Resulta de interese situar o “Convenio marco sobre intelixencia artificial, dereitos humanos, democracia e Estado de dereito” do Consello de Europa (en diante, Convenio IA) no contexto de aceleración da regulación da intelixencia artificial (IA). Así, a regulación da IA figurou na axenda da UE desde 2016, pero particularmente co Libro branco sobre a IA en 20202, seguido pola proposta do Regulamento de IA (RIA), en 20213, que culminou politicamente cun acordo o 9 de decembro de 2023 e a aprobación final a inicios de 20244. Este proceso regulatorio da IA da UE iniciou o interese regulatorio da IA noutras rexións do mundo. Así, o 16 de xuño de 2022 no Canadá presentouse a Lei de implementación da carta dixital 2022 (Digital Charter Implementation Act)5 no marco da Lei de datos e intelixencia artificial (Artificial Intelligence and Data Act, “AIDA”)6. En decembro de 2022, Brasil iniciou a tramitación do proxecto de lei n. 2338 no Senado, orientado á regulación da IA7. Tamén, e entre outras, cabe ter en conta as perspectivas de regulación débil desde o Reino Unido tras a súa saída da UE8. Estas iniciativas parece que estaban á espera da adopción do RIA da UE.

Especialmente coa aparición do ChatGPT desde finais de 2022 o proceso acelerouse. Así, caben destacar na China as “Medidas provisionais para a xestión de servizos de intelixencia artificial xenerativa”, adoptadas o 13 de xullo de 2023, en vigor desde o 24 de agosto9. No Canadá en setembro de 2023 anunciouse e abriuse á adopción voluntaria o “Código de conduta voluntario para o desenvolvemento e xestión responsable de sistemas xenerativos avanzados de IA”10. No contexto do G7, o chamado “Proceso de Hiroshima”, que se substancia no acordo no “Código internacional de conduta para organizacións que desenvolven sistemas avanzados de IA”, do 30 de outubro de 2023, un instrumento voluntario para os desenvolvedores de IA11. O mesmo día, nos Estados Unidos adoptouse a Orde executiva sobre o desenvolvemento e a utilización seguros e fiables da intelixencia artificial, do 30 de outubro de 202312. Con carácter máis parcial, o 3 de xaneiro de 2024 California regulou a súa Artificial Intelligence Accountability Act13 ou Illinois conta coa súa Artificial Intelligence Video Interview Act (820 ILCS 42/)14. En Iberoamérica existen múltiples propostas lexislativas15.

Neste contexto e en especial baixo a longa sombra do RIA da UE, cabe situar a adopción do Convenio IA que se adopta en 2024, aínda que con precedentes desde 2019. Así, o Consello de Europa, a través do seu Comité de Ministros, instaurou o Comité Ad Hoc sobre Intelixencia Artificial (CAHAI)16 o 11 de setembro de 2019. Posteriormente, outorgouse un mandato ao Comité sobre Intelixencia artificial (CAI) desde xaneiro de 2022 ata decembro de 202417, cos “Termos de Referencia do CAI”18. O CAI foi o encargado de crear un “instrumento xurídico vinculante de carácter transversal”19 que promova a innovación e estableza principios “sólidos e claros” para o deseño, desenvolvemento e aplicación de sistemas de IA, recoñecendo que “actualmente non pode regular todos os aspectos do desenvolvemento e uso dos sistemas de IA”.

Este mandato tiña unha clara intención de transcender fronteiras, buscando crear un “instrumento atractivo non só para os Estados de Europa, senón para o maior número posible de Estados de todas as rexións do mundo”, implicando “Observadores”20 como Israel, Canadá21, Estados Unidos, Xapón, a Asociación Mundial sobre Intelixencia Artificial (GPAI), empresas de Internet e organizacións da sociedade civil. Participan na redacción e poderían adherirse ao Convenio IA unha vez que este entre en vigor, conforme o estipula o seu artigo 31.

O CAI construíuse sobre as bases establecidas por CAHAI entre 2019 e 202122. O considerando 9 subliña a urxencia “dun marco xurídico aplicable a escala mundial”. Así, definíronse uns contidos básicos23 que se foron articulando nos sucesivos documentos: obxecto e ámbito de aplicación do Convenio IA; definicións de sistema de IA, ciclo de vida, provedor, usuario e “suxeito de IA”; principios fundamentais, incluídas as garantías procedementais e os dereitos dos suxeitos de IA; medidas adicionais para o sector público, así como os sistemas de IA que presenten niveis de risco “inaceptables” e “significativos”; un mecanismo de seguimento e cooperación entre as partes e disposicións derradeiras.

O 6 de xaneiro de 2023 (4.ª sesión plenaria) publicouse un “borrador cero” revisado24. O 7 de xullo de 2023 (6.ª reunión) deuse a coñecer o borrador de traballo consolidado25, base para futuras negociacións. O 18 de decembro de 2023 (8.ª sesión), fíxose público o proxecto de convenio marco26. Este proxecto espérase que sexa a base para a última lectura prevista para 2024. O texto ao que se fai mención neste estudo é relativo a este texto. Trátase dun convenio extenso que inclúe dezasete considerandos e trinta e seis artigos repartidos en oito capítulos27.

2 O VALOR NORMATIVO, INTERPRETATIVO E SIMBÓLICO DUN CONVENIO IA

Trátase dun convenio de normas mínimas, con escasas obrigas e dereitos. O CAHAI sinalou o obxectivo de crear un “marco xurídico común que conteña certas normas mínimas para o desenvolvemento, deseño e aplicación da IA en relación cos dereitos humanos, a democracia e o Estado de dereito”28. Fálase de “principios e normas xerais comúns” (considerando 9) e do “carácter marco do convenio, que poderá completarse con outros instrumentos” (considerando 11).

En canto á concreción das obrigas no texto do Convenio IA, o artigo 4 en xeral afirma que “cada parte adoptará ou manterá medidas para garantir que as actividades dentro do ciclo de vida dos sistemas de intelixencia artificial sexan compatibles coas obrigas de protección dos dereitos humanos, consagradas no dereito internacional aplicable, e no seu dereito interno”. O artigo 5 presenta de forma xenérica a obriga de adoptar medidas respecto da “Integridade dos procesos democráticos e respecto do Estado de dereito”, así como “para respectar a dignidade humana e a autonomía individual” (art. 6). Ata en 31 ocasións se afirma que as partes tomarán ou adoptarán “medidas” (“each party shall take”) “necesarias”, “apropiadas”, “políticas” ou “lexislativas ou doutro tipo”; estas son expresións habituais no contexto internacional. Como se exporá, todas as medidas “se graduarán e diferenciarán” segundo os impactos e riscos que xeren os sistemas de IA baixo un enfoque de riscos (art. 1.2.°).

Aínda que en xeral o Convenio IA non se caracteriza por establecer nítidas obrigas e dereitos específicos, hai varios motivos para telo normativamente en conta. Como logo se explicará, os “principios” xerais que se regulan no capítulo III teñen un alto potencial en mans dos operadores xurídicos. Así mesmo, si que se regulan algúns dereitos e garantías no capítulo IV, e o artigo 16 (capítulo V), sobre avaliación e mitigación de riscos e impactos, impón as obrigas máis relevantes do Convenio IA. Ademais, non hai que perder de vista o efecto directo dos tratados, o seu valor case constitucional e o seu potencial efecto interpretativo e a súa integración no ordenamento estatal. Así, cabe lembrar que, tras a súa ratificación e publicación, os tratados internacionais incorpóranse ao ordenamento interno (art. 96 CE), permitindo a súa invocación directa ante autoridades e tribunais29. Por iso, aínda que non sexa sinxelo derivar dereitos e obrigas do Convenio IA sen lexislación intermedia, cómpre recoñecer o potencial que ten a súa aplicación directa e a súa preeminencia sobre normas internas (arts. 29 e 30 da Lei 25/2014). Ademais e especialmente, hai que destacar o valor case constitucional dos tratados relacionados con dereitos fundamentais conforme o artigo 10.2 CE, pois pasan a ser elementos obrigatorios para interpretar a Constitución e os seus dereitos. Desta maneira, o tratado “convértese en certo modo no contido constitucionalmente declarado dos dereitos e liberdades” (STC 36/1991, FX 4) e determina “os perfís exactos do seu contido” (STC 28/1991, FX 5). Así, un convenio, unha vez ratificado, posúe un notable valor normativo e interpretativo.

Incluso indo máis alá do seu valor propiamente xurídico normativo, non hai que esquecer o valor simbólico e metaxurídico dos tratados de dereitos do Consello de Europa, pois representan un compromiso con valores compartidos e establecen ideais e directrices políticas. O seu valor simbólico e a súa capacidade para guiar a interpretación de dereitos fundamentais e fomentar políticas e lexislación son cruciais. A diferenza de normativas con disposicións máis específicas como o RIA ou o RXPD, este Convenio IA conta tamén con estas características de tanta potencialidade.

3 AS DISPOSICIÓNS XERAIS: OBXECTO, ÁMBITO DE APLICACIÓN E AS EXCLUSIÓNS EN INVESTIGACIÓN, DEFENSA E SEGURIDADE NACIONAL

O capítulo I, coas súas disposicións xerais, resalta o obxectivo xeral de que “as actividades dentro do ciclo de vida dos sistemas de intelixencia artificial sexan plenamente coherentes cos dereitos humanos, a democracia e o Estado de dereito” e menciona a gradación de obrigas segundo a gravidade de “impactos adversos” (art. 1.1.° e 2.º). O artigo 16 desenvolve este enfoque de risco.

O ámbito de aplicación do Convenio IA asóciase ao concepto de “sistema de intelixencia artificial”: “é un sistema baseado nunha máquina que, para obxectivos explícitos ou implícitos, infire, a partir dos datos que recibe, como xerar resultados tales como predicións, contidos, recomendacións ou decisións que poidan influír en contornos físicos ou virtuais”. “Os distintos sistemas de intelixencia artificial varían nos seus niveis de autonomía e adaptabilidade tras o seu despregamento” (art. 2). Obsérvase unha converxencia internacional na definición de IA, reflectida na evolución do Regulamento da UE e os axustes da OCDE en novembro de 202330, polo que non se prevén diverxencias. O Convenio IA aplícase a sistemas IA en canto “poidan interferir cos dereitos humanos, a democracia e o Estado de dereito” (art. 3.1.°). O Convenio IA pode implicar obrigas para sistemas que non son de “alto risco”, posto que non se manexa esta noción que, como é sabido, é esencial para que se apliquen as obrigas do RIA.

No que respecta á aplicación do Convenio IA no sector público e privado, a versión do 7 de xullo de 2023 non o especificaba. A versión do 18 de decembro propón opcións. A opción A non diferencia sectores, implicando posibles obrigas en ambos. A opción B fai referencia a “actividades que […] leven a cabo as autoridades públicas ou entidades que actúen no seu nome”, aínda que se afirma expresamente a obriga das partes de facer cumprir respecto das entidades privadas. A opción C non distingue, aínda que reforza para a público a necesidade de medidas adecuadas e afirma a introdución de adoptar medidas “progresivamente” para as “entidades privadas”. O Supervisor Europeo de Protección de Datos (SEPD) considera positivamente e dá por feito que o Convenio IA alcanza “os provedores como os usuarios públicos e privados […], independentemente de se os provedores e usuarios de sistemas de IA son entidades públicas ou privadas” (n. 23 e 24). Así mesmo, valoraba tamén positivamente que se darían “medidas adicionais para o sector público”, que alcanzarían tamén as entidades privadas cando presten servizos públicos (n. 25)31.

As exclusións de aplicación á investigación e respecto da seguridade nacional non son totais. Cabe sinalar que a exclusión da investigación é un tema que variou no RIA. Na proposta inicial da Comisión non se mencionaba –e polo tanto non excluía– a investigación. A exclusión de sistemas IA “co único fin da investigación e o desenvolvemento científicos” introduciuse na versión do Consello da UE de decembro de 2022 (art. 2) e especificouse e restrinxiuse na versión do Parlamento de xuño de 2023, incluíndo, por exemplo, a posibilidade de actos delegados para precisar o alcance da exclusión, que en ningún caso abarcaría as probas en condicións reais32. A exclusión no RIA ten maior lóxica, posto que é un regulamento para a posta no mercado de sistemas IA, e na investigación a finalidade non é pór o produto no mercado. Cabe lembrar que no ámbito da protección de datos hai modulacións e flexibilizacións pero en ningún caso unha exclusión33.

Para o futuro Convenio IA respecto da investigación barállanse varias opcións: exclusión “a menos que os sistemas se proben ou se utilicen doutro xeito” (opción A 3.2); “cando o deseño, o desenvolvemento, o uso e o desmantelamento dos sistemas de IA impliquen investigación, esta investigación incluirase no ámbito de aplicación deste convenio no artigo 2 (na súa opción B 3.3)34. A opción C 3.2 delega a cuestión na lexislación interna. Cabe esperar unha solución normativa que delimite diversos criterios, como a necesaria utilidade pública, que non haxa unha posta no mercado ou que non se dea o uso do sistema de IA que poida impactar en contornos xerais ou non controlados na investigación. En todo caso e como é obvio, a exclusión da investigación non pode supor nin a vixencia dos dereitos fundamentais recoñecidos nin doutra normativa que si sexa aplicable.

En canto á seguridade e defensa nacional, trátase dun ámbito no que se lles concede unha moi forte discrecionalidade aos Estados35. Agora ben, estas limitacións ou discrecionalidade non implican de seu a exclusión da aplicación do dereito ou os dereitos e, se é o caso, cómpre establecela expresamente. Na UE, o RIA “non se aplicará aos sistemas de IA desenvolvidos ou utilizados exclusivamente con fins militares” (art. 2.3). Tamén está excluída a aplicación nestas áreas da normativa de protección de datos, que moitas veces se aplica ao ámbito da IA (art. 2.2.° RXPD). Non obstante, no caso do Convenio IA non hai unha exclusión total. O borrador do Convenio do 7 xullo de 2023 facía referencia ás “restricións, derrogacións ou excepcións” (capítulo III)36. Na versión do 18 de decembro establécese unha exclusión xeral para a defensa, pero que non é total respecto da seguridade nacional. A partir de aí hai varias alternativas con matices e máis ou menos poder das partes respecto desta exclusión37. Pola súa banda, o Consello da UE na súa Decisión sobre o Convenio lembra a responsabilidade exclusiva de cada Estado na materia38. Considero positivo que, polo menos potencialmente, se recoñeza a vixencia do Convenio IA en materia de seguridade nacional, aínda que sexa de mínimos.

4 A IMPORTANTE REGULACIÓN DE “PRINCIPIOS” E O ENFOQUE DOS “SUXEITOS AFECTADOS” E OS GRUPOS E COLECTIVOS

Creo relevante a regulación no Convenio IA de “principios” xerais aplicables a todos os sistemas de IA. A este respecto, cabe lembrar que desde hai anos, entre decenas de declaracións e documentos, se foron visibilizando e destilando uns principios éticos esenciais da IA39. Desde Harvard40 analizáronse máis de trinta das principais declaracións internacionais e corporativas de ética da IA e sintetizáronse en privacidade, rendición de contas, seguridade, transparencia e explicabilidade, equidade e non discriminación, control humano, responsabilidade profesional, valores humanos e sustentabilidade. O futuro convenio é positivo xa que vai máis aló das declaracións no ámbito do soft law e regula estes principios; se se me permite, pasa das musas da ética ao teatro do dereito.

No Convenio IA os principios intégranse baixo a fórmula de que cada “parte adoptará ou manterá medidas para garantir” (each party shall adopt or maintain measures to ensure) estes principios. Así, o capítulo III “establece” “os principios xerais comúns que cada parte deberá aplicar […] de maneira adecuada ao seu ordenamento xurídico interno” (como “nota explicativa”). Oito artigos (arts. 6 a 13) expresan e afirman tales “principios”: dignidade humana e autonomía individual (art. 6), transparencia e supervisión (art. 7), rendición de contas e responsabilidade (art. 8), igualdade e non discriminación (art. 9), privacidade e protección de datos persoais (art. 10), preservación da saúde [e do medio ambiente] (art. 11), fiabilidade e confianza (art. 12), innovación segura (art. 13). Son poucos os elementos normativos máis específicos, como a obriga da “detección e transparencia do contido xerado por sistemas de intelixencia artificial” (art. 7); a mención de “estándares e marcos nacionais e internacionais aplicables en materia de protección de datos persoais e [gobernanza de datos]” (art. 10)41 ou “da seguridade, a protección, a exactitude, o rendemento, a calidade […] requisitos de integridade, seguridade dos datos, gobernanza, ciberseguridade e solidez” (art. 12). Destaca que se “anime” (encouraged) as partes para “fomentar a innovación” e, para iso, “o establecemento [dun] contorno[s] [regulamentario] controlado[s] para [o desenvolvemento e a experimentación] / [ probas]” (art. 13).

Malia ser unha regulación flexible e aberta, caracterizada por mandatos amplos ou remisións á normativa existente, a súa potencialidade normativa é importante. Os principios desempeñan un papel esencial na configuración e estruturación do ordenamento xurídico, informan o ordenamento e son ferramentas clave para a interpretación e aplicación das normas, así como fonte de inspiración para resolver conflitos e derivar novas interpretacións. E iso ten particular relevancia en sectores dixitais e disruptivos, onde se dá unha considerable incerteza, como é o caso da IA.

Ademais, non esquezamos que nun ámbito tan relacionado como o da protección de datos, durante máis de trinta anos, os “principios” (art. 5 RXPD) desempeñaron e continúan desempeñando estas funcións xerais, sendo os piares fundamentais. É máis, os “principios” da protección de datos constituíron regras concretas aplicables aos tratamentos. Tanto é así que o seu mero incumprimento directamente implica a comisión de infraccións.

Chama a atención que a regulación duns principios no RIA da UE foi a remolque do Convenio do Consello de Europa. Nin a proposta da Comisión de 2021 nin o texto do Consello de decembro de 2022 incluía unha proclamación de principios. Foi o Parlamento da UE en xuño de 2023 quen propuxo incluír unha proclamación estrutural dos “Principios xerais aplicables a todos os sistemas de IA” nos primeiros artigos do RIA (art. 4 bis, novo, emenda 213). Preténdese seguir o esquema do RXPD (art. 5) e coa finalidade de que estes principios sexan aplicables tanto a sistemas IA –de alto risco ou non– como tamén aos modelos fundacionais. Proclámanse os principios de “intervención e vixilancia humanas” (a), “solidez e seguridade técnicas” (b), “privacidade e gobernanza de datos” (c), “transparencia” (d), “diversidade, non discriminación e equidade” (e) e “benestar social e ambiental” (f), e cabe dicir que se regulan con bastante máis detalle que o futuro convenio. Non obstante, en contraste co convenio, modúlase e restrínxese expresamente o alcance destes principios, pois proclámanse “sen crear novas obrigas en virtude deste regulamento” (art. 4 bis. 2.º). Malia iso, si que se afirma que deben inspirar os procesos de normalización e as orientacións técnicas (art. 4 bis. 2.º).

En canto ao recoñecemento dos “suxeitos afectados”, no “Zero draft” do 6 de xaneiro de 2023, artigo 2 e), apareceu a definición de “suxeito de intelixencia artificial”42 e o SEPD acolleuna “con satisfacción”43. Este enfoque contrastaba notoriamente co RIA da UE, o cal foi criticado pola súa total ignorancia dos afectados por un sistema de IA. Chegouse a afirmar que “mentres que o AIA se centra no mercado único dixital e non crea novos dereitos para as persoas, o convenio podería encher estes baleiros […] Mentres a Comisión Europea fai fincapé na economía e na integración dos mercados, o Consello de Europa céntrase nos dereitos humanos, a democracia e o Estado de dereito”44. Como un efecto reflexo, tras este borrador cero do Convenio de xaneiro de 2023, no RIA da UE en xuño incluíuse entre as definicións a de “persoa afectada”, xunto con diversos dereitos nas emendas do Parlamento (emenda 174, art. 3. 1.º, 8 bis). Non deixa de ser irónico que no futuro convenio desapareceu o concepto de “suxeito de IA”, tanto na versión do 7 de xullo como na do 18 de decembro de 2023.

Un tema máis relevante é o recoñecemento e a protección de colectivos e grupos afectados pola IA. Como tiven ocasión de insistir hai anos, cómpre superar un enfoque limitado á afectación directa do sistema automatizado ou de IA no individuo45. Hai que ter en conta o impacto estrutural e masivo do uso dos sistemas IA, que en moitos casos se utilizan para apoiar a toma de decisións xerais xa sexa no sector público ou privado. Respecto dos grupos, é esencial estimular e, cando sexa necesario, garantir unha transparencia específica, así como a participación da sociedade civil e de colectivos afectados nos diversos usos de sistemas de IA. Así o propuxen para a Carta de Dereitos Dixitais nun apartado sobre “Garantías de impacto social”46. Sobre o tema resulta especialmente inspirador Mantelero47. Tamén a Recomendación sobre IA da Unesco insiste na necesidade dun enfoque colectivo e sobre todo da inclusión de mecanismos de participación social respecto do uso de sistemas IA48.

Desde Canadá resaltouse unha carencia no Convenio IA, subliñando a importancia de “pasar da privacidade individual á privacidade colectiva”49. Especialmente o SEPD nas súas conclusións, insta a incorporar no Convenio IA “a especificación de que os riscos sociais ou de grupo que xeran os sistemas de IA deben tamén ser avaliados e mitigados” (n. 6)50.

O certo é que si que se aprecia esta sensibilidade cos grupos e colectivos afectados no futuro convenio, aínda que as garantías non se delinean con extrema precisión. En todo caso, supón un avance significativo respecto ao actual, abrindo camiño e motivando os Estados para desenvolver e refinar estes mecanismos de protección colectiva. Así, o artigo 15 regula a necesidade de identificar e avaliar riscos e “integrar a perspectiva de todas as partes interesadas pertinentes, incluída calquera persoa cuxos dereitos poidan verse potencialmente afectados” (art. 15. 2.º c). A participación da sociedade civil menciónase no artigo 5, sobre “Integridade dos procesos democráticos e respecto do Estado de dereito”. No seu apartado 2.º, “no contexto das actividades dentro do ciclo de vida dos sistemas de intelixencia artificial”, obriga a adoptar medidas, se é o caso, para “protexer a participación [das persoas] nos procesos democráticos, o acceso xusto ao debate público [e a capacidade das persoas para tomar decisións libres de influencias ou manipulacións externas indebidas/[prexudiciais e malintencionadas]”. É máis destacable, se cabe, que o artigo 20 sobre “consulta pública” dispoña que “cada parte se esforzará por garantir que as cuestións importantes […] sexan, segundo proceda, obxecto de debate público e de consulta ás múltiples partes interesadas á luz, en particular, das implicacións sociais, económicas, xurídicas, éticas e ambientais pertinentes”. Mesmo hai algunhas referencias máis indirectas de interese51.

5 OS DEREITOS Á DOCUMENTACIÓN, REXISTROS OU NOTIFICACIÓNS E A GARANTÍA DUNHA AUTORIDADE INDEPENDENTE

Aínda que se afirma que un dos “aspectos clave” do Convenio IA é o seu enfoque nos dereitos52, en termos xerais non establece novos dereitos subxectivos. Hai máis de corenta remisións ou mencións aos “dereitos humanos” ou “dereitos” preexistentes xa recoñecidos. Tamén hai referencias particulares á “igualdade e non discriminación” (arts. 9 e 17), á “privacidade e protección de datos” (art. 10) ou aos “dereitos das persoas con discapacidade e dos nenos” (art. 18), pero non se regula ningún contido substantivo e de ningún xeito un novo dereito.

Como excepción, poden considerarse como dereitos no Convenio IA algunhas obrigas de documentación, rexistros e outras medidas para garantir os “recursos” efectivos do artigo 14, así como as garantías de supervisión e notificación do artigo 15.

Xa en 2014 no contexto norteamericano, Crawford e Shultz acuñaron o data due process para redefinir as garantías do debido proceso no contexto da toma de decisións algorítmicas. Este novo dereito incluía a garantía dunha información mínima aos afectados sobre que predixo o algoritmo, a partir de que datos e a metodoloxía empregada53. Seguindo esta liña, o artigo 14 sobre “Recursos” (“Remedies”) obriga os Estados a “adoptar medidas” que garantan recursos efectivos. Garántese para iso a xeración de documentación, rexistros e evidencias e que os afectados poidan acceder a elas. Así, afírmase a necesidade de que “os sistemas de intelixencia artificial […] estean debidamente documentados e que se facilite información adecuada sobre o uso […] operacións realizadas [… e esta información] se rexistre e facilite aos organismos autorizados de conformidade co seu dereito interno para acceder á dita información e, cando cumpra e sexa aplicable, se poña ao dispor ou se comunique ás persoas afectadas” (art. 14 a). Ademais, esta información debe ser “suficiente e proporcionada para que as persoas afectadas impugnen” (art. 14 b). Resulta sen dúbida totalmente positiva a regulación expresa destas garantías, que deberán ser reguladas polas partes do convenio. En todo caso, considero que estas obrigas non se poden xeneralizar a todo sistema de IA. Para iso cabe apostar por unha interpretación restritiva da referencia do artigo 14 a sistemas que poidan “afectar significativamente” (“significantly affecting”) aos dereitos humanos.

Entre os “recursos” (capítulo IV), o artigo 15 regula “garantías procesuais” (“procedural safeguards”). O seu apartado primeiro afirma “a importancia da revisión humana” e a necesidade de garantías efectivas nos casos en que un sistema de IA “informe ou adopte decisións ou actos que afecten substancialmente aos dereitos humanos” (art. 15.1.º). A pesar de que non se exprese coa concreción con que se debería, o artigo 15 garda claras conexións coas garantías que o dereito europeo recoñece respecto das decisións automatizadas: artigo 22 RXPD54, o artigo 11 da Directiva (UE) 2016/680 ou o novo artigo 9.1.º Convenio 108 do Consello de Europa que recoñeceu en 2018 tamén este “dereito”. Agora ben, as garantías do artigo 15 do Convenio IA non estarían limitadas a unha decisión “baseada unicamente no tratamento automatizado”, senón que estende explicitamente as garantías non só ás decisións tomadas directamente por sistemas de IA, senón tamén a situacións onde a IA “inflúe de maneira significativa” na toma de decisións humanas. Iso vai na liña correcta que o TXUE adopta recentemente en decembro de 202355. Así mesmo, o Convenio IA segue a corrente do RIA na súa delimitación dos sistemas de “alto risco” que o son, “salvo que a información de saída do sistema sexa meramente accesoria respecto da acción ou decisión pertinente que deba adoptarse” (art. 6.3.° RIA, versión do Consello de decembro de 2022).

O segundo apartado do artigo 15 engade a obriga, e potencialmente o dereito, á “notificación”: “serán notificadas as persoas que interactúan cun sistema de intelixencia artificial e non cun ser humano”. Na UE desde 2018 o HLEG incluíu na transparencia o dereito á “comunicación”, esencialmente como “dereito a saber que [as persoas] están a interactuar cun sistema de IA” (n. 78)56. O artigo 52 do RIA recolle esta notificación entre as diversas “obrigas de transparencia para determinados sistemas de IA”. O artigo 15 parece seguir o soft law internacional, no que a comunicación se bifurca nun dereito ou obriga á “notificación cando se interactúa cun sistema de IA” ou “principio de interacción”57 e nas garantías fronte ás decisións automatizadas do artigo 15.1.°.

O recoñecemento dos dereitos e garantías no artigo 15 é, indubidablemente, un paso positivo. Con todo, sería desexable introducir maior concreción dos seus requisitos, contidos e facultades mínimas.

Tamén hai que destacar a importante garantía dunha autoridade independente ante a que poder presentar recursos efectivos. Neste sentido, cabe partir de que o artigo 13 do Convenio europeo de dereitos humanos (CEDH) recoñece o dereito a un recurso interno efectivo ante unha instancia nacional para garantir os dereitos do propio CEDH (e non outros)58. Este recurso debe posibilitar que unha autoridade independente, non necesariamente xudicial, examine o fondo da petición e, se procede, conceder a reparación adecuada59. Nesta liña, o artigo 15 do Convenio IA sobre “Recursos” no seu apartado 3.º prevé que se regule “unha posibilidade efectiva para as persoas afectadas de presentar unha reclamación [ante as autoridades públicas, incluído, se é o caso, ante o mecanismo de supervisión a que se refire o artigo 26, de conformidade co seu dereito interno]”60. Pola súa banda, o artigo 26 sobre “Mecanismos de supervisión eficaces” é ben relevante: “Cada parte establecerá ou designará un ou máis mecanismos eficaces para supervisar o cumprimento das obrigas contidas no Convenio IA” (1.º). E “garantirá que estes mecanismos exerzan as súas funcións de maneira independente e imparcial e que teñan os poderes, a experiencia e os recursos necesarios para cumprir eficazmente as súas tarefas de supervisar o cumprimento das obrigas do convenio” (2.º). Se hai máis dun mecanismo, deberán cooperar entre eles (3.º).

O RAI non exixía a independencia e imparcialidade da “autoridade de vixilancia do mercado”. Pero na emenda 123 do Parlamento ao considerando 77 e a 558 co novo artigo 59 –apartado 4 pasa a exixir a “total independencia”–, afírmase o seu carácter “independente, imparcial e obxectiva”. Chama a atención que a primeira autoridade creada expresamente para estas funcións na UE, a Axencia Española de Supervisión de Intelixencia artificial (AESIA), foi regulada pola Lei 28/2022, e en especial o artigo 8 do Real decreto 729/2023, de 22 de agosto non cumpre cos criterios de independencia establecidos tanto no RAI como no Convenio IA61.

Trátase dunha regulación valente con suficiente concreción dada a natureza do Convenio. O SEPD subliña en especial que o convenio expresamente debe “concederlles ás autoridades de control competentes poderes adecuados de investigación e execución.” (n. 47 e 49.º e conclusión 10.ª). E ten en conta que é moi fácil que se dea unha converxencia de autoridades sectoriais con competencias en materia de uso de IA, por iso será necesaria a cooperación (n. 46)62, así como a necesidade de “cooperación transfronteiriza entre autoridades competentes que serán designadas polas partes no acordo” (conclusión 11).

6 AS RELEVANTES OBRIGAS DE AVALIACIÓN E MITIGACIÓN DE RISCOS E IMPACTOS

A regulación da avaliación dos riscos e impactos é posiblemente o máis relevante e destacable do Convenio IA. A UE marchou pola senda dun enfoque baseado no risco desde 2018, baixo a marca de IA Europa do “Ethics & Rule of law by design (X-by-design)”63. Tamén o alto grupo de expertos da UE coa súa lista exhaustiva de avaliación64. O Libro branco da IA de 2020 fixo explícito o modelo de riscos, que se concretaría un ano máis tarde no RIA. Este enfoque implica a maior imposición de obrigas e garantías canto maior impacto ou risco implique o sistema de IA. Baixo a filosofía do compliance ou cumprimento normativo, identifícanse posibles riscos e danos e débense dispor os mecanismos preventivos e proactivos adecuados para evitar que ocorran65. Cabe destacar especialmente as achegas de Mantelero66 no marco da protección de datos e logo para os sistemas IA.

O enfoque baseado en riscos integrouse entre 2019 e 2021 polo Comité Ad Hoc sobre Intelixencia Artificial (CAHAI), entre outros, a través da participación de Mantelero67. En decembro de 2021, o CAHAI definiu os “Elementos básicos” do futuro convenio e deixou claro que ía centrarse “na prevención e/ou mitigación dos riscos […] Os requisitos legais para o deseño, desenvolvemento e uso de sistemas de IA deben ser proporcionais á natureza do risco que xeran para os dereitos humanos, a democracia e o Estado de dereito” (parte I, n. 5). Ademais, dedicou diversas pasaxes á cuestión (V 18-21 e XII 45-53). Introduciuse a posibilidade de incluír unha “Avaliación de impacto sobre os dereitos humanos, a democracia e o Estado de dereito” (HUDERIA, Human Rights, Democracy and Rule of Law Impact Assessment), aínda que se afirmaba que “non ten por que formar parte dun posible instrumento xuridicamente vinculante” (n. 19)68 e barállase “complementar cun instrumento transversal non vinculante xuridicamente para avaliar o impacto dos sistemas de IA” (n. 45) con “lexislación nacional ou internacional, con outros mecanismos de cumprimento, como a certificación e a etiquetaxe de calidade, as auditorías, os espazos illados de regulación e a supervisión periódica” (n. 47). No marco do Convenio IA, o estudo de impacto só se daría “se existen indicios claros e obxectivos de riscos relevantes” a partir dunha revisión inicial de todos os sistemas de IA (n. 48) e debería actualizarse “de forma sistemática e periódica” (n. 49). No convenio detallábanse os pasos principais a realizar: identificación de riscos; avaliación de impacto; avaliación da gobernanza; e mitigación e avaliación (n. 50)69, e en concreto os elementos mínimos da avaliación de impacto (n. 51)70. Así mesmo, adiantaba a importancia de implicar a sociedade civil na materia e garantir fórmulas de participación (n. 53). Sobre estas bases, o “borrador cero do 6 de xaneiro de 2023 reafirmou o “enfoque baseado no risco” (n. 5), que foi ben recibido pola doutrina71 e na UE na súa Decisión da UE sobre o Convenio, xa que serve para “minimizar os riscos […] evitando ao mesmo tempo cargas ou restricións innecesarias e desproporcionadas” (anexo, n. 4). Pola súa banda, o SEPD afirma que “a Comisión debería aspirar a incluír no convenio unha metodoloxía para avaliar os riscos que presentan os sistemas de IA en aspectos fundamentais” (n. 19)72.

Procede, pois, advertir a regulación da “avaliación e mitigación de riscos e impactos adversos” no convenio. Pois ben, na mesma porta de entrada establécese a obriga xeral de adoptar “medidas lexislativas, administrativas ou doutro tipo”, que “se graduarán e diferenciarán segundo sexa necesario en vista da gravidade e a probabilidade de que se produzan impactos adversos sobre os dereitos humanos, a democracia e o Estado de dereito” (art. 1). E regúlase no que posiblemente é o máis relevante e destacable do Convenio IA, o artigo 16 que integra o capítulo V impón á obriga xeral de adoptar medidas “para a identificación, avaliación, prevención e mitigación dos riscos e impactos” (art. 16.1.°). “Estas medidas terán en conta o enfoque baseado no risco a que se refire o artigo 1” (art. 16.2.º). Entre as obrigas concretas, cómpre ter “debidamente en conta o contexto e o uso previsto dos sistemas” (a); “a gravidade, duración e reversibilidade dos posibles riscos” (b); e “integrar a perspectiva de todas as partes interesadas relevantes, incluída calquera persoa cuxos dereitos poidan verse potencialmente afectados” (c). Tamén se inclúe “o rexistro, seguimento e a debida consideración dos impactos” (d); que de maneira continua se leven a cabo procesos de xestión de riscos e impactos” (e); e que estas análises de riscos se plasmen “na documentación adecuada” (f). Mesmo se afirma “se é o caso, a publicación de información sobre os esforzos adoptados” (g).

Como consecuencia lóxica da identificación e avaliación de riscos, o Convenio IA tamén exixe a súa mitigación, é dicir, “a aplicación de medidas preventivas e paliativas suficientes para facer fronte aos riscos e impactos adversos detectados, incluída, se procede, a exixencia de probas previas do sistema antes de que estea dispoñible para o seu primeiro uso” (h). Así mesmo, se os riscos se consideran “incompatibles”, imponse “establecer mecanismos de moratoria ou prohibición ou outras medidas apropiadas” (art. 16.3.º). Chama a atención que –a diferenza por exemplo do artigo 5 RIA da UE– non hai no Convenio IA ningunha prohibición de sistemas IA concretos. Iso é así malia que inicialmente a CAHAI, en decembro de 2021, suxería prohibir total ou parcialmente certas aplicacións de IA.

7 ALGUNHAS CLÁUSULAS HABITUAIS DOS CONVENIOS DE DEREITOS E O “MECANISMO DE SEGUIMENTO E COOPERACIÓN”

O Convenio IA inclúe habituais cláusulas de estándar mínimo dun convenio de dereitos73: non se pode interpretar para “limitar, derrogar ou afectar” dereitos xa garantidos na lexislación interna dunha parte ou noutros tratados (art. 22), nin para impedir dar unha “protección máis ampla” (art. 23). Con especial importancia para a Unión Europea e os seus Estados membros, dáse a prevención da aplicación preferente dos acordos ou tratados que existan entre as partes sobre a materia (art. 27)74.

Non hai un mecanismo duro de cumprimento do Convenio IA, senón un “Mecanismo de seguimento e cooperación” (art. 24) e faise referencia a unha “Conferencia das partes” (1.º e 3.º a 8.º) para consultas periódicas para identificación de problemas, complementos e emendas, recomendacións interpretativas, intercambio de información, solución de controversias, cooperación e mesmo audiencias públicas (2.º). Tamén se prevé a cooperación internacional (art. 25) e convídase a sumarse ao Convenio IA, estando prevista a adhesión por Estados non membros do Consello de Europa (art. 31). Regúlase a posibilidade de “emendas” (art. 28), “solución de controversias” (art. 29, non para os Estados da UE respecto da súa regulación).

No que respecta á “Sinatura e entrada en vigor”, é significativo que se requira unicamente a ratificación de cinco Estados, dos cales polo menos tres deben ser membros do Consello de Europa, evidenciando a intención de activar o Convenio IA canto antes (como, por exemplo, o Convenio do Cibercrime, n. 185).

8 A INTERRELACIÓN DO CONVENIO CO DEREITO DA UNIÓN EUROPEA E, EN ESPECIAL, CO REGULAMENTO DE INTELIXENCIA ARTIFICIAL

En principio, todo o regulado polo Convenio IA xa está protexido e con maiores garantías polo dereito da UE, en especial no concernente co RIA e o RXPD. Resulta crucial considerar a superposición e interacción entre o Convenio IA e o dereito da UE e por iso hai que ter en conta as accións da UE e as previsións do convenio para garantir a coherencia e evitar problemas respecto da interactuación do Convenio IA co dereito da Unión. En todo caso, non hai que obviar o valor case constitucional do Convenio IA e o seu potencial de despregar interpretacións ou estimular regulacións e, tamén, que hai aspectos concretos do Convenio IA que poden ir algo máis alá da regulación da UE.

Respecto das medidas para garantir a coherencia entre o dereito da UE e o convenio, nas negociacións a UE busca: “1. Que o convenio sexa compatible co dereito do mercado único da UE e outros ámbitos do dereito da UE” e “2. Que o convenio sexa compatible coa proposta de Lei de intelixencia artificial (Lei de IA)”75. A Comisión Europea chamou a atención de que “existe un solapamento moi significativo entre o borrador preliminar do convenio e o Regulamento de IA”76. Para o SEPD isto era unha “importante oportunidade de complementar a proposta de lei de IA fortalecendo a protección de dereitos fundamentais”77. Por iso, avoga “pola inclusión no convenio de disposicións destinadas a reforzar os dereitos das persoas afectadas”78.

Desde a UE proponse que “as negociacións se leven a cabo en nome da Unión” para garantir a “coherencia e a uniformidade”79. O consello recálcalles aos Estados que “nas negociacións do convenio deben […] apoiar, con pleno respecto mutuo, o negociador da Unión”80 e “cooperarán estreitamente ao longo do proceso de negociación, co fin de garantir a unidade da representación exterior da Unión” (art. 2. Decisión (UE) 2022/2349 do Consello, do 21 de novembro de 2022). En todo caso, para evitar unha mala combustión, considerouse “necesario” incluír “unha cláusula de desconexión que lles permita aos Estados membros da UE que se convertan en partes no Convenio IA regular as relacións entre eles conforme o dereito da UE: “Entre os Estados membros da UE debe prevalecer a Lei de IA proposta”81. Así, no Convenio IA especificamente disponse que “As partes que sexan membros da Unión Europea aplicarán, nas súas relacións mutuas, as normas da Unión Europea que regulen as materias comprendidas no ámbito de aplicación deste convenio” (cláusulas finais, capítulo VIII, art. 27 “Efectos do convenio”). Agora ben, o xa mencionado artigo 22, obriga a aplicar o dereito máis favorable e considero que nalgúns ámbitos o Convenio IA podería subir o estándar e garantías do dereito da Unión. Nestes casos, habería que aplicar o Convenio IA, salvo no relativo ás “relacións mutuas” (art. 27).

Finalmente, regúlase a posible adhesión da Unión Europea en si ao Convenio IA82 e prevese que “dentro dos ámbitos da súa competencia” a Unión Europea participará na Conferencia das Partes cos votos dos Estados membros (art. 26.4.°)83.

En canto á superposición e interacción do convenio co dereito da Unión Europea, adóptanse medidas, polo que os conflitos, se os hai, non serán significativos. Como punto de partida, o RIA ou o RXPD da UE regulan e con maiores garantías o que regula o Convenio IA. Porén, hai algúns elementos concretos do convenio que poden ir algo máis alá do RAI e do dereito da UE.

− Respecto do ámbito de aplicación, hai obrigas no Convenio IA que non están limitadas a sistemas IA de “ alto risco”, como sucede con case todas as obrigas do RIA. En particular, as garantías de avaliación e mitigación de riscos e impactos (artigo 16) poderían exixirse a sistemas que non son de alto risco.

− Tamén, mentres que as normas do RIA ou o RXPD están excluídas do ámbito da seguridade nacional, o Convenio IA non exclúe totalmente a súa aplicación.

− No Convenio IA, a proclamación e regulación dos “principios” ten un notable potencial interpretativo, mentres que no RIA teñen limitada esta potencialidade de despregar efectos.

− Con relación aos dereitos, poderían adquirir relevancia as garantías de acceso á documentación, rexistros e evidencias para poder recorrer do artigo 14.

− Tamén o convenio amplía o alcance das garantías do artigo 15 cando un sistema IA “informa substancialmente” unha decisión humana.

Considero que nestes casos debería aplicarse o propio convenio como regulación máis garantista (art. 22), a salvo do previsto no artigo 27. En todo caso, parece improbable que se dea –se se me permite– algún curtocircuíto ou mala combustión do Convenio IA cos Estados da UE ou a mesma UE como membro.

9 PARA CONCLUÍR: O CONVENIO INCORPORA A “LÍRICA” Á “PROSA” QUE SUPÓN O REGULAMENTO DA UNIÓN EUROPEA

Situámonos nun momento crucial para a regulación da intelixencia artificial. A acción desde hai anos da UE e en especial o seu RIA, o desenvolvemento desta tecnoloxía e o impacto de tecnoloxías como ChatGPT aceleraron a normatividade a escala global. En 2024 culmina o proceso de regulación dun Convenio IA desde o Consello de Europa. Trátase dun esforzo significativo por harmonizar e establecer un marco común e mínimo para Europa, pero cunha ambición mundial centrada nos dereitos humanos, a democracia e o Estado de dereito e non tanto na economía e o mercado. Europa quérese posicionar como un faro luminoso, unha pedra angular na paisaxe normativa da IA non só para todo o continente, senón a nivel global. Para os Estados que non son membros da UE, o Convenio IA obviamente pode despregar un importante papel normativo e xurídico. E, para a UE e os seus Estados membros que o ratifiquen, o Convenio ten o potencial de complementar e mesmo elevar e reforzar a protección dos dereitos. Destacouse neste sentido que o Convenio IA non se limita aos sistemas de IA de alto risco. Ademais, integra no ámbito xurídico e normativo como “principios” o que ata o de agora non pasaban de ser consensuados principios da ética da IA. Estes principios xurídicos teñen gran potencial en mans dos operadores xurídicos para que deles se destilen normas e obrigas concretas, como sucede desde hai décadas cos principios da protección de datos. Así mesmo, o Convenio IA recoñécelles aos suxeitos afectados pola IA algúns dereitos e especialmente garantías e mecanismos para a defensa dos seus dereitos ante autoridades independentes. Especialmente relevante é o enfoque baseado no risco e, en particular, o seu artigo 16, que exixe unha avaliación e mitigación continuas dos riscos e impactos adversos de calquera tipo de sistema de IA.

Pero, alén destas achegas concretas que poden complementar o RAI, o valor do convenio vai máis aló. Se se me permite, o convenio ponlle a lírica á prosa que supón o RIA. O RIA establece as bases e estruturas dun ecosistema de IA seguro e confiable, e o convenio céntrase no seu impacto nas persoas e a sociedade democrática. O RIA é metódico, detallado e preciso, trazando un camiño claro a través da complexidade técnica e xurídica, establecendo estándares firmes e obrigas concretas para os provedores e usuarios ou implantadores de sistemas de IA. En contraste, en canto á lírica, o convenio elévase para integrar normativamente os valores fundamentais, os principios éticos e os dereitos humanos que deben guiar a evolución da IA. O convenio non só ten un valor simbólico e metaxurídico, senón que é un instrumento normativo, con capacidade de integración case constitucional nos ordenamentos xurídicos dos Estados parte e conta con gran potencial interpretativo. Por iso o Convenio IA supera decenas de instrumentos declarativos e de soft law que xa resultaban superfluos, inocuos e mesmo pesados.

Non é posible agora prever canto e cando poderá despregar o convenio o potencial que ten. Non obstante, só coa súa adopción Europa lidera a regulación da intelixencia artificial, agora desde os dereitos e a democracia, e incorpora a “lírica” á “prosa” que supón o Regulamento da Unión Europea.

10 REFERENCIAS BIBLIOGRÁFICAS

Brandusescu, A. e Sieber, R. 2023. Comments on Preliminary Discussions with the Government of Canada on Council of Europe Treaty Negotiations on Artificial Intelligence, 31/08/2023. Dispoñible en: https://ssrn.com/abstract=4559139.

CAHAI. 2020a. First progress repport, 1384th meeting, 23/09/2020. Dispoñible en: https://search.coe.int/cm/Pages/result_details.aspx?ObjectID=09000016809ed062.

CAHAI. 2020b. Feasibility study on a legal framework on AI design, development and application based on CoE standards, 17/12/2020. Dispoñible en: https://rm.coe.int/cahai-2020-23-final-eng-feasibility-study-/1680a0c6da.

CAHAI. 2020c. «Towards regulation of AI systems, Global perspectives on the development of a legal framework on Artificial Intelligence systems based on the Council of Europe’s standards on human rights, democracy and the rule of law», Compilation of contributions DGI (2020)16, CAHAI Secretariat, 12/2020. Dispoñible en: https://rm.coe.int/prems-107320-gbr-2018-compli-cahai-couv-texte-a4-bat-web/1680a0c17a.

CAHAI. 2021a. Possible elements of a legal framework on artificial intelligence, based on the Council of Europe’s standards on human rights, democracy and the rule of law, 3/12/2021.

CAI. 2023a. Revised zero draft [framework] convention on artificial intelligence, human rights, democracy and the rule of law, Estrasburgo, 6/01/2023. Dispoñible en: https://rm.coe.int/cai-2023-01-revised-zero-draft-framework-convention-public/1680aa193f.

CAI. 2023b. Consolidated Working Draft of the Framework Convention, Estrasburgo, 7/07/2023. Dispoñible en: https://rm.coe.int/cai-2023-18-consolidated-working-draft-framework-convention/1680abde66.

CAI. 2023c. Consolidated working draft, 18/12/2023. Dispoñible en: https://rm.coe.int/cai-2023-28-draft-framework-convention/1680ade043.

Canadian Bar Association. 2023a. Council of Europe Treaty Negotiations on Artificial Intelligence, 10/2023. Dispoñible en: https://www.cba.org/Our-Work/Submissions-(1)/Submissions/2023/October/Council-of-Europe-Treaty-Negotiations-on-Artificia.

Canadian Bar Association. 2023b. Privacy And Access Law Section, Immigration Law Section, Ethics And Professional Responsibility Subcommittee, 10/2023. Dispoñible en: https://www.cba.org/Our-Work/Submissions-(1)/Submissions/2023/October/Council-of-Europe-Treaty-Negotiations-on-Artificia.

Castillo Parrilla, J.A. 2023. «Privacidad de grupo: un reto para el derecho a la protección de datos a la luz de la evolución de la inteligencia artificial”, en Derecho Privado y Constitución, 43: 53-88. Dispoñible en: https://doi.org/10.18042/cepc/dpc.43.02

Comisión Europea. 2019. Directrices éticas para una IA fiable (redactado polo Grupo independiente de expertos de alto nivel sobre intelixencia artificial).

Comisión Europea. 2020. Libro Blanco. Sobre la Inteligencia Artificial - Un enfoque europeo para la excelencia y la confianza, COM(2020) 65 final, Bruxelas, 19/02/2020. Dispoñible en: https://op.europa.eu/es/publication-detail/-/publication/aace9398-594d-11ea-8b81-01aa75ed71a1.

Comisión Europea. 2022a. Recomendación de Decisión del Consejo por la que se autoriza la apertura de negociaciones en nombre de la Unión Europea con vistas a un Convenio del Consejo de Europa sobre inteligencia artificial, derechos humanos, democracia y Estado de Derecho, COM/2022/414 final, Bruxelas, 18/08/2022: 5. Dispoñible en: https://eur-lex.europa.eu/legal-content/ES/TXT/HTML/?uri=CELEX:52022PC0414.

Consello de Europa. 2019. Comité de Ministros Decisión CM/Del/Dec(2019)1353/1.5, 11 de septiembre de 2019. 353.ª reunión.

Consello de Europa. 2021. Comité de Ministros Mandato de Comité Ad Hoc (CM(2021)131-addfinal) Terms of reference. Dispoñible en: https://rm.coe.int/terms-of-reference-of-the-committee-on-artificial-intelligence-for-202/1680a74d2f.

Consello de Europa. 2022. Guide on Article 13 of the European Convention on Human Rights Right to an effective remedy, actualizado o 31/08/2022. Dispoñible en: https://ks.echr.coe.int/web/echr-ks/article-13.

Consello da UE. 2022. Decisión (UE) 2022/2349 del Consejo, de 21 de noviembre de 2022, por la que se autoriza la apertura de negociaciones en nombre de la Unión Europea con vistas a un convenio del Consejo de Europa sobre inteligencia artificial, derechos humanos, democracia y Estado de Derecho. Dispoñible en: https://eur-lex.europa.eu/legal-content/ES/TXT/HTML/?uri=CELEX:32022D2349.

Cotino Hueso, L. 2019. «Derechos y garantías ante el uso público y privado de inteligencia artificial, robótica y big data», en M. Bauzá (dir.), El Derecho de las TIC en Iberoamérica. Montevideo: La Ley-Thompson-Reuters. Dispoñible en: http://links.uv.es/BmO8AU7.

Cotino Hueso, L. 2019. «Ética en el diseño para el desarrollo de una inteligencia artificial, robótica y big data confiables y su utilidad desde el derecho», en Revista Catalana de Derecho Público, 58. Dispoñible en: http://dx.doi.org/10.2436/rcdp.i58.2019.3303

Cotino Hueso, L. 2021. Guía de Protección de Datos en IA y Espacios de Datos. Valencia: ITI. Dispoñible en: https://www.iti.es/downloads/GUIA-DE-PROTECCION-DE-DATOS-EN-IA-Y-ESPACIOS-DE-DATOS.pdf.

Cotino Hueso, L. 2022. «Nuevo paradigma en las garantías de los derechos fundamentales y una nueva protección de datos frente al impacto social y colectivo de la inteligencia artificial», en L. Cotino Hueso (ed.), Derechos y garantías ante la inteligencia artificial y las decisiones automatizadas. Cizur Menor: Thompson-Reuters Aranzadi, FIADI (Federación Iberoamericana de Asociaciones de Derecho e Informática).

Cotino Hueso, L. 2023. «Los tratados internacionales y el Derecho de la Unión Europea. Integración y relaciones con el ordenamiento español», en J.M. Castellá Andreu (ed.), Derecho Constitucional Básico, 7.ª ed. Barcelona: Huygens (Col. Lex Academica).

Cotino Hueso, L. 2024. «La primera sentencia del Tribunal de Justicia de la Unión Europea sobre decisiones automatizadas y sus implicaciones para la protección de datos y el Reglamento de inteligencia artificial», en Diario La Ley, 01/2024.

Cotino Hueso, L. e Gómez de Ágreda, Á. 2024. «Criterios éticos y de Derecho Internacional Humanitario en el uso de sistemas militares dotados de inteligencia artificial», en Novum Jus, 18(1). Dispoñible en: https://novumjus.ucatolica.edu.co/issue/archive

Council of Europe. 2022. Guide on Article 13 of the European Convention on Human Rights, 31/08/2022. Dispoñible en: https://www.echr.coe.int/documents/d/echr/guide_art_13_eng

Crawford, K. e Schultz, J. 2014. «Big Data and Due Process: Toward a Framework to Redress Predictive Privacy Harms», en Boston College Law Review, 55: 93-128.

Fjeld, J., et al. 2020. «Principled Artificial Intelligence: Mapping Consensus in Ethical and Rights-based Approaches to Principles for AI», en Berkman Klein Center for Internet & Society Research at Harvard University, xaneiro. Dispoñible en: https://dash.harvard.edu/handle/1/42160420.

Goberno do Reino Unido. 2023. A pro-innovation approach to AI regulation. Londres: Department for Science, Innovation and Technology and Office for Artificial Intelligence. 29/03/2023, actualización 3/08/2023. Dispoñible en: https://www.gov.uk/government/publications/ai-regulation-a-pro-innovation-approach/white-paper.

Grupo do Artigo 29. 2017. Directrices sobre decisiones individuales automatizadas y elaboración de perfiles a los efectos del Reglamento 2016/679. 3/10/2017, revisadas o 6/02/2018.

Kolfschooten, H. e Shachar, C. 2023. «The Council of Europe’s AI Convention (2023-2024): Promises and pitfalls for health protection», en Health Policy, 138. Dispoñible en: https://doi.org/10.1016/j.healthpol.2023.104935.

Leslie, D., Burr, C., Aitken, M., Cowls, J., Katell, M. e Briggs, M. 2021. Artificial Intelligence, Human Rights, Democracy and the Rule of Law: a Primer. Dispoñible en: https://rm.coe.int/primer-en-new-cover-pages-coe-english-compressed-2754-7186-0228-v-1/1680a2fd4a.

Mantelero, A. 2014. «Toward a New Approach to Data Protection in the Big Data Era», en U. Gasser, et al. (dir.), Internet Monitor 2014: Reflections on the Digital World. Cambridge (MA): Berkman Center for Internet and Society at Harvard University.

Mantelero, A. 2017. «From group privacy to collective privacy: towards a new dimension of privacy and data protection in the big data era», en L. Taylor, B. Van Der Sloot y L. Floridi, L. (eds.), Group Privacy. New Challenges of Data Technologies. Berlín: Springer Verlag.

Mantelero, A. 2022. Beyond Data. Human Rights, Ethical and Social Impact Assessment. Torino: Springer (Col. Information Technology and Law Series, 36). Dispoñible en: https://link.springer.com/book/10.1007/978-94-6265-531-7.

Martínez Martínez, R. 2019. «Inteligencia artificial desde el diseño. Retos y estrategias para el cumplimiento normativo», en Revista catalana de dret públic, 58: 64-81.

OCDE. 2023. AI terms & concepts, 10/2023. Dispoñible en: https://oecd.ai/en/ai-principles.

Palma Ortigosa, A. 2022. Decisiones automatizadas y protección de datos personales. Especial atención a los sistemas de inteligencia artificial, Dykinson, 2022.

RED DAIA. 2020. Aportación DAIA a consulta pública Carta de derechos digitales, 12/2020. Dispoñible en: https://bit.ly/3paF0H0.

Roig I Batalla, A. 2021. Las garantías frente a las decisiones automatizadas del Reglamento general de Protección de Datos a la gobernanza algorítmica. Barcelona: J.M. Bosch.

Sánchez-Molina, P. 2018. «El origen de la cláusula de la mayor protección de los derechos humanos», en Estudios de Deusto, 66(1): 375-391. Dispoñible en: http://dx.doi.org/10.18543/ed-66(1)-2018pp375-391.

SEPD. 2022. Opinion 20/2022 on the Recommendation for a Council Decision authorising the opening of negotiations on behalf of the European Union for a Council of Europe convention on artificial intelligence, human rights, democracy and the rule of law, 13/10/2022. Dispoñible en: https://edps.europa.eu/system/files/2022-10/22-10-13_edps-opinion-ai-human-rights-democracy-rule-of-law_en.pdf.

Valcke, P. e Hendrickx, V. 2023. «The Council of Europe’s road towards an AI Convention: taking stock», en Law, Ethics & Policy of AI Blog, 25/01/2023. Dispoñible en: https://www.law.kuleuven.be/ai-summer-school/blogpost/Blogposts/AI-Council-of-Europe-draft-convention.

Notas

  1. 1 OdiseIA. Este estudo é o resultado da investigación dos seguintes proxectos: MICINN Proxecto “Derechos y garantías públicas frente a las decisiones automatizadas y el sesgo y discriminación algorítmicas” 2023-2025 (PID2022-136439OB-I00) financiado por MCIN/AEI/10.13039/501100011033/; Proxecto “Algoritmic law” (Prometeo/2021/009, 2021-24 Generalitat Valenciana); “Algorithmic Decisions and the Law: Opening the Black Box” (TED2021-131472A-I00) e “Transición digital de las Administraciones públicas e inteligencia artificial” (TED2021-132191B-I00) do Plan de Recuperación, Transformación e Resiliencia. Estancia Generalitat Valenciana CIAEST/2022/1, Grupo de Investigación en Dereito Público e TIC Universidade Católica de Colombia; Cátedra ENIA “Derecho y regulación de la Inteligencia Artificial” U. Valencia-Cuatrecasas, 2024-2027, Convenio de Derechos Digitales-SEDIA Ámbito 5 (2023/C046/00228673) e Ámbito 6 (2023/C046/00229475).

  2. 2 Comisión Europea, 2020.

  3. 3 Proposta de Regulamento do Parlamento Europeo e do Consello na que se establecen normas harmonizadas sobre a intelixencia artificial (Lei de intelixencia artificial). Sobre o proceso regulatorio, cabe seguir os documentos en https://www.europarl.europa.eu/legislative-train/theme-a-europe-fit-for-the-digital-age/file-regulation-on-artificial-intelligence

  4. 4 Pode seguirse en https://www.cotino.es/aiafiltrado.

  5. 5 https://www.parl.ca/legisinfo/en/bill/44-1/c-27

  6. 6 O texto en https://www.parl.ca/DocumentViewer/en/44-1/bill/C-27/first-reading. O estado de tramitación en https://ised-isde.canada.ca/site/innovation-better-canada/en/artificial-intelligence-and-data-act e en https://ised-isde.canada.ca/site/innovation-better-canada/en/artificial-intelligence-and-data-act-aida-companion-document

  7. 7 Projeto de lei n. 2338 do Senado, que regulamenta a IA, texto inicial en https://legis.senado.leg.br/sdleg-getter/documento?dm=9347622&ts=1702407086098&disposition=inline&_gl=1*1ifop8*_ga*MTg0Njk3ODg3MS4xNzA1Mzk4MDU2*_ga_CW3ZH25XMK*MTcwNTM5ODA1Ni4xLjAuMTcwNTM5ODA1Ni4wLjAuMA. Procedemento en https://www25.senado.leg.br/web/atividade/materias/-/materia/157233

  8. 8 Así, destaca o Goberno do Reino Unido, 2023.

  9. 9 http://www.cac.gov.cn/2023-07/13/c_1690898327029107.htm

  10. 10 Lanzado polo ministro de Innovación, Ciencia e Industria. Voluntary Code of Conduct on the Responsible Development and Management of Advanced Generative AI Systems, https://ised-isde.canada.ca/site/ised/en/voluntary-code-conduct-responsible-development-and-management-advanced-generative-ai-systems

  11. 11 https://www.mofa.go.jp/files/100573473.pdf

  12. 12 Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence. https://www.whitehouse.gov/briefing-room/presidential-actions/2023/10/30/executive-order-on-the-safe-secure-and-trustworthy-development-and-use-of-artificial-intelligence/. Cabe seguir tamén a nota informativa https://www.whitehouse.gov/briefing-room/statements-releases/2023/10/30/fact-sheet-president-biden-issues-executive-order-on-safe-secure-and-trustworthy-artificial-intelligence/

  13. 13 California Senate Bill 896, https://legiscan.com/CA/text/SB896/id/2868456

  14. 14 https://www.ilga.gov/legislation/ilcs/ilcs3.asp?ActID=4015&ChapterID=68#:~:text=An%20employer%20may%20not%20use,use%20of%20artificial%20intelligence%20analysis

  15. 15 Existen propostas normativas de lexisladores particulares e outras vinculadas a estratexias nacionais na materia como no Perú, Chile, Colombia, por mencionar algúns.

  16. 16 Así, en Consello de Europa, 2019.

  17. 17 https://www.coe.int/en/web/artificial-intelligence/cai

  18. 18 Consello de Europa, 2021.

  19. 19 Pode seguirse respecto diso, entre outros, https://dig.watch/processes/convention-on-ai-and-human-rights-council-of-europe-process. Tamén, ver https://www.law.kuleuven.be/citip/blog/the-council-of-europes-road-towards-an-ai-convention-taking-stock/

  20. 20 Cabe lembrar que son “observadores” Canadá, Estados Unidos, Xapón, México, a Santa Sede, mentres que Israel é observador da Asemblea Parlamentaria. https://www.coe.int/es/web/about-us/our-member-states

  21. 21 Respecto da posición do Canadá, existen dous estudos: Canadian Bar Association, 2023a e Canadian Bar Association, 2023b. Tamén, Brandusescu e Sieber, 2023.

  22. 22 Sobre o CAHAI, CAHAI, 2020a, interesan os estudos CAHAI preparatorios, CAHAI, 2020c. Tamén cabe sinalar CAHAI 2020b. Así mesmo, Leslie et al., 2021.

  23. 23 CAHAI, 2021a.

  24. 24 CAI, 2023a.

  25. 25 CAI, 2023b.

  26. 26 CAI, 2023c.

  27. 27 Un preámbulo con dezasete considerandos e trinta e seis artigos estruturados en oito capítulos: Disposicións xerais (I); Obrigas xerais (II); Principios (III); Recursos (IV); Avaliación e mitigación de riscos e impactos adversos (V) e os relativos a Aplicación (VI); Mecanismo de seguimento e cooperación (VII) e Cláusulas finais (VIII).

  28. 28 Partes II e III. 11. CAHAI, 2021a.

  29. 29 Sobre o tema, pode seguirse Cotino Hueso, 2023: 241-258.

  30. 30 Respecto diso, cabe ter en conta a “nova” definición en OCDE, 2023.

  31. 31 SEPD, 2022: 8.

  32. 32 Considerando 2 septies (novo), emenda 11 e na regulación do ámbito no artigo 2, apartado 5 quinquies (novo).

  33. 33 O tema analízoo en profundidade en Cotino Hueso, 2021.

  34. 34 “3. Este convenio non se aplicará ás actividades de investigación [e desenvolvemento] relativas aos sistemas de intelixencia artificial, agás que os sistemas se deseñen, desenvolvan, utilicen ou desmantelen [se proben ou se utilicen doutro xeito] de maneira que poidan interferir cos dereitos humanos, a democracia e o Estado de dereito”.

  35. 35 Sobre o tema, pode seguirse Cotino Hueso e Gómez de Ágreda, 2024.

  36. 36 https://rm.coe.int/cai-2023-18-consolidated-working-draft-framework-convention/1680abde66

  37. 37 Así, flexibilízase a aplicación do Convenio para “protexer intereses esenciais de seguridade nacional [incluíndo se é o caso], mesmo mediante actividades relacionadas coa intelixencia e a contraintelixencia estranxeiras” (opción A); ou simplemente por “intereses de seguridade nacional (opción B). Na opción C, a parte “poderá restrinxir” a aplicación do convenio “para protexer intereses esenciais de seguridade nacional”.

  38. 38 Considerando 10, con mención do artigo 216.2.°, do TFUE. Decisión (UE) 2022/2349 do Consello, do 21 de novembro de 2022, pola que se autoriza a apertura de negociacións en nome da Unión Europea con vistas a un convenio do Consello de Europa sobre intelixencia artificial, dereitos humanos, democracia e Estado de dereito, https://eur-lex.europa.eu/legal-content/ES/TXT/HTML/?uri=CELEX:32022D2349

  39. 39 A Declaración do Parlamento da UE de 2017 sobre robótica é unha clara manifestación destes principios. Destacan sen dúbida as directrices éticas para unha IA fiable desde a UE, a Recomendación do Consello sobre intelixencia artificial da OCDE do 22 de maio de 2019 e a Recomendación sobre a ética da intelixencia artificial da UNESCO de novembro de 2021. Xa en 2018, o proxecto AI4People contabilizou 47 principios éticos proclamados internacionalmente e destilounos en cinco puntos: beneficencia (“facer o ben”), non maleficencia (“non facer dano”), autonomía ou acción humana (“human agency”) (“respecto pola autodeterminación e elección dos individuos”) e xustiza (“Trato xusto e equitativo para todos”). Todo iso pode seguirse en Cotino Hueso, 2019.

  40. 40 Fjeld et al., 2020.

  41. 41 O SEPD, 2022, recomenda unha referencia explícita ao cumprimento da normativa UE (3.3) e que haxa un enfoque de protección de datos desde o deseño e por defecto (apartado 6, p. 13 e ss. n. 36 e ss.).

  42. 42 Así, no artigo 2e. “suxeito de intelixencia artificial”: toda persoa física ou xurídica cuxos dereitos humanos e liberdades fundamentais ou dereitos xurídicos conexos garantidos polo dereito nacional ou internacional aplicable se vexan afectados pola aplicación dun sistema de intelixencia artificial, incluídas as decisións adoptadas ou substancialmente informadas pola aplicación do devandito sistema.

  43. 43 SEPD, 2022: 10 (n. 28).

  44. 44 Valcke e Hendrickx, 2023.

  45. 45 Ver “A creación dinámica de grupos algorítmicos, a privacidade colectiva e de grupo”, en Cotino Hueso, 2019. Sobre o tema recentemente, Castillo Parrilla, 2023: 53-88.

  46. 46 Ver a miña achega en RED DAIA, 2020.

  47. 47 Ademais da obra apuntada, por exemplo, Mantelero, 2017: cap. 8.

  48. 48 En especial, apartados 28, 30 (igualdade), 46 e 47 (gobernanza), 50, 52, 53, 60 e 64 (impacto ético) ou no n. 91 (xénero).

  49. 49 Brandusescu e Sieber, 2023: 6.

  50. 50 SEPD, 2022: n. 6, apartado 8 de “Conclusións”, p. 15.

  51. 51 Un mecanismo de garantía dos intereses colectivos pode ser a “protección dos denunciantes de irregularidades” que regula o artigo 19. E o artigo 21 de modo xenérico afirma: “unha alfabetización e habilidades dixitais adecuadas para todos os segmentos da poboación”.

  52. 52 Así, Brandusescu e Sieber, 2023: 3, sobre os “Mecanismos de dereitos” (Rights mechanisms).

  53. 53 Crawford e Schultz: 2014: 125.

  54. 54 De especial referencia respecto diso é o Grupo do Artigo 29, 2017. Analicei en particular este precepto en Cotino Hueso, 2019: 917-952. En especial, Palma Ortigosa, 2022 e Roig i Batalla, 2021.

  55. 55 A sentenza do TXUE do 7 de decembro de 2023 é a primeira en abordar centralmente o artigo 22 RXPD e adopta un criterio na liña de incluír a garantía deste artigo nos casos en que o sistema automatizado determina os elementos básicos da decisión que se adopte. Sobre o tema, cabe seguir o meu recente estudo Cotino Hueso, 2024.

  56. 56 Comisión Europea, 2019: n. 78.

  57. 57 Así, cabe seguir o xa referido estudo de Harvard, Fjeld et al., 2020.

  58. 58 Consello de Europa, 2022.

  59. 59 A Sentenza TEDH, do 3 de abril de 2001, Keenan contra Reino Unido, parágrafo 122 resume o contido deste precepto.

  60. 60 Na versión do 18 de decembro sinálase a letra c) como posibilidade (en cor vermella).

  61. 61 O artigo 8 só afirma como “Principios de actuación da Axencia” a “Autonomía” e a “Independencia técnica” e que “a Axencia actuará con plena autonomía”.

  62. 62 Así, o n. 46 sinala “a heteroxeneidade dos ámbitos aos que se refiren os sistemas de IA (que van desde o traballo e o emprego ata os servizos financeiros, a educación e a atención sanitaria, a administración de xustiza, a prevención da fraude, etc.); é necesario contar con sistemas estruturados e cooperación institucionalizada entre diferentes autoridades competentes (en particular, entre as autoridades de protección de datos e as autoridades sectoriais competentes)”.

  63. 63 Unha análise exhaustiva en Cotino Hueso, 2019.

  64. 64 Comisión Europea, 2019: en especial capítulo III e listaxe, pp. 33-41.

  65. 65 Céntrome niso en Cotino Hueso, 2022: apartado “Más vale prevenir que curar”.

  66. 66 Respecto do ámbito dos datos, Mantelero, 2014: 84 e ss. Para a IA, Mantelero, 2022. En España, entre outros Martínez Martínez, 2019: 64-81.

  67. 67 Mantelero, 2022: ver capítulo III pp. 61-119, en CAHAI, 2020c: 72.

  68. 68 CAHAI, 2021: n. 19, p. 5.

  69. 69 “(1) Identificación de riscos: Identificación de riscos relevantes para os dereitos humanos, a democracia e o Estado de dereito. (2) Avaliación de impacto: Avaliación do impacto, tendo en conta a probabilidade e gravidade dos efectos sobre eses dereitos e principios. (3) Avaliación da gobernanza: Avaliación das funcións e responsabilidades dos titulares de obrigas, os titulares de dereitos e as partes interesadas na aplicación e o goberno dos mecanismos para mitigar o impacto; (4) Mitigación e avaliación: Identificación de medidas de mitigación adecuadas e garantía dunha avaliación continua”.

  70. 70 A saber: nivel de autonomía, tecnoloxía subxacente, uso previsto como potencialmente non previsto, complexidade do sistema, transparencia e explicabilidade, supervisión e control humanos, calidade dos datos, a solidez/seguridade do sistema, a participación de persoas ou grupos vulnerables, alcance xeográfico e temporal, a avaliación da probabilidade e o alcance do dano potencial e a súa reversibilidade e se é unha red line.

  71. 71 Aínda que de modo superficial, Kolfschooten e Shachar, 2023: 3, ou Brandusescu e Sieber, 2023: 2, que o considera como un dos “principais resultados”.

  72. 72 SEPD, 2022: sobre o tema, p. 11 e ss. n. 31 e ss.

  73. 73 Sobre o tema, Sánchez-Molina, 2018: 375-391.

  74. 74 “Se dúas ou máis partes xa concluíron un acordo ou tratado sobre as cuestións tratadas neste convenio ou estableceron doutro xeito as súas relacións sobre as ditas cuestións, tamén terán dereito a aplicar ese acordo ou tratado ou a regular esas relacións en consecuencia”.

  75. 75 Anexo ao Consello da UE, 2022.

  76. 76 Comisión Europea, 2022a: 5.

  77. 77 SEPD, 2022: n. 11, p. 7.

  78. 78 Ibídem, apartado 3.2 p. 8, n. 18 e ss.

  79. 79 Comisión Europea, 2022a: 5.

  80. 80 Considerando 11, Consello da UE, 2022.

  81. 81 Ibídem, Consello da UE, 2022: 6.

  82. 82 Así, na proposta da Secretaría, Consello da UE, 2022: 4. En concreto, no anexo, p. 3 “(3) Que o convenio lle permita á Unión Europea formar parte del”.

  83. 83 “[Dentro dos ámbitos da súa competencia, a Unión Europea exercerá o seu dereito de voto cun número de votos igual ao número dos seus Estados membros que sexan partes contratantes neste convenio; a Unión Europea non exercerá o seu dereito de voto nos casos en que os Estados membros interesados exerzan o seu, e á inversa]”.