Revista Administración & Cidadanía, EGAP

Vol. 16_núm. 2_2021 | pp. -341

Santiago de Compostela, 2021

https://doi.org/10.36402/ac.v16i2.4803

ISSN-L: 1887-0279 | ISSN: 1887-5270

Recibido: 11/06/2021 | Aceptado: 29/06/2021

Editado bajo licencia Creative Commons Atribution 4.0 International License

Dereitos ante decisións xudiciais e administrativas algorítmicasrecoñecidos nos casos CADA, Loomis, Lazio e SyRI

Derechos ante decisiones judiciales y administrativas algorítmicas reconocidos en los casos CADA, Loomis, Lazio y SyRI

Rights before judicial and administrative algorithmic decisions recognized in the cases CADA, Loomis, Lazio and SyRI

Gustavo Adolfo Amoni Reverón1

Profesor de pregrado y postgrado

Universidad Central de Venezuela

gustavoamoni@hotmail.com

Resumo: Sentenzas e actos administrativos emitidos por e con axuda de algoritmos invitan a reflexionar acerca da necesidade de regulación, o que se fai a partir de 4 decisións algorítmicas europeas e dos EE.UU. para evidenciar, por unha parte, a necesidade de regulación e, por outra, polo menos 12 dereitos que deben recoñecerse, entre eles o de acceso ao algoritmo nunha linguaxe comprensible, e mesmo ao desenvolvedor, para exercer con plenitude o dereito á defensa administrativo e xurisdicional.

Palabras clave: Algoritmo, intelixencia artificial, dereito á defensa, debido proceso, actuación administrativa automatizada.

Resumen: Sentencias y actos administrativos emitidos por y con ayuda de algoritmos invitan a reflexionar acerca de la necesidad de regulación, lo que se hace a partir de 4 decisiones algorítmicas europeas y de EE.UU. para evidenciar, por una parte, la necesidad de regulación y, por otra, al menos 12 derechos que deben reconocerse, entre ellos el de acceso al algoritmo en un lenguaje comprensible, e incluso al desarrollador, para ejercer a plenitud el derecho a la defensa administrativo y jurisdiccional.

Palabras clave: Algoritmo, inteligencia artificial, derecho a la defensa, debido proceso, actuación administrativa automatizada.

Abstract: Judicial and administrative decisions issued by and with the help of algorithms invite to rethink on the need for regulation. To that extent, 4 European and US algorithmic decisions are analyzed to demonstrate, on the one hand, the need for regulation, and on the other hand, at least 12 rights that must be recognized, including access to the algorithm in understandable language, and even to the developer, to fully exercise the right to administrative and judicial defense.

Key words: Algorithm, artificial intelligence, right to defense, due process, automatic administrative decision.

Sumario: 1 Introducción. 2 Caso CADA, Francia, 2015. 2.1 Opinión número 20144578 emitida por la Comisión de Acceso a los Documentos Administrativos (CADA) de Francia en la sesión del 8 de enero de 2015. 2.2 Sentencia dictada el 10 de marzo de 2016 por la 5.ª Sección de la 2.ª Cámara del Tribunal Administrativo de París (n. 1508951/5-2). 2.3 Derechos ante decisiones algorítmicas evidenciados en el caso CADA: el derecho de acceso al código fuente. 3 Caso Loomis, Estados Unidos, 2016. 3.1 Sentencia de la Corte Suprema de Wisconsin, Estado de Wisconsin contra Eric L. Loomis, n. 2015AP157–CR del 13 de julio de 2016. 3.2 Derechos ante decisiones algorítmicas evidenciados en el caso Loomis. 3.2.1 Derecho a no ser sometido a decisiones automatizadas. 3.2.2 Derecho al uso de datos precisos. 3.2.3 Derecho a la actualización de los datos. 3.2.4 Derecho a la igualdad y no discriminación algorítmica. 4 Caso Lazio, Italia, 2019. 4.1 Resumen de la Sentencia del Consejo de Estado Italiano (Sección VI) número 2270 del 8 de abril de 2019. 4.2 Derechos ante decisiones algorítmicas evidenciados en el caso Lazio. 4.2.1 Derecho a una Administración pública más efectiva. 4.2.2 Derecho al sometimiento del algoritmo al derecho. 4.2.3 Derecho al pleno conocimiento del algoritmo. 4.2.4 Derecho a conocer el algoritmo en un lenguaje comprensible. 4.2.5 Derecho al control judicial del algoritmo desde el desarrollador. 5 Caso SyRI, Países Bajos, 2020. 5.1 Sentencia del Tribunal del Distrito de La Haya, C/09/550982 / HA ZA 18-388, del 5 de febrero de 2020. 5.2 Derechos ante decisiones algorítmicas evidenciados en el caso SyRI. 5.2.1 Derecho a que se realicen evaluaciones de impacto sobre datos personales. 5.2.2 Derecho a que se informe a los sujetos investigados respecto del tratamiento de sus datos personales. 6 Conclusión. 7 Bibliografía.

1 INTRODUCCIÓN

La informática es parte del proceso de toma de decisiones. De hecho, programas de computación tan avanzados como la inteligencia artificial se usan en decisiones humanas con efectos jurídicos. Esta realidad deriva en la necesidad de concienciación sobre la falibilidad de la máquina que fue desarrollada por humanos, es usada por humanos y cuyos resultados afectan a seres humanos.

Partiendo de lo anterior, se ha discutido sobre los límites del algoritmo, procedimiento que fue programado para que una máquina produzca un resultado, determinado o imprevisto, a partir de datos o patrones incorporados por un desarrollador y, en algunos casos, por el mismo sistema automatizado.

La doctrina se ha ocupado de analizar este tema, los legisladores han comenzado a fijar límites a las decisiones tomadas por algoritmos y, así mismo, los tribunales han tenido la oportunidad de pronunciarse al respecto. A fin de precisar los derechos que se han reconocido jurisprudencialmente, se analizarán cuatro decisiones sobre la materia en Europa y Estados Unidos.

Para ello, se resumirán y traducirán libremente al español cuatro decisiones de la Corte Suprema de Virginia (caso Loomis), del Tribunal Administrativo de París (caso CADA), del Consejo de Estado de Italia (caso Lazio) y del Tribunal de Distrito de la Haya (caso SyRI), con ayuda de inteligencia artificial: los traductores on line de Windows 10 y Google.

De estas decisiones se extraerán derechos que deberían considerarse en las regulaciones nacionales e internacionales sobre la materia con miras al debido proceso, especialmente desde la perspectiva del derecho a la defensa.

En definitiva, se deducirán y sistematizarán los derechos principales que surjan de estos actos judiciales con el objeto de limitar el uso de la informática aplicada a la toma de decisiones estatales, con especial referencia a la actividad administrativa y jurisdiccional.

2 CASO CADA, FRANCIA, 2015

2.1 Opinión número 20144578 emitida por la Comisión de Acceso a los Documentos Administrativos (CADA) de Francia en la sesión del 8 de enero de 2015

Un ciudadano recurrió ante CADA2 luego de la negativa del director general de finanzas públicas de compartir el código fuente de un programa informático que permite simular el cálculo del impuesto sobre la renta de personas naturales (físicas) con el objeto de reutilizarlo para sus trabajos de investigación universitarios.

La comisión decidió afirmativamente el recurso, expresando que el código fuente de un software es un conjunto de archivos informáticos que contienen las instrucciones que deberán ser ejecutadas por un microprocesador, que, al haber sido producidos por la Dirección General de Finanzas Públicas con ocasión de su actividad de servicio público, revisten carácter de documentos administrativos conforme al artículo 1 de la Ley del 17 de julio de 1978.

A pesar de la opinión favorable de CADA, el solicitante debió demandar ante el Tribunal Administrativo de París la nulidad del acto administrativo negativo tácito de la Dirección General de Finanzas Públicas.

2.2 Sentencia dictada el 10 de marzo de 2016 por la 5.ª Sección de la 2.ª Cámara del Tribunal Administrativo de París (n. 1508951/5-2)3

El accionante argumentó que el código fuente de un programa informático es un documento que puede compartirse, en el sentido de la Ley 78-753, de 17 de julio de 1978, y que las versiones anteriores del software que no están en desarrollo son documentos administrativos completos o terminados conforme al mismo texto legal.

Para decidir respecto de la consideración del código fuente como documento administrativo4 que puede compartirse, el tribunal expresó que el artículo 1 de la Ley 78-753, vigente para entonces, preveía que se consideraba documento administrativo, cualquiera que fuera su fecha, lugar de conservación, forma y soporte, los documentos producidos o recibidos, en el marco de su actividad de servicio público, por el Estado, las colectividades territoriales, así como por las otras personas de derecho público o personas de derecho privado encargadas de tal actividad.

Continúa explicando el tribunal que, para negarse a compartir el código fuente del programa de cálculo del impuesto sobre la renta de las personas físicas, el ministro de Hacienda y Cuentas Públicas alegó que se trataba de un documento inacabado, que está en constante evolución, lo que impide compartirlo con los ciudadanos, de conformidad con lo dispuesto en la ley; no obstante, estima el tribunal que el carácter evolutivo de un programa informático no excluye el derecho de obtenerlo, por lo que anuló el acto administrativo por el que se negó a compartir el código fuente requerido, y ordenó que fuera compartido.

2.3 Derechos ante decisiones algorítmicas evidenciados en el caso CADA: el derecho de acceso al código fuente

El uso de inteligencia artificial o de algoritmos en general para tomar decisiones que afecten o puedan afectar la esfera jurídica de los particulares implica relaciones jurídicas más complejas, ya que la decisión no es tomada directamente por una persona, sino por un programa informático diseñado para tal fin o con apoyo en un programa informático diseñado para tal fin.

Cuando es la Administración pública o un órgano jurisdiccional quien decide, el derecho de acceso a los documentos públicos y al expediente en general no puede verse mermado por el formato en que se encuentre ni por el nivel de complejidad del sistema utilizado para tomar decisiones. Por tanto, el derecho que debe resaltarse de la decisión CADA es el derecho de acceso al código fuente.

El uso estatal de programas informáticos debe cumplir con el fin de facilitar la función pública en favor de los particulares, mas no del propio Estado, y mucho menos en desmedro de los derechos reivindicados por la sociedad. Así, la pérdida de transparencia en la gestión pública no puede aceptarse como consecuencia necesaria de la automatización de procesos, puesto que la celeridad no puede primar respecto del derecho a la motivación de las decisiones. El derecho a la defensa implica decisiones céleres, y principalmente motivadas, que puedan controlarse y contradecirse, para lo que resulta fundamental acceder a ellas en el medio en el que se encuentren documentadas, además de acceder al programa informático que emitió la decisión o en el que se apoyó la Administración o el órgano jurisdiccional para decidir.

Y es que, a partir de la incorporación de las tecnologías de información y comunicación (TIC) en la función pública, los derechos tradicionales se mantienen, adaptándose a las nuevas realidades, y surgen nuevos derechos como consecuencia de la aparición de nuevos fenómenos con incidencia en las relaciones sociales, y, en definitiva, en los derechos subjetivos.

Así, cuando se le confía a un programa informático la toma de decisiones públicas, solo es posible hablar de transparencia de las decisiones de efectos particulares si estas permiten el acceso al código fuente5, que debe ser abierto6. De tal modo, se logra reutilizar la información pública, para lo que debe estar en un formato que pueda compartirse mediante tecnologías de uso común, salvo que la especialidad del caso suponga formatos especiales, que en todo caso debe ser interoperable y puesta a disposición del público, resguardando derechos de propiedad intelectual de terceros7, lo que representa un reto para la transparencia de la actividad pública8, que debe ser respetuosa del derecho de acceso a la información y de la propiedad privada, al mismo tiempo.

Los datos públicos deben ser accesibles, deben poder copiarse y pegarse para ser usados, conforme a la ley, por ejemplo, para saber cómo se usa determinado presupuesto, cuáles son las mejores opciones para ejecutar una obra, cuál es la efectividad de determinado servicio y, en definitiva, para participar, colaborar y controlar a la Administración, bajo un modelo de Administración pública telemática y abierta. Esto trae como consecuencia que los datos sean abiertos, lo que se logra cuando los datos que se encuentran en cualquier formato, como puede ser el digital, puedan usarse para distintas actividades, con el objeto de optimizar las funciones públicas9.

Así, el código fuente de un programa informático usado por el Estado en el ejercicio de la actividad administrativa, como cualquier otro dato que conste en documentos administrativos de interés público, debiera ser un dato abierto y por tanto: a) cualquier persona debiera poder acceder a él, sin necesidad de solicitarlo individualmente a la Administración, sin costo o con un pago mínimo para copiarlo; b) sin exigirse pago alguno por concepto de propiedad intelectual o por razones técnicas, lo que en el caso CADA quedó resuelto al exigirse legalmente su entrega en un formato de uso frecuente; c) ser cónsono con la interoperabilidad, lo que supondría que se pueda intercambiar por Internet y que las computadoras puedan leerlo; d) ser válida su reutilización, así como su intercambio por cualquier persona; y e) tener la cualidad de poder ser tratado por cualquier persona natural o jurídica, pública o privada, en cualquier lugar10, directamente o mediante un programa informático simple o de mayor complejidad como la inteligencia artificial.

3 CASO LOOMIS, ESTADOS UNIDOS, 201611

3.1 Sentencia de la Corte Suprema de Wisconsin, Estado de Wisconsin contra Eric L. Loomis, n. 2015AP157-CR, del 13 de julio de 2016

El fiscal del Ministerio Público sostuvo que Loomis fue el conductor en un tiroteo automovilístico, por lo que le imputó cinco delitos, todos como reincidente. Loomis negó su participación, renunció a su derecho a juicio y admitió los hechos (plea) por dos de los delitos imputados menos graves. El acuerdo establecía que sería sobreseído por los demás delitos, pero que serían considerados al momento de sentenciar (read-in). Por esta razón, fue condenado a 6 años de prisión más 5 años de libertad condicional (extended supervision)12.

El aspecto central de este análisis es que, después de aceptar la admisión de los hechos presentada por Eric Loomis, el tribunal ordenó una investigación previa a la decisión (presentence investigation), cuyo informe (presentence investigation report “PSI”) incluyó una herramienta de “evaluación de riesgos basada en evidencias” llamada COMPAS, para sentenciar.

COMPAS es un programa informático de evaluación de riesgos y necesidades13 diseñado por la compañía Northpointe, Inc.14 para proporcionar apoyo al Ministerio Penitenciario (Department of Corrections) al tomar decisiones respecto de los sujetos condenados. La evaluación del riesgo COMPAS se basa en la información recopilada del expediente del acusado y en una entrevista con él. Un informe COMPAS consiste, por una parte, en una evaluación de riesgos diseñada para predecir la reincidencia y, por otra, en una evaluación para identificar las necesidades en áreas como el empleo, la vivienda y el uso indebido de sustancias.

Como se explica en el informe (PSI), las puntuaciones de riesgo están destinadas a predecir la probabilidad general de que las personas con antecedentes penales similares a otros sujetos sean menos o más propensos a cometer otro delito al recuperar su libertad. Las puntuaciones de riesgo COMPAS emitidas respecto de Eric Loomis indicaron que presentaba un alto riesgo de reincidencia en los tres gráficos de barras.

Al respecto, el defensor argumentó que faltaba información precisa e individualizada y que había discriminación por género en el juzgamiento, a lo que la Corte Suprema de Wisconsin respondió que Loomis tuvo acceso a la información que se usó para el informe de riesgo, y pudo defenderse en todo momento, por lo que declaró sin lugar el recurso presentado por la defensa de Eric Loomis y advirtió que, si se usa apropiadamente, una corte de circuito puede considerar una evaluación de riesgo COMPAS para sentenciar sin que ello viole el derecho al debido proceso.

3.2 Derechos ante decisiones algorítmicas evidenciados en el caso Loomis

3.2.1 Derecho a no ser sometido a decisiones automatizadas

Uno de los derechos que pueden advertirse de Wisconsin contra Loomis se incluye expresamente en la normativa europea de protección de datos: el derecho a no ser sometido a decisiones automatizadas15, vale decir, tomadas por medios tecnológicos sin participación humana16, por lo que serían válidas las decisiones automatizadas en las que medie intervención humana, sin perder de vista que la decisión puede limitarse a aceptar el resultado de la máquina, lo que debe informarse a la persona afectada por la decisión, e indicarse en la evaluación de impacto prevista en el derecho de Europa17.

Conforme al artículo 22.1 del Reglamento general de protección de datos, hay dos excepciones para aceptar decisiones basadas en un tratamiento automatizado: que lo prevea el derecho europeo o de los Estados miembros, o que el interesado lo hubiera consentido18. El Estado, en el caso concreto, actuando mediante los órganos jurisdiccionales, podrá apoyarse en programas informáticos para decidir. Desde los sistemas expertos hasta la más avanzada inteligencia artificial de aprendizaje automático, su uso queda restringido a servir de apoyo a la decisión humana.

Uno de los argumentos expresamente utilizados por la Corte Suprema de Wisconsin para rechazar el recurso presentado por la defensa de Eric Loomis fue que el informe COMPAS solo fue uno de los elementos considerados para decidir y que, incluso si no se hubiera tenido en cuenta, el resultado hubiese sido el mismo. Tal es la importancia de este elemento que dos de los jueces que integran la corte presentaron votos concurrentes en los que aclararon que el juez puede usar programas informáticos como COMPAS, siempre que constituya un elemento adicional para decidir, nunca el elemento central y menos único para sentenciar.

De hecho, en la sentencia se afirma que los tribunales usan y seguirán usando programas informáticos para emitir sus fallos, y que por tanto se requiere más investigación sobre el tema. Esto se debe a que las ventajas que ofrece al juzgador el uso de estas herramientas en aras de facilitar su trabajo las harán progresivamente más utilizadas, por lo que resulta indispensable asegurar su precisión en respeto del derecho a la defensa.

3.2.2 Derecho al uso de datos precisos

Los algoritmos informáticos generan un resultado a partir de los datos que les sean incorporados. Estos datos deben ser precisos y actuales19, es decir, datos de calidad20. Los datos precisos permiten mejorar el rendimiento institucional y ofrecer actuaciones ajustadas a las necesidades ciudadanas21; para ello, es necesario que los datos que se incorporen provengan de fuentes oficiales y estén relacionados directamente con el sujeto respecto del cual se emitirá la decisión, quien debe tener conocimiento de los resultados de esa decisión.

En concreto, la Corte Suprema de Wisconsin reconoce la necesidad de acceder a la información relacionada con el modo de ponderar los factores y determinar las puntuaciones de riesgo, lo que en el caso bajo análisis no fue posible por el secreto comercial que protege a COMPAS. Esto plantea el enfrentamiento de dos derechos constitucionales: derecho a la propiedad privada y derecho a la defensa. A primera vista, pareciera no haber dudas respecto de la primacía del derecho a la defensa en relación con el derecho a la propiedad privada, puesto que este último puede protegerse por otros medios sin que sea estrictamente necesario impedir a la defensa el acceso al algoritmo para poder defender los intereses jurídicos de Loomis.

A pesar de ello, el principio de proporcionalidad ni siquiera llegó a considerarse, puesto que se concluyó, sin ningún argumento, que el derecho a la propiedad privada debía primar.

Además, en lo que concierne a la precisión de los datos utilizados para decidir, la Corte Suprema de Wisconsin manifestó la importancia de considerar que los datos usados sean aplicables al caso concreto. Al comparar datos del sujeto a quien se aplica la evaluación de riesgos y necesidades con el resto de la población, la evaluación compara a los acusados con una muestra nacional, debiendo contrastarse con la población de Wisconsin, donde se produjo el hecho. Así, la decisión individualiza al acusado y tiene en cuenta datos comparativos aplicables a personas ubicadas en la misma área.

3.2.3 Derecho a la actualización de los datos

Cuando la Corte Suprema de Wisconsin afirma que los instrumentos de evaluación de riesgos deben ser constantemente monitoreados para lograr la exactitud debido a las poblaciones cambiantes y subpoblaciones, tiene en cuenta que los datos que use el programa informático serán determinantes para el resultado, puesto que para el algoritmo los únicos datos existentes son los que se le incorporen o incorpore el programa automáticamente, según el caso, y la única forma de analizarlos es el modo en el que el desarrollador lo haya previsto o lo determine la propia máquina vía machine learning o deep learning22.

Por ello, es indispensable que los datos sean actuales23, puesto que la sociedad evoluciona, la cultura cambia y no pueden obtenerse resultados ajustados a la realidad contemporánea con el hecho evaluado si no se tienen datos del momento histórico correspondiente. En otras palabras: el uso de datos actualizados permite decisiones más eficaces24. Esto requiere entender que el programa informático avanza con la tecnología y por ello está en evolución continua, lo que incluye actualizar los datos, bien sea manual o automáticamente.

3.2.4 Derecho a la igualdad y no discriminación algorítmica

Una de las afirmaciones que más llama la atención en el caso Loomis es que, a juicio del órgano jurisdiccional, algunos estudios sobre los puntajes de la evaluación de riesgo de COMPAS han puesto en duda si clasifica desproporcionadamente a los infractores minoritarios, asignándoles mayor riesgo de reincidencia, y, aun así, la corte admitió su uso sin ordenar el acceso al algoritmo, cuando “lo que se desea es que los algoritmos de la máquina sean igualitarios en general, y no discriminatorios”25.

Admitir que solo el resultado de la investigación es suficiente para ejercer el derecho a la defensa sin que exista la posibilidad de evaluar al experto investigador, en este caso al programa informático, conocer cómo piensa, sus valores, formación y, peor aún, sin poder verificar en detalle el proceso seguido para obtener el resultado sería suficiente para prohibir su uso.

Saber que un procedimiento puede ser discriminatorio y, aun así, dejar de hacer lo posible para corregirlo es una postura que no puede avalarse, puesto que se estaría actuando en violación directa de la Constitución y de las convenciones internacionales sobre derechos humanos que consagran el derecho a la igualdad.

4 CASO LAZIO, ITALIA, 2019

4.1 Resumen de la Sentencia del Consejo de Estado Italiano (Sección VI) número 2270, del 8 de abril de 201926

Un grupo de docentes accionaron judicialmente contra la decisión tomada a partir de un procedimiento administrativo por el que fueron asignados a cargos respecto de los que no tenían experiencia, y a provincias lejanas a su provincia de residencia, gracias a un algoritmo cuyo funcionamiento concreto desconocían. Con la Sentencia n. 12026, del 1 de diciembre de 2016, el Tribunal Administrativo Regional del Lazio rechazó la pretensión de nulidad, la que fue apelada ante el Consejo de Estado italiano.

El Consejo de Estado manifestó la importancia de elevar el nivel de digitalización de la Administración pública para mejorar la calidad de los servicios ofrecidos, tal como se advierte de la normativa jurídica italiana y comunitaria; es decir, de migrar hacia modelos de gobierno electrónico. En lo que concierne al objeto de la sentencia, el Consejo de Estado reconoce las ventajas indiscutibles derivadas de la automatización del proceso de toma de decisiones de la Administración mediante el uso de un procedimiento digital y a través de un “algoritmo” o secuencia ordenada de operaciones computacionales capaz de evaluar y calificar una multitud de solicitudes.

La utilidad de esta forma de gestionar el interés público es particularmente evidente en lo que respecta a los procedimientos en serie o estandarizados, que implican el tratamiento de grandes cantidades de requerimientos y se caracteriza por la adquisición de determinados datos objetivamente comprobables y la ausencia de una apreciación discrecional.

El Consejo de Estado advierte que principios legales y constitucionales obligan a la efectividad administrativa; sin embargo, el uso de procedimientos “robóticos” no puede ser una razón para eludir los principios que conforman el sistema legal italiano y que regulan la actividad administrativa. De hecho, la regla técnica que rige cada algoritmo sigue siendo una regla administrativa que debe informarse de los principios generales de la actividad administrativa, como el de transparencia, publicidad, racionalidad y proporcionalidad.

En definitiva, el algoritmo, es decir, el software –aclara el Consejo de Estado–, debe ser considerado en todos los aspectos como un “acto administrativo informático”, que debe ser controlado judicialmente, como en efecto ocurrió, siendo declarado con lugar el recurso por violación de los principios de imparcialidad, publicidad y transparencia.

4.2 Derechos ante decisiones algorítmicas evidenciados en el caso Lazio

4.2.1 Derecho a una Administración pública más efectiva

El Consejo de Estado asevera que el procedimiento administrativo automático debe promoverse por ser más célere en caso de operaciones netamente repetitivas y no discrecionales, por excluir errores ocasionados por falta de pericia y por dolo inherentes al ser humano y, además, por ofrecer mayores garantías de imparcialidad.

Si bien es cierto que telematizar al Estado genera múltiples ventajas para los ciudadanos, como las enumeradas por el Consejo de Estado italiano, las decisiones automatizadas están prohibidas en Europa, con excepciones puntuales, por lo que siempre se requerirá la supervisión humana. Como se puso de manifiesto en el caso Loomis, la IA puede servir de apoyo, mas no puede tomar decisiones que jurídicamente correspondan a los seres humanos.

No obstante, el Consejo de Estado aclara que puede hacerlo en caso de decisiones repetitivas en las que no hay discrecionalidad, siempre que se haya verificado el proceso de obtención y evaluación de los datos para decidir, llegando incluso a advertir que se interrogue a las personas que desarrollaron los programas informáticos decisorios si fuera necesario.

Por otra parte, afirma el Consejo de Estado de Italia que las decisiones automatizadas excluyen errores por falta de pericia o dolo; sin embargo, debe subrayarse que sí puede haber errores, bien sea a causa del creador, de quien ordenó el uso del producto o del usuario, de modo que los errores pueden seguir surgiendo, incluso por fallas en el suministro de energía eléctrica o del sistema de Internet, si fuera el caso.

En último lugar, se afirmó también que hay mayores garantías de imparcialidad; no obstante, hay suficiente referencia empírica documentada sobre sesgos en las decisiones automatizadas por problemas del algoritmo, pero principalmente a causa de los datos a partir de los cuales decide el programa informático.

Para resumir, usar modelos de gobierno electrónico en la actividad administrativa es un avance extraordinario por la facilidad que ofrece a los ciudadanos para interrelacionarse con la Administración27, lo que incluso es un derecho conforme al estado actual de la civilización; por tanto, el primer derecho a destacar en el fallo Lazio del Consejo de Estado Italiano es el derecho al uso de algoritmos en la Administración pública, lo que puede extenderse al resto de las funciones públicas, teniendo en cuenta los riesgos advertidos y previo estudio detallado en cada caso concreto.

4.2.2 Derecho al sometimiento del algoritmo al derecho

Para minimizar los riesgos advertidos en el epígrafe precedente, de consuno con el impulso a la telematización del Estado, resulta fundamental someter a todo algoritmo al derecho. Si el ser humano debe cumplir las normas, también debe cumplir cuando actúa, indirectamente, mediante una cosa (por ahora) construida para ejecutar funciones que normalmente realizaba una persona.

Un acto jurídico en papel y firmado con un bolígrafo por una persona, al igual que si estuviera disponible en formato digital y con firma electrónica, e incluso en cualquiera de los formatos previos generados por un programa de computación sin intervención humana, tiene implicaciones en las esferas de derechos, por lo que debe someterse a los valores, principios y reglas jurídicas.

Tanto impide la libre circulación un empleado de una estación de peaje que, habiendo recibido el pago, obstruya el paso como una barra de peaje automática. Lo mismo sucede con el empleado de la estación de servicio que no permite abastecer combustible como el programa informático que en Venezuela registra la cantidad de litros abastecidos en los estados fronterizos o a precio subsidiado en todo el país y, por tanto, limita el acceso al combustible.

Fuera de estas decisiones tasadas en las que no hay elementos de discrecionalidad, el riesgo aumenta y, con este, las precauciones necesarias para evitar vulneraciones a los derechos fundamentales. Si un acto administrativo y una sentencia deben ser motivados, el mismo requisito aplica cuando son generados exclusivamente o con ayuda de un programa informático; de lo contrario, desaparecería la universalidad del control judicial de los actos del poder público28.

En síntesis, el uso de programas informáticos en la toma de decisiones debe regularse, como ya se propuso en Europa29, por ser instrumentos por los que se automatizan los procedimientos legales que constituyen garantías de los derechos e intereses jurídicos.

4.2.3 Derecho al pleno conocimiento del algoritmo

El derecho a la defensa incluye la motivación de los actos jurídicos como medio para poder controlar las decisiones del poder público. No se trata de conocer cómo funciona la sinapsis en el juez, o qué órganos se utilizan en el acto neurológico de pensar, sino qué argumentos se usaron para tomar la decisión, con base en cuáles datos y cuál procedimiento se empleó.

A diferencia de lo que ocurrió en el caso Loomis de Estados Unidos, donde la Corte Suprema de Wisconsin estimó que no era posible acceder al algoritmo por respeto al secreto comercial, en el caso Lazio, el Consejo de Estado italiano manifestó la necesidad de conocer todo el algoritmo, o sea, el procedimiento informático programado para la asignación de cargos docentes en la sentencia analizada.

La importancia de conocer la totalidad del algoritmo se ubica una vez más en el ejercicio pleno del derecho a la defensa, puesto que solo conociendo quién decide o la cosa que decide, y con base en qué datos, procedimientos y argumentos decide, es que se podrá controlar. Por argumento en contrario, si el algoritmo no puede conocerse, entonces no podrá utilizarse para tomar decisiones jurisdiccionales30.

4.2.4 Derecho a conocer el algoritmo en un lenguaje comprensible

De nuevo el derecho a la defensa se hace presente cuando el Consejo de Estado italiano manifiesta que debe conocerse el algoritmo en un lenguaje que pueda comprender la persona afectada. Y es que lo contrario sería como si la persona estuviera sometida a un proceso en el extranjero, con leyes desconocidas y en un idioma que se ignora31.

En el caso CADA, de Francia, el Estado, actuando a través del órgano administrativo competente, manifestaba que no podía compartir el algoritmo usado para el cálculo de impuestos porque se encontraba en un lenguaje que requería un formato particular para acceder a él.

Para el tribunal francés, ese no era obstáculo, por lo que debía entregarse en un formato de uso común, mas no se exigía al Estado adaptarse a las necesidades del requirente. Esto no fue lo que ocurrió en Italia, donde se declaró el deber de ofrecer acceso al algoritmo y en un lenguaje que pueda comprender quien lo pide. Ello pudiera generar costos adicionales que habría que sopesar en cada caso concreto, lo que deberá tenerse en mente por parte del Estado al momento de optar por la incorporación de sistemas automatizados de toma de decisiones.

4.2.5 Derecho al control judicial del algoritmo desde el desarrollador

Se deben fijar límites a la programación informática, generando códigos de ética y la aplicación de principios jurídicos, sin perder de vista considerar la criminalización de algunas conductas. Así como los legisladores pueden aprobar leyes discriminatorias, el desarrollador puede manipular el programa informático, incluso sin tener la intención de hacerlo, lo que derivaría en resultados contrarios al derecho a la imparcialidad32.

La tecnología depende del uso que se le dé y, cuando puede tomar decisiones, mediante las instrucciones por las que fue desarrollada, es fundamental acceder al experto para que explique su funcionamiento, las decisiones que tomó para su puesta en marcha, por qué optó por determinado procedimiento en lugar de otro y cómo obtiene los datos que procesará, aunado a los fines esperados tanto por el desarrollador como por quien tiene la última palabra en su diseño y funcionamiento33.

5 CASO SyRI, PAÍSES BAJOS, 2020

5.1 Sentencia del Tribunal del Distrito de La Haya, C/09/550982 / HA ZA 18-388, del 5 de febrero de 202034

El Systeem Risico Indicatie (SyRI) es un instrumento legal que el Gobierno de Países Bajos usa para prevenir y combatir fraudes en materia de seguridad social y asuntos vinculados con ingresos económicos (income-dependent schemes), así como seguridad social e impuestos, y leyes laborales. De acuerdo con el legislador, SyRI es una infraestructura técnica con procedimientos asociados a los cuales pueden enlazarse datos y ser analizados anónimamente en un ambiente seguro, a fin de que puedan generarse reportes de riesgo.

Un reporte de riesgo significa que una persona natural o jurídica es susceptible de ser investigada ante un posible fraude, uso ilegal e incumplimiento de la legislación.

El ministro de Asuntos Sociales y Empleo aplica el instrumento a petición de ciertos entes u órganos públicos, así como de personas jurídicas en ejercicio de funciones públicas, quienes intercambiarán datos y, al aplicar SyRI, pueden detectarse abusos en materia fiscal, fraude a la seguridad social, fraude a los beneficios sociales, empleo ilegal y abusos asociados, además de sus perpetradores.

En este caso, el tribunal advirtió que la regulación jurídica SyRI no cumple con el requisito establecido en el artículo 8, apartado 2 de la Convención Europea de Derechos Humanos (CEDH), según el cual la injerencia en el ejercicio del derecho a la vida privada solo debe darse cuando fuera necesaria en una sociedad democrática, lo que significa que debe ser necesaria, proporcionada y subsidiaria en relación con la finalidad prevista. La legislación que regula SyRI supone una injerencia injustificada en la vida privada, por lo que se declaró contraria al artículo 8, apartado 2 de la Convención Europea de Derechos Humanos.

5.2 Derechos ante decisiones algorítmicas evidenciados en el caso SyRI

5.2.1 Derecho a que se realicen evaluaciones de impacto sobre datos personales

Los datos personales, cuando están digitalizados, pueden ser compartidos más fácil y rápidamente, así como en enormes cantidades, sin que los interesados sepan que sus datos están siendo usados ni con qué propósito. La sentencia SyRI es un ejemplo práctico sobre cómo se aplica el RGPD respecto del deber de realizar estudios de impacto de protección de datos para definir cuáles son las consecuencias y en qué medida se garantiza el uso limitado y mínimo de datos.

Para el Tribunal de Distrito de la Haya, el uso de SyRI es violatorio de la normativa comunitaria de protección de datos personales porque no se demostró, entre otros aspectos, que se hubieran realizado las evaluaciones de impacto para los cinco proyectos SyRI ejecutados.

Una evaluación de esta naturaleza, según afirmó expresamente el tribunal, debe llevarse a cabo cuando un tipo de tratamiento, teniendo en cuenta su naturaleza, el alcance, el contexto y los fines, probablemente entraña un alto riesgo para los derechos y libertades de las personas físicas, e incluso se ha afirmado que tal evaluación también debe llevarse a cabo cuando se use el algoritmo en apoyo a una decisión humana35.

En el caso SyRI, el tratamiento de datos podía resultar en un informe de riesgo por el que se podrían tomar decisiones limitadoras de derechos de las personas investigadas, por lo que constituiría una intromisión no consentida por el derecho o, al menos, carente del estudio necesario para obtener una conclusión válida en Europa.

5.2.2 Derecho a que se informe a los sujetos investigados respecto del tratamiento de sus datos personales

En el mismo orden expuesto supra, una investigación a espalda del investigado, que además puede culminar en una sanción, viola el derecho a la defensa36. Toda persona debe saber lo que es posible hacer con sus datos por parte de terceros, especialmente del Estado, y así poder tomar decisiones informadas.

Resulta indispensable advertir a las personas que determinados datos pueden ser usados para investigar eventuales infracciones administrativas e incluso penales, puesto que se trata de decisiones automatizadas, prohibidas por el ordenamiento jurídico europeo, que no está exento de fallas, aunado a que es lo mismo que se exige en caso de una investigación efectuada por seres humanos, de ahí que tales garantías no deban desaparecer ante las máquinas, como lo expuso el Consejo de Estado italiano en el caso Lazio.

En efecto, la normativa europea reconoce que nadie puede someterse a una decisión que le afecte, con base en un procesamiento automatizado de datos, sin que sea oído37, lo que implica el derecho a estar informado y a opinar.

Además, resulta indispensable informar qué datos serán tratados automatizadamente, de qué modo y con qué fin, lo que implica el nivel de transparencia adecuado para la defensa de los derechos, porque, como lo expresó el Tribunal de Distrito de La Haya, el uso del modelo de riesgo y el análisis que se lleva a cabo en ese contexto conlleva el riesgo de que se produzcan efectos discriminatorios.

De hecho, la División Consultiva del Consejo de Estado (Advisory Division of the Council of State) declaró en su dictamen sobre el caso SyRI que el análisis de grandes conjuntos de datos, con o sin sistemas de aprendizaje profundo/autoaprendizaje, es innegablemente útil38, pero también puede producir resultados indeseables39, incluida la exclusión o discriminación injustificadas.

A diferencia de lo expresado por el Consejo de Estado de Italia en el caso Lazio, el Tribunal de Distrito de La Haya advierte sobre la posibilidad de discriminación por parte de inteligencias artificiales, lo que no puede ser admitido en un Estado de derecho, tal como también lo manifestó la Corte Suprema de Wisconsin en el caso Loomis, aunque sin que ello sirviera para anular el fallo, por las razones expuestas.

6 CONCLUSIÓN

De las cuatro sentencias analizadas se advierte la necesidad de regular el uso de programas informáticos y en especial de los más avanzados, como la inteligencia artificial, en la toma de decisiones del Estado, en concreto en los ámbitos administrativo y jurisdiccional. Al menos pueden enumerarse 12 derechos que suponen límites a la actuación del Estado cuando usa algoritmos para decidir.

Así, del caso CADA trasluce el derecho de acceso al código fuente del programa informático utilizado para emitir decisiones, lo que es consecuencia del principio de transparencia que rige la función pública. Sin acceso al algoritmo, no podrá saberse qué datos se tomaron en cuenta para decidir y cuál fue el procedimiento seguido para analizar tales datos y tomar una decisión, lo que constituye una franca violación al debido proceso, aplicable en el ámbito administrativo y jurisdiccional, por impedir un auténtico derecho a la defensa.

En segundo lugar, el caso Loomis permite enumerar el derecho a no ser sometido a decisiones automatizadas, el derecho al uso de datos precisos, el derecho a la actualización de los datos y el derecho a la igualdad y no discriminación algorítmica. Una decisión automatizada debe ser verificada por un ser humano, puesto que el estado actual del desarrollo de la ciencia es limitado.

Además, cualquier decisión, automatizada o no, que se presuma estar basada en datos erróneos, descontextualizados o no actualizados, puede afectar derechos subjetivos y, en consecuencia, debe ser controlada judicialmente para ser válida en el plano del derecho.

En tercer lugar, con el caso Lazio se resalta el derecho a una Administración pública más efectiva, lo que puede extenderse a todas las funciones públicas, donde el uso de algoritmos para decidir puede acelerar los procedimientos y generar mayor comodidad al usuario. El empleo de programas informáticos para decisiones estatales no puede someterse a menores garantías que las previstas para decisiones humanas, con las particularidades que este modo de gestión pública supone; por tanto, se reconoce el derecho al sometimiento del algoritmo al derecho; el derecho al pleno conocimiento del algoritmo; el derecho a conocer el algoritmo en un lenguaje comprensible y el derecho al control judicial del algoritmo, incluso desde el desarrollador. De tal manera, el acceso al algoritmo se verifica en términos realistas y no como una mera formalidad vacía de contenido en la que no podrá entenderse, ni por tanto controlarse, la decisión algorítmica que afecte derechos.

Por último, del caso SyRI destacan derechos relativos a la protección de datos personales ante decisiones automatizadas que utilizan datos digitales en grandes volúmenes. Se puntualizan dos derechos, a que se realicen evaluaciones de impacto sobre datos personales y a que se informe a los sujetos investigados respecto del tratamiento de sus datos personales. Con el caso SyRI se pone en evidencia que la decisión automatizada trata datos, pero no podrá hacerlo válidamente a espaldas de los interesados en un Estado de derecho.

En síntesis, los fallos comentados permiten deducir al menos doce derechos que deben ser considerados al momento de incorporar algoritmos en la toma de decisiones estatales, puesto que pueden causar daños o aumentar el riesgo de causarlos.

7 BIBLIOGRAFÍA

Castellanos, J. 2020. «La gestión de la información en el paradigma algorítmico: inteligencia artificial y protección de datos», en Métodos de Información, 11(21): 59-82.

Cerrillo i Martínez, A. 2019. «How can we open the black box of public administration? Transparency and accountability in the use of algorithms», en Revista Catalana de Dret Públic, 58: 13-28. https://doi.org/10.2436/rcdp.i58.2019.3277.

Cerrillo i Martínez, A. 2019b. «El impacto de la inteligencia artificial en el derecho administrativo ¿nuevos conceptos para nuevas realidades técnicas?», en Revista General de Derecho Administrativo, 50.

Cluzel-Métayer, L. 2020. «The Judicial Review of the Automated Administrative Act», en European Review of Digital Administration & Law, 1(1-2): 101-104.

Cotino Hueso, L. 2019. «Derecho y garantías ante el uso público y privado de inteligencia artificial, robótica y big data», en M. Bauzá Reilly (dir.), El Derecho de las TIC en Iberoamérica. Uruguay: La Ley.

Degrave, E. 2020. «The Use of Secret Algorithms to Combat Social Fraud in Belgium», en European Review of Digital Administration & Law – Erdal, 1(1-2).

Mancosu, G. 2018. «L’accès aux données publiques et aux codes source en Italie. À la recherche d’une “transparence algorithmique”, à l’aube du Réglement général sur la protection des données», en Revue française d’administration publique, 3: 580.

Martínez, R. 2019. «Inteligencia artificial desde el diseño. Retos y estrategias para el cumplimiento normativo», en Revista Catalana de Dret Públic, 58: 64-81. https://doi.org/10.2436/rcdp.i58.2019.331.

Mayer-Shömberger, V. y Cukier, K. 2013. Big data. La revolución de los datos masivos. Madrid: Truner. Traducido por Antonio Irirarte.

Nieva Fenoll, J. 2018. Inteligencia Artificial y proceso judicial. Madrid: Marcial Pons.

O’Neil, C. y Gunn, H. 2020. «Near-term artificial intelligence and the ethical matrix», en S. Matthew Liao (ed.), Ethics of artificial intelligence. Oxford: Oxford Scholarship Online.

Palma Ortigosa, A. 2019. «Decisiones automatizadas en el RGPD. El uso de algoritmos en el contexto de la protección de datos», en Revista General de Derecho Administrativo, 50.

Quadra-Salcedo (de la), T. y Piñar Mañas, J. 2018. Sociedad Digital y Derecho. Madrid: Ministerio de Industria, Comercio y Turismo, Red.es y Boletín Oficial del Estado.

Quintanilla, G. y Gil-García, J.R. 2016. «Gobierno abierto y datos vinculados: conceptos, experiencias y lecciones con base en el caso mexicano», en Revista del CLAD Reforma y Democracia, 65: 69-102.

Sánchez, M. 2015. Derecho a la buena administración electrónica (tesis doctoral). Valencia: Universidad de Valencia.

Velasco, C. 2019. «La ciudad inteligente: entre la transparencia y el control», en Revista General de Derecho Administrativo, 50.

Vestri, G. 2021. «La inteligencia artificial ante el desafío de la transparencia algorítmica: Una aproximación desde la perspectiva jurídico-administrativa», en Revista Aragonesa de Administración Pública, 56: 368-398.

Jurisprudencia

Consejo de Estado (Sección Quinta), n. 2270, 8 de abril de 2019. La Pagina Giuridica. 2019. “Consiglio di Stato: l’algoritmo è un atto amministrativo informatico”, en La Pagina Giuridica, 7/08/2019. Disponible en: https://www.lapaginagiuridica.it/consiglio-di-stato-lalgoritmo-e-un-atto-amministrativo-informatico/.

Corte de Distrito de la Haya. Proceso n. C/09/550982 / HA ZA 18-388. 5 de febrero de 2020. Disponible en: https://uitspraken.rechtspraak.nl/inziendocument?id=ECLI:NL:RBDHA:2020:1878

Harvard Law Review. 2017. «State v. Loomis. Wisconsin Supreme Court Requires Warning Before Use of Algorithmic Risk Assessments in Sentencing», en Harvard Law Review, 130(5). Disponible en: https://caselaw.findlaw.com/wi-supreme-court/1742124.html#footnote_60. (Corte Suprema de Wisconsin. Proceso n. 2015AP157–CR, Wisconsin c. Loomis; 13 de julio de 2016).

Tribunal Administrativo de París. 2016. Lettre du tribunal administratif de París, 46, abril de 2016. Disponible en: http://paris.tribunal-administratif.fr/content/download/61318/550698/version/1/file/Lettre%20%20n°46%20Avril%202016.pdf.