01_ES_E1_Agustí_Cerrillo

Resumo: Os robots software son dispositivos utilizados para automatizar tarefas ou para interactuar con dispositivos. Nos últimos tempos, algúns robots software están a utilizar intelixencia artificial para poder desenvolver tarefas complexas ou aprender da experiencia. Todo iso xa está a ter aplicacións nas administracións públicas.

Neste artigo analízase como a automatización das administracións públicas incide nos principios da Administración dixital. Así mesmo, estúdase a regulación da actuación administrativa a través de robots e os límites que impón a normativa de protección de datos. Ademais, exponse o impacto que o uso de robots pode ter no emprego público. Finalmente, identifícanse os procedementos que utilizan as administracións públicas para incorporar robots software.

Palabras clave: Robot software, chatbot, intelixencia artificial, automatización, Administración pública, transparencia.

Resumen: Los robots software son dispositivos utilizados para automatizar tareas o para interactuar con dispositivos. En los últimos tiempos, algunos robots software están utilizando inteligencia artificial para poder desarrollar tareas complejas o aprender de la experiencia. Todo ello ya está teniendo aplicaciones en las administraciones públicas.

En este artículo se analiza cómo la automatización de las administraciones públicas incide en los principios de la Administración digital. Asimismo, se estudia la regulación de la actuación administrativa a través de robots y los límites que impone la normativa de protección de datos. Además, se expone el impacto que el uso de robots puede tener en el empleo público. Finalmente, se identifican los procedimientos que utilizan las administraciones públicas para incorporar robots software.

Palabras clave: Robot software, chatbot, inteligencia artificial, automatización, Administración pública, transparencia.

Abstract: Software robots are devices used to automate tasks and to interact with devices. In recent times, some software robots are using artificial intelligence to develop more complex tasks or to learn from experience to improve results. All this has several applications in public Administration.

In this paper, we analyse how public Administration automatization through software robots has an impact in e-government principles. As well, we study the regulation of public activity through robots and the limits stated by data protection regulation. Furthermore, we explain the impact that the use of software robots can have in public employment. Finally, we identify the different procedures used by public Administration to add software robots.

Key words: Software robot, chatbot, artificial intelligence, automatization, public Administration, transparency.

Sumario: 1 Robots, asistentes virtuales e inteligencia artificial. 1.1 Robots software y robots conversacionales. 1.2 Robots software e inteligencia artificial. 2 Los robots en la Administración pública. 3 Los principios de la automatización robótica de la Administración pública. Especial mención a los principios de transparencia, igualdad y no discriminación. 3.1 Los principios de la automatización robótica. 3.2 El principio de transparencia de la actuación administrativa. 3.3 El principio de igualdad y no discriminación. 4 La automatización a través de robots como actuación administrativa automatizada. 4.1 La actuación administrativa robótica. 4.2 La protección de datos personales como límite a la automatización. 5 Automatización y empleo público. 6 La incorporación de los robots a la Administración pública. 7 Reflexiones finales.

1 Robots, asistentes virtuales e inteligencia artificial

El Ayuntamiento del pequeño municipio coruñés de Rois ha puesto en marcha un robot para automatizar diversas tareas como llenar formularios, transcribir información o cruzar bases de datos y, a medio plazo, también poder replicar algunas de las actividades que llevan a cabo los empleadas y empleados públicos1.

En la otra punta de España, el Ayuntamiento de Málaga ha puesto en funcionamiento a Victoria la Malagueña, un robot conversacional que facilita a vecinos y vecinas información de interés general como aparcamientos públicos disponibles, la frecuencia de los autobuses o los equipamientos de la ciudad y, por si fuera poco, también cuenta chistes y explica expresiones típicas de la ciudad a los turistas2.

Estos son dos ejemplos del uso de robots en las administraciones públicas y en la prestación de los servicios públicos.

Desde un punto de vista general, los robots son dispositivos que se definen por su capacidad para relacionarse con el entorno a través de sensores o del intercambio de datos, para analizar los datos a su disposición, así como para adaptar de manera autónoma su comportamiento al entorno.

Con frecuencia, los robots también se caracterizan por tener un soporte físico. Sin embargo, no todos los robots comparten este elemento. En efecto, los robots citados como ejemplo al inicio de este artículo no se caracterizan por tener un soporte físico, sino digital, son aplicaciones. En estos casos, nos encontramos ante lo que se conoce como robots software. Estos robots no son físicos ni actúan sobre objetos, sino que interactúan con otras aplicaciones, pantallas o sistemas. No obstante, los robots software no son solo un programa, sino que se definen por desarrollar tareas automáticamente actuando como si fuesen personas3.

El uso de robots software por las administraciones públicas es un instrumento para la automatización de la actuación administrativa. Como se ha afirmado, los robots son una “fuerza de trabajo virtualizada”4. Sin embargo, a pesar de la utilidad que pueden tener estos robots en la automatización de la Administración pública, su expansión en el sector público está bastante lejos de encontrarse generalizada y está distanciada de lo que se observa en el sector privado5.

Normalmente, los robots software se emplean para desarrollar tareas sencillas y rutinarias, así como para la comunicación entre personas y máquinas. No obstante, cada vez se están utilizando más estos robots para realizar labores más complejas que requieren mayores capacidades. A ello está contribuyendo el uso de inteligencia artificial por los robots software.

1.1 Robots software y robots conversacionales

Siguiendo a Gavilán, existen dos grandes clases de robots software: los robots software utilizados para la automatización robótica de procesos y los robots conversacionales también conocidos como chatbots6.

a) Robots software para la automatización de procesos

Los robots software para la automatización robótica de procesos (RPA, en sus siglas en inglés) son programas diseñados para realizar un conjunto de acciones predefinidas en sistemas de información7. Los robots software son un término genérico para referirse a aquellos programas de ordenador que emulan y replican actividades humanas como interpretar o manipular pantallas, acceder a bases de datos o realizar cálculos8.

Las tareas que por lo general se automatizan utilizando robots software se caracterizan por ser repetitivas y rutinarias. Normalmente, estas tareas también son masivas9.

Los robots desarrollan tareas sencillas y tradicionalmente no aportan inteligencia a las mismas10. Por lo general, las tareas realizadas por robots software se basan en reglas precisas, sencillas, fijadas previamente, altamente formalizadas y con pocas excepciones. La realización de estas tareas no requiere tener grandes conocimientos ni tampoco efectuar ningún juicio.

Los robots software interactúan con aplicaciones ya existentes tal y como lo haría una persona sin la necesidad de que esta intervenga11. Los robots no modifican las aplicaciones con las que interactúan, sino que simplemente gestionan información de y entre aplicaciones. De este modo, los robots software leen los datos contenidos en ficheros, bases de datos, documentos ofimáticos o pantallas de aplicaciones; realizan cálculos con ellos o toman decisiones a partir de ellos y, en su caso, escriben en dichas aplicaciones o en bases de datos los resultados obtenidos, rellenan formularios o se conectan a sistemas. También pueden ser utilizados para coordinar aplicaciones o para navegar por internet buscando información.

Los robots software pueden aportar numerosos beneficios a una organización12. La primera y principal es una reducción de costes gracias a una menor dedicación de personas a la realización de las tareas automatizadas, una reducción del tiempo necesario para efectuarlas o una reducción de errores o de incumplimiento de las normas en el desarrollo de estas actividades al desaparecer la intervención humana. Los robots también pueden comportar mayor calidad a la prestación de los servicios.

Además, el uso de robots puede incrementar la disponibilidad ofreciendo un servicio permanente e ininterrumpido 24 horas al día 7 días a la semana. Asimismo, su incorporación en una organización es relativamente sencillo, ya que no supone un trabajo complejo de diseño e implementación, lo que evita tener que hacer grandes inversiones y ahorra realizar cambios importantes en las aplicaciones o sistemas de información ya existentes. El hecho de que los robots no sustituyan o manipulen el código de las aplicaciones con las que interactúan, sino que se relacionen con ellas de igual manera que lo haría un usuario, simplifica enormemente su incorporación a una organización y su encaje en las aplicaciones y los sistemas de información existentes, facilitando la automatización.

b) Los robots conversacionales

Los robots conversacionales son aplicaciones diseñadas para que las personas puedan interaccionar con dispositivos en lenguaje natural13. La persona se relaciona con el robot a través del lenguaje oral o escrito y este es capaz de entender el contenido del mensaje y actuar en consecuencia.

Los robots conversacionales pueden tener distintas capacidades, como facilitar información previamente guardada o mantener una conversación con una persona.

Algunos robots conversacionales, además, pueden realizar algunas funciones para dar respuesta a las necesidades manifestadas por la persona (por ejemplo, comprar billetes de avión o realizar reservas en un restaurante). Estos robots conversacionales se conocen como asistentes virtuales y, además de permitir la interacción con las personas a través de la voz o el texto, realizan determinadas funciones o les dan apoyo en la realización de tareas concretas necesarias para poder disfrutar de servicios digitales14.

Junto a estas capacidades, que son las más habituales, los robots conversacionales también pueden llegar a analizar la información facilitada por el usuario y, a partir de dicho análisis, predecir necesidades futuras15 o fomentar determinados comportamientos en la persona16.

Los robots conversacionales pueden interactuar con las personas de maneras más o menos complejas17: facilitando información a partir de las preguntas genéricas formuladas o de las palabras propuestas por ellas; ofreciendo una ayuda orientada a dar respuesta a las necesidades específicas de una persona que implica la recopilación y análisis de información relevante y personalizada o, incluso, negociando con cada persona la opción que mejor se ajusta a sus necesidades en función de la información facilitada.

El uso de robots conversacionales también puede entrañar numerosos beneficios para una organización. Además de la reducción de costes, como en el caso de los robots software, el uso de robots conversacionales permite mejorar significativamente la experiencia del usuario al ofrecerle una mayor disponibilidad, ya que siempre hay un robot conversacional disponible y una reducción de tiempo de espera para recibir un servicio o para la realización de una gestión. Además, el uso de robots conversacionales facilita la personalización de los servicios18.

1.2 Robots software e inteligencia artificial

Los robots software generalmente se utilizan para automatizar tareas sencillas y rutinarias reguladas por normas básicas que admiten pocas excepciones. Como gráficamente describe Viehhauser, estos robots son “sustitutos de los ‘brazos’ y las ‘piernas’ de los trabajadores humanos”19. En cambio, añadimos nosotros, habitualmente los robots software no sustituyen su cerebro.

En efecto, los robots software no utilizan generalmente inteligencia artificial20. No son capaces de entender y aprender, adaptarse a distintas circunstancias, afrontar excepciones, generar nuevos conocimientos o exhibir nuevos comportamientos si no están previstos en las reglas que regulan las tareas que desarrollan. Los robots software normalmente no aprenden de la experiencia para tomar decisiones por sí mismos identificando correlaciones entre los datos que son utilizadas para generar patrones y modelos. Los robots software tampoco son capaces habitualmente de gestionar información incierta o excepciones21.

Sin embargo, ello no quiere decir que la inteligencia artificial sea ajena a los robots software22. En efecto, los robots software pueden utilizar la inteligencia artificial, y cada vez lo hacen con mayor frecuencia, para desarrollar determinadas operaciones previas a la automatización de tareas, como reconocer o procesar datos no estructurados (por ejemplo, textos o imágenes) o para relacionarse con personas23.

En esta dirección, los robots software utilizan la inteligencia artificial para el procesamiento del lenguaje natural y el reconocimiento de imágenes. Es habitual que los robots software usen algoritmos de inteligencia artificial para poder captar y comprender lo que les dicen las personas a través de la comprensión automática del lenguaje humano (escrito u oral) o para identificar los objetos presentes en una imagen estática o en un vídeo mediante la visión computadorizada. De este modo, los robots adquieren la capacidad de entender el contenido de un mensaje o de una conversación a través del procesamiento del lenguaje natural, de identificar datos no estructurados, de reconocer caracteres que conforman una palabra a través de la visión computadorizada o de identificar la connotación positiva o negativa de un texto mediante el análisis de sentimientos24.

Pero, en los últimos tiempos, algunos robots software utilizan la inteligencia artificial para ser más listos25. En esta dirección, algunos robots están empezando a usar la inteligencia artificial no de manera complementaria (entender textos o conversaciones), sino con relación a su lógica de negocio, es decir, a las tareas que se han automatizado.

Poco a poco los robots software utilizados para la automatización robótica de procesos emplean inteligencia artificial no solo para buscar datos, sino también para definir las funciones a realizar a partir de los datos obtenidos26.

Asimismo, los nuevos robots conversacionales no solo responden a los usuarios de manera reglada seleccionando la respuesta adecuada de un conjunto de respuestas predefinidas, recogidas en una base de datos, por el diseñador o desarrollador del chatbot (lo que se conoce como chatbot basado en reglas), sino que son capaces de generar las respuestas a partir de lo que aprenden de la propia conversación y teniendo en cuenta el contexto en que se produce o la experiencia previa utilizando técnicas para la comprensión del lenguaje natural gracias al uso de algoritmos de aprendizaje automático, redes neuronales y aprendizaje profundo (chatbot generativo)27.

Si bien los primeros pueden resultar de utilidad para poder facilitar respuesta a una o dos preguntas generales sobre un tema, los segundos permiten llevar a cabo una auténtica conversación entre la persona y el robot y pueden dar respuesta a preguntas más complejas o específicas o facilitar información personalizada en función del perfil del usuario o de los datos que haya facilitado al robot. También pueden llegar a proponer o recomendar servicios o información de manera proactiva.

Gracias al uso del aprendizaje automático, el aprendizaje profundo y las redes neuronales, algunos robots conversacionales aprenden de las conversaciones mantenidas con las personas, lo que les permite mejorar la calidad de sus respuestas, capturar información, procesar datos no estructurados o cooperar con ellas28. De este modo, el robot irá aprendiendo e irá mejorando sus respuestas en el futuro29.

La inteligencia artificial también puede ser utilizada por los robots conversacionales para el análisis predictivo, de manera que a partir de los datos generados en las interacciones entre los chatbots y los usuarios se puedan identificar patrones o perfiles o predecir situaciones30.

A pesar de todas estas posibilidades, como observa Viehhauser, el uso del aprendizaje automático por los robots software aún es limitado, focalizado en lograr una mayor eficiencia o ampliar su utilidad31. En cualquier caso, diversos estudios señalan cómo el futuro de los robots software pasa por la inteligencia artificial, lo que les permitirá ampliar el abanico de utilidades y, sobre todo, poder sustituir a las personas en tareas más complejas32.

La incorporación de la inteligencia artificial puede llevar a los robots software a un nuevo nivel de desarrollo33. Asimismo, puede abrir nuevas posibilidades en la automatización de la actuación administrativa. Pero también puede entrañar nuevos riesgos que las administraciones públicas deberán conocer y valorar y, en su caso, abordar.

2 Los robots en la Administración pública34

Las administraciones públicas ya han empezado a incorporar los robots software en el desarrollo de sus actividades y en la prestación de servicios públicos35. En efecto, como expone Bermúdez, “la robotización no es una tecnología del futuro. Actualmente la Seguridad Social está empleando la automatización robótica de procesos para sustituir tratamientos manuales en el proceso de alta de autónomos, consiguiéndose pasar de tiempos de tratamiento de minutos en el proceso realizado por personas a segundos en el proceso robotizado”36.

De hecho, según el informe Inteligencia artificial en el sector público, los agentes virtuales ya son utilizados por el 30 % de las entidades que afirman utilizar la inteligencia artificial, si bien este empleo no se encuentra aún entre los usos de la inteligencia artificial más extendidos entre las administraciones públicas37.

Más allá de estos datos, no existe un catálogo o inventario de experiencias de uso de los robots software por parte de las administraciones públicas españolas38. Sin embargo, ello no es obstáculo para poder sistematizar los siguientes usos en las administraciones públicas39:

En primer lugar, las administraciones públicas utilizan los robots software para la automatización de procesos (por ejemplo, cálculos de impuestos, gestión de solicitudes de autorización, procesamiento de sanciones, gestión de admisiones en centros educativos)40. En esta dirección, por ejemplo, el Ayuntamiento de Barcelona ha puesto en marcha un proyecto de automatización robótica de procesos para tramitar expedientes de terrazas o para localizar personas que se encuentran en concurso de acreedores y tienen alguna deuda con el municipio41.

En segundo lugar, las administraciones públicas también usan los robots software para ofrecer servicios de información y atención a la ciudadanía. Así, por ejemplo, el Ayuntamiento de Córdoba dispone de Carina, un robot conversacional que ofrece información sobre el coronavirus42. También podemos traer a colación la experiencia de la Agencia Estatal de Administración Tributaria, que dispone de un chatbot para solucionar dudas sobre el IVA a los autónomos43. En la misma dirección, el Ayuntamiento de Madrid pone a disposición de la ciudadanía un robot para atender dudas tributarias44.

En tercer lugar, las administraciones públicas pueden utilizar los robots software como asistentes virtuales, es decir, no solo para informar o asesorar, sino también para realizar tareas. Sin embargo, en la actualidad no es una aplicación extendida entre las administraciones públicas españolas a pesar de que, en ocasiones, se ofrecen los servicios de robots conversacionales como asistentes virtuales (por ejemplo, en los casos de la AEAT o el Ayuntamiento de Madrid referidos anteriormente). En otros países, desde hace tiempo, algunas administraciones públicas están utilizando los asistentes virtuales comercializados por las grandes empresas tecnológicas para canalizar la comunicación y la asistencia a la ciudadanía45. En España, el Ayuntamiento de Madrid presentó en enero de 2021 un proyecto para facilitar el acceso a la información urbanística a través de Alexa46.

Es previsible que el uso de los robots software se extienda en los próximos tiempos entre las administraciones públicas españolas de igual modo que está sucediendo en el sector privado, por los numerosos beneficios que puede generar47. De hecho, durante la crisis sanitaria provocada por la COVID-19, se ha observado un incremento de los robots conversacionales puestos a disposición de la ciudadanía por las administraciones públicas48.

A ello puede contribuir el Plan de digitalización de las administraciones públicas 2021-2025 que define la Estrategia en materia de Administración Digital y Servicios Públicos Digitales49, aprobado por el Gobierno en enero de 2021, en el marco de la Agenda España Digital 202550. El plan contempla específicamente la automatización digital de procesos en el eje relativo a la transformación digital de la Administración general del Estado51. En particular, esta medida persigue diseñar e implantar una plataforma corporativa que permita la automatización de actuaciones administrativas y tareas de los distintos departamentos ministeriales, incorporando componentes reutilizables de tratamiento de datos, documentos, imágenes, vídeos, audios, etc., basados en robotización e inteligencia artificial. Asimismo, el plan también propone facilitar ayuda financiera a las comunidades autónomas y entidades locales para la realización de proyectos vinculados con la transformación digital, entre los que se incluye la automatización de procesos52.

Además del impulso que se pueda dar desde la estrategia de Administración digital, la Estrategia Nacional de Inteligencia Artificial también prevé, entre las medidas para la mejora de los servicios a la ciudadanía recogidas en el eje estratégico relativo a potenciar el uso de la inteligencia artificial en la Administración pública, la automatización tanto para ofrecer a la ciudadanía y a las empresas unos servicios más adaptados, usables, accesibles y personalizados como para optimizar el tiempo y los recursos y mejorar la calidad de los servicios a través de la automatización de tareas rutinarias y repetitivas, de manera que el funcionariado pueda dedicarse a actividades de mayor valor53.

De todos modos, más allá de las experiencias que ya se han ido poniendo en marcha por parte de distintas administraciones públicas o de los resultados que se puedan ir obteniendo en relación con la automatización de las administraciones públicas a través de robots software a medida que se vayan implementando las diversas estrategias adoptadas, aún queda un amplio camino para generalizar su uso entre las administraciones públicas y para conseguir todo su potencial.

3 Los principios de la automatización robótica de la Administración pública. Especial mención a los principios de transparencia, igualdad y no discriminación

Los principios de la Administración digital definen el marco general en el que se ha de desarrollar cualquier servicio electrónico y, por lo tanto, también, la automatización robótica de la actuación y el funcionamiento de las administraciones públicas o el uso de robots conversacionales en la prestación de servicios públicos. Asimismo, estos principios tienen una importante función interpretativa del ordenamiento jurídico y dan respuesta a las lagunas que puede tener la legislación vigente, particularmente respecto a la incorporación de los robots software, sobre todo a medida que vayan incorporando también inteligencia artificial.

En efecto, como ha sido ampliamente reconocido, nuestro ordenamiento jurídico no regula explícitamente el uso de la inteligencia artificial en las administraciones públicas, lo que no es óbice para que no se apliquen a esta tecnología tanto los principios de actuación de las administraciones públicas como las normas que regulan el uso de los medios electrónicos54.

En las próximas páginas exponemos brevemente los principios de la Administración digital que inciden de modo particular en la automatización de la actuación y el funcionamiento de las administraciones públicas, prestando una especial atención a los principios de transparencia e igualdad y no discriminación debido a la incidencia que el uso de la inteligencia artificial puede tener con relación a estos.

3.1 Los principios de la automatización robótica

Cuando las administraciones públicas deciden incorporar los robots software en su actuación y funcionamiento, deben tener en cuenta los principios de la Administración digital que recoge la Ley 40/2015, de 1 de octubre, de régimen jurídico del sector público, y que ha desarrollado y ampliado el Real decreto 203/2021, de 30 de marzo, por el que se aprueba el Reglamento de actuación y funcionamiento del sector público por medios electrónicos55.

En particular, entre los principios de la Administración digital que tienen una incidencia directa en la automatización de la actuación y el funcionamiento de las administraciones públicas, podemos traer a colación los siguientes.

En primer lugar, el uso de robots software debe tener en cuenta el principio de servicio efectivo a los ciudadanos, es decir, el uso de estas aplicaciones debe perseguir mejorar el servicio que presta la Administración pública a la ciudadanía, por ejemplo, reduciendo tiempos de tramitación o de espera o simplificando los trámites gracias a su automatización. Los servicios prestados a través de robots software o que cuenten con su intervención en alguno de los trámites deben estar orientados a satisfacer las necesidades de la ciudadanía. Por ello, los robots software deben además basarse en el principio de la facilidad de uso que persigue poner a la persona usuaria en el centro del servicio, minimizando los conocimientos que deban ser necesarios para poderlos utilizar.

En segundo lugar, el uso de robots software debe contribuir a la simplicidad, claridad y proximidad a la ciudadanía. Este es un reto importante a la vista del estadio de desarrollo de algunos robots conversacionales que con cierta frecuencia son incapaces de entender lo que se les pregunta o simplemente responden las preguntas formuladas por la ciudadanía con respuestas predefinidas sin tener la capacidad de entender cualquier solicitud de aclaración o personalizar la información a las necesidades específicas de cada persona. De este modo, las administraciones públicas, antes de decidir si incorporan un robot conversacional para prestar el servicio de información o atención a la ciudadanía, deben valorar si efectivamente con ello se fomentará la proximidad a la ciudadanía o la claridad de la información. Si bien el uso de los robots conversacionales es un instrumento que permite sustituir la atención a través de empleados públicos en algunos servicios de atención, no pueden convertirse en un obstáculo para poder obtener una respuesta efectiva y personalizada. Tampoco para que las personas puedan ejercer su derecho a elegir en todo momento si se comunican con las administraciones públicas para el ejercicio de sus derechos y obligaciones a través de medios electrónicos o no56.

En tercer lugar, la automatización a través del uso de robots software debe promover los principios de racionalización y agilidad de los procedimientos administrativos y de las actividades materiales de gestión. Tal y como hemos visto antes, precisamente una de las finalidades principales del uso de los robots software es la automatización de tareas de manera que se puedan realizar de forma ágil y se incremente la disponibilidad de los servicios 24 horas al día 7 días a la semana. Asimismo, la automatización a través del uso de robots software debe perseguir el principio de simplificación que pretende facilitar que la incorporación de los medios electrónicos en la actividad administrativa suponga un auténtico rediseño de los procedimientos administrativos para reducir los tiempos o los plazos para su tramitación o suprimir las cargas administrativas57.

En cuarto lugar, el uso de robots software debe respetar el principio de confianza legítima. La confianza de las personas en los robots conversacionales es el resultado de la concurrencia de distintos elementos, como su capacidad de interpretar correctamente las preguntas, la calidad de sus respuestas o su apariencia humana. También inciden otros elementos, como la seguridad o privacidad percibida o cualquier otro riesgo apreciado58. En todo caso, la actuación externa de un robot conversacional puede generar en la persona apariencia suficientemente certera de que la Administración pública actuará de una determinada manera que debe ser respetada por la Administración pública cuando adopte una decisión.

En quinto lugar, el principio de responsabilidad por la gestión pública exige que las personas que interactúan con robots software utilizados por las administraciones públicas puedan reclamar por cualquier daño que les pueda generar, por ejemplo, una información incorrecta facilitada por el robot. Auditar si la información facilitada es incorrecta es más sencillo que cuando esta se da, por ejemplo, oralmente en una oficina de atención ciudadana. El uso de robots software permite grabar las transacciones que llevan a cabo, de manera que es relativamente sencillo auditar su funcionamiento. Asimismo, en el caso de los robots conversacionales, las personas pueden guardar prueba de la información intercambiada con el robot a los efectos de poder acreditar el contenido59.

En sexto lugar, los robots software deben dar cumplimiento a los principios de eficacia para alcanzar los objetivos fijados; economía, suficiencia y adecuación estricta de los medios a los fines institucionales; y eficiencia en la asignación y utilización de los recursos públicos. Tal y como hemos indicado anteriormente, la automatización de tareas administrativas a través del uso de robots software puede facilitar la actuación de las administraciones públicas. Además, su incorporación es un proceso relativamente sencillo que no debe exigir realizar grandes inversiones ni llevar a cabo cambios importantes, por lo que su uso puede ser una medida económica y eficiente. La escalabilidad y adaptabilidad también pueden contribuir significativamente a estos principios.

En séptimo lugar, los robots software deben desarrollarse de acuerdo con los principios de cooperación y de interoperabilidad. Estos principios tienen diversas manifestaciones. Por ejemplo, los robots constituyen un mecanismo idóneo para automatizar el intercambio de datos entre administraciones públicas. Además, los robots software pueden extenderse entre las distintas administraciones públicas a través de la reutilización de las aplicaciones que utilicen las administraciones públicas. En última instancia, las administraciones públicas pueden promover la cooperación a través del uso de robots software60. Así, por ejemplo, en vez de tener que consultar diversos portales de transparencia o sedes electrónicas, los robots software pueden interactuar con los robots software de otras administraciones públicas y facilitar de manera unificada la información requerida61.

En octavo lugar, la automatización a través del uso de robots software debe respetar el principio de accesibilidad para garantizar que la información y los servicios que se prestan a través de medios electrónicos puedan ser recibidos y conocidos por cualquier persona independientemente de sus circunstancias personales. Al respecto, es preciso recordar que la accesibilidad debe tenerse presente de forma integral en el proceso de diseño, gestión, mantenimiento y actualización de contenidos de los sitios web y las aplicaciones para dispositivos móviles62.

Finalmente, los robots software también deben promover el principio de personalización y proactividad que persiguen adaptar los servicios a las necesidades o preferencias de las personas y anticiparse a sus necesidades y de este modo incrementar la relevancia para ellas. La personalización de servicios públicos implica sobre todo diseñar formas de prestación de los servicios que pongan a la ciudadanía en el centro del sistema. La proactividad implica que la Administración pública se anticipa ofreciendo o prestando un servicio sin esperar a que la persona manifieste que lo necesite o solicite su prestación.

3.2 El principio de transparencia de la actuación administrativa

El uso de robots software en la Administración pública tiene distintas incidencias en el principio de transparencia de la actuación administrativa.

Por un lado, el uso de robots software puede contribuir a una mayor transparencia de las administraciones públicas, bien facilitando la difusión de la información pública, bien facilitando la localización o el acceso a la información pública63.

Por otro lado, sin embargo, con frecuencia el uso de estas aplicaciones puede suponer un obstáculo para la transparencia de las administraciones públicas. En efecto, el uso de robots software puede generar opacidad porque no sea posible disponer de información sobre el diseño y el funcionamiento del robot software (trazabilidad), de información sobre cómo el robot software ha realizado una determinada tarea, ha tomado una determinada decisión o ha llegado a un determinado resultado (explicabilidad) o de información sobre la existencia misma de un robot en la interacción entre la Administración pública y una persona (comunicación).

La garantía del principio de transparencia cuando la Administración pública emplea robots software es particularmente compleja sobre todo cuando los robots utilizan algoritmos de inteligencia artificial debido a los problemas de opacidad que entraña el uso de esta tecnología. Al respecto, no podemos desconocer que, como ha sido ampliamente reconocido, los algoritmos son cajas negras64.

La opacidad de los algoritmos puede tener diversas causas (técnicas, jurídicas u organizativas)65 que pueden impedir que la ciudadanía tenga información suficiente y adecuada sobre los robots software que están utilizando las administraciones públicas en el desarrollo de su actividad y funcionamiento o en la prestación de servicios públicos. Pero también se puede dar la circunstancia de que las propias administraciones públicas carezcan de esta información, entre otros motivos, porque hayan adquirido los robots software del mercado. Incluso en el caso de que los robots sean desarrollados por la propia Administración pública, generalmente los desarrolladores no programan el código del robot, sino que su diseño se basa en la combinación de distintos componentes preconstituidos a través de herramientas gráficas, lo que, si bien simplifica enormemente el proceso, dificulta conocer los fundamentos y el funcionamiento del robot66.

Por lo que respecta a la trazabilidad, es decir, a la capacidad de poder conocer cuándo ha intervenido un robot software, qué tecnología utiliza o qué datos ha empleado para desarrollar una determinada tarea, desde un punto de vista general la transparencia puede canalizarse a través de los mecanismos que contempla la Ley 19/2013, de 9 de diciembre, de transparencia, acceso a la información pública y buen gobierno, así como las normas autonómicas y locales que la han desarrollado67. Sin embargo, a día de hoy, tanto la difusión proactiva de la información sobre los robots software como el ejercicio del derecho de acceso a la información pública se han mostrado como ineficaces mecanismos para garantizar la transparencia de la actuación y el funcionamiento de las administraciones públicas a través de robots software68.

De todos modos, debemos valorar positivamente que el Real decreto 203/2021, de 30 de marzo, por el que se aprueba el Reglamento de actuación y funcionamiento del sector público por medios electrónicos, haya ampliado la información que las administraciones públicas deben difundir a través de las sedes electrónicas, incluyendo ahora también la relación actualizada de las actuaciones administrativas automatizadas vinculadas a los servicios, procedimientos y trámites. Para ello, se informará de la descripción del diseño y funcionamiento de la actuación administrativa automatizada, de los mecanismos de rendición de cuentas y transparencia, así como de los datos utilizados en su configuración y aprendizaje69. A pesar del interés de lo anterior, no podemos dejar de advertir la dificultad ante la que se pueden encontrar las administraciones públicas para cumplir con ello.

En relación con la intervención de un robot software determinado en la realización de una tarea en un procedimiento administrativo, debemos tener presente que, por lo general, todas las acciones realizadas por un robot software quedan registradas, normalmente con un identificador único, lo que facilita su trazabilidad y, por ende, la transparencia.

Respecto a la explicabilidad, o sea, la capacidad para revelar cómo un robot ha realizado una tarea, debemos tener presente que el ordenamiento jurídico no reconoce un derecho a la explicación más allá de lo que se deriva de la obligación que tienen las administraciones públicas de motivar sus decisiones70. Ante la falta de concreción de esta cuestión, iniciativas como la Carta de Derechos Digitales tratan de reconocer un derecho a obtener una motivación comprensible en lenguaje natural de las decisiones que se adopten en el entorno digital, con justificación de las normas jurídicas relevantes al caso y de los criterios de aplicación de estas71.

En cualquier caso, no podemos desconocer que, como advierte Gavilán, la falta de explicabilidad “de cara a los robots software todavía no constituye un problema acuciante”72. Incluso en los casos en los que utilizan inteligencia artificial, como hemos visto, es generalmente complementaria al proceso de toma de decisiones, por ejemplo aportando al robot software la capacidad de captar y comprender lo que le dicen las personas, pero sin darle una capacidad de decisión autónoma que en el caso de la mayoría de los robots software se limita a la aplicación de unas reglas claras y sencillas. Pero es evidente que, a medida que los robots software vayan adquiriendo mayor inteligencia a través de algoritmos de aprendizaje automático, cada vez tendrán una mayor autonomía y, por lo tanto, será más necesario garantizar la transparencia del proceso decisional, aunque también ello será más difícil de conseguir.

Finalmente, por lo que se refiere a la comunicación, las personas que se relacionan con la Administración pública deben saber que están interactuando con un robot software y no con un empleado público73. Así, el Grupo de expertos de alto nivel independiente sobre inteligencia artificial destacó en sus directrices éticas para una inteligencia artificial fiable que “los sistemas de inteligencia artificial no deben presentarse a los usuarios como humanos: los humanos tienen derecho a ser informados de que están interactuando con un sistema de inteligencia artificial”74. En esta dirección, el Código francés de relaciones entre la ciudadanía y la Administración prevé que “una decisión individual tomada sobre la base del procesamiento algorítmico incluye una mención explícita informando al interesado”75. Nuestro ordenamiento jurídico no incluye, por el momento, ninguna regla en este sentido, lo que no impide que cuando una Administración pública utilice un robot software informe claramente a las personas de ello76.

3.3 El principio de igualdad y no discriminación

Desde un punto de vista general, cuando la Administración pública automatiza el desarrollo de tareas o la prestación de servicios a través del uso de robots software, debe garantizar que se respete la igualdad de las personas. De este modo, debe evitar que el uso de los robots software pueda causar restricciones en el acceso de la ciudadanía a las administraciones públicas o discriminaciones entre las personas que usen estos medios y aquellas que no los utilicen. Así, las administraciones deben adoptar las medidas necesarias para impedir que la automatización genere una brecha digital. Para evitarlo, las administraciones públicas deben garantizar el derecho a la asistencia en el uso de los medios electrónicos a través de las oficinas de asistencia en materia de registros. Este derecho puede vehicularse a través de distintos canales (presencial, portales de internet y sedes electrónicas, redes sociales, telefónico y correo electrónico)77. Sin embargo, no podemos desconocer que, a pesar de ser un nuevo canal de interacción entre las administraciones públicas y la ciudadanía, los robots software no se han incluido entre los canales de asistencia para el acceso a los servicios electrónicos previstos en el artículo 4 Real decreto 203/202178.

Más allá de estas consideraciones generales, debemos advertir que el uso de robots software, sobre todo cuando utilizan de una u otra manera inteligencia artificial, puede llevar a discriminaciones generadas por los sesgos que puedan tener los algoritmos79. Los robots pueden ofrecer una imagen de la Administración pública o llegar a resultados distorsionados o incorrectos que no representen la realidad sin que exista una causa objetiva y razonable que justifique la diferenciación de trato.

Dos ejemplos pueden ilustrarlo. En primer lugar, es habitual que los avatares utilizados por los robots conversacionales sean femeninos. Así, Carina, Victoria o la abuela Elvira son las asistentes virtuales de los Ayuntamientos de Córdoba, Málaga o Arganda80. En segundo lugar, con frecuencia los algoritmos para la traducción automática que utilizan los robots conversacionales también tienen sesgos (por ejemplo, traducen del inglés nurse por enfermera mientras que lawyer es abogado).

El sesgo de género ha sido uno de los que se ha observado de manera más generalizada81.

Pero, además de los sesgos de género, es habitual que los algoritmos puedan generar discriminaciones con relación a personas con diversidad funcional82. Así, los algoritmos utilizados para el procesamiento del lenguaje natural están dando mayores errores cuando se trata de comprender el contenido de textos escritos por una persona que tiene dislexia y puede confundir las letras o su grafía u otra que tiene disgrafia que le genera dificultades para espaciar correctamente las letras o para escribirlas con el mismo tamaño. También pueden mostrar más dificultades cuando se procesa un discurso pronunciado por una persona que sufre una depresión o autismo83.

Todo ello es debido a que el proceso de diseño y aprendizaje de los algoritmos utilizados por los robots software puede incorporar sesgos que están en los datos que se emplean para construir los modelos (por ejemplo, los rostros utilizados para entrenar la mayoría de los algoritmos de reconocimiento facial corresponden un 75 % a hombres y más de un 80 % de raza blanca)84. En otras ocasiones, otros sesgos se deben al diseño del propio algoritmo al trasladarle, de manera consciente o inconsciente, sesgos de los propios diseñadores. En última instancia, el sesgo deriva de la actuación de los responsables públicos que deciden qué algoritmos se utilizan y, por ejemplo, deciden que el avatar sea femenino.

Para evitar que el uso de robots software pueda derivar en discriminaciones por razón de género o de cualquier otra condición personal o social, las administraciones públicas deben adoptar medidas adecuadas85. En esta dirección el Consejo de Europa, en la recomendación sobre los impactos en los derechos humanos de los sistemas algorítmicos de 8 de abril de 2020, señala que los Estados deben revisar las normas y las políticas para garantizar que la contratación, diseño, desarrollo y despliegue de la inteligencia artificial respete, entre otros aspectos, la no-discriminación.

Entre otras medidas, las administraciones públicas deben asegurarse de que los algoritmos que utilizan los robots software hayan sido entrenados con datos de calidad que respondan a la diversidad del colectivo que se verá afectado por las tareas a desarrollar. También pueden fomentar la participación en el diseño de los algoritmos a fin de diversificar el perfil de los diseñadores y evitar los sesgos que puedan tener. Asimismo, deben promover la transparencia sobre cómo están diseñados los robots software, sobre cómo funcionan o sobre los datos que utilizan para realizar una tarea, de manera que cualquier persona puede identificar si un algoritmo contiene sesgos o los resultados obtenidos por él son discriminatorios. Por último, el fortalecimiento de la gobernanza de la inteligencia artificial en las entidades públicas es otro mecanismo para prevenir los sesgos en los robots software.

4 La automatización a través de robots como actuación administrativa automatizada

La principal finalidad del uso de los robots software en las administraciones públicas es automatizar su actuación y funcionamiento.

Cuando el uso de robots software sustituya la intervención de un empleado o empleada pública, nos encontraremos ante una actuación administrativa automatizada que debe desarrollarse y está sometida a las normas que analizamos a continuación. Además, cuando la automatización suponga el tratamiento de datos personales, estará sujeta a distintos principios y límites que recoge el Reglamento general de protección de datos.

4.1 La actuación administrativa robótica

Las administraciones públicas pueden adoptar decisiones automatizadas utilizando para ello robots software. En efecto, desde un punto de vista general, debemos tener presente que la Ley 40/2015, de 1 de octubre, de régimen jurídico del sector público (LRJSP), regula la actuación administrativa automatizada, entendiendo como tal “cualquier acto o actuación realizada íntegramente a través de medios electrónicos por una Administración pública en el marco de un procedimiento administrativo y en la que no haya intervenido de forma directa un empleado público”86.

El uso de robots para realizar actuaciones administrativas de manera automatizada entraña algunas cuestiones específicas, tales como su alcance y uso, la vinculación de la decisión adoptada por un robot por parte de las administraciones públicas, las fases del procedimiento administrativo en las que pueden intervenir los robots o la motivación de las decisiones públicas que se toman a través de algoritmos.

a) Actuación realizada a través de medios electrónicos

La LRJSP utiliza de manera genérica la expresión medios electrónicos a la hora de definir la actuación administrativa automatizada y el Real decreto 203/2021 no concreta en su anexo con definiciones qué tecnologías deben entenderse incluidas en esta expresión87. Si bien es probable que el legislador no tuviese en mente la posibilidad de utilizar robots software y, mucho menos, inteligencia artificial en un procedimiento administrativo, a nuestro entender no hay obstáculo alguno para considerar que estas aplicaciones pueden ser utilizadas por las administraciones públicas para automatizar su actividad.

En la actualidad, el diseño de un robot software no responde a la tramitación de un procedimiento específico. Tampoco la decisión de usar robots software en la Administración pública se encuentra formalizada88.

Sin embargo, esta situación no es óbice para señalar que sería oportuno que la legislación incorporase un procedimiento específico para aprobar el uso de robots software y, en general, de algoritmos en las administraciones públicas. A nuestro entender, la extensión de los robots software, así como de la inteligencia artificial entre las administraciones públicas, debería ir acompañada de la previsión de un procedimiento que permitiese valorar adecuadamente los riesgos que el uso de estas aplicaciones y tecnologías pueda comportar, que facilitase la participación tanto de técnicos como de la ciudadanía en general en dicha valoración y que permitiese formalizar adecuadamente la decisión, así como darle la máxima publicidad y transparencia.

A pesar de lo anterior, no consideramos que la manera de dar respuesta a todas estas necesidades pase por la consideración de los robots software o de los algoritmos como normas reglamentarias, puesto que no dejan de ser un medio técnico al servicio de la Administración pública que, por el impacto que su uso puede tener en distintos bienes o derechos, exige que su empleo por la Administración pública se dote de unas determinadas garantías que, por otro lado, probablemente el procedimiento de elaboración de disposiciones reglamentarias en la práctica tampoco ofrecerá de manera eficaz89.

Junto a la previsión de un procedimiento, sería necesario también diseñar un marco institucional que permita garantizar la seguridad –jurídica y tecnológica–, la transparencia y la rendición de cuentas en el uso de los robots software por las administraciones públicas tal y como hemos tenido oportunidad de proponer específicamente en relación con la inteligencia artificial90.

b) Actuación en el marco de un procedimiento administrativo

La LRJSP se refiere de este modo a actuaciones administrativas formalizadas realizadas durante la tramitación de un procedimiento administrativo91. En muchos casos el uso de robots software se realizará en el marco de un procedimiento administrativo para obtener, gestionar o analizar datos, para enviar o comunicar documentos o para comunicar, recibir o interpretar información de las personas interesadas92. Asimismo, los robots pueden llegar a ser utilizados en el marco de un procedimiento para la emisión de cualquier declaración de voluntad, de juicio, de conocimiento o de deseo. Con este objetivo, por ejemplo, se ha modificado el Real decreto legislativo 5/2000, de 4 de agosto, por el que se aprueba el texto refundido de la Ley sobre infracciones y sanciones en el orden social, para prever el inicio de un procedimiento administrativo sancionador en el orden social mediante la extensión de actas de infracción automatizadas93.

Sin embargo, más allá del concepto estricto de la actuación administrativa automatizada que incluye la LRJSP, ello no debe ser obstáculo para que la Administración pública pueda utilizar la inteligencia artificial en el desarrollo de otras actuaciones materiales que no se verán sometidas a lo previsto en la Ley 39/2015, de 1 de octubre, de procedimiento administrativo común de las administraciones públicas. Este sería el caso, por ejemplo, del uso de los robots conversacionales o asistentes que se utilicen para informar o atender a la ciudadanía94.

En función de la capacidad del robot software, tanto su intervención en el procedimiento como los efectos jurídicos de la actuación automatizada serán distintos y se incrementarán significativamente a medida que se le dote de mayor capacidad de aprendizaje automático a través de la inteligencia artificial. En función de los riesgos que ello pueda entrañar, se deberán adecuar las medidas que se adopten para garantizar el cumplimiento de los distintos principios de la Administración digital o el respeto de los derechos de las personas interesadas o el nivel de supervisión humana, que en todo caso deberá ser proporcional a estos95.

c) Actuación sin intervención directa de empleado público

La ausencia de intervención humana es el elemento esencial a la hora de determinar si nos encontramos ante una actuación administrativa automatizada96. Esta es precisamente la principal característica de los robots software, tal y como los hemos definido, al desarrollar sus tareas no solo de manera automática sin la necesidad de que intervenga, sino de igual manera que lo haría una persona.

Los robots software son una tecnología para automatizar la actuación y el funcionamiento de las administraciones públicas y, desde esta perspectiva, su intervención en un procedimiento conllevará que no participe una persona.

Ello no quiere decir que cuando intervenga un robot software no haya ningún tipo de implicación humana. Precisamente, para garantizar la fiabilidad de los robots software y, en general, de la inteligencia artificial es necesario garantizar la supervisión humana97. La supervisión humana de los robots software se puede dar en distintos momentos y su alcance también puede ser diferente.

Al margen de otras consideraciones, la lectura de la LRJSP permite observar que la actuación administrativa automatizada exige la intervención humana a través del órgano u órganos competentes en dos momentos.

En primer lugar, al definir las especificaciones, programación, mantenimiento, supervisión y control de calidad y, en su caso, auditoría del sistema de información y de su código fuente98. Este es un aspecto esencial no solo para garantizar la transparencia en el uso de los robots software, sino también para asegurar el respeto de los principios y normas que deben guiar el uso de estos dispositivos en el ejercicio de potestades públicas. Tal y como hemos indicado anteriormente, en la actualidad no existe un procedimiento específico para concretar estos elementos. No obstante, resulta de interés observar que, aunque sin carácter básico, el Real decreto 203/2021 ha añadido, respecto a lo que dispone la LRJSP, que la resolución por la que se autorice el uso de un robot software para automatizar una actuación administrativa deberá establecer las medidas que sean adecuadas para salvaguardar los derechos y libertades y los intereses legítimos de las personas interesadas99.

En segundo lugar, al resolver los recursos contra las decisiones automatizadas, para lo que la Administración pública deberá definir el órgano que deberá ser considerado responsable a efectos de impugnación100. En relación con este elemento, más allá de los mecanismos de control administrativo y judicial que ya reconoce el ordenamiento jurídico, sería oportuno promover la creación de órganos administrativos específicos para el control del uso de los robots software y, en general, de inteligencia artificial en las administraciones públicas.

La LRJSP dispone que la decisión automatizada debe imputarse al órgano u organismo determinado por cada Administración pública101. Para ello, debe determinar qué sistema de firma electrónica utilizará en el ejercicio de la competencia en la actuación administrativa automatizada (el sello electrónico de Administración pública, órgano, organismo público o entidad de derecho público, basado en certificado electrónico reconocido o cualificado o el código seguro de verificación)102.

Sin embargo, en la actualidad ello no se hace o, si se hace, no con la publicidad y la transparencia necesarias para garantizar las finalidades que deberían derivarse de estos trámites que persiguen asegurar la trazabilidad del uso de los robots software en la automatización, así como la comunicación a la ciudadanía de que estos robots son empleados en determinadas actuaciones. Además, si bien es habitual que los robots software utilicen un identificador que permite monitorizar su actuación, ello no determina que se haga usando los mecanismos previstos en la Ley 39/2015, de 1 de octubre.

Más allá de estas limitaciones prácticas, la no intervención de una persona al automatizar la actuación administrativa ha generado un amplio debate académico, en particular con relación a qué potestades pueden ser ejercidas de manera automatizada por las administraciones públicas y también si puede automatizarse el ejercicio de potestades discrecionales.

La primera cuestión que debemos tener presente al respecto es que en la actualidad los robots software difícilmente sustituirán a las personas en el ejercicio de potestades discrecionales. En efecto, como hemos tenido oportunidad de poner de manifiesto anteriormente, por lo general estos robots son utilizados para desarrollar tareas siguiendo reglas claras que no admiten excepciones. Lo habitual será, pues, que sean usados para automatizar la realización de trámites reglados.

La segunda cuestión es que, aun en el caso de que un robot software empleado por una Administración pública incorpore algoritmos de aprendizaje automático, será utilizado en entornos poco complejos, ya que, hoy por hoy, la inteligencia artificial solo ha demostrado resultados óptimos en entornos de cierta incertidumbre cuando la complejidad es baja103. Si bien es habitual que desarrolle de manera satisfactoria procesos analíticos o de razonamiento, aún no es capaz de llevar a cabo adecuadamente y de manera generalizada procesos racionales como realizar juicios o ponderaciones complejos104. Por lo tanto, los robots software dotados con inteligencia artificial podrían ser usados para desarrollar tareas con un bajo nivel de discrecionalidad o cuando el ejercicio de la potestad discrecional supone el uso de criterios técnicos y no políticos105.

En cambio, no parece que el estadio de desarrollo actual de los robots software y, en general, de la inteligencia artificial permita considerar que estos puedan ser utilizados en situaciones con mayor complejidad o incertidumbre, así como en juicios o ponderaciones más complicados o que exijan el uso de criterios no estrictamente técnicos, es decir, con un mayor nivel de discrecionalidad. En estos entornos, los robots software pueden ser útiles para automatizar algunas tareas preparatorias de la toma de decisión; por ejemplo, el análisis de grandes cantidades de datos o de datos distribuidos en numerosas bases de datos, de manera que se pueda poner a disposición de los decisores los elementos necesarios para que estas sean de la máxima calidad posible.

En cualquier caso, tal y como hemos tenido oportunidad de analizar en otra ocasión, la decisión sobre si se pueden utilizar robots software en el ejercicio de potestades discrecionales no puede ser ni absoluta ni general y debe estar presidida por el principio de precaución y responder a un conocimiento del estado de desarrollo técnico de la inteligencia artificial y a un análisis de los riesgos que el uso de los robots software pueda comportar respecto a otros principios y bienes106.

Pero, más allá de lo que efectivamente pueda llegar a permitir el desarrollo tecnológico, debe valorarse si un robot software puede efectivamente ejercer potestades discrecionales o si debe establecerse “una reserva para la toma de ciertas decisiones a humanos, lo que denominaremos aquí una reserva de humanidad”, entre otros motivos por las necesidades de garantizar la empatía en la toma de decisiones públicas, habilidad inherente a las personas107.

En relación con esta cuestión, más allá de traer a colación el hecho de que aunque de manera todavía muy rudimentaria ya se han diseñado algoritmos que son capaces de analizar emociones, debemos recordar la necesidad de garantizar la supervisión humana del uso de la inteligencia artificial por los robots software. Esta supervisión no debe reservarse en exclusiva a la toma de la decisión en sentido estricto, sino que también puede producirse ex ante al analizar los riesgos inherentes al uso de un robot software en la fase de resolución de un procedimiento administrativo o prever mecanismos de certificación o auditoría o ex post al articular mecanismos ad hoc para el control de las decisiones adoptadas de manera automatizada.

4.2 La protección de datos personales como límite a la automatización

A medida que los robots software y, en particular, los robots conversacionales adquieren una mayor habilidad para interactuar con las personas, se incrementa significativamente la posibilidad de intercambiar datos personales y que estos sean tratados sin que las personas afectadas tengan conocimiento de ello108, o la posibilidad de inferir nuevos datos personales a partir de los datos intercambiados109. Además, también se incrementan los riesgos de que dichos datos sean conocidos por terceras personas sin que tengan legitimidad para ello110.

Desde un punto de vista general, ello supone el sometimiento de los tratamientos de datos personales que realicen de manera automatizada los robots software a los principios previstos en el Reglamento general de protección de datos. Además, será necesario que la Administración pública disponga de una base jurídica legitimadora adecuada para que los robots software puedan tratar los datos.

Asimismo, la Administración pública, como responsable del tratamiento realizado por el robot software, deberá informar a las personas afectadas acerca de la existencia de decisiones automatizas que incluya información significativa sobre la lógica aplicada, así como la importancia y las consecuencias previstas de dicho tratamiento para el interesado111. En general, las administraciones públicas no informan específicamente sobre estos extremos fuera de lo que puedan recoger los avisos legales o condiciones de uso de los portales de internet o sedes electrónicas a través de los que se pueda acceder al robot software112.

Más allá de esta información, los interesados podrán ejercer su derecho de acceso para poder conocer si se están tratando o no datos personales que les conciernen y obtener información significativa sobre la lógica aplicada en la toma de decisiones automatizada, así como la importancia y las consecuencias previstas de dicho tratamiento para la persona interesada113.

Además, cuando el tratamiento de datos personales que lleve a cabo el robot software pueda suponer un alto riesgo para los derechos y las libertades de las personas físicas, por ejemplo porque permita realizar una elaboración de perfiles, el responsable del tratamiento debe evaluar el impacto en la protección de los datos personales de dicho tratamiento. De este modo, podrá conocer la necesidad y proporcionalidad del tratamiento, la gravedad y la probabilidad de riesgo para los datos personales y, en su caso, identificar las medidas, las garantías y los mecanismos que se deban adoptar para mitigar el riesgo, garantizar la protección de los datos personales y demostrar la conformidad con el RGPD114.

Desde un punto de vista particular, debemos recordar que el RGPD reconoce el derecho de todo interesado a no ser objeto de una decisión basada únicamente en el tratamiento automatizado que produzca efectos jurídicos en él o le afecte significativamente de modo similar115. Este derecho se ha reconocido como una prohibición de que se adopten decisiones automatizadas cuando concurran los elementos a los que nos referiremos a continuación y no exista una habilitación para ello116.

En primer lugar, que la decisión se base únicamente en un tratamiento automatizado, es decir, que no cuente con una intervención humana o que, aunque intervenga una persona, no tenga una participación significativa117. Este podría ser el caso de decisiones administrativas automatizadas adoptadas a través de un robot software.

En segundo lugar, que la decisión produzca efectos jurídicos en la persona o le afecte significativamente de modo similar; por ejemplo, que la decisión adoptada por un robot software afecte al acceso de una persona a los servicios públicos o le deniegue una ayuda a la que tenga derecho118.

De este modo, un robot software no podrá tratar datos personales para tomar una decisión automatizada que produzca efectos jurídicos si no concurre alguna de las excepciones que contempla el propio RGPD. En particular, el robot software podrá tratar datos personales si la decisión que se automatice es necesaria para la celebración o la ejecución de un contrato entre el interesado y un responsable del tratamiento; está autorizada por el derecho de la Unión o de los Estados miembros que se aplique al responsable del tratamiento y que establezca asimismo medidas adecuadas para salvaguardar los derechos y libertades y los intereses legítimos del interesado, o se basa en el consentimiento explícito del interesado119.

En el caso de los tratamientos realizados por las administraciones públicas, generalmente solo será de aplicación el segundo supuesto, es decir, que esté previsto en una norma con rango de ley120, ya que es poco probable que, en la mayoría de casos, la persona interesada pueda manifestar de manera completamente libre su consentimiento ante el perjuicio de que su eventual negativa pueda llegar a tener en la actuación pública121. Sin embargo, en algunos casos, por ejemplo cuando la persona utiliza un robot conversacional para obtener información a la que también pueda acceder a través de otros canales, el tratamiento podría llegar a basarse en dicho consentimiento.

El responsable del tratamiento deberá adoptar las medidas adecuadas para proteger los derechos y las libertades y los intereses legítimos del interesado122. Estas medidas deben incluir como mínimo las siguientes123: el derecho a obtener intervención humana por parte del responsable, el derecho a expresar su punto de vista y el derecho a impugnar la decisión124.

5 Automatización y empleo público

La automatización de la Administración pública a través de robots software tiene un impacto evidente en el empleo público. En efecto, en la medida en que los robots software al realizar sus tareas sustituyan a empleadas y empleados públicos es evidente que estas personas dejarán de realizar estas tareas125.

De hecho, no podemos desconocer que, en los últimos años, algunos estudios han concluido que el 47 % de los trabajos actuales están en alto riesgo de ser automatizados en los próximos 10 o 20 años126. Asimismo, otros estudios han indicado que, en 2025, el tiempo dedicado a las tareas actuales por humanos y por máquinas será el mismo. Este proceso no solo se producirá con relación a tareas rutinarias, sino también respecto a otras de perfil auxiliar, administrativo y técnico127.

Sin embargo, estos mismos estudios también han apuntado que esta situación no debe suponer una desaparición del empleo público, sino un cambio en el modelo de empleo público128. En primer lugar, los empleadas y empleados públicos podrán centrarse en tareas más complejas a las que puedan añadir mayor valor en vez de en tareas rutinarias o sencillas que pueden realizar perfectamente los robots software129. En segundo lugar, las empleadas y empleados públicos podrán realizar aquellas tareas en las que los robots puedan tener mayores dificultades o ser incapaces de desarrollar (por ejemplo, por requerir empatía, creatividad, inteligencia emocional y social o capacidad de negociación)130. En tercer lugar, los empleadas y empleados públicos podrán ocupar nuevos perfiles profesionales que serán creados, precisamente, para dar respuesta a la extensión de los robots software y, en general, a la inteligencia artificial en las administraciones públicas (desde ingenieros e informáticos que los diseñen o implementen hasta juristas o filósofos que se preocupen de dar respuesta a los retos jurídicos o éticos que la extensión de los robots software pueda entrañar)131.

La duda que se plantea es hasta qué punto los robots software pueden llegar a sustituir a los funcionarios y funcionarias en cualquier tarea132. Al respecto, más allá de las limitaciones tecnológicas que hemos ido poniendo de manifiesto a lo largo del trabajo, es evidente que la legislación vigente reserva a funcionarios algunas funciones, lo que, a nuestro entender, supone un claro límite a la sustitución del funcionariado por los robots software133.

6 La incorporación de los robots a la Administración pública

Los robots software que utilizan las administraciones públicas pueden ser diseñados por los servicios informáticos o técnicos de las propias entidades públicas.

Sin embargo, por el momento, no es habitual que sean las propias administraciones públicas las que programen el código o diseñen los robots software y, en la actualidad, la mayoría de los robots que utilizan están generalmente programados y son implementados por empresas externas que licencian su uso a la Administración pública. Estos robots pueden incorporarse a la Administración pública que se encarga de administrarlos o simplemente pueden ser usados siendo la empresa externa quien se encarga de su administración (Robot as a Service, RaaS)134.

De esta manera, se pueden reducir los costes, así como fomentar la innovación en el desarrollo de estas aplicaciones135. Sin embargo, también se puede generar una dependencia tecnológica de las administraciones públicas particularmente en un ámbito, el de los robots conversacionales y la inteligencia artificial, dominado por pocas empresas136. Asimismo, debe tenerse presente que el desarrollo de determinadas tareas por robots software puede llegar a suponer el ejercicio privado de funciones públicas de autoridad137. En última instancia, puede entrañar problemas respecto al cumplimiento de los principios rectores de la actividad pública; por ejemplo, tal y como hemos advertido respecto a la transparencia pública.

De este modo, los pliegos de cláusulas técnicas deben poder concretar adecuadamente no solo los requisitos que deban cumplir los robots software para automatizar de manera eficaz, eficiente o económica las actuaciones administrativas, sino también los elementos suficientes para velar por que estos cumplan con los valores y principios propios de las administraciones públicas138. También determinar el alcance de los derechos de propiedad intelectual de la contratista respecto al robot software que haya desarrollado para la Administración pública o que ponga a disposición de esta para su uso139.

En esta dirección, sería adecuado fomentar un marco institucional que pueda impulsar y facilitar la incorporación de los robots software en las administraciones públicas de acuerdo con estos parámetros como hemos indicado anteriormente140.

Junto a esta posibilidad, algunas administraciones públicas están incorporando los robots software a través de la reutilización de aplicaciones desarrolladas por otras entidades públicas de acuerdo con el principio de cooperación141. Para ello, de acuerdo con lo que dispone la LRJSP, las administraciones públicas pondrán a disposición de otras entidades públicas, a través de directorios actualizados, los robots software desarrollados por sus servicios técnicos o que hayan sido adquiridos del mercado siempre y cuando sean titulares de sus derechos de propiedad. Además, para facilitar la reutilización de dichas aplicaciones, pueden declararlas como de fuentes abiertas142.

7 Reflexiones finales

A lo largo de estas páginas hemos tenido la oportunidad de mostrar numerosos ejemplos tanto de las tareas que pueden desarrollar los robots software como de distintas experiencias de uso para la automatización de la actividad y el funcionamiento de las administraciones públicas. A la vista de todo ello, es evidente que la automatización de las administraciones públicas a través de los robots software puede generar numerosos beneficios en términos de eficacia, eficiencia y economía, pero también de servicio efectivo a la ciudadanía, más transparente, personalizado y proactivo. Estos beneficios pueden verse incrementados a medida que los robots software se vayan desarrollando, lo que permitirá que los robots presten más servicios y que las tareas que se automaticen sean más complejas o completas143.

Sin embargo, a pesar de los beneficios que puede entrañar la automatización de las administraciones públicas a través del uso de robots software y de la innovación que puede comportar, no podemos dejarnos deslumbrar por esta tecnología ni caer en el sesgo de la automatización confiando más en el resultado obtenido automáticamente por un robot software que en la actividad que puedan desarrollar los empleadas y empleados públicos144.

Si bien los robots software van incrementando sus prestaciones y los avances que están experimentando con el uso de la inteligencia artificial están reportando mejoras significativas en la calidad y complejidad de las tareas que desarrollan o los servicios que prestan, no podemos desconocer que aún en muchas ocasiones los robots conversacionales son incapaces de entender correctamente lo que se les pregunta, de mantener una conversación con una persona o de mostrar empatía con ella145.

Además, a pesar de que muchas personas pueden quedarse admiradas por ser atendidas por asistentes virtuales146, otras tantas pueden no querer o no saber interaccionar con robots en vez de con personas147. De hecho, hoy en día la experiencia de las personas usuarias aún no es muy positiva, por lo que la mayoría de ellas aún prefieren utilizar los canales habituales de relación (tanto presenciales como incluso a distancia pero con la participación de empleados públicos; por ejemplo, mediante el correo electrónico)148. Por ello, es necesario que, de manera paralela a la extensión del uso de los robots software entre las administraciones públicas, estas garanticen el acceso de la ciudadanía a través de otros canales, no necesariamente electrónicos, de manera que pueda ejercerse efectivamente el derecho a elegir en todo momento si se comunican con las administraciones públicas a través de medios electrónicos o no.

En cualquier caso, la incorporación de los robots software o la automatización de determinadas tareas no debe ser fruto de una moda pasajera o del influjo de las tendencias innovadoras experimentadas o promovidas por grandes empresas tecnológicas y debe ser el resultado de un análisis con carácter previo de sus usos en las administraciones públicas a la vista de los riesgos que puedan entrañar o del impacto que pueda tener en los principios que deben regir el desarrollo de la Administración digital. Además, este proceso no debe desarrollarse de manera aislada, sino que debe ser un elemento más de la transformación digital que están experimentando las administraciones públicas.

Bibliografía

ADAMOPOULOU, E. y MOUSSIADES, L., “Chatbots: History, technology, and applications”, Machine Learning with Applications, n. 2, 2020.

ALBERTH, M. y MATTERN, M., “Understanding robotic process automation (RPA)”, Journal of Financial Transformation, n. 46, 2017.

ALMANSOR, E.H. y HUSSAIN, F.K., Survey on Intelligent Chatbots: State-of-the-Art and Future Research Directions, Springer International Publishing, Cham, 2020.

ANDERSEN, K.N., LEE, J. y HENRIKSEN, H.Z., “Digital Sclerosis? Wind of Change for Government and the Employees”, ACM Journal on Digital Government Research and Practice, n. 1, 2020.

ANDROUTSOPOULOU, A., KARACAPILIDIS, N., LOUKIS, E. y CHARALABIDIS, Y., “Transforming the communication between citizens and government through AI-guided chatbots”, Government Information Quarterly, n. 36, 2019.

ARTIFICIAL SOLUTIONS, Chatbots: La Guía Definitiva, 2020.

BARCEVIČIUS, E., CIBAITĖ, G., CODAGNONE, C., GINEIKYTĖ, V., KLIMAVIČIŪTĖ, L., LIVA, G., MATULEVIČ, L., MISURACA, G. y VANINI, I., Exploring Digital Government transformation in the EU, Publications Office of the European Union, Luxembourg, 2019.

BELEN SAĞLAM, R. y NURSE, J.R.C., “Is your chatbot GDPR compliant? Open issues in agent design”, 2nd Conference on Conversational User Interfaces, Association for Computing Machinery, Bilbao, 2020.

BOIX PALOP, A., “La necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la administración para la adopción de decisiones”, Revista de Derecho Público: Teoría y Método, n. 1, 2020.

BOLTON, T., DARGAHI, T., BELGUITH, S., AL-RAKHAMI, M.S. y SODHRO, A.H., “On the security and privacy challenges of virtual assistants”, Sensors, n. 21, 2021.

BONALES DAIMIEL, G. y MARTÍNEZ, E., “Using Virtual Assistants and Chatbots for Crisis Communication”, aDResearch: Revista Internacional de Investigación en Comunicación, n. 25, 2021.

BORENSTEIN, J. y ARKIN, R., “Robotic nudges: the ethics of engineering a more socially just human being”, Science and engineering ethics, n. 22, 2016.

BRYAN, J., Trends in Gartner Hype Cycle for Customer Service and Customer Engagement, Gartner, 2018.

BULLOCK, J.B., “Artificial intelligence, discretion, and bureaucracy”, The American Review of Public Administration, n. 49, 2019.

BUOLAMWINI, J. y GEBRU, T., “Gender shades: Intersectional accuracy disparities in commercial gender classification”, Proceedings of Machine Learning Research, n. 81 (Conference on fairness, accountability and transparency), 2018.

CANALS I AMETLLER, D., “El ejercicio de potestades administrativas por operadores privados en régimen de mercado”, Gamero Casado, E. (ed.), La potestad administrativa: concepto y alcance práctico de un criterio clave para la aplicación del Derecho administrativo, Tirant lo Blanch, Valencia, 2021.

CASAS, J., TRICOT, M.-O., ABOU KHALED, O., MUGELLINI, E. y CUDRÉ-MAUROUX, P., “Trends & Methods in Chatbot Evaluation”, Companion Publication of the 2020 International Conference on Multimodal Interaction, Virtual Event Netherlands, 2020.

CERRILLO I MARTÍNEZ, A., “El impacto de la inteligencia artificial en el Derecho administrativo ¿Nuevos conceptos para nuevas realidades técnicas?”, Revista General de Derecho Administrativo, n. 50, 2019.

CERRILLO I MARTÍNEZ, A., “Las características del consentimiento del interesado y su incidencia en el tratamiento de datos en las administraciones públicas”, El Consultor de los Ayuntamientos, n. III, 2019.

CERRILLO I MARTÍNEZ, A., “Com obrir les caixes negres de les Administracions públiques? Transparència i rendició de comptes en l’ús dels algoritmes”, Revista Catalana de Dret Públic, n. 56, 2019.

CERRILLO I MARTÍNEZ, A., “¿Son fiables las decisiones de las Administraciones públicas adoptadas por algoritmos?”, European review of digital administration & law, n. 1, 2020.

CERRILLO I MARTÍNEZ, A., “La transparencia de los algoritmos que utilizan las administraciones públicas”, Anuario de Transparencia Local 2020, Fundación Democracia y Gobierno Local, Madrid, 2021.

CERRILLO I MARTÍNEZ, A., “La inteligencia artificial y el control de sus posibles sesgos”, Villoria Mendieta, M. (ed.), Ética pública en el siglo XXI, Instituto Nacional de Administración Pública, Madrid, 2021 (en prensa).

CHUNG, H., IORGA, M., VOAS, J. y LEE, S., “Alexa, Can I Trust You?”, Computer, n. 50, 2017.

COMISIÓN EUROPEA, Libro Blanco sobre la inteligencia artificial - un enfoque europeo orientado a la excelencia y la confianza COM(2020) 65 final, 2020.

DE CICCO, R., DA COSTA E SILVA, S.C.L. y PALUMBO, R., Should a Chatbot Disclose Itself? Implications for an Online Conversational Retailer, Springer International Publishing, Cham, 2021.

ERNST & YOUNG LLP, Inteligencia Artificial en el Sector Público. Cómo se benefician 213 organizaciones públicas de la IA. Perspectivas europeas para 2020 y años siguientes, Microsoft, Madrid, 2020.

FØLSTAD, A., NORDHEIM, C.B. y BJØRKLI, C.A., “What makes users trust a chatbot for customer service? An exploratory interview study”, Internet Science. 5th International Conference. INSCI 2018, Springer, Cham, 2018.

FREY, C.B. y OSBORNE, M.A., “The future of employment: how susceptible are jobs to computerisation?”, Technological forecasting and social change, n. 114, 2017.

GAMERO CASADO, E., “Compliance (o Cumplimiento Normativo) de desarrollos de Inteligencia Artificial para la toma de decisiones administrativas”, Diario La Ley, n. 50, 2021.

GAVILÁN, I.G.R., Robots en la sombra: RPA, robots conversacionales y otras formas de automatización cognitiva, Anaya, Madrid, 2021.

GORRITI BONTIGUI, M., “Evolución de los puestos y nuevos perfiles profesionales en la Administración pública del siglo XXI”, Ramió Matas, C. (ed.), Administración digital e innovación pública. Repensando la Administración Pública, Instituto Nacional de Administración Pública, Madrid, 2021.

GRUDIN, J. y JACQUES, R., “Chatbots, Humbots, and the Quest for Artificial General Intelligence”, 2019 CHI Conference on Human Factors in Computing Systems, Association for Computing Machinery, Glasgow, Scotland Uk, 2019.

GRUPO DE TRABAJO DEL ARTÍCULO 29, Directrices sobre decisiones individuales automatizadas y elaboración de perfiles a los efectos del Reglamento 2016/679, 2018.

HOFMANN, P., SAMP, C. y URBACH, N., “Robotic process automation”, Electronic Markets, n. 30, 2020.

HUERGO LORA, A., “Una aproximación a los algoritmos desde el derecho administrativo”, Huergo Lora, A. (ed.), La regulación de los algoritmos, Aranzadi-Thomson-Reuters, Cizur Menor, 2020.

IEEE STANDARDS ASSOCIATION, IEEE Guide for Terms and Concepts in Intelligent Process Automation. IEEE Std 2755-2017 (IEEE Std 2755-2017), 2017.

INDEPENDENT HIGH-LEVEL EXPERT GROUP ON ARTIFICIAL INTELLIGENCE, Ethics Guidelines for Trustworthy Artificial Intelligence, European Commission, Brussels, 2019.

ISCHEN, C., ARAUJO, T., VOORVELD, H., VAN NOORT, G. y SMIT, E., “Privacy concerns in chatbot interactions”, International Workshop on Chatbot Research and Design, Springer, Cham, 2019.

LINDGREN, I., “Exploring the Use of Robotic Process Automation in Local Government”, EGOV-CeDEM-ePart 2020, Linköping University, Sweden, 2020.

LINDGREN, I., MADSEN, C.Ø., HOFMANN, S. y MELIN, U., “Close encounters of the digital kind: A research agenda for the digitalization of public services”, Government Information Quarterly, n. 36, 2019.

LOMMATZSCH, A., “A next generation chatbot-framework for the public administration”, International Conference on Innovations for Community Services, Springer, Žilina, Slovakia, 2018.

MAKASI, T., NILI, A., DESOUZA, K.C. y TATE, M., “Chatbot-mediated public service delivery: a public service value-based framework”, First Monday, n. 25(12), 2020.

MAKASI, T., NILI, A., DESOUZA, K.C. y TATE, M., “A Typology of Chatbots in Public Service Delivery”, IEEE Software, abril 2021.

MARTÍN DELGADO, I., “Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada”, Revista de Administración Pública, n. 180, 2009.

MESSÍA DE LA CERDA BALLESTEROS, J.A., “Robots inteligentes y personalidad”, Revista Aranzadi de derecho y nuevas tecnologías, n. 53, 2020.

MIRANZO DÍAZ, J., “Inteligencia artificial y contratación pública”, Martín Delgado, I. y Moreno Molina, J.A. (eds.), Administración electrónica, transparencia y contratación pública, Iustel, Madrid, 2020.

MISURACA, G. y VAN NOORDT, C., Overview of the use and impact of AI in public services in the EU, Publications Office of the European Union, Luxembourg, 2020.

NG, K.K.H., CHEN, C.-H., LEE, C.K.M., JIAO, J. y YANG, Z.-X., “A systematic literature review on intelligent automation: Aligning concepts from theory, practice, and future perspectives”, Advanced Engineering Informatics, n. 47, 2021.

NOTO LA DIEGA, G., “Against the Dehumanisation of Decision-Making – Algorithmic Decisions at the Crossroads of Intellectual Property, Data Protection, and Freedom of Information”, Journal of Intellectual Property, Information Technology and E-Commerce Law, n. 9, 2018.

OBSERVATORY OF PUBLIC SECTOR INNOVATION (OPSI) y UNITED ARAB EMIRATES (UAE) MOHAMMED BIN RASHID CENTRE FOR GOVERNMENT INNOVATION (MBRCGI), Seamless Government, Embracing Innovation in Government. Global Trends, 2020.

OFFICE FOR ARTIFICIAL INTELLIGENCE, Guidelines for AI Procurement, 2020.

PARADA VÁZQUEZ, R., Régimen Jurídico de las Administraciones Públicas y Procedimiento Administrativo Común (Estudio, comentarios y texto de la Ley 30/1992, de 26 de noviembre), Marcial Pons, Madrid, 1999.

PASQUALE, F., The Black Box Society: The Secret Algorithms That Control Money and Information, Harvard University Press, Cambridge (MA), 2015.

PASTOR BERMÚDEZ, A., “Innovando con servicios digitales en la administración pública”, Ramió Matas, C. (ed.), Administración digital e innovación pública. Repensando la Administración Pública, Instituto Nacional de Administración Pública, Madrid, 2021.

PETRIV, Y., ERLENHEIM, R., TSAP, V., PAPPEL, I. y DRAHEIM, D., “Designing Effective Chatbot Solutions for the Public Sector: A Case Study from Ukraine”, Chugunov, A., Khodachek, I., Misnikov, Y. y Trutnev, D. (eds.), Electronic Governance and Open Society: Challenges in Eurasia: 7th International Conference, EGOSE 2020, Springer International Publishing, Cham, 2020.

PIETERSON, W., EBBERS, W. y MADSEN, C.Ø., “New channels, new possibilities: A typology and classification of social robots and their role in multi-channel public service delivery”, International Conference on Electronic Government, EGOV 2017, Springer, Cham, 2017.

PISE, R., “Chatbot market size is set to exceed USD 1.34 billion by 2024”, ClickZ, 6 de julio, 2018.

PONCE SOLÉ, J., “Inteligencia artificial, Derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido tecnológico”, Revista General de Derecho Administrativo, n. 50, 2019.

RAMIÓ MATAS, C., “El impacto de la inteligencia artificial y de la robótica en el empleo público”, GIGAPP Estudios Working Papers, n. 98, 2018.

RAMIÓ MATAS, C., “Inteligencia artificial y robotización reclaman un nuevo modelo de gestión del empleo público”, Consultor de los ayuntamientos y de los juzgados: Revista técnica especializada en administración local y justicia municipal, n. 5, 2019.

RANCHORDÁS, S. y KLOP, A., “Data-Driven Regulation and Governance in Smart Cities”, Berlee, A., Mak, V. y Tjong Tjin Ta, E. (eds.), Research Handbook on Data Science and Law, Edward Elgar, Cheltenham, 2018.

ROIG BATALLA, A., Las garantías frente a las decisiones automatizadas. Del Reglamento General de Protección de Datos a la gobernanza algorítmica, JM Bosch, Barcelona, 2020.

SYED, R., SURIADI, S., ADAMS, M., BANDARA, W., LEEMANS, S. J.J., OUYANG, C., TER HOFSTEDE, A.H.M., VAN DE WEERD, I., WYNN, M.T. y REIJERS, H.A., “Robotic Process Automation: Contemporary themes and challenges”, Computers in Industry, n. 115, 2020.

TODOLÍ SIGNES, A., “Retos legales del uso del big data en la selección de sujetos a investigar por la Inspección de Trabajo y de la Seguridad Social”, Revista galega de administración pública, n. 59, 2020.

VALCÁRCEL FERNÁNDEZ, P., “La innovación como objeto prestacional en los contratos del sector público. La Compra Pública de Innovación”, Contratación administrativa práctica: revista de la contratación administrativa y de los contratistas, n. 153, 2018.

VALERO TORRIJOS, J., “Las garantías jurídicas de la inteligencia artificial en la actividad administrativa desde la perspectiva de la buena administración”, Revista Catalana de Dret Públic, n. 58, 2019.

VAN NOORDT, C. y MISURACA, G., “New wine in old bottles: Chatbots in government”, International Conference on Electronic Participation, Springer, Cham, 2019.

VEALE, M. y EDWARDS, L., “Clarity, surprises, and further questions in the Article 29 Working Party draft guidance on automated decision-making and profiling”, Computer Law & Security Review, n. 34, 2018.

VIEHHAUSER, J., “Is Robotic Process Automation Becoming Intelligent? Early Evidence of Influences of Artificial Intelligence on Robotic Process Automation”, Asatiani, A. et al. (ed.), Business Process Management: Blockchain and Robotic Process Automation Forum. BPM 2020. Lecture Notes in Business Information Processing, Springer, Cham, 2020.

WAJCMAN, J., “Automation: is it really different this time?”, The British journal of sociology, n. 68, 2017.

WHITTAKER, M., ALPER, M., BENNETT, C.L., HENDREN, S., KAZIUNAS, L., MILLS, M., MORRIS, M.R., RANKIN, J., ROGERS, E. & SALAS, M., Disability, Bias, and AI, AI Now Institute, New York, 2019.

WORLD ECONOMIC FORUM, The Future of Jobs Report 2020, World Economic Forum, Cologny/Geneva, 2020.

WRIGHT, J., “The Alexafication of Adult Social Care: Virtual Assistants and the Changing Role of Local Government in England”, International Journal of Environmental Research and Public Health, n. 18, 2021.

YEUNG, K., “Why worry about decision-making by machine?”, Yeung, K. y Lodge, J. (eds.), Algorithmic Regulation, Oxford University Press, Oxford, 2019.

1 “El pueblo gallego donde los robots son burócratas”, El País, 2 de noviembre de 2020. Acceso web: https://elpais.com/tecnologia/2020-11-01/el-pueblo-gallego-donde-los-robots-son-burocratas.html (mayo de 2021).

2 “Victoria la Malagueña: la asistente de voz virtual enamorada de su ciudad”, La Vanguardia, 16 de febrero, 2020. Acceso web: https://www.lavanguardia.com/ocio/viajes/20200216/473600007571/victoria-la-malaguena-la-asistente-de-voz-virtual-enamorada-de-su-ciudad.html (mayo de 2021).

3 GAVILÁN, I.G.R., Robots en la sombra: RPA, robots conversacionales y otras formas de automatización cognitiva, Anaya, Madrid, 2021.

4 ALBERTH, M. y MATTERN, M., “Understanding robotic process automation (RPA)”, Journal of Financial Transformation, n. 46, 2017, p. 55.

5 En el sector privado, los robots software se están extendiendo rápidamente. De hecho, algunos autores hablan del “tsunami de los chatbots” (GRUDIN, J. y JACQUES, R., “Chatbots, Humbots, and the Quest for Artificial General Intelligence”, 2019 CHI Conference on Human Factors in Computing Systems, Association for Computing Machinery, Glasgow, Scotland Uk, 2019, p. 4).

Según Gartner, en 2021, el 15 % de las interacciones de los consumidores se gestionarán completamente con chatbots (BRYAN, J., Trends in Gartner Hype Cycle for Customer Service and Customer Engagement, Gartner, 2018). Ello comportará un incremento del mercado de los chabots que pasará de los 250 millones de dólares en 2017 a los 1,34 billones de dólares en 2024 (PISE, R., “Chatbot market size is set to exceed USD 1.34 billion by 2024”, ClickZ, 6 de julio, 2018). De hecho, es de esperar que, con la creciente extensión de asistentes virtuales de la mano de las grandes empresas tecnológicas, también se vayan extendiendo los robots conversacionales entre las administraciones públicas (LOMMATZSCH, A., “A next generation chatbot-framework for the public administration”, International Conference on Innovations for Community Services, Springer, Žilina, Slovakia, 2018, p. 127).

De Cicco sintetiza las razones del éxito de los robots conversacionales en el hecho de que “ayudan a los consumidores a encontrar soluciones en cualquier lugar, en cualquier momento y con cualquier dispositivo” (DE CICCO, R., DA COSTA E SILVA, S.C.L. y PALUMBO, R., Should a Chatbot Disclose Itself? Implications for an Online Conversational Retailer, Springer International Publishing, Cham, 2021, p. 4).

6 GAVILÁN, I.G.R., Robots en la sombra: RPA, robots conversacionales y otras formas de automatización cognitiva, cit.

7 LINDGREN, I., “Exploring the Use of Robotic Process Automation in Local Government”, EGOV-CeDEM-ePart 2020, Linköping University, Sweden, 2020, p. 249. Una definición más técnica de la automatización robótica de procesos la encontramos en IEEE STANDARDS ASSOCIATION, IEEE Guide for Terms and Concepts in Intelligent Process Automation. IEEE Std 2755-2017 (IEEE Std 2755-2017), 2017.

8 VIEHHAUSER, J., “Is Robotic Process Automation Becoming Intelligent? Early Evidence of Influences of Artificial Intelligence on Robotic Process Automation”, Asatiani, A. et al. (ed.), Business Process Management: Blockchain and Robotic Process Automation Forum. BPM 2020. Lecture Notes in Business Information Processing, Springer, Cham, 2020, p. 102.

9 HOFMANN, P., SAMP, C. y URBACH, N., “Robotic process automation”, Electronic Markets, n. 30, 2020, p. 100; SYED, R., SURIADI, S., ADAMS, M., BANDARA, W., LEEMANS, S. J.J., OUYANG, C., TER HOFSTEDE, A.H.M., VAN DE WEERD, I., WYNN, M.T. y REIJERS, H.A., “Robotic Process Automation: Contemporary themes and challenges”, Computers in Industry, n. 115, 2020.

10 Como advierte Gavilán, “no encontramos apenas inteligencia artificial en la lógica, en el verdadero pensamiento del robot” (GAVILÁN, I.G.R., Robots en la sombra: RPA, robots conversacionales y otras formas de automatización cognitiva, cit.).

11 Como recuerdan HOFMANN et al., “los robots software automatizan procesos originalmente llevados a cabo con trabajo humano” (HOFMANN, P., SAMP, C. y URBACH, N., “Robotic process automation”, cit., p. 99). En la misma dirección, ANDERSEN, K.N., LEE, J. y HENRIKSEN, H.Z., “Digital Sclerosis? Wind of Change for Government and the Employees”, ACM Journal on Digital Government Research and Practice, n. 1, 2020, p. 6.

12 SYED, R., SURIADI, S., ADAMS, M., BANDARA, W., LEEMANS, S. J.J., OUYANG, C., TER HOFSTEDE, A.H.M., VAN DE WEERD, I., WYNN, M.T. y REIJERS, H.A., “Robotic Process Automation: Contemporary themes and challenges”, cit., p. 3.

13 Los chatbots tienen ya una larga historia que se inició con el diseño en 1966 de ELIZA, un chatbot que simulaba a un psicoterapeuta. Pero, incluso con anterioridad a esa fecha, la interacción entre humanos y ordenadores ya había sido objeto de atención, entre otros, por Turing, quien en 1950 creó un test para discernir si una máquina tenía o no un comportamiento inteligente. Sin embargo, no fue hasta 1991 cuando por primera vez se utilizó el término chatbot. En la década actual, los chatbots han experimentado un desarrollo significativo especialmente de la mano de los asistentes virtuales incorporados en distintos dispositivos diseñados por grandes empresas tecnológicas (por ejemplo, Siri de Apple, Google Assistant, Cortana de Microsoft, Alexa de Amazon o Watson de IBM). Véase un breve repaso histórico en ADAMOPOULOU, E. y MOUSSIADES, L., “Chatbots: History, technology, and applications”, Machine Learning with Applications, n. 2, 2020, pp. 2-3.

14 En cualquier caso, debemos advertir que no existe una distinción clara entre robots conversacionales y asistentes virtuales. De hecho, se han propuesto numerosos criterios para clasificar los robots conversacionales; por ejemplo, en función de su contexto físico, la memoria de intercambio, la relación entre la conversación y la función realizada o la profundidad, amplitud y duración de la relación con las personas. Véase al respecto CASAS, J., TRICOT, M.-O., ABOU KHALED, O., MUGELLINI, E. y CUDRÉ-MAUROUX, P., “Trends & Methods in Chatbot Evaluation”, Companion Publication of the 2020 International Conference on Multimodal Interaction, Virtual Event Netherlands, 2020, p. 281; y GRUDIN, J. y JACQUES, R., “Chatbots, Humbots, and the Quest for Artificial General Intelligence”, cit.

15 PETRIV, Y., ERLENHEIM, R., TSAP, V., PAPPEL, I. y DRAHEIM, D., “Designing Effective Chatbot Solutions for the Public Sector: A Case Study from Ukraine”, Chugunov, A., Khodachek, I., Misnikov, Y. y Trutnev, D. (eds.), Electronic Governance and Open Society: Challenges in Eurasia: 7th International Conference, EGOSE 2020, Springer International Publishing, Cham, 2020, p. 321.

16 En esta dirección, los robots conversacionales pueden ser un acicate (nudge). Respecto a las consideraciones éticas de los robot nudges, véase BORENSTEIN, J. y ARKIN, R., “Robotic nudges: the ethics of engineering a more socially just human being”, Science and engineering ethics, n. 22, 2016, pp. 31-46.

17 Seguimos en este punto a MAKASI, T., NILI, A., DESOUZA, K. y TATE, M., “Chatbot-mediated public service delivery: a public service value-based framework”, First Monday, n. 25(12), 2020.

18 BELEN SAĞLAM, R. y NURSE, J.R.C., “Is your chatbot GDPR compliant? Open issues in agent design”, 2nd Conference on Conversational User Interfaces, Association for Computing Machinery, Bilbao, 2020, p. 1.

19 VIEHHAUSER, J., “Is Robotic Process Automation Becoming Intelligent? Early Evidence of Influences of Artificial Intelligence on Robotic Process Automation”, cit., p. 102.

20 VIEHHAUSER observa al analizar distintos robots software que “la automatización robótica de procesos no es inteligente y no necesita capacidades inteligentes. Es, por definición, un software para el procesamiento de secuencias de clics basado en reglas con resultados previsibles y estables” (VIEHHAUSER, J., “Is Robotic Process Automation Becoming Intelligent? Early Evidence of Influences of Artificial Intelligence on Robotic Process Automation”, cit., p. 102).

21 NG, K.K.H., CHEN, C.-H., LEE, C.K.M., JIAO, J. y YANG, Z.-X., “A systematic literature review on intelligent automation: Aligning concepts from theory, practice, and future perspectives”, Advanced Engineering Informatics, n. 47, 2021, p. 8.

22 Autores como ADAMOPOULOU y MOUSSIADES definen el chatbot como un programa de inteligencia artificial (ADAMOPOULOU, E. y MOUSSIADES, L., “Chatbots: History, technology, and applications”, cit., p. 1).

23 VIEHHAUSER, J., “Is Robotic Process Automation Becoming Intelligent? Early Evidence of Influences of Artificial Intelligence on Robotic Process Automation”, cit., p. 102; HOFMANN, P., SAMP, C. y URBACH, N., “Robotic process automation”, cit., p. 99. De hecho, el renovado interés por los robots conversacionales es debido en parte a los avances experimentados en los últimos años por la inteligencia artificial (FØLSTAD, A., NORDHEIM, C.B. y BJØRKLI, C.A., “What makes users trust a chatbot for customer service? An exploratory interview study”, Internet Science. 5th International Conference. INSCI 2018, Springer, Cham, 2018).

24 VIEHHAUSER, J., “Is Robotic Process Automation Becoming Intelligent? Early Evidence of Influences of Artificial Intelligence on Robotic Process Automation”, cit., p. 102, observa que siete de cada diez casos de automatización robótica de procesos analizados utilizan la visión computadorizada para identificar, entender o clasificar elementos digitales en objetos, constituyendo la inteligencia artificial el núcleo de la automatización.

25 VIEHHAUSER, J., “Is Robotic Process Automation Becoming Intelligent? Early Evidence of Influences of Artificial Intelligence on Robotic Process Automation”, cit., p. 102; VAN NOORDT, C. y MISURACA, G., “New wine in old bottles: Chatbots in government”, International Conference on Electronic Participation, Springer, Cham, 2019, p. 50.

26 HOFMANN, P., SAMP, C. y URBACH, N., “Robotic process automation”, cit., p. 99.

27 ADAMOPOULOU, E. y MOUSSIADES, L., “Chatbots: History, technology, and applications”, cit., p. 1; ANDROUTSOPOULOU, A., KARACAPILIDIS, N., LOUKIS, E. y CHARALABIDIS, Y., “Transforming the communication between citizens and government through AI-guided chatbots”, Government Information Quarterly, n. 36, 2019, p. 358.

28 VIEHHAUSER, J., “Is Robotic Process Automation Becoming Intelligent? Early Evidence of Influences of Artificial Intelligence on Robotic Process Automation”, cit., p. 102.

29 MAKASI, T., NILI, A., DESOUZA, K.C. y TATE, M., “A Typology of Chatbots in Public Service Delivery”, IEEE Software, abril 2021, p. 4.

30 ANDROUTSOPOULOU, A., KARACAPILIDIS, N., LOUKIS, E. y CHARALABIDIS, Y., “Transforming the communication between citizens and government through AI-guided chatbots”, cit. p. 360.

31 VIEHHAUSER, J., “Is Robotic Process Automation Becoming Intelligent? Early Evidence of Influences of Artificial Intelligence on Robotic Process Automation”, cit., p. 102.

32 ALBERTH, M. y MATTERN, M., “Understanding robotic process automation (RPA)”, cit.

33 En función del nivel de uso de la inteligencia artificial por los robots software, nos encontramos ante el proceso de automatización inteligente (IPA), el proceso de automatización inteligente aumentado (AIPA) o los agentes autónomos (AA). Véase al respecto NG, K.K.H., CHEN, C.-H., LEE, C.K.M., JIAO, J. y YANG, Z.-X., “A systematic literature review on intelligent automation: Aligning concepts from theory, practice, and future perspectives”, cit.

34 En estas páginas no analizamos los robots con un soporte físico utilizados para la prestación de servicios públicos. Más allá del uso tradicional de estos robots para realizar tareas peligrosas o costosas, en los últimos años se ha ido extendiendo el uso de vehículos autónomos en algunos ayuntamientos para prestar transporte público o realizar tareas de seguridad ciudadana, así como, de manera experimental, para dar apoyo o ayuda a personas que tengan determinadas necesidades (asistenciales, sanitarias, sociales) no solo realizando tareas físicas, sino también facilitando apoyo psicológico a sus usuarios. Como ejemplo de este último uso, podemos traer a colación a ARI, el robot de compañía para personas mayores de Barcelona que permite recordarles la medicación o detectar situaciones de urgencia. Véase más información en: https://ajuntament.barcelona.cat/personesgrans/es/noticia/el-robot-social-misty-ii-se-incorpora-a-la-vida-de-una-veintena-de-personas-mayores_907595 (mayo de 2021).

35 Como observan PIETERSON, W., EBBERS, W. y MADSEN, C.Ø., “New channels, new possibilities: A typology and classification of social robots and their role in multi-channel public service delivery”, International Conference on Electronic Government, EGOV 2017, Springer, Cham, 2017, la incorporación de los robots sociales abre la puerta a una nueva generación de canales para la relación con las administraciones públicas. De hecho, la automatización robótica de procesos es una de las tendencias más recientes de la Administración digital BARCEVIČIUS, E., CIBAITĖ, G., CODAGNONE, C., GINEIKYTĖ, V., KLIMAVIČIŪTĖ, L., LIVA, G., MATULEVIČ, L., MISURACA, G. y VANINI, I., Exploring Digital Government transformation in the EU, Publications Office of the European Union, Luxembourg, 2019, p. 24.

Más allá de las oficinas administrativas, algunos estudios señalan que el 80 % de las empresas estaban estudiando incorporar chatbots en 2020 (citado por ALMANSOR, E.H. y HUSSAIN, F.K., Survey on Intelligent Chatbots: State-of-the-Art and Future Research Directions, Springer International Publishing, Cham, 2020, p. 534). Asimismo, Gartner pronosticaba en 2017 que una persona tendría más conversaciones con un chatbot que con su pareja. Acceso web: https://www.gartner.com/smarterwithgartner/gartner-predicts-a-virtual-world-of-exponential-change/ (mayo de 2021).

Véase un análisis exhaustivo de distintos robots conversacionales utilizados por administraciones públicas a nivel comparado en MAKASI, T., NILI, A., DESOUZA, K.C. y TATE, M., “A Typology of Chatbots in Public Service Delivery”, cit.

36 PASTOR BERMÚDEZ, A., “Innovando con servicios digitales en la administración pública”, Ramió Matas, C. (ed.), Administración digital e innovación pública. Repensando la Administración Pública, Instituto Nacional de Administración Pública, Madrid, 2021. Según este autor, “Esta combinación de productividad, precisión y bajo coste es una tormenta perfecta que se dirige hacia el mercado de trabajo y afectará necesariamente al sector público”.

37 ERNST & YOUNG LLP, Inteligencia artificial en el sector público. Cómo se benefician 213 organizaciones públicas de la IA. Perspectivas europeas para 2020 y años siguientes, Microsoft, Madrid, 2020, pp. 44-45. Según el estudio, los usos más entendidos de la inteligencia artificial son mejorar la experiencia del usuario (39 %), detección de fraudes (35 %) o personalización del servicio (35 %).

En paralelo, cada vez son más las personas que afirman utilizar este canal de comunicación. Según Statista, un tercio de los españoles utiliza los asistentes virtuales de voz con frecuencia (un 4,2 % casi constantemente, el 9,4 % varias veces al día o el 6,1 % cada día). Acceso web: https://es.statista.com/estadisticas/1018541/uso-de-asistentes-virtuales-de-voz-en-espana/ (mayo de 2021).

38 Como puso de manifiesto la Red Derecho Administrativo e Inteligencia Artificial (DAIA) en sus conclusiones del I Seminario Internacional Derecho Administrativo e Inteligencia Artificial celebrado en Toledo, 1 de abril de 2019, “hay serios problemas para identificar y controlar las que están en marcha o van a ser implantadas en un futuro inmediato”. Por ello, se propuso que “[c]ualquier intento de abordar el análisis de los retos jurídicos que plantea la IA en el sector público debería partir de la elaboración de un catálogo exhaustivo de las experiencias e iniciativas”.

39 El uso de robots conversacionales no solo puede estar orientado a la ciudadanía, sino también a los empleados públicos. Esta es la finalidad, por ejemplo, del chatbot PAIGE (Procurement Answers and Information Guided Experience) de la ciudad de San Francisco que facilita información a los empleados públicos sobre los procedimientos de contratación pública o del chatbot Mrs. Landingham utilizado para orientar a nuevos empleados públicos en su incorporación a la Administración federal (Acceso web: https://18f.gsa.gov/2015/12/15/how-bot-named-dolores-landingham-transformed-18fs-onboarding/).

40 BARCEVIČIUS, E., CIBAITĖ, G., CODAGNONE, C., GINEIKYTĖ, V., KLIMAVIČIŪTĖ, L., LIVA, G., MATULEVIČ, L., MISURACA, G. y VANINI, I., Exploring Digital Government transformation in the EU, cit., p. 24.

41 Acceso web: https://ajuntament.barcelona.cat/imi/es/proyectos/automatizacion-de-procesos-traves-de-la-robotica-rpa (mayo de 2021).

42 Acceso web: https://www.cordoba.es/ (mayo de 2021).

43 Acceso web: https://www.agenciatributaria.es/AEAT.internet/Inicio/RSS/Todas_las_Novedades/Le_interesa_conocer/Ampliacion_de_contenido_en_el_Asistente_Virtual_IVA.shtml (mayo de 2021).

44 Acceso web: https://www.madrid.es/portales/munimadrid/es/Inicio/Actualidad/Noticias/El-Ayuntamiento-de-Madrid-pone-en-marcha-un-asistente-virtual-para-atender-dudas-tributarias/?vgnextfmt=default&vgnextoid=852c423b6c0a1710VgnVCM2000001f4a900aRCRD&vgnextchannel=a12149 (mayo de 2021).

45 OBSERVATORY OF PUBLIC SECTOR INNOVATION (OPSI) y UNITED ARAB EMIRATES (UAE) MOHAMMED BIN RASHID CENTRE FOR GOVERNMENT INNOVATION (MBRCGI), Seamless Government, Embracing Innovation in Government. Global Trends, 2020, p. 16. En particular, algunas administraciones públicas ya están utilizando experimentalmente asistentes virtuales para la prestación de servicios sociales. Véase al respecto WRIGHT, quien relata la experiencia de algunos municipios británicos que utilizan asistentes virtuales como Alexa de Amazon o Siri de Apple como alternativa o sustituto de los servicios y dispositivos de teleasistencia (WRIGHT, J., “The Alexafication of Adult Social Care: Virtual Assistants and the Changing Role of Local Government in England”, International Journal of Environmental Research and Public Health, n. 18, 2021, p. 812).

En Estados Unidos de América, algunas administraciones públicas utilizan Alexa para ayudar a la ciudadanía con cuestiones relacionadas con el censo (Las Vegas), facilitar información a los visitantes (Misisipi). Véase al respecto 7 State or Local Governments Using Amazon Alexa. Government technology (26 de septiembre de 2017). Acceso web: https://www.govtech.com/civic/7-state-or-local-governments-using-amazon-alexa.html (mayo de 2021).

46 Acceso web: https://www.madrid.es/portales/munimadrid/es/Inicio/Actualidad/Noticias/El-Ayuntamiento-presenta-el-Prototipo-Cibeles-un-proyecto-de-inteligencia-artificial-para-facilitar-el-acceso-a-la-informacion-urbanistica/?vgnextfmt=default&vgnextoid=d672d703f2d4771 (mayo de 2021).

47 Al respecto, podemos traer a colación el Informe de 30 de enero de 2019 (A8-0019/2019) del Comité de Industria, Investigación y Energía del Parlamento Europeo sobre la política industrial europea en materia de inteligencia artificial y robótica, donde se subrayó que “son muchos los beneficios que se pueden obtener de la inteligencia artificial y la robótica en el sector público”, reconociendo, en particular, “el uso de la automatización robótica de procesos y el impacto que puede tener en la mejora de los procesos en el sector público”.

48 Así, el robot conversacional Carina incorporado en distintos ayuntamientos alicantinos (por ejemplo, Alicante o Novelda) o Maia del Servicio Vasco de Salud.

BONALES DAIMIEL y MARTÍNEZ advierten que, generalmente, estos robots conversacionales incorporan un bajo nivel de inteligencia artificial, dándose la circunstancia de que con frecuencia no llegan a entender las preguntas formuladas, lo que conlleva que las respuestas sean limitadas (BONALES DAIMIEL, G. y MARTÍNEZ, E., “Using Virtual Assistants and Chatbots for Crisis Communication”, aDResearch: Revista Internacional de Investigación en Comunicación, n. 25, 2021, p. 79).

49 Acceso web: https://administracionelectronica.gob.es/pae_Home/dam/jcr:ae43f87a-9cdb-4ed9-9d78-d665a5d8491a/20210127_Plan_Digitalizacion_AP_2021-2025.pdf (mayo de 2021).

50 Acceso web: https://www.lamoncloa.gob.es/presidente/actividades/Documents/2020/230720-EspañaDigital_2025.pdf (mayo de 2021).

51 Medida 5.

52 Medida 17.

53 Acceso web: https://www.lamoncloa.gob.es/presidente/actividades/Documents/2020/ENIA2B.pdf (mayo de 2021).

54 Por todos, CERRILLO I MARTÍNEZ, A., “El impacto de la inteligencia artificial en el Derecho administrativo ¿Nuevos conceptos para nuevas realidades técnicas?”, Revista General de Derecho Administrativo, n. 50, 2019; GAMERO CASADO, E., “Compliance (o Cumplimiento Normativo) de desarrollos de Inteligencia Artificial para la toma de decisiones administrativas”, Diario La Ley, n. 50, 2021.

55 Véase, al respecto, el artículo 3 de la Ley 40/2015 y artículo 2 del Real decreto 203/2021.

56 Artículos 13 y 14 de la Ley 39/2015, de 1 de octubre, del procedimiento administrativo común de las administraciones públicas.

57 No entramos en este punto a analizar el proceso de diseño de la automatización robótica. Respecto al proceso de automatización, véase, ARTIFICIAL SOLUTIONS, Chatbots: La Guía Definitiva, 2020.

58 FØLSTAD, A., NORDHEIM, C.B. y BJØRKLI, C.A., “What makes users trust a chatbot for customer service? An exploratory interview study”, cit.

59 En esta dirección, la Agencia Estatal de Administración Tributaria ofrece la posibilidad de generar un documento en formato PDF que contenga una copia exacta de la información ofrecida por el asistente virtual. Sin embargo, dicha información únicamente tiene el carácter de mera información de los criterios administrativos existentes para la aplicación de la normativa tributaria y no de una consulta tributaria de acuerdo con lo que dispone el artículo 87 de la Ley 58/2003, de 17 de diciembre, general tributaria, en contraposición a lo previsto en los artículos 88 y 89 de dicha ley. Acceso web: https://www2.agenciatributaria.gob.es/wlpl/AVAC-CALC/AsistenteIVA (mayo de 2021).

60 Así, por ejemplo, el Gobierno de Finlandia ha creado una red de distintos robots software (Migri, utilizado en el servicio de inmigración; Vero, usado en el área de impuestos; y Patentti-ja Rekisterihallitus, utilizado en el registro de empresas). Gracias a esta iniciativa, los tres robots software pueden intercambiar datos o transferir usuarios en función del tema planteado. Véase al respecto MAKASI, T., NILI, A., DESOUZA, K.C. y TATE, M., “A Typology of Chatbots in Public Service Delivery”, cit.

61 VAN NOORDT, C. y MISURACA, G., “New wine in old bottles: Chatbots in government”, cit., p. 56.

62 Según lo que dispone la Directiva (UE) 2016/2102 del Parlamento Europeo y del Consejo, de 26 de octubre de 2016, sobre la accesibilidad de los sitios web y aplicaciones para dispositivos móviles de los organismos del sector público y el Real decreto 1112/2018, de 7 de septiembre, sobre accesibilidad de los sitios web y aplicaciones para dispositivos móviles del sector público, las administraciones públicas deben ofrecer un mecanismo de comunicación que permita presentar sugerencias y quejas, así como informar sobre cualquier posible incumplimiento de los requisitos de accesibilidad o que las administraciones públicas difundan una declaración de accesibilidad detallada, exhaustiva y clara sobre la conformidad con lo dispuesto en la normativa vigente de sus sitios web y aplicaciones para dispositivos móviles.

63 Como ponen de manifiesto VAN NOORDT y MISURACA, “los chatbots facilitarán a la gente superar el exceso de información: en vez de tener que encontrar la información por sí mismos, el chatbot les ayudarán a encontrar la información que necesitan” (VAN NOORDT, C. y MISURACA, G., “New wine in old bottles: Chatbots in government”, cit., p. 56).

64 Por todos, PASQUALE, F., The Black Box Society: The Secret Algorithms That Control Money and Information, Harvard University Press, Cambridge (MA), 2015.

65 CERRILLO I MARTÍNEZ, A., “Com obrir les caixes negres de les Administracions públiques? Transparència i rendició de comptes en l’ús dels algoritmes”, Revista Catalana de Dret Públic, n. 56, 2019; CERRILLO I MARTÍNEZ, A., “La transparencia de los algoritmos que utilizan las administraciones públicas”, Anuario de Transparencia Local 2020, Fundación Democracia y Gobierno Local, Madrid, 2021.

66 GAVILÁN, I.G.R., Robots en la sombra: RPA, robots conversacionales y otras formas de automatización cognitiva, cit.

67 Asimismo, debe tenerse presente, en aquellos casos en los que el robot pueda tratar datos personales, que los artículos 13 y 14 RGPD prevén que el responsable del tratamiento debe facilitar al interesado información sobre la existencia de decisiones automatizas que incluya información significativa sobre la lógica aplicada, así como la importancia y las consecuencias previstas de dicho tratamiento para el interesado. Además, el artículo 15 RGPD reconoce el derecho de acceso para poder conocer información significativa sobre la lógica aplicada en la toma de decisiones automatizada, así como la importancia y las consecuencias previstas de dicho tratamiento para el interesado.

68 Véanse, al respecto, las consideraciones realizadas en CERRILLO I MARTÍNEZ, A., “La transparencia de los algoritmos que utilizan las administraciones públicas”, cit.

69 Artículo 11.1.i) del Real decreto 203/2021.

70 Artículo 35 de la Ley 39/2015, de 1 de octubre. De todos modos, debe tenerse en cuenta, como observa GAMERO, que “no hace falta… El problema reside entonces en determinar cómo deben motivarse estos actos, no en discutir si deben motivarse o no” (GAMERO CASADO, E., “Compliance (o Cumplimiento Normativo) de desarrollos de Inteligencia Artificial para la toma de decisiones administrativas”, cit.).

71 Apartado XVI. Cabe poner de manifiesto que, en el momento de redactar estas páginas, la Carta de Derechos Digitales promovida por la Secretaría de Estado de Digitalización e Inteligencia Artificial del Ministerio de Asuntos Económicos y Transformación Digital se encuentra en fase de aprobación.

72 GAVILÁN, I.G.R., Robots en la sombra: RPA, robots conversacionales y otras formas de automatización cognitiva, cit.

73 De todos modos, algunos estudios han mostrado que las personas no están particularmente preocupadas por si están interactuando con otra persona o con un robot, si bien por lo general se considera mayoritariamente que el elemento humano es importante: OBSERVATORY OF PUBLIC SECTOR INNOVATION (OPSI) y UNITED ARAB EMIRATES (UAE) MOHAMMED BIN RASHID CENTRE FOR GOVERNMENT INNOVATION (MBRCGI), Seamless Government, cit. Sin embargo, también es relevante observar que otros estudios concluyen que el conocimiento de estar interactuando con un robot tiene una influencia significativa en sus usuarios, incidiendo en su confianza la actitud respecto a la empresa o negocio (DE CICCO, R., DA COSTA E SILVA, S.C.L. y PALUMBO, R., Should a Chatbot Disclose Itself? Implications for an Online Conversational Retailer, cit.). Respecto a las causas que generan confianza en los robots conversacionales, véase FØLSTAD, A., NORDHEIM, C.B. y BJØRKLI, C.A., “What makes users trust a chatbot for customer service? An exploratory interview study”, cit.

74 INDEPENDENT HIGH-LEVEL EXPERT GROUP ON ARTIFICIAL INTELLIGENCE, Ethics Guidelines for Trustworthy Artificial Intelligence, European Commission, Brussels, 2019, p. 18. En la misma dirección, posteriormente, se manifestó la COMISIÓN EUROPEA, Libro blanco sobre la inteligencia artificial - un enfoque europeo orientado a la excelencia y la confianza COM(2020) 65 final. 2020.

75 Artículo 311-3-1 del Código de relaciones entre la ciudadanía y la Administración.

76 MAKASI, T., NILI, A., DESOUZA, K.C. y TATE, M., “Chatbot-mediated public service delivery: a public service value-based framework”, cit. De hecho, generalmente ya es así. De todos modos, no podemos desconocer que ALMANSOR, E.H. y HUSSAIN, F.K. Survey on Intelligent Chatbots: State-of-the-Art and Future Research Directions, cit., p. 534, destacan que los chatbots se diseñan con el objetivo de convencer a las personas de que están hablando con humanos en vez de con máquinas.

77 Artículo 4 del Real decreto 203/2021.

78 En cualquier caso, debe tenerse en cuenta la remisión que contiene dicho artículo a “[c]ualquier otro canal que pueda establecerse de acuerdo con lo previsto en el artículo 12 de la Ley 39/2015, de 1 de octubre”.

79 Hemos tenido oportunidad de tratar en detalle estas cuestiones en CERRILLO I MARTÍNEZ, A., “La inteligencia artificial y el control de sus posibles sesgos”, Villoria Mendieta, M. (ed.), Ética pública en el siglo XXI, Instituto Nacional de Administración Pública, Madrid, 2021 (en prensa).

80 Esta situación no es exclusiva de los avatares de las administraciones públicas, sino que se da también en grandes corporaciones tecnológicas (algunos ejemplos son Alexa, Cortana, Aura o Siri), lo que dio lugar a una campaña para desfeminizar los asistentes virtuales (#VocesEnIgualdad) que se inició en noviembre de 2018 para hacer frente a esta situación.

81 Desde un punto de vista general, lo advierten ADAMOPOULOU y MOUSSIADES, quienes observan que “la mayoría de los chatbots se utilizan normalmente como asistentes personales o secretarias para ejecutar actividades que imitan estereotipos femeninos” (ADAMOPOULOU, E. y MOUSSIADES, L., “Chatbots: History, technology, and applications”, cit., p. 1). Igualmente, BONALES DAIMIEL, G. y MARTÍNEZ, E., “Using Virtual Assistants and Chatbots for Crisis Communication”, cit., p. 76.

82 MAKASI, T., NILI, A., DESOUZA, K.C. y TATE, M., “Chatbot-mediated public service delivery: a public service value-based framework”, cit., recuerdan que un chatbot fue interrumpido por sus dificultades para ser utilizados por personas con discapacidad. Acceso web: https://www.abc.net.au/news/2017-09-21/government-stalls-ndis-virtual-assistant-voiced-by-cate-blanchet/8968074 (mayo de 2021).

83 WHITTAKER, M., ALPER, M., BENNETT, C.L., HENDREN, S., KAZIUNAS, L., MILLS, M., MORRIS, M.R., RANKIN, J., ROGERS, E. & SALAS, M., Disability, Bias, and AI, AI Now Institute, New York, 2019.

84 Según datos del informe elaborado en febrero de 2018 por BUOLAMWINI, investigadora del MIT Media Lab. El mismo informe observó que el error en el reconocimiento de los rostros era menor al 1 % en el caso de hombres con piel clara; un 7 % en el de mujeres blancas; un 12 % en el de hombres de piel oscura y hasta un 35 % en el de mujeres de piel oscura (BUOLAMWINI, J. y GEBRU, T., “Gender shades: Intersectional accuracy disparities in commercial gender classification”, Proceedings of Machine Learning Research, n. 81 (Conference on fairness, accountability and transparency), 2018, pp. 77-91).

85 La Carta de Derechos Digitales a la que hemos hecho referencia anteriormente reconoce que “se deberá garantizar el derecho a la no discriminación algorítmica, cualquiera que fuera su origen, causa o naturaleza del sesgo, en relación con las decisiones y procesos basados en algoritmos”.

86 Artículo 41.1 de la LRJSP. Véase, asimismo, el artículo 13 del Real decreto 203/2021.

87 La LRJSP no define en la actualidad qué debe entenderse por medio electrónico, como sí hacía la Ley 11/2007, de 22 de junio, de acceso electrónico de los ciudadanos a los servicios públicos, que definía el medio electrónico de una manera muy amplia.

88 Como es conocido, la Ley 30/1992, de 26 de noviembre, de régimen jurídico de las administraciones públicas y del procedimiento administrativo común, preveía que las administraciones públicas debían aprobar previamente los programas y aplicaciones electrónicos, informáticos y telemáticos y difundir sus características. No obstante, esta previsión desapareció en la Ley 11/2007, de 22 de junio, de acceso de los ciudadanos a los servicios públicos, y no se ha incorporado en la LRJSP. Esta involución ha sido criticada por diversos autores. Así, para BOIX “el retroceso producido en 2007 en este punto, y consolidado definitivamente en 2015, es manifiesto” (BOIX PALOP, A., “La necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la administración para la adopción de decisiones”, Revista de Derecho Público: Teoría y Método, n. 1, 2020, pp. 223-270). Asimismo, VALERO TORRIJOS, J., “Las garantías jurídicas de la inteligencia artificial en la actividad administrativa desde la perspectiva de la buena administración”, Revista Catalana de Dret Públic, n. 58, 2019.

89 A favor del carácter reglamentario de los algoritmos se ha manifestado BOIX PALOP, A., “La necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la administración para la adopción de decisiones”, cit. En contra de esta postura, HUERGO LORA, A., “Una aproximación a los algoritmos desde el derecho administrativo”, Huergo Lora, A. (ed.), La regulación de los algoritmos, Aranzadi-Thomson-Reuters, Cizur Menor, 2020, pp. 64 y ss.

90 CERRILLO I MARTÍNEZ, A., “¿Son fiables las decisiones de las administraciones públicas adoptadas por algoritmos?”, European review of digital administration & law, n. 1, 2020.

91 Valero pone de manifiesto que “la regulación de 2015 se sigue centrando en la actividad administrativa formalizada y, en particular, en el acto y el procedimiento administrativos como paradigmas de las garantías subyacentes”, lo que, advierte, es “un enfoque manifiestamente insuficiente desde la perspectiva de la transformación digital que se demanda del sector público” (VALERO TORRIJOS, J., “Las garantías jurídicas de la inteligencia artificial en la actividad administrativa desde la perspectiva de la buena administración”, cit.).

92 En esta dirección, el artículo 44 de la Ley 26/2010, de 3 de agosto, de régimen jurídico y de procedimiento de las administraciones públicas de Cataluña, dispone que las actuaciones automatizadas pueden utilizarse “para constatar la concurrencia de los requisitos que establece el ordenamiento jurídico, declarar las consecuencias previstas, adoptar las resoluciones y comunicar o certificar los datos, actos, resoluciones o acuerdos que consten en sus sistemas de información”, siempre y cuando los actos “puedan adoptarse con una programación basada en criterios y parámetros objetivos”.

93 Artículo 53.1.a) modificado por el Real decreto-ley 2/2021, de 26 de enero, de refuerzo y consolidación de medidas sociales en defensa del empleo. Véase, en general, sobre la selección automatizada de sujetos a investigar, TODOLÍ SIGNES, A., “Retos legales del uso del big data en la selección de sujetos a investigar por la Inspección de Trabajo y de la Seguridad Social”, Revista Galega de Administración Pública, n. 59, 2020, pp. 313-337.

94 Por ejemplo, tal y como dispone el artículo 87 de la Ley 58/2003, de 17 de diciembre, general tributaria.

95 Véase al respecto ROIG BATALLA, A., Las garantías frente a las decisiones automatizadas. Del Reglamento General de Protección de Datos a la gobernanza algorítmica, JM Bosch, Barcelona, 2020.

96 Más allá de lo previsto en la legislación vigente, no podemos desconocer que tradicionalmente algunos autores habían negado la posibilidad de que un acto administrativo pudiese dictarse sin la intervención de una persona, puesto que estas “manifestaciones de voluntad y las máquinas, al no tenerla, carecen de posibilidad de producir actos jurídicos” (PARADA VÁZQUEZ, R., Régimen Jurídico de las Administraciones Públicas y Procedimiento Administrativo Común (Estudio, comentarios y texto de la Ley 30/1992, de 26 de noviembre), Marcial Pons, Madrid, 1999, p. 174).

97 La fiabilidad ha sido reconocida como principio ético que debe guiar el desarrollo de la inteligencia artificial. Así, según las Directrices éticas para una IA fiable, la fiabilidad del algoritmo consiste en la licitud del uso de la inteligencia artificial; en su eticidad y en su robustez (Grupo de expertos de alto nivel sobre inteligencia artificial, 2019). Posteriormente se ha referido a este principio COMISIÓN EUROPEA, Libro blanco sobre la inteligencia artificial - un enfoque europeo orientado a la excelencia y la confianza COM(2020) 65 final, 2020.

98 Véase al respecto GAMERO, quien destaca que “la supervisión del sistema y su auditoría son, por tanto, el primer y muy relevante mecanismo de control que debe existir sobre la inteligencia artificial en el sector público” (GAMERO CASADO, E., “Compliance (o Cumplimiento Normativo) de desarrollos de Inteligencia Artificial para la toma de decisiones administrativas”, cit.).

99 Artículo 13 del Real decreto 203/2021.

100 El artículo 13 del Real decreto 203/2021 ha previsto que, en el ámbito estatal, la resolución por la que se autorice el uso de un robot software en la actuación administrativa automatizada deberá indicar los recursos que procedan contra la actuación, el órgano administrativo o judicial, en su caso, ante el que hubieran de presentarse y plazo para interponerlos.

101 Al respecto, el artículo 13 del Real decreto 203/2021 dispone que, en el ámbito local, en caso de actuación administrativa automatizada, se estará a lo establecido en la disposición adicional octava del Real decreto 128/2018, de 16 de marzo, por el que se regula el régimen jurídico de los funcionarios de Administración local con habilitación de carácter nacional. En particular, dicha disposición prevé que, en el ejercicio electrónico de las funciones reservadas a los funcionarios con habilitación de carácter general, los puestos reservados a ellos tendrán la consideración de órgano.

102 Artículo 42 de la Ley 40/2015. No entramos en este punto a analizar si los robots software deberían tener reconocida personalidad jurídica tal y como, con carácter general, ha sugerido el Parlamento Europeo, en su resolución de 20 de octubre de 2020, con recomendaciones destinadas a la Comisión sobre un marco de los aspectos éticos de la inteligencia artificial, la robótica y las tecnologías conexas. Respecto al estado actual de este debate, puede consultarse, entre otros, MESSÍA DE LA CERDA BALLESTEROS, J.A., “Robots inteligentes y personalidad”, Revista Aranzadi de Derecho y Nuevas Tecnologías, n. 53, 2020.

103 BULLOCK, J.B., “Artificial intelligence, discretion, and bureaucracy”, The American Review of Public Administration, n. 49, 2019, p. 756.

104 NOTO LA DIEGA, G., “Against the Dehumanisation of Decision-Making – Algorithmic Decisions at the Crossroads of Intellectual Property, Data Protection, and Freedom of Information”, Journal of Intellectual Property, Information Technology and E-Commerce Law, n. 9, 2018, p. 6; YEUNG, K., “Why worry about decision-making by machine?”, Yeung, K. y Lodge, J. (eds.), Algorithmic Regulation, Oxford University Press, Oxford, 2019, p. 24.

105 CERRILLO I MARTÍNEZ, A., “¿Son fiables las decisiones de las administraciones públicas adoptadas por algoritmos?”, cit. En la misma dirección, aunque con carácter general respecto al ámbito de aplicación de la actuación administrativa automatizada, MARTÍN DELGADO, I., “Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada”, Revista de Administración Pública, n. 180, 2009, pp. 353-386.

106 CERRILLO I MARTÍNEZ, A., “¿Son fiables las decisiones de las administraciones públicas adoptadas por algoritmos?”, cit.

107 PONCE SOLÉ, J., “Inteligencia artificial, Derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido tecnológico”, Revista General de Derecho Administrativo, n. 50, 2019.

108 ISCHEN, C., ARAUJO, T., VOORVELD, H., VAN NOORT, G. y SMIT, E., “Privacy concerns in chatbot interactions”, International Workshop on Chatbot Research and Design, Springer, Cham, 2019, pp. 34-48, han constatado que los robots conversacionales que tienen una mayor apariencia humana llevan a una mayor relevación de información personal y a una menor preocupación por cuestiones relacionadas con la privacidad por parte de las personas que los que tienen una apariencia de máquina.

109 En esta dirección lo advierten BELEN SAĞLAM, R. y NURSE, J.R.C., “Is your chatbot GDPR compliant? Open issues in agent design”, cit.

110 No podemos desconocer las cuestiones de seguridad relacionadas con los robots y asistentes virtuales. Al respecto, son ilustrativos los siguientes titulares: “Amazon’s Alexa recorded private conversation and sent it to random contact” (Alexa de Amazon grabó conversaciones privadas y las envió a un contacto al azar), The Guardian, 24 de mayo, 2018. Acceso web: https://www.theguardian.com/technology/2018/may/24/amazon-alexa-recorded-conversation (mayo de 2021), o “Amazon employees listen in to thousands of customer Alexa recordings” (Trabajadores de Amazon escuchan miles de grabaciones de clientes de Alexa), The Telegraph, 11 de abril, 2019. Acceso web: https://www.telegraph.co.uk/technology/2019/04/11/amazon-employees-listen-thousands-customer-alexa-recordings/ (mayo de 2021). En relación con estas cuestiones, véase BOLTON, T., DARGAHI, T., BELGUITH, S., AL-RAKHAMI, M.S. y SODHRO, A.H., “On the security and privacy challenges of virtual assistants”, Sensors, n. 21, 2021, p. 2312.; CHUNG, H., IORGA, M., VOAS, J. y LEE, S., “Alexa, Can I Trust You?”, Computer, n. 50, 2017, pp. 100-104.

111 Artículos 13 y 14 RGPD.

112 De todos modos, ya existen robots conversacionales que informan sobre la política de protección de datos con carácter previo al inicio de la conversación. Véase como ejemplo el robot conversacional del Ayuntamiento de Córdoba, que además de informar sobre la política de privacidad también solicita el consentimiento a la persona usuaria sobre la grabación de las conversaciones a los efectos de poder mejorar el algoritmo. Acceso web: https://www.cordoba.es/ (mayo de 2021). De todos modos, llama la atención que la política de privacidad es la de la empresa proveedora. Acceso web: https://1millionbot.com/politica-de-privacidad/ (mayo de 2021).

113 Artículo 15 del RGPD. Asimismo, podrán ejercer el derecho de rectificación cuando los datos personales utilizados en la elaboración del perfil sean inexactos (artículo 16 RGPD). También podrán ejercer el derecho de supresión de los datos personales (artículo 17 RGPD).

114 Artículo 28.1 de la LOPDGDD. Véase al respecto la lista de los tipos de operaciones de tratamiento elaborada por la Agencia Española de Protección de Datos, de acuerdo con lo dispuesto en el artículo 35.4 RGPD. Acceso web: https://www.aepd.es/media/criterios/listas-dpia-es-35-4.pdf (mayo de 2021).

115 Artículo 22.1 del RGPD.

116 Como ha reconocido el Grupo de trabajo del artículo 29 (2018), el hecho de que el artículo 22 del RGPD se refiera a un derecho no quiere decir que “se aplique solo cuando se invoque de forma activa por parte del interesado”.

117 GRUPO DE TRABAJO DEL ARTÍCULO 29, Directrices sobre decisiones individuales automatizadas y elaboración de perfiles a los efectos del Reglamento 2016/679, 2018, p. 23; VEALE, M. y EDWARDS, L., “Clarity, surprises, and further questions in the Article 29 Working Party draft guidance on automated decision-making and profiling”, Computer Law & Security Review, n. 34, 2018.

118 GRUPO DE TRABAJO DEL ARTÍCULO 29, Directrices sobre decisiones individuales automatizadas y elaboración de perfiles a los efectos del Reglamento 2016/679, cit., p. 24.

119 Artículo 22.2 del RGPD.

120 Artículo 8.1 de la LOPDGDD. En el caso de las decisiones automatizadas adoptadas por las administraciones públicas, encuentra su acomodo en el artículo 41 LRJSP. En esta dirección, BOIX PALOP, A., “La necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la administración para la adopción de decisiones”, cit.

121 Como ha puesto de manifiesto el Grupo de Trabajo del Artículo 29 (2018), “siempre hay un claro desequilibrio de poder en la relación entre el responsable del tratamiento y el interesado”. Véase al respecto CERRILLO I MARTÍNEZ, A., “Las características del consentimiento del interesado y su incidencia en el tratamiento de datos en las administraciones públicas”, El Consultor de los Ayuntamientos, n. III, 2019.

122 Artículo 22.3 del RGPD.

123 El artículo 9 del Convenio 108+ del Consejo de Europa es ilustrativo sobre el alcance que deben tener estas medidas de garantía. En cualquier caso, es necesario adoptar las medidas suficientes. Al respecto, resulta de interés traer a colación la Sentencia del Tribunal de Distrito de La Haya de 5 de febrero de 2020, en la que ha anulado la elaboración automatizada de perfiles para luchar contra el fraude en la Seguridad Social (SyRI), que entre otros motivos considera que las garantías adoptadas no eran suficientes (6.81 y 6.92).

124 En esta dirección, debe tenerse en cuenta lo previsto en los artículos 41.2 de la LRJSP y 13.2 del Real decreto 203/2021.

125 Incluso ya existe alguna experiencia de robots utilizados en el proceso de selección de empleados públicos. Véase al respecto la experiencia del robot Tengai, impulsada por el Municipio sueco de Upplands-Bro (VAN NOORDT, C. y MISURACA, G., “New wine in old bottles: Chatbots in government”, cit., p. 24).

126 FREY, C.B. y OSBORNE, M.A., “The future of employment: how susceptible are jobs to computerisation?”, Technological forecasting and social change, n. 114, 2017, p. 38.

127 RAMIÓ MATAS, C., “El impacto de la inteligencia artificial y de la robótica en el empleo público”, GIGAPP Estudios Working Papers, n. 98, 2018, pp. 403-404.

128 ANDERSEN, K.N., LEE, J. y HENRIKSEN, H.Z., “Digital Sclerosis? Wind of Change for Government and the Employees”, cit., p. 7.

129 SYED, R., SURIADI, S., ADAMS, M., BANDARA, W., LEEMANS, S. J.J., OUYANG, C., TER HOFSTEDE, A.H.M., VAN DE WEERD, I., WYNN, M.T. y REIJERS, H.A., “Robotic Process Automation: Contemporary themes and challenges”, cit., p. 3.

130 De hecho, se pone de manifiesto que una de las diferencias más importantes en la interacción entre humanos y en la interacción entre humanos y chatbots es la menor capacidad de empatía de estos últimos (ADAMOPOULOU, E. y MOUSSIADES, L., “Chatbots: History, technology, and applications”, cit., p. 1). De todos modos, no podemos desconocer los avances experimentados en esta dirección, como se recoge en: https://www.bbvaopenmind.com/humanidades/sociologia/en-busca-de-la-nueva-empatia-humano-maquina/ (agosto de 2020).

131 RAMIÓ MATAS, C., “El impacto de la inteligencia artificial y de la robótica en el empleo público”, cit., pp. 406-409; WORLD ECONOMIC FORUM, The Future of Jobs Report 2020, World Economic Forum, Cologny/Geneva, 2020.

132 GORRITI BONTIGUI, M., “Evolución de los puestos y nuevos perfiles profesionales en la Administración pública del siglo XXI”, Ramió Matas, C. (ed.), Administración digital e innovación pública. Repensando la Administración Pública, Instituto Nacional de Administración Pública, Madrid, 2021, recoge distintos criterios para objetivar la automatización de tareas en la Administración pública.

133 Así, por ejemplo, el artículo 9.2 del Real decreto legislativo 5/2015, de 30 de octubre, por el que se aprueba el texto refundido de la Ley del Estatuto básico del empleado público, reserva en exclusiva a los funcionarios públicos el ejercicio de las funciones que impliquen la participación directa o indirecta en el ejercicio de las potestades públicas o en la salvaguardia de los intereses generales del Estado y de las administraciones públicas.

134 Un rápido repaso de los procedimientos para la adquisición de los robots software por las administraciones públicas españolas permite observar que en algunos casos se adquieren mediante un contrato de servicios y en otros como un contrato de suministros. En otras ocasiones se ha canalizado como un convenio, tal y como explica la noticia publicada en el portal del Ayuntamiento de Santa Pola. Acceso web: https://www.santapola.es/2020/03/27/el-ayuntamiento-de-santa-pola-habilita-un-asistente-virtual-en-su-web-para-informar-las-24-horas-del-covid-19/ (mayo de 2021). En otros supuestos se ha adjudicado un acuerdo marco para homologar a diversos proveedores para la prestación de servicios de chatbots y asistentes virtuales (por ejemplo, el Consorci de Serveis Universitari de Catalunya).

135 En relación con la incorporación de la innovación en el diseño de los robots software desde el mercado, debemos remitirnos a los instrumentos que dispone la Ley 9/2017, de 8 de noviembre, de contratos del sector público, como la asociación para la innovación (artículo 177 Ley 9/2017, de 8 de noviembre, de contratos del sector público) o las consultas preliminares al mercado (artículo 115 LCSP).

136 El desarrollo de los robots software se encuentra en manos de unas pocas empresas (WAJCMAN, J., “Automation: is it really different this time?”, The British journal of sociology, n. 68, 2017, p. 121). En el caso de los robots software, las principales empresas son UiPath, Automation Anywhere y Blue Prism. En el caso de los chatbots, DialogFlow (Google), Azure Bot (Microsoft), Lex (Amazon) IBM Watson Assistant. En el caso de los robots conversacionales, Amazon, Apple o Microsoft están liderando el mercado de los asistentes virtuales. Véase al respecto ALBERTH, M. y MATTERN, M., “Understanding robotic process automation (RPA)”, cit.; SYED, R., SURIADI, S., ADAMS, M., BANDARA, W., LEEMANS, S.J.J., OUYANG, C., TER HOFSTEDE, A.H.M., VAN DE WEERD, I., WYNN, M.T. y REIJERS, H.A., “Robotic Process Automation: Contemporary themes and challenges”, cit., p. 121.

Desde un punto de vista más general, véanse al respecto las reflexiones de RANCHORDÁS, S. y KLOP, A., “Data-Driven Regulation and Governance in Smart Cities”, Berlee, A., Mak, V. y Tjong Tjin Ta, E. (eds.), Research Handbook on Data Science and Law, Edward Elgar, Cheltenham, 2018; y VALCÁRCEL FERNÁNDEZ, P., “La innovación como objeto prestacional en los contratos del sector público. La Compra Pública de Innovación”, Contratación administrativa práctica: revista de la contratación administrativa y de los contratistas, n. 153, 2018, pp. 56-68. Esta autora advierte que será el sector público el que deberá definir el alcance de la innovación que espera que le provea el sector privado.

137 CANALS I AMETLLER, D., “El ejercicio de potestades administrativas por operadores privados en régimen de mercado”, Gamero Casado, E. (ed.), La potestad administrativa: concepto y alcance práctico de un criterio clave para la aplicación del Derecho administrativo, Tirant lo Blanch, Valencia, 2021, p. 374; MIRANZO DÍAZ, J., “Inteligencia artificial y contratación pública”, Martín Delgado, I. y Moreno Molina, J.A. (eds.), Administración electrónica, transparencia y contratación pública, Iustel, Madrid, 2020, p. 131.

138 En esta línea, podemos traer a colación la experiencia del Ayuntamiento de Barcelona que ha elaborado la Guía de Compra Pública de TIC (2017), que proporciona una visión global de la estrategia municipal en cuanto a la compra de tecnología y servicios tecnológicos. Asimismo, resultan de interés las directrices para la adquisición de inteligencia artificial desarrolladas por OFFICE FOR ARTIFICIAL INTELLIGENCE, Guidelines for AI Procurement, 2020.

139 En relación con esta cuestión, debe tenerse presente lo que dispone el artículo 308 de la LCSP.

140 Véase al respecto CERRILLO I MARTÍNEZ, A., “Com obrir les caixes negres de les Administracions públiques? Transparència i rendició de comptes en l’ús dels algoritmes”, cit. En esta misma dirección, RAMIÓ MATAS, C., “Inteligencia artificial y robotización reclaman un nuevo modelo de gestión del empleo público”, Consultor de los ayuntamientos y de los juzgados: Revista técnica especializada en administración local y justicia municipal, n. 5, 2019, pp. 30-46, ha señalado que “la Administración Pública debería tener un departamento de gobernanza de la robótica que, entre otras funciones, se encargara de la selección de los robots y de los dispositivos de inteligencia artificial. Los posibles candidatos deberían ser probados atendiendo al principio de capacidad y a la superación de determinados filtros con valores públicos (no intrusivos, respeto al principio de privacidad, amables, etc.)”.

141 Como ejemplo, podemos traer a colación la experiencia del chatbot del Consorci Administració Oberta de Catalunya. Acceso web: https://www.aoc.cat/2021/1000280696/nova-versio-aplicacio-nativa-signador-2 (mayo de 2021), o del servicio de chatbot del Consorci de Serveis Universitaris de Catalunya. Acceso web: https://www.csuc.cat/ca/compres-conjuntes/xatbot (mayo de 2021).

De todos modos, en ambos casos, el diseño piloto de esta experiencia no fue desarrollado por los propios consorcios, sino a través de empresas externas.

142 Artículos 157 y 158 de la LRJSP.

143 En esta dirección, MAKASI, T., NILI, A., DESOUZA, K.C. y TATE, M., “A Typology of Chatbots in Public Service Delivery”, cit.

144 Los robots no son la panacea. Según una encuesta sobre esta materia publicada por el portal Chatbots, el 53 % de los encuestados consideran que los robots conversacionales no son efectivos o son poco efectivos. Acceso web: https://www.chatbots.org/images/news/chatbot_survey_2018.pdf (mayo de 2021).

145 Según Gartner, en 2020 el 40 % de los chatbots lanzados en 2018 ya habrán sido abandonados. Acceso web: https://www.gartner.com/smarterwithgartner (mayo de 2021).

146 Nos referimos al conocido factor wow o efecto ‘guau’ (GAVILÁN, I.G.R., Robots en la sombra: RPA, robots conversacionales y otras formas de automatización cognitiva, cit.).

147 Al respecto, ADAMOPOULOU y MOUSSIADES observan que “cuando los clientes descubren durante una conversación que están hablando con un chabot, se molestan y compran menos productos” (ADAMOPOULOU, E. y MOUSSIADES, L., “Chatbots: History, technology, and applications”, cit.). Ello ha venido a ser conocido como la teoría del valle inquietante que experimenta una persona cuando no sabe si está interactuando con una persona o con un robot.

148 ANDROUTSOPOULOU, A., KARACAPILIDIS, N., LOUKIS, E. y CHARALABIDIS, Y., “Transforming the communication between citizens and government through AI-guided chatbots”, cit.