ENCUESTA SOBRE INTELIGENCIA ARTIFICIAL Y DERECHOS FUNDAMENTALES

Headnote

Abstract: In this academic survey a group of Constitutional Law Professors answer some questions on the effects of artifcial intelligence on fundamental rights: on rights related to democratic processes, and on other specifc fundamental rights, and even on the dogmatic of rights themselves; on the possible need to recog-nize new rights and to establish new forms of guarantee for fundamental rights; and on the European regu-lations on the subject.

Resumen: En esta encuesta un grupo de profesores de Derecho Constitucional contestan un conjunto de preguntas sobre los efectos de la inteligencia artifcial en materia los derechos fundamentales: en los derechos relacionados con los procesos democráticos, y en otros derechos fundamentales concretos, e incluso en la propia dogmática de los derechos; sobre la posible necesidad de reconocer nuevos derechos y de establecer nuevos formas de garantía para los derechos; y sobre la regulación europea en la materia.

Key Words: artifcial intelligence, fundamental rights, EU Artifcial Intelligence Act, Council of Europe Framework Convention on Artifcial Intelligence, Human Rights, Democracy and the Rule of Law

Palabras Clave: Inteligencia artifcial, derechos fundamentales, Reglamento europeo de inteligencia artifcial y el Convenio Marco del Consejo de Europa sobre inteligencia artifcial y derechos humanos, demo-cracia y Estado de derecho

Cómo citar / Citation: Aba, A. / Balaguer, F. / Cotino, L. / Hernández, M. / Presno, M. / Rebollo, L. / Tudela, F. (2025). Encuesta sobre inteligencia artifcial y derechos fundamentales, Teoría y Realidad Constitucional, 55, 11-86.

PRESENTACIÓN

Esta revista ha pretendido siempre atender a los temas más actuales, a los debates que se estaban produciendo en cada momento, a los nuevos desarrollos en el plano teórico, jurisprudencial o normativo. La encuesta que abre cada número ha sido, y sigue siendo, el lugar idóneo para ello. Por eso, este volumen se inicia con una encuesta dedicada a la inteligencia artifcial, una realidad que está trans-formando nuestro mundo radicalmente, marcando el inicio de lo que puede ser una nueva fase en el desarrollo de la humanidad, y que plantea retos desafantes en todos los campos, incluido, por supuesto, el campo del derecho.

Es posible afrmar que en el campo del derecho no hay un área o sector que no vaya a verse afectado por la inteligencia artifcial. En el propio área del derecho constitucional, podríamos refexionar sobre la incidencia de este tecnología en cualquiera de los temas que son propios de nuestra disciplina, desde los más generales (el poder, la soberanía, el orden político, la autodeterminación colec-tiva...) hasta otros mucho más concretos (su aplicación en el ejercicio de la fun-ción legislativa, ejecutiva o jurisdiccional...) y, desde luego, sobre su incidencia en los derechos fundamentales. Esta última opción ha sido la elegida para centrar las refexiones de reconocidos juristas expertos en materia de inteligencia artif-cial en este tema específco y poder así ofrecer un análisis más profundo que el que resultaría de una encuesta genérica sobre inteligencia artifcial.

La elección del tema tiene, además, una justifcación evidente y que no requiere de excesivas explicaciones. La inteligencia artifcial nos sitúa en un nuevo paradigma, totalmente alejado de aquel en el que se desarrolló el constitu-cionalismo, y de la imagen de la persona y de los derechos fundamentales que le son propios sobre la que aquel se construyó. Más allá de las consecuencias que el uso de la inteligencia artifcial está ya produciendo en ámbitos en los que están implicados derechos de la personalidad (intimidad, protección de datos...), dere-chos vinculados a los procesos democráticos (derecho a recibir información veraz, libertad de expresión...) y otros derechos fundamentales, y a las que debemos prestar toda nuestra atención, es posible plantearse ya otro tipo de cuestiones más ambiciosas: por ejemplo, si el uso de la citada tecnología no nos va a obligor también a repensar los conceptos y categorías con los que hemos construido la dogmática general de los derechos fundamentales; si va a ser necesario reconocer nuevos derechos fundamentales que respondan a las amenazas que hoy no pode-mos afrontar con las herramientas con las que contamos; si deberíamos diseñar nuevos instrumentos de garantía de los derechos fundamentales...

Ante los retos que plantea la inteligencia artifcial en materia de derechos fundamentales las respuestas están siendo muy diferentes en unos y otros lugares del mundo. La Unión Europea se ha mostrado frme en la defensa de un modelo regulatorio de esta tecnología, como hizo antes con la protección de datos perso-nales, que se corresponde con el ideario constitucional que la defne y que la dife-rencia de otras culturas constitucionales (y no constitucionales) que están reaccionando de forma diferente. En el Consejo de Europa también se está traba-jando en esta dirección. Así pues, esta encuesta no podía dejar de incluir una refexión sobre el modo en el que desde la comunidad jurídica europea de la que formamos parte está respondiendo ya a algunos de los desafíos actuales que la inteligencia artifcial representa para las personas y sus derechos fundamentales.

Como siempre, la revista ha podido contar con la colaboración imprescindi-ble de constitucionalistas que se han especializado en esta complejísima materia y que son muestra de la madurez y solvencia de nuestra disciplina ante realidades tan exigentes como la de la inteligencia artifcial. Sus explicaciones y refexiones nos ayudarán a todas y a todos a tener una idea más cabal y completa de las dif-cultades de esta materia, y de la senda por la que habrán de transitar nuestros esfuerzos. Por supuesto, a ellas y a ellos debemos expresarles aquí nuestro agrade-cimiento por su disponibilidad, su colaboración y su generosidad.

CUESTIONES

1. ¿Qué consideraciones generales puede hacernos sobre la incidencia de la inteligen-cia artifcial en los derechos fundamentales reconocidos en la Constitución? ¿Hay algún derecho en particular o grupo de derechos en los que, a su juicio, esa inciden-cia tenga especial impacto?

2. De forma más concreta ¿qué refexiones puede hacernos sobre las consecuencias de la inteligencia artifcial en los derechos fundamentales implicados en los procesos democráticos y, por tanto, en esos mismos procesos?

3. Desde el punto de vista de la dogmática de los derechos fundamentales ¿Cree que la inteligencia artifcial puede llegar a producir algún cambio en la forma en la que concebimos hoy los derechos fundamentales (su objeto, contenido, estructura..)?

4. ¿Considera preciso incorporar a la Constitución algún nuevo derecho fundamental para poder hacer frente a los riesgos que comporta la inteligencia artifcial?

5. En un contexto de creciente presencia de los sistemas de inteligencia artifcial ¿sería conveniente o necesario prever nuevos instrumentos de garantía de los derechos fun-damentales?

6. Desde la perspectiva de los derechos fundamentales ¿qué opinión le merecen el Reglamento europeo de inteligencia artifcial y el Convenio Marco del Consejo de Europa sobre inteligencia artifcial y derechos humanos, democracia y Estado de derecho?

ENCUESTADOS

Ana Aba Catoira, Profesora Titular de Derecho Constitucional, Universi-dade da Coruña

Francisco Balaguer Callejón, Catedrático de Derecho Constitucional, Universidad de Granada

Lorenzo Cotino Hueso, Catedrático de Derecho Constitucional, Univer-sidad de Valencia

Mario Hernández Ramos, Profesor Titular de Derecho Constitucional, Universidad Complutense de Madrid

Miguel Presno Linera, Catedrático de Derecho Constitucional, Universi-dad de Oviedo

Lucrecio Rebollo Delgado, Catedrático de Derecho Constitucional, Universidad Nacional de Educación a Distancia

José Tudela Aranda, Letrado de Cortes de Aragón, Secretario General de la Fundación Manuel Giménez Abad

RESPUESTAS

1. ¿Qué consideraciones generales puede hacernos sobre la incidencia de la inteligen-cia artifcial en los derechos fundamentales reconocidos en la Constitución? ¿Hay algún derecho en particular o grupo de derechos en los que, a su juicio, esa inciden-cia tenga especial impacto?

ANA ABA CATOIRA

La inteligencia artifcial (IA) ha irrumpido en prácticamente todos los ámbi-tos de nuestra vida, transformando la sociedad, la economía y, de manera espe-cialmente relevante, el sistema jurídico-constitucional. Este desarrollo tecnológico, caracterizado por su ritmo acelerado y sus consecuencias, en gran medida impredecibles, plantea un escenario en el que los derechos fundamentales ya están siendo afectados en diversas dimensiones, mientras que resulta complejo anticipar los retos futuros. Es innegable que la IA ofrece innumerables oportuni-dades, como avances en el ámbito de la salud, mejoras en la efciencia de los pro-cesos laborales y administrativos, y la optimización de recursos a nivel global. Sin embargo, también presenta numerosos riesgos, particularmente a través de la adopción de decisiones automatizadas opacas que pueden generar impactos nega-tivos tanto en los individuos como en la sociedad. Este impacto trasciende lo puramente técnico, e introduce profundas implicaciones éticas y jurídico-consti-tucionales, especialmente en lo que respecta a la protección y garantía de los derechos fundamentales.

En este contexto de más incertidumbres que certezas, el Derecho constitu-cional asume un papel esencial en la regulación de estas tecnologías. Es importante señalar, no obstante, que el desarrollo tecnológico no ha creado nuevos problemas éticos o jurídicos en esencia, sino que ha intensifcado desafíos ya exis-tentes que, por su naturaleza digital, exigen una reinterpretación de los marcos normativos tradicionales y la adopción de soluciones que respondan a las especi-fcidades de los entornos digitales.

La IA, debido a sus características intrínsecas, como la opacidad algorítmica, la dependencia de grandes volúmenes de datos y su capacidad para tomar decisio-nes automatizadas, impacta de manera transversal en la totalidad de los derechos fundamentales, aunque con intensidades variables. La dignidad humana se ve intensamente afectada por prácticas como el uso masivo de datos personales sin garantías adecuadas, la vigilancia desproporcionada y la falta de transparencia en los sistemas de IA que inciden en la vida de las personas. Esta opacidad no solo erosiona la confanza en las instituciones, sino que también debilita el principio de autonomía personal, esencial en cualquier sociedad democrática.

El derecho a la privacidad y protección de datos permite el libre desarrollo de la personalidad e identidad de una persona y puede contribuir a fomentar la participación en muchos ámbitos. El anonimato en internet o la garantía de con-fdencialidad que ofrecen herramientas de cifrado dan seguridad a muchas perso-nas que se sienten libres para participar en debates públicos. Sin embargo, este derecho se encuentra en constante riesgo por el uso invasivo de tecnologías de vigilancia y el tratamiento masivo de información personal. La esencialidad de las libertades de expresión e información para el correcto funcionamiento del sistema democrático está fuera de toda duda, pero, además, están directamente relaciona-das con otros derechos como la libertad de asociación y de reunión pacífca, el derecho a participar en la dirección de asuntos públicos, el derecho a la educación o el derecho a participar en la vida cultural. En la sociedad digital las personas pueden comunicarse a través de plataformas en línea, pero también pueden orga-nizar protestas a través de la red o pueden acceder a plataformas educativas que aumentan sus oportunidades de formación. En los entornos digitales, las liberta-des de expresión e información, así como las libertades de participación, se enfren-tan a desafíos importantes debido a fenómenos como la manipulación algorítmica de contenidos y la propagación automatizada de desinformación. La igualdad y no discriminación constituye un principio básico y fundamental que se proyecta en todos los derechos humanos. Este derecho está intensamente afectado debido a los sesgos algorítmicos que pueden perpetuar e incluso intensifcar desigualda-des estructurales, lo que evidencia la necesidad de incorporar la equidad en el diseño algorítmico. Finalmente, tenemos el impacto de la IA en la tutela judicial efectiva, con decisiones automatizadas que plantean serios retos para el debido proceso. La ética de la justicia automatizada exige que estos sistemas no solo sean comprensibles para la ciudadanía, sino también respetuosos con los principios de igualdad ante la ley y capaces de corregir errores potenciales en sus decisiones.

FRANCISCO BALAGUER CALLEJÓN

La IA es hoy un concepto muy amplio y habría que precisar el tipo de IA y su ámbito de actuación para determinar su incidencia sobre los derechos funda-mentales. Por ejemplo, las aplicaciones de IA generativa pueden afectar a todo el sistema constitucional en su conjunto por cuanto algunas muy extendidas como el ChatGPT se han incorporado al mercado sin haber sido objeto de prue-bas rigurosas acerca de su posible impacto en la sociedad. Su capacidad potencial de diseminar desinformación de manera masiva tiene un alcance sistémico y puede afectar a muchos derechos fundamentales si no se corrigen sus defciencias actuales.

Si hablamos, por el contrario, de la IA que se ha utilizado previamente en la confguración de procesos de comunicación y en la construcción del espacio público a través de las redes sociales, su impacto puede considerarse más limitado ya que afecta «solamente» al ámbito social y político sin extenderse al econó-mico, al jurídico o al propio tecnológico, como ocurre con la IA generativa. Pero la forma en la que las compañías tecnológicas proyectan sus aplicaciones, tanto en lo que se refere a la interfaz de usuario cuanto en lo que atañe al diseño de los algoritmos, está generando transformaciones culturales de alcance imprevisible y que, por supuesto, afectan al conjunto de los derechos fundamentales y muy espe-cialmente a todos los que tienen que ver con la participación en el espacio público.

Por último, si pensamos en la penetración de la IA en todos los ámbitos de nuestra sociedad, lo difícil es encontrar derechos que no se vean potencialmente afectados por los sistemas de IA. Estos sistemas se están utilizando ya en el ámbito sanitario, en el educativo, en el laboral, en el fnanciero, en el administrativo, en el judicial y en otros muchos en los que potencialmente pueden afectar a derechos constitucionales. Aquí la incidencia sobre los derechos puede deberse a muchos motivos, desde la falta de calidad de los datos que se utilizan a la confguración inadecuada de los algoritmos, por ejemplo.

Hay, en todo caso, una peculiaridad de la IA que resulta potencialmente pro-blemática desde la perspectiva del derecho constitucional y es que el algoritmo sustituye al proceso. Esa sustitución del proceso plantea problemas cuando esos procesos son necesarios desde el punto de vista de la participación en las decisio-nes o de su motivación. No se trata de una incompatibilidad radical, pero sí de una tensión potencial que requiere aportar soluciones para preservar la vertiente formal de los derechos cuando interviene la IA.

LORENZO COTINO HUESO

Creo que no es nada exagerado afrmar que la inteligencia artifcial (IA) supone un punto de infexión en la historia de la humanidad, aunque nos falta sufciente perspectiva en este momento. No se trata simplemente de una evolu-ción tecnológica más, sino de una auténtica revolución estructural que redefne las bases sobre las que descansa la sociedad, la economía, la política y, cómo no, los derechos fundamentales. La Constitución fue concebida en un mundo analó-gico, un mundo donde los riesgos eran previsibles, los actores estaban claramente identifcados y los problemas podían abordarse dentro de un marco jurídico rela-tivamente estable. Sin embargo, la IA ha desdibujado esos límites.

Con la llegada de Internet, los derechos más afectados parecían ser aquellos relacionados con la esfera personal. Con la IA el escenario es más complejo y de más amplio espectro. Y el fuerte impacto queda repartido en -práctica-mente- todos los derechos fundamentales con proyección individual y, sobre todo, social y colectiva. Ahora bien, antes de un breve recorrido por el impacto -negativo- que puede tener la IA en los derechos, es asumir necesario -tam-bién para el Derecho- que la IA puede ser muy benefciosa. Esta dimensión positiva y favorable rara vez se subraya desde una perspectiva jurídica constitu-cional. Se trata de asentar una premisa jurídica: reconocer el deber constitucio-nal de progreso tecnológico como un principio jurídico fundamental, como por ejemplo Barrilao ha afrmado en general y hay que insistir ahora en particular. Así, cabe apreciar la innovación tecnológica y en particular la IA no como un fn en sí misma, sino un medio para mejorar las condiciones de vida de las per-sonas y garantizar sus derechos fundamentales, así como en su caso el Estado democrático y social de Derecho. Este deber puede traducirse en un deber de facilitar las condiciones para el uso de IA, con proyecciones específcas para el sector público. Es más, al igual que ocurrió con el acceso a Internet, no es des-cartable que en un futuro próximo surja la exigencia de un «derecho a la IA», entendido como un derecho a benefciarse de sus aplicaciones en ámbitos como la educación, la salud, la sostenibilidad o la justicia. Por ello, el Derecho tam-bién debe proteger el desarrollo de la IA y fomentar la innovación, al tiempo que la orienta y contiene.

Asentada la anterior premisa jurídica y pese a las ventajas de la IA, el jurista no puede ignorar que también presenta un lado más oscuro por el riesgo e impacto que implica para derechos fundamentales. Más allá de los riesgos generales que presenta la digitalización, internet o el software en general, hay que tener especialmente presente el plus de peligrosidad que implica la IA por su capacidad de aprendizaje, su autonomía y su adaptabilidad a contextos cam-biantes. Los humanos que diseñan la IA no son perfectos y pueden crear siste-mas con errores y sesgos y, obviamente, también pueden actuar con malas intenciones. Además, la IA y los sistemas autónomos con autoaprendizaje adquieren cierta independencia de sus creadores. Así las cosas, la IA, los sistemas automatizados, el reconocimiento facial y tecnologías afnes suponen disparar y con fuego racheado a los derechos fundamentales. El Reglamento de IA de la UE en su Considerando 48 menciona hasta veintiún derechos fundamen-tales que pueden verse afectados por sistemas de alto riesgo, además de dere-chos específcos de menores.

Los algoritmos generalmente dependen de un consumo masivo de datos, y la gestión de estos datos suele centrarse en la privacidad y protección de los mis-mos. Resulta de interés la transparencia del uso de esta tecnología, qué datos han servido para su entrenamiento, validación y concreto caso de uso, el control y en su caso consentimiento informado sobre los mismos o el cumplimiento de principios esenciales como la minimización y calidad de los datos. De igual forma, la intimidad se ve muy afectada por sistemas de reconocimiento facial, vigilancia automatizada y el análisis predictivo de comportamientos individua-les. El uso de estas tecnologías por parte de empresas y administraciones públi-cas puede generar escenarios de vigilancia masiva incompatibles con un Estado de derecho. Los deepfakes y los sistemas de manipulación de contenido también impactan el honor y la imagen propia. Como se mencionará, además de los dere-chos de la personalidad, quedan en riesgo la democracia y la confanza en la información. La IA nos categoriza y clasifca, lo cual tiene potenciales efectos en innumerables casos de uso.

Más allá de los derechos de la personalidad, uno de los derechos más afecta-dos es, sin duda, el derecho a la igualdad y a la no discriminación; como he podido analizar con profundidad, los algoritmos de IA, aunque se presenten como herramientas neutrales y objetivas, no están exentos de sesgos y errores. Estos sesgos fácilmente se proyectan en individuos o en colectivos generando tra-tamientos diferentes que pueden no estar sufcientemente justifcados. Es más, hay un especial peligro de que los sistemas IA incidan en tradicionales colectivos especialmente prohibidos de discriminar. O lo que es también negativo, es fácil que los efectos de la IA se proyecten en nuevos colectivos que generan los algo-ritmos, que no coinciden con los tradicionales, pero sí que pueden implicar una especial vulnerabilidad. Estos sesgos o errores de los algoritmos pueden surgir, de un lado, de la falta de calidad y gobernanza los datos utilizados para entrenar o implementar los modelos. Del otro lado, pueden surgir por los problemas de robustez, exactitud y fabilidad del sistema autónomo de IA. Como se ha seña-lado, el sistema autónomo que de IA que aprende y es adaptable, bien puede adoptar derivas o sesgos. Estos tratamientos diferenciados pueden tener conse-cuencias que son especialmente graves cuando se utilizan en ámbitos como el empleo, la educación, la concesión de créditos bancarios, las prestaciones, los con-tratos y ayudas sociales o la determinación de penas. Las discriminaciones algo-rítmicas, ya sean conscientes o no, pueden perpetuar y amplifcar desigualdades estructurales preexistentes.

En cualquier caso, como ahora se expone, la IA impacta colectiva y suprain-dividualmente en nuestros derechos y en la democracia.

MARIO HERNÁNDEZ RAMOS

Cualquier refexión en torno a la incidencia de la inteligencia artifcial (en adelante IA) en nuestras instituciones sociales y más en concreto en las jurídicas, debe partir de dos cautelas contextualizadoras que condicionan y dimensionan la respuesta a cada una de las preguntas de esta encuesta, otorgándole un elevado grado de relativismo.

En primer lugar, ¿de qué estamos hablando concretamente cuando nos refe-rimos a inteligencia artifcial? La IA es un término coloquial que alberga muchos tipos de tecnologías, y que pueden alimentar diferentes mecanismos o sistemas de decisión con un grado muy variable de importancia o presencia. Dejando de lado los esfuerzos de los especialista técnicos de IA (véase por todos Russel y Norving, 2010) en el año 2024 han proliferado trabajos en los que se defne esta tecnología, entre los que destacan por su naturaleza jurídica vinculante el Regla-mento de IA de la Unión Europea (art. 3.(1) y la Convención Marco sobre IA y derechos humanos, Estado de Derecho y democracia del Consejo de Europa (art. 2). Ambas normas tomaron como referencia para estas defniciones los trabajos de la OCDE sobre la materia. En consecuencia, las defniciones son muy parecidas y contienen los mismos elementos, de manera similar a la contenida en la derogada Orden Ejecutiva del Presidente Biden sobre una IA segura y confable (antigua Sección 3(b). La identifcación de estos elementos comunes es relevante pues per-mite determinar si nos encontramos ante un sistema de IA. Estos elementos que se encuentran en sistemas informáticos o máquinas son los siguientes: datos o información de entrada (inputs), datos de salida o resultados (outputs), como por ejemplo predicciones, contenidos, recomendaciones o decisiones; objetivos, ya sean implícitos o explícitos; proceso de inferencia; autonomía; y adaptabilidad o autoaprendizaje. El proceso de inferencia, no exento de polémica y discusión en la elaboración de ambas normas europeas, se refere generalmente al paso en el que un sistema genera una salida a partir de una entrada. La inferencia es la acción o proceso a la que las personas atribuimos cierta «inteligencia». Pero en lugar de inteligente, sería más acertado utilizar el término «racional», es decir, la capacidad de elegir la mejor acción posible para alcanzar un objetivo determi-nado. Este cambio contribuiría a desterrar el carácter místico, antropomórfco y, en defnitiva, equívoco de la palabra «inteligencia». No obstante, las dos caracte-rísticas que dotan de carácter de inteligente a un sistema de decisión son la auto-nomía y el autoaprendizaje o adaptabilidad. La autonomía es la capacidad o habilidad de realizar tareas en entornos complejos sin la guía constante de un usuario. Por su parte, la adaptabilidad es, a grandes rasgos, la capacidad de mejo-rar el rendimiento aprendiendo de la experiencia, es decir, la capacidad de seguir evolucionando tras su desarrollo inicial, modifcando «su comportamiento a tra-vés de la interacción directa con la entrada y los datos antes o después de su des-pliegue» (OCDE). Tanto la autonomía como la adaptabilidad pueden darse en los sistemas de IA en diferentes niveles. Es decir, no actúa con el mismo nivel de autonomía y autoaprendizaje un sistema que sugiere una película en base a nues-tras visualizaciones que la decisión de ordenar detener un coche autónomo ante un peligro real.

El carácter de autonomía y la capacidad de autoaprendizaje son las dos carac-terísticas que deberían suscitar una especial atención por parte de juristas, espe-cialmente de los constitucionalistas cuando el sistema de IA actúa tomando decisiones que afectan a bienes jurídicos protegidos como los previstos en los derechos fundamentales. Dicha capacidad de afectación, es decir, el poder, es el objeto de estudio por excelencia del constitucionalismo. Permitir que un sistema de IA obre semejante afectación, sin ningún tipo de intervención humana y pudiendo adaptarse a las circunstancias cambiantes de su entorno, ameritaría una refexión constitucional sin lugar a dudas, sobre todo si se despliegan en ámbitos reservados tradicionalmente al sector público, como por ejemplo la seguridad, la justicia, o las prestaciones sociales.

En segundo lugar, la IA es una tecnología que evoluciona de manera muy rápida. Las refexiones de estas páginas en unos meses quedarán superadas y caren-tes de sentido. Durante las primeras dos décadas del presente siglo XXI, el foco de preocupación estaba puesto principalmente y de manera progresiva en la digi-talización, después en el big data y a mediados de la segunda década en la auto-matización de la toma de decisiones (como ejemplo, nótese el creciente interés por el art. 22 del Reglamento General de Protección de Datos de la UE, en ade-lante RGPD, a medida que avanzaban los años desde la aprobación de dicho Reglamento). Sin embargo, en la tercera década del siglo ha ocurrido una explo-sión de la IA gracias a la aparición en 2017 de la tecnología de los transformers, que alimenta aplicaciones tan importantes como AlphaFold 2, que analiza secuencias de datos genómicos, o el sistema de conducción autónoma de AutoPi-lot de Tesla. Pero la aplicación más popular de esta tecnología se produce en la IA capaz de crear contenido, o IA generativa (una tecnología que se inventó en la década de los sesenta del siglo pasado), ejemplifcada por el surgimiento de GPT (Generative Pre-trained Transformer) y su Chat, comenzando por los grandes mode-los de lenguaje (LLM) pero continuando de manera casi inmediata (en el plazo de escasos meses) con la IA generativa multimodal, es decir, una tecnología que no se restringía al lenguaje escrito, sino que podía incorporar y producir imágenes, sonidos y vídeos, interrelacionándose entre sí. A comienzos del año 2025, la IA generativa multimodal ya no ocupa la vanguardia del desarrollo y la innovación a nivel usuario, sino que ha sido reemplazado por los agentes. Los agentes de IA son un paso evolutivo de los grandes modelos de IA generativa, pues son capaces de realizar tareas de forma autónoma en nombre de un usuario utilizando las herramientas disponibles y abarcando una amplia gama de funcionalidades que trascienden el procesamiento natural del lenguaje, como la toma de decisiones, la resolución de problemas, la interacción con entornos externos y la ejecución de acciones. Por ejemplo, ya hay agentes capaces de organizar la agenda de un usua-rio en función de la información de su correo electrónico. La siguiente evolución de los agentes de IA en la que se está trabajando es lo que se denomina sistema multiagente, es decir, una multiplicidad de agentes trabajando colectivamente para realizar tareas en nombre de un usuario o de otro sistema. En el ejemplo anterior, sería un sistema que, con la información de mi correo electrónico, ade-más de organizarme la agenda compraría los billetes de tren o avión para despla-zarme a los lugares que requiera los compromisos de mi agenda. Es fácil de imaginar las aplicaciones que semejante tecnología tendría en las administracio-nes públicas, la seguridad, la sanidad o la justicia.

Dicho esto, es difícil encontrar un derecho fundamental totalmente ajeno a esta realidad. Es decir, la IA tiene la potencialidad de incidir claramente en todos los ámbitos de la realidad donde cualquier derecho fundamental reconocido en nuestra Constitución pueda ejercitarse, desde los derechos de la persona, hasta los derechos sociales, pasando por los de participación política y económicos. El reto es calibrar de qué manera está incidiendo y prever cómo lo hará en un futuro próximo.

Por supuesto, al igual que no podemos restringir el concepto de Constitu-ción solamente como una norma limitadora del poder público a través de la sepa-ración de poderes y de la cristalización de derechos fundamentales, sino que debemos concebir la constitución también como un instrumento de mejora, de progreso y de conquista de bienestar del ser humano, no podemos concebir la incidencia de la IA en los derechos fundamentales solo desde una óptica negativa o de amenaza. La IA también ofrece oportunidades para contribuir a la optimiza-ción de principios constitucionales o la efcacia de los derechos fundamentales, como por ejemplo la salud, la seguridad, o la participación política.

Tanto por el funcionamiento de esta tecnología como por su carácter horizontal, podrían señalarse tres derechos fundamentales especialmente implicados.

El primero es el derecho a la protección de datos personales. Como ya se ha señalado, los datos son la materia prima de los sistemas de IA, pues se utilizan a lo largo del ciclo de vida, no solo en la etapa de diseño, sino sobre todo durante su desarrollo y por supuesto durante su despliegue en la vida real. En caso de que se utilicen datos personales, un tratamiento tan masivo y un tratamiento secun-dario tan reiterado implica una especial atención y una reconsideración de la rele-vancia de los principios establecidos en la normativa de protección de datos personales. No solo me refero al aumento de la importancia de la prohibición de ser objeto de una decisión individual automatizada (art. 22 RGPD), sino al cam-bio de relevancia y reconsideración de varios principios, como el de licitud del tratamiento (art. 6 RGPD), pues en este tratamiento secundario masivo pierde relevancia el consentimiento del titular en benefcio de las otras posibilidades de tratamiento lícito, el principio de la limitación de la fnalidad del tratamiento (art. 5.1.b RGPD), y el principio de minimización de datos (art. 5.1.c RGPD).

En segundo lugar, dado que los sistemas de IA suelen albergar sesgos, implí-citos o explícitos, tanto en el diseño como en sus bases de datos, la protección del reconocimiento del derecho a la igualdad y el principio de prohibición de discri-minación son cruciales en la sociedad algorítmica. Los sesgos contenidos en los elementos de los sistemas de IA pueden ser replicados y exacerbados cuando toman sus decisiones. Por eso es imprescindible incorporar las categorías constituciona-les, incluidos los derechos fundamentales, desde el diseño mismo de los sistemas de IA, y someterlos a un exhaustivo control en función de las decisiones que tomen, para identifcar y resolver problemas de sesgo y discriminación. Por tanto, la monitorización de los resultados de los sistemas de IA son un componente esen-cial de su ciclo de vida para identifcar posibles sesgos o mal funcionamiento y solucionarlo. Un ejemplo claro de esta problemática son los datos proxy, es decir, datos que en sí mismo no son problemáticos pero que en combinación con otros pueden arrojar un resultado claramente discriminatorio. Por ejemplo, el número de calzado en sí mismo no es problemático, pero un número alto suele asociarse más a varones y un número pequeño a mujeres; el código postal puede ser también problemático en el caso de sistemas de policía predictiva cuando se maneja datos de zonas geográfcas donde hay un índice de delincuencia más elevado.

En tercer lugar, tendrá una especial incidencia en el derecho a la tutela judi-cial efectiva, o expresado de una manera más genérica, en el acceso a la justicia por parte de la ciudadanía afectada por las decisiones de un sistema de IA, que implicará cierta reconsideración y adaptación a la nueva realidad algorítmica en la toma de decisiones en las que participe un sistema de IA. En este sentido, ha de prestarse atención a una doble problemática: por un lado, se debe garantizar la revisión judicial de toda decisión pública o privada que afecte a los derechos o intereses legítimos de la ciudadanía en la que haya participado un sistema de IA. Eso implica posibilitar un derecho a conocer, tanto que el sistema de IA ha for-mado parte del proceso en la toma de decisión, como de la relevancia que ha tenido en la decisión fnal (con las implicaciones que eso supone en términos de exigencia de transparencia algorítmica, explicabilidad y trazabilidad, entre otros). En segundo lugar, se debe refexionar acerca de las garantías del proceso en el uso de herramientas de IA, es decir, exigencias específcas que han de satis-facer los sistemas de IA que se utilizan en un procedimiento administrativo o judicial. Ambas problemáticas exigen una reconsideración de los elementos jurí-dicos confguradores de este derecho y sobre todo en torno a la satisfacción de los estándares del Estado de Derecho.

MIGUEL PRESNO LINERA1

La inteligencia artifcial (IA en adelante) va a cambiar -es seguro que ya lo está haciendo- nuestras vidas y lo hará de forma integral, incidiendo de manera 1 La participación en esta encuesta es uno de los resultados del Proyecto de investigación PID2022-136548NB-I00 Los retos de la inteligencia artifcial para el Estado social y democrático de Derecho, fnan-ciado por el Ministerio de Ciencia e Innovación. Quiero agradecer a la profesora Patricia García Majado y al profesor Daniel Jove Villares la lectura de este texto y sus comentarios y sugerencias.

profunda en el ámbito de la salud, en el de la educación, en el mundo de las rela-ciones laborales, en el de la comunicación, en la cultura, la economía y, claro, tam-bién en el Derecho. Y, como ya se dijo en el trabajo de investigación promovido por el Consejo de Europa sobre algoritmos y derechos humanos, de 2018, esa transformación afectará a la práctica totalidad de nuestros derechos y, en particu-lar, a los fundamentales; así, ya se conocen sistemas que inciden en el derecho a la libertad personal y, muy relacionado con él, en el derecho a un juicio justo y a la tutela de los tribunales (las denominadas inteligencia artifcial policial y judicial); en segundo lugar, y de modo especialmente intenso, como es de sobra conocido, los sistemas de IA afectan a los derechos de las personas en su dimensión más pri-vada, como el derecho a la intimidad personal y familiar, el derecho a la propia imagen y el derecho a la protección de datos, pues se nutren y entrenan, precisa-mente, a base de cantidades ingentes datos y lo hacen en la gran mayoría de las ocasiones sin contar con el consentimiento ni, incluso, el conocimiento, de la per-sona titular de los mismos; en tercer lugar, también se detecta una incidencia pro-funda en los derechos vinculados a la dimensión pública y relacional de las personas, como las libertades de expresión, información, creación literaria, artís-tica, científca y técnica pero también en las libertades de reunión y asociación, tanto en el plano estrictamente ciudadano como en lo que se refere, por ejemplo, al ámbito de las relaciones laborales (libertad sindical, derecho de huelga).

Es, precisamente, el de las relaciones de trabajo uno de los espacios donde estos sistemas ofrecen una extraordinaria capacidad de control sobre las personas y pueden afectar a sus derechos fundamentales, pues, entre otras cosas, permiten procesar datos sobre su estado emocional o psicológico, sus conversaciones priva-das o predecir el ejercicio de otros derechos fundamentales como los de manifes-tación, libertad sindical o huelga... A este respecto, en el artículo 5.1.f del Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inte-ligencia artifcial se prohíbe la introducción en el mercado, la puesta en servicio para este fn específco o el uso de sistemas de IA para inferir las emociones de una persona física en los lugares de trabajo y, en fechas más recientes, esas posibilida-des de control han justifcado la reciente Directiva (UE) 2024/2831 del Parla-mento Europeo y del Consejo, de 23 de octubre de 2024, relativa a la mejora de las condiciones laborales en el trabajo en plataformas. Pero, como ha recordado el profesor Adrián Todolí, las protecciones frente a los excesos que permiten los algoritmos deberían aplicarse a todas las empresas que usen sistemas de control automatizado o de toma de decisiones automatizadas y no solamente a las plata-formas digitales.

En cuarto lugar, y a su vez vinculado a muchos otros derechos, está en juego el derecho a no sufrir discriminación por raza, género, edad, orientación sexual o por carecer de conocimientos digitales; en quinto lugar, se verán profundamente afectados los derechos dependientes del acceso a los servicios públicos (educación, sanidad...) y, en general, los derechos, fundamentales o no, de tipo prestacional

(desempleo, ayudas sociales) que, progresivamente, van a experimentar un pro-ceso de algoritmización en todo lo que tiene que ver con su gestión; no será tam-poco trivial el impacto de los sistemas de IA en el derecho a intervenir en procesos participativos de índole política (elecciones, referendos, iniciativas legis-lativas populares...), como se mencionará con más detalle en la respuesta a la siguiente pregunta.

Finalmente, y por no extendernos más, cabe recordar que los sistemas de IA también se proyectan sobre varios de nuestros principios rectores de la política social y económica, como la protección ambiental (los grandes centros de datos que albergan servidores de IA consumen ingentes cantidades de agua, dependen de minerales críticos y elementos raros, que a menudo se extraen de forma insos-tenible, y tienen un consumo eléctrico enorme) o la defensa de consumidores y usuarios, expuestos a mayores riesgos de fraude, a la fjación de precios abusivos en determinadas circunstancias y al uso indebido de sus datos personales.

LUCRECIO REBOLLO DELGADO

Creo que la inteligencia artifcial (en adelante IA) tendrá un impacto de carácter horizontal en nuestra sociedad, y afectará a muchos ámbitos, entre los que destaca el Derecho de forma general, y los derechos y libertades fundamenta-les, de forma singular. Nos sometemos en nuestra vida cotidiana, y cada vez más, a los algoritmos, en principio códigos informáticos, pero cada vez más códigos de obligado cumplimiento, muy alejados de nuestra forma actual de concebir el establecimiento de normas y aún más de los fnes que han guiado nuestra ordena-ción social. Los algoritmos observan nuestras conductas, determinan nuestros intereses, a la vez que predicen nuestras necesidades y acciones futuras, en defni-tiva, nos someten a un determinismo que choca frontalmente con los principios sobre los que hemos cimentado nuestra convivencia, y que en gran medida anu-lan la vigencia de derechos fundamentales.

A nuestro juicio, el mayor problema que plantea la IA es su incidencia en lo social, y su relación con el Derecho. Cabe preguntarse si estas nuevas reglas de ordenación de la convivencia encajan con nuestros ordenamientos jurídicos, con el Estado de Derecho y con la democracia, y singularmente con la vigencia de los derechos y libertades fundamentales. Puede afrmarse que estas nuevas tecnolo-gías desestructuran los mecanismos, tanto individuales, como colectivos, por los que hasta ahora hemos venido organizándonos. A la vista de ello, cabe pregun-tarse si el Derecho se verá afectado, o en todo caso si requeriría de profundas modifcaciones de adecuación, o incluso si será sustituido por otro tipo de códi-gos. Si bien es cierto que la tecnología determinará el curso del s. XXI, no lo es menos, que estas transformaciones deberán tener en cuenta la condición humana, y singularmente los pilares de su ordenación, entre los que destaca de forma sin-gular el Derecho. Si bien no podemos caer en versiones apocalípticas como las que formulara Marcuse en hombre unidimensional, es cierto que «cuando la técnica se convierte en la forma universal de producción material, delimita una cultura íntegra, confgura una totalidad histórica, un mundo», y quizás estemos en el ini-cio de este proceso.

Lessig afrma que son hoy los ingenieros que crean el software o los que con-fguran los algoritmos, los que establecen los códigos de conducta sociales, incluso afrma de forma rotunda que «el código es la ley» (Code, 2006). Pero los técnicos, ya sean ingenieros, informáticos, matemáticos o empresarios, se resisten a pensar que sus creaciones tienen consecuencias morales o políticas, si bien alcanzan a identifcar claramente que el producto de su trabajo tiene una clara incidencia social. Quizás quien con más claridad lo afrmó fue Kranzberg: «la tecnología no es ni buena, ni mala, ni neutra» («Technology and history». Technology and Culture, 27.3, 1986, 544 a 560).

Partiendo de que la IA se nutre de datos, y de forma más concreta de datos masivos, es lógico pensar en un principio que el derecho fundamental más afec-tado será la protección de datos de carácter personal. Pese a ello, en la intimidad tendrá un papel relevante, y como consecuencia en la libertad ideológica y de pensamiento. De igual forma, que afectará a la igualdad y también al derecho a la libertad de información y expresión, que a su vez tiene graves implicaciones en el sistema democrático. Ello supone una afectación de lo nuclear en la fundamen-tación que conocemos al respecto de los derechos y libertades fundamentales.

JOSÉ TUDELA ARANDA

Antes de comenzar a responder la encuesta he de realizar una consideración previa. No son las respuestas de un especialista. De nuevo, el Derecho Consti-tucional español ha demostrado sus capacidades, reaccionado de forma inme-diata, rigurosa y brillante ante un fenómeno de consecuencias tan transformadoras como la consolidación de la IA. En concreto, sobre el tema que se nos interroga existen ya numerosos y excelentes estudios y monografías. Mis respuestas no serán tanto la consecuencia de un análisis jurídico exhaustivo como las de un espectador interesado que, desde el Derecho y la Ciencia polí-tica, observa la manera en la que la IA, como penúltimo hito del tránsito a la era digital, transforma al poder y, en particular, la relación del ciudadano con el poder. Junto a esta premisa, considero necesario apelar a la modestia del jurista. Los desafíos en ciernes transcienden con mucho las capacidades de nues-tro ofcio. Las preguntas que se plantean son previas a las mesas de nuestros des-pachos. Poder dar una respuesta satisfactoria desde el Derecho, exige establecer canales de comunicación previa con otras disciplinas, desde la flosofía a la Ciencia Política, pasando, por supuesto, por el propio universo tecnológico del que, al menos, deberemos conocer los presupuestos precisos que deben ser fun-damentos de nuestras respuestas.

Lo primero que, creo, debe señalarse al abordar los retos derivados de la IA, es que es que todo juicio sobre éste, y cualquier tema relacionado con la IA, debe ser prudente. La IA es un fenómeno emergente y aunque ya se puede afrmar que va a alterar muchos aspectos de nuestra vida (de hecho, ya lo hace), aún es pronto para conocer el alcance real de su impacto. Junto a ello, entiendo precisa otra con-sideración previa. La IA no puede contemplarse de forma aislada. Debe exami-narse como el último hito (conocido) del tránsito a la era digital. Ello es particularmente relevante porque cuando se estudian las consecuencias de los diferentes sucesos que han sido causa de ese tránsito, es preciso distinguir entre impacto directo e impacto indirecto. En demasiadas ocasiones, el foco se pone de manera exclusiva en el impacto directo y no se advierte al impacto indirecto. Más allá: cuando se analizan otras circunstancias relacionadas con el devenir de los sis-temas políticos y del propio Derecho constitucional se ignora la mutación de una realidad transformada por el mencionado efecto indirecto. En apenas veinte años, la tecnología ha cambiado de forma casi radical nuestra forma de vivir. La forma de relacionarnos, de expresarnos, de crear, de informarnos, de divertimos, de entender la intimidad y, por supuesto, de relacionarnos con el poder se ha trans-formado. En la mayoría de los casos, no se trata de un impacto directo. Es un impacto sutil que, más deprisa que despacio, ha cambiado las premisas sobre las que se asienta el ejercicio del poder y su relación con los ciudadanos y, en conse-cuencia, del Derecho Constitucional. Todo ello había sucedido antes de la emer-gencia de la IA. Así, la consolidación de la IA como herramienta de uso cotidiano debe entenderse como un eslabón más de un proceso formidable de cambio. En todo caso, puede pensarse que su potencia, su reconocida capacidad transforma-dora, hace preciso que se preste una atención especial a su desarrollo y consecuen-cias. Mas lo esencial es no perder de vista que la era digital representa un desafío civilizatorio de primer orden. Obliga a repensar los presupuestos sobre los que se ha construido el orden democrático y liberal sobre el que vivimos. La efcacia del Derecho; el poder de las grandes empresas privadas; el carácter global de los gran-des retos a los que se debe hacer frente (comenzando por la propia regulación de la tecnología); el incremento exponencial de la complejidad como característica de la realidad social, son algunas de las circunstancias que explican una afrma-ción tan tajante.

Como es obvio, entre esos desafíos está el reconsiderar los derechos y liberta-des fundamentales. Reconsiderar implica revisar los existentes para adaptarlos a la nueva realidad y pensar en nuevos derechos y libertades derivados de las exi-gencias digitales y que sean precisos para garantizar las esferas de igualdad y libertad necesarias. En este punto, es preciso aludir a la Carta de Derechos Digi-tales aprobada en 2021. Un buen documento sobre el impacto de la aludida era digital sobre el conjunto de los derechos. De forma meritoria, dada la fecha de aprobación, introduce dos artículos, no por casualidad los últimos, dedicados a la IA. Pero, simultáneamente, la carta avala la afrmación inicial: cualquier refexión debe entenderse de forma matizada, todo lo que vemos mañana puede ser distinto. Hoy, la redacción de la Carta se haría desde presupuestos muy diferen-tes, con nuevos y relevantes desafíos.

Si nos referimos a derechos/grupos de derechos que pueden ser afectados con más intensidad, desde las reservas expresadas, entiendo que hay cuatro grupos particularmente afectados: derechos de participación política; libertad de expre-sión y derecho a la información; derechos relacionados con la intimidad y la ima-gen; derechos relacionados con la creación. Como dije, todos los derechos, sin exclusión, se verán afectados Y con una intensidad signifcativa. Así, por ejem-plo, sin duda se verán afectados los relacionados con las relaciones laborales o algunos derechos de prestación como educación o sanidad. Pero, al menos por lo que se sabe hasta el momento, ese grupo de derechos parecen ser los más afecta-dos. Si bien la incidencia sobre esos derechos va a ser, seguro, muy relevante, ello no va a ser lo más signifcativo para la teoría y praxis de los derechos. Antes de nada, se deberá fjar la atención en las profundas afecciones que la libertad, igual-dad y la dignidad van a sufrir como presupuesto de todos los derechos. Se trata no sólo de evitar que la IA erosione ese fundamento, sino que contribuya a poten-ciarlo.

2. De forma más concreta ¿qué refexiones puede hacernos sobre las consecuencias de la inteligencia artifcial en los derechos fundamentales implicados en los procesos democráticos y, por tanto, en esos mismos procesos?

ANA ABA CATOIRA

Como hemos señalado, la irrupción de la inteligencia artifcial (IA) en el ámbito político y social ha generado un impacto sin precedentes en los derechos fundamentales y, en consecuencia, en los procesos democráticos. Este fenómeno no puede analizarse únicamente desde una perspectiva tecnológica, sino que exige un enfoque holístico que contemple sus dimensiones jurídicas, éticas y sociales. Esto se debe a que la IA no es neutral, ya que proyecta los valores, sesgos y objetivos de quienes la diseñan, implementan y controlan. Por ello, las conse-cuencias e impactos de la IA en los derechos fundamentales implicados en los procesos democráticos deben abordarse desde una perspectiva crítica y garantista.

En primer lugar, es importante considerar la transformación del ecosistema informativo, donde se diluye el papel tradicional de los medios de comunicación como garantes del debate público informado. En este nuevo escenario, las redes sociales y plataformas digitales, impulsadas por algoritmos optimizados para maximizar la atención y la interacción, han desplazado en gran medida a los medios convencionales. Estos algoritmos no están diseñados para fomentar el pluralismo, la calidad informativa ni el interés general, sino para rentabilizar el tiempo de navegación y la exposición a la publicidad, pues responden a un modelo de negocio. El resultado es un entorno comunicativo fragmentado y polarizado, donde la verdad factual cede terreno ante la emoción y el sensacionalismo. El fenómeno de las burbujas de fltrado y las cámaras de eco, derivado de las reco-mendaciones algorítmicas, tiene implicaciones directas en el pluralismo político. La IA selecciona y presenta la información de forma personalizada, reforzando los sesgos cognitivos de los usuarios y reduciendo las oportunidades para conocer y debatir puntos de vista diferentes. Esto debilita el debate democrático, difculta la formación de una conciencia crítica y fomenta una sociedad cada vez más pola-rizada, en la que la ciudadanía tiende a rechazar activamente cualquier informa-ción que contradiga sus creencias preexistentes. Más preocupante aún, estas opiniones, así conformadas, se refejan en sondeos electorales que reproducen una realidad previamente construida desde las redes sociales, controladas por grandes compañías tecnológicas.

Este riesgo, de gran alcance para la democracia, ha sido identifcado en el Reglamento de Servicios Digitales (DSA), que establece obligaciones específcas para los proveedores de servicios de recomendación algorítmica. En aras de la transparencia, especialmente en las plataformas de gran tamaño, los sistemas de recomendación deben informar sobre los criterios aplicados y los parámetros uti-lizados por los algoritmos. Asimismo, deben ofrecer la desactivación de la perso-nalización, presentar contenidos basados en criterios neutrales y facilitar la auditoría y verifcación de sus sistemas. El Reglamento exige una evaluación periódica de los riesgos sistémicos asociados a estos sistemas, como la difusión de desinformación, la manipulación del comportamiento o los sesgos algorítmicos. Si un sistema algorítmico infuye en una decisión que afecta directamente al usuario (por ejemplo, eliminar una publicación o limitar la visibilidad de un con-tenido), la plataforma debe proporcionar una explicación clara y detallada sobre los motivos detrás de dicha decisión.

El Reglamento General de Protección de Datos (RGPD) ya establece dere-chos relacionados con la toma de decisiones automatizadas, como el derecho a obtener información clara y signifcativa sobre la lógica aplicada (artículo 22).

Por otro lado, la microsegmentación y la personalización masiva de mensajes políticos, facilitadas por la IA, plantean nuevos desafíos. La capacidad de los algo-ritmos en el análisis de datos permite diseñar campañas políticas hiperpersonali-zadas que apelan a las emociones y no al razonamiento de los votantes. Este fenómeno, conocido como microtargeting, pone en riesgo la igualdad de condi-ciones en los procesos electorales y puede manipular la intención de voto. Casos como el escándalo de Cambridge Analytica en 2016 son ejemplos claros de cómo el uso indebido de datos personales puede afectar los procesos de participación democrática.

El impacto de la IA en los procesos democráticos, ya sea a través de ciberata-ques, manipulaciones o errores algorítmicos, no se limita al ámbito informativo ni a la integridad de los procesos o al derecho al sufragio porque también afecta a la confanza ciudadana en las instituciones, debilitando la legitimidad de los resultados electorales.

Especialmente preocupantes son los usos de herramientas de inteligencia artifcial generativa para crear contenidos falsos, incluidos documentos, imágenes y voces. Estas tecnologías, accesibles y de bajo coste, permiten la creación de deep-fakes extremadamente realistas, que pueden utilizarse para difamar a personajes públicos, manipular percepciones o sembrar dudas sobre la legitimidad de los procesos electorales. La proliferación de estos contenidos durante las elecciones plantea desafíos jurídicos que deben abordarse mediante la transparencia, la ren-dición de cuentas y la protección de los derechos fundamentales.

Sin embargo, me gustaría no solo quedarme con los riesgos de la IA, haciendo referencia a su potencial para fortalecer los procesos democráticos en cuanto que puede contribuir a mejorar la efciencia, la transparencia y la participación ciuda-dana, así como ayudar en la elaboración de políticas públicas más efcaces, basa-das en un mejor conocimiento de las preferencias e intereses de la ciudadanía. Además, la IA puede contribuir a la detección de patrones y anomalías disrupti-vas, al diseño de tecnologías para combatir la corrupción y a la construcción de sistemas de seguridad más robustos. Sin embargo, parece que los riesgos están ganando la batalla a las expectativas viendo los peligros a los que se ven expuestas las democracias.

FRANCISCO BALAGUER CALLEJÓN

Para quienes tenemos lo que podríamos llamar «memoria analógica» resulta posible hacer una comparación entre los procesos democráticos que hemos cono-cido previamente a la era digital y los que se han desarrollado por las grandes compañías tecnológicas mediante las redes sociales y las aplicaciones de Internet. La confguración de los procesos democráticos es muy diferente porque estas compañías están contribuyendo a generar cambios importantes en la percepción del tiempo y en la construcción del espacio público, las dos coordenadas en las que se desarrollan nuestras vidas, en las que ejercemos nuestros derechos y en las que participamos en los procesos democráticos.

Por un lado, la confguración de la interfaz de usuario de las aplicaciones (por ejemplo, en las redes sociales) está orientada a generar una interacción permanente y a dar respuestas inmediatas (el caso de WhatsApp es paradigmático) que comprimen nuestra percepción del tiempo. Se genera así una asimetría entre los procesos comunicativos de la era digital, que promueven respuestas inmediatas a los problemas que se nos plantean y los procesos democráticos, que requieren de tiempo para que esos problemas sean planteados y resueltos de manera adecuada. Esa asimetría favorece a los movimientos populistas y resulta problemática para la democracia.

Por otro lado, por lo que se refere a la construcción del espacio público, mientras los medios de comunicación tradicionales realizan una función de arti-culación del pluralismo a través de diferentes líneas editoriales que aportan la posibilidad de un debate democrático entre los diversos sectores, las redes sociales tienen una estructura muy diferente. El público potencial de las redes sociales es universal (en el caso de nuestro país toda la población española) por lo que no pueden ofrecer una línea ideológica defnida (la excepción novedosa la representa ahora X, con Elon Musk) ya que eso podría limitar sus usuarios. Para hacer compatible un público universal con la pluralidad ideológica de sus usuarios, las redes sociales utilizan los algoritmos, que permiten ofrecer a cada usuario conte-nidos e informaciones coherentes con su historial en Internet. Esa segmentación genera fragmentación de la opinión pública y conduce a su radicalización.

Las transformaciones culturales que las compañías tecnológicas están gene-rando en la percepción del tiempo y en la confguración del espacio público tienen un gran potencial destructivo de los procesos democráticos porque minan las condiciones de existencia de la democracia pluralista. Los procesos democráticos se mueven actualmente en unas condiciones de irracionalidad y de conficto que no se corresponden con el alcance de los problemas que nuestras sociedades tienen que resolver. Potenciar el enfrentamiento radical entre sectores sociales y promover una percepción del tiempo que sitúa artifcialmente a la sociedad en una urgencia permanente entorpece los procesos democráticos y bloquea la política. Una confguración más razonable de la interfaz de usuario y de los algoritmos podría evitar o mitigar estos problemas. Sin embargo (como ya sabemos por la experiencia de Facebook) reduciría sus benefcios económicos por lo que no está en la agenda de las compañías tecnológicas.

LORENZO COTINO HUESO

Internet y las redes sociales, especialmente a través de la integración de la IA en las principales plataformas digitales, han alterado de forma decisiva el ecosis-tema informativo y las dinámicas de participación política. Desde el fenómeno del clickbait y las burbujas de fltro hasta la generación automática de contenidos orientados a maximizar la polarización, la IA incide directamente en la calidad y la legitimidad de los procesos democráticos. De manera innegable, redes sociales con sus potentes algoritmos de recomendación, han amplifcado la fragmentación y la polarización de la sociedad y del debate público, como hace más de veinte años vaticinara Sunstein. Ello pone en riesgo signifcativo a las democracias con-solidados, mientras que, curiosamente, no parece afectar del mismo modo a regí-menes autoritarios o a las democraduras o «democracias iliberales».

Somos espectadores de la progresiva sustitución de los medios de comunica-ción tradicionales, sujetos a deberes éticos y jurídicos profesionales y cierta por plataformas que parecen repeler la regulación. Las plataformas en general operan bajo lógicas comerciales centradas en la monetización y esto además se está tras-ladando a los medios tradicionales y nuevos. Así, el clickbait busca generar el mayor número posible de visualizaciones y clics, lo que va ligado a titulares sensacionalistas o contenidos emocionales que generan reacciones extremas en las audiencias. Este proceso viene atado a algoritmos de recomendación capaces de aislar al usuario en su propia burbuja ideológica como expuso Parisier, reforzando prejuicios y limitando la exposición a perspectivas críticas o divergentes. El resul-tado es la exacerbación de la polarización, así como la llamada democracia senti-mental.

En relación con la desinformación, los efectos de la IA se han hecho cada vez más notorios desde 2016, año en el que se popularizó el debate sobre la injerencia extranjera en las elecciones estadounidenses y luego el Brexit. Aunque todavía no se ha probado con absoluta fabilidad que estas campañas de desinformación -orquestadas o no mediante IA- hayan sido determinantes en algún resultado electoral concreto, resulta innegable que la IA -y la IA generativa- facilita la capacidad de generar y de difundir selectivamente material engañoso. Por una parte, las redes neuronales generativas permiten crear con facilidad contenido falso (deepfakes, voces sintéticas, textos simulados) que complica las tareas de veri-fcación y sembrar la duda sobre cualquier material audiovisual. Además esta situación contribuye a un escepticismo generalizado, facilitando que se pongan en duda las informaciones que sí que son veraces y, al mismo tiempo, se incre-menta la duda pública sobre todo aquello que se publica, con el consiguiente desgaste de la confanza en las instituciones.

Además, la IA permite una personalización masiva y detallada de la propaganda política, así como la microsegmentación de audiencias y la difusión selec-tiva de mensajes engañosos.

En Estados Unidos, la amplia interpretación de la libertad de expresión garantizada por la Primera Enmienda, especialmente en el contexto de internet, limita signifcativamente la capacidad de las autoridades para regular e imponer obligaciones a las plataformas.

En cualquier caso quedaba en manos de la sociedad civil y de las propias empresas y plataformas la posibilidad de combatir la desinformación y la manipu-lación. Sin embargo, las soluciones de mercado resultan en gran medida inefcaces si los gigantes tecnológicos determinan que sus benefcios continúan ligados a algoritmos que promueven la polarización. La situación empeora con el nuevo Gobierno de Trump y Ellon Musk, quien, con su plataforma X ideologizada y par-tidista, complementa un legislativo y judicial que probablemente no cambiarán esta dinámica. Así, ni va a haber soluciones normativas ni desde las plataformas y el mercado. De ahí que se anuncie la desaparición casi completa de secciones de verifcación de datos y moderación de contenidos. La situación es muy distinta en la UE, donde sin duda que hay una actitud más intervencionista y reguladora. Con el fn de preservar la integridad de los procesos democráticos y de proteger dere-chos fundamentales (libertad de expresión e información, protección de datos, infancia, etc.), la UE ha desarrollado varias normas que obligan a realizar muchas acciones a las plataformas así como a controlar sus algoritmos y sistemas de IA que puedan incidir de manera signifcativa en la formación de la opinión pública.

Destaca la Digital Services Act (DSA), que introduce obligaciones específcas de transparencia y responsabilidad para grandes plataformas, exigiéndoles la imple-mentación de mecanismos de gestión de riesgos sistémicos y auditorías periódicas. Se trata de un enfoque bastante acertado que no pasa por un control ni dirección de contenidos público ni una evaluación de su constitucionalidad por los gobier-nos, que es lo que hay que evitar a toda costa. El Centro de Transparencia Algorít-mica de Sevilla para toda la UE va a jugar un papel esencial.

Junto a la DSA, el emergente RIA califca como sistemas de «alto riesgo» aquellos diseñados para infuir en procesos electorales o moldear el comporta-miento de los votantes. Aunque habrá que ver cómo se implementa y qué auto-ridades se hacen cargo de su cumplimiento efectivo, supone que estos sistemas de IA cumplan importantes obligaciones. También el RIA regula algunas obliga-ciones interesantes de informar sobre la existencia de deepfakes así como de conte-nidos generados por IA (art. 50). Otro hito de la UE es el Reglamento europeo sobre transparencia y segmentación de la publicidad política, que dispone requi-sitos muy estrictos en la publicidad segmentada. Entre otras cosas, prohíbe la uti-lización de datos sensibles para fnes de microsegmentación política y exige la trazabilidad de la publicidad en repositorios públicos. Asimismo, el acervo euro-peo en materia de protección de datos personales, con el RGPD, puede actuar como un dique frente a la creación de perfles indiscriminados e hiperpersonali-zación de la propaganda electoral. Nuestro TC ha prestado atención a esta mate-ria y, al menos en teoría, ha establecido importantes garantías para la regulación de estas cuestiones (STC 76/2019, de 22 de mayo de 2019). Lamentablemente, la dejadez está siendo muy importante, por ejemplo, respecto de la asignación de atribuciones y competencias a órganos como la Junta Electoral, como el mismo TS ha señalado expresamente.

Sin embargo, estas medidas regulatorias enfrentan importantes problemas e incertidumbres de cumplimiento dentro de la UE y, sobre todo, desafíos geoes-tratégicos internacionales, dado que el alcance de las principales plataformas excede el territorio de la Unión. Hacer cumplir estas normativas puede conver-tirse en una cuestión de relaciones internacionales y un pulso político de la UE con EEUU.

Irónicamente es la propia democracia la que parece dar cobertura a estos con-tenidos y limita las posibilidades de actuar frente a ellos. Es posible que en los próximos años las democracias liberales deban refexionar si los contenidos e informaciones estructural y pretendidamente inveraces gozan de alguna protec-ción constitucional cuando están dirigidos, precisamente, a minar el propio sis-tema constitucional.

Aunque soy relativamente escéptico de la respuesta educativa y cultural frente a estos fenómenos sentimentales, una de las escasas medidas que quedan a las democracias liberales y así lo ha recogido la misma Carta de Derechos digita-les, es la necesidad de una mayor alfabetización mediática y digital de la ciudada-nía que permita reconocer patrones de desinformación. Una sociedad que en su caso pueda elegir entre las plataformas y servicios que no inviertan de forma sin-cera en moderación de contenidos, etiquetado confable de información y diseño de algoritmos que prioricen la fabilidad por encima del sensacionalismo.

Y como guinda de este peligroso pastel, cabe al menos mencionar otro peligro signifcativo que la IA introduce en los procesos electorales: su capacidad para amplifcar los riesgos de ciberseguridad en los sistemas electorales. La IA facilita ataques más sofsticados y personalizados, como el phishing dirigido a funciona-rios electorales o ciudadanos clave, el despliegue de malware indetectable y la saturación de sistemas críticos mediante ataques distribuidos de denegación de servicio (DDoS). Este cóctel tóxico de vulnerabilidades técnicas y narrativas manipuladoras puede erosionar gravemente la confanza pública en el proceso electoral y deslegitimar gobiernos democráticamente electos, incluso cuando no existan pruebas concretas de manipulación efectiva. Y las tecnologías cuánticas que están por llegar pueden disparar los peligros de integridad de procesos elec-torales que cada vez más tienen su soporte en sistemas informáticos.

MARIO HERNÁNDEZ RAMOS

De nuevo, los efectos de la utilización de sistemas de IA pueden ser tanto positivos como negativos. A riesgo de simplifcar una cuestión tan compleja, el proceso democrático puede componerse de tres dimensiones diferenciadas pero complementarias e interrelacionadas: la conformación de la opinión pública en libertad; el funcionamiento de los órganos representativos; el procedimiento electoral. En todas ellas la IA está jugando ya un papel importante.

La presencia de la IA en la formación en libertad de una opinión pública, escenario liberal ideal de todo proceso democrático, es creciente. Desde una óptica positiva, la ciudadanía tiene a su disposición más y mejores herramientas para informarse y discriminar la información que no le interese e identifcar la información errónea o directamente falsa. Desde un punto de vista negativo, en los últimos años se ha democratizado el acceso de aplicaciones de IA que pueden confundir a la ciudadanía con información falsa, como los deepfakes, o creando un ecosistema de confusión y propaganda interesada. Nada de esto es nuevo. Sin embargo, la IA permite una escalabilidad en la creación de contenidos y una vira-lidad en su propagación que sobrepasa la capacidad del ser humano de abordar esa información y enjuiciarla. Esto suscita dos consecuencias o cautelas: la primera, se refere a la necesidad de adoptar una actitud proactiva, tanto por la ciudadanía como por los poderes públicos, para combatir el clima de desinformación o mani-pulación, utilizando certifcaciones u otros sistemas de trusted faggers; en segundo lugar, será imprescindible utilizar IA para luchar contra los efectos negativos de la IA, por ejemplo detectado deepfakes, granjas de chatbots, etc, puesto que la capacidad humana de hacer frente a todo el contenido generado en los medios digitales hace años que se ha visto superada. Aunque suene pesimista, no tardará en llegar una época en la que sea imposible distinguir el contenido creado (sobre todo por IA) del contenido real en internet; esto supondrá que la posibilidad de formar libremente una opinión pública requiera un gran esfuerzo, tanto a nivel individual como a nivel colectivo, debiendo fomentarse y posibilitarse desde el ordenamiento jurídico una autonomía informativa.

La misma refexión puede realizarse respecto del funcionamiento de los órga-nos de representación política y la relación con los representados. La IA permite una relación más estrecha entre representante y representado, pudiendo este último obtener una información más ajustada a sus intereses (microtargeting), y el primero en averiguar las verdaderas necesidades y ser más efciente en sus solucio-nes. Pero esta posibilidad tiene su dimensión negativa en cuanto puede utilizarse también para desinformar y manipular.

Por último, todos estos riesgos y cautelas se exacerban cuando tanto las opi-niones de las personas y su relación con sus representantes políticos se concen-tran en un periodo temporal reducido y de gran transcendencia como es el periodo electoral. A pesar de no haberse visto aún, la utilización coordinada y sistemática de sistemas de IA que existen en la actualidad puede ocasionar el colapso de un procedimiento electoral. Por eso, la actitud proactiva, tanto de las autoridades electorales en la utilización de esta tecnología (y por tanto la inver-sión en tecnología) como de la ciudadanía es crucial en aras de la integridad del proceso electoral.

Desde la óptica jurídica, y como se desarrollará más adelante, quizá la principal solución para dar respuesta a este escenario preocupante para las democra-cias liberales provenga de arbitrar los mecanismos adecuados para preservar y fomentar la autonomía individual, permitiendo que cada individuo se diferencie y distancie de un tratamiento colectivo automatizado por parte de sistemas de IA diseñados y utilizados para favorecer intereses partidistas que persigue anular la libertad de elección de cada individuo.

MIGUEL PRESNO LINERA

Es bien sabido que los procesos democráticos de índole política, tanto las elecciones como las consultas populares, han ido incorporando los avances tec-nológicos del momento, tanto en las campañas para infuir en el sufragio como, en su caso, en el propio sistema de votación (en Brasil y Estonia, por citar dos ejemplos conocidos, hace años que el voto es electrónico y en el país báltico se puede ejercer a distancia) y en las fases de recuento de votos y asignación de esca-ños y las respectivas normas electorales han ido disciplinando esa progresiva tec-nifcación.

En este contexto, el reciente y rápido desarrollo de los sistemas de IA supone más una «revolución» que una mera transformación o modernización, especial-mente en todo lo que tiene que ver con la comunicación política, que es ya una comunicación algorítmica, lo que aporta ventajas como una cuidada personaliza-ción del mensaje electoral o el abaratamiento de las campañas, pero también indudables peligros: el ya citado estudio del Consejo de Europa sobre algoritmos y derechos humanos incluye un apartado sobre el derecho a la participación en elecciones libres en el que se dice que el funcionamiento de los algoritmos y de los sistemas de recomendación automatizados pueden crear «burbujas de fltro» -cámaras de eco totalmente automatizadas en las que los individuos solo ven piezas de información que confrman sus propias opiniones o coinciden con su perfl- y eso puede tener efectos trascendentales para los procesos democráticos de la sociedad. Aunque el impacto real de las «burbujas de fltros» y de la desin-formación selectiva en la formación de la opinión política es difícil de determinar con precisión, las cámaras de eco totalmente automatizadas plantean el peligro de crear «burbujas ideológicas» y eso puede tener efectos cruciales, en particular en el contexto de los procesos electorales o de referéndum. Y es que con los sistemas de IA se consiguen resultados inéditos en escala y efecto, logrando que el mensaje llegue microfocalizado a los votantes, con tanto más efecto decisivo en unos comi-cios cuanto más igualados puedan estar las candidaturas contendientes o las opciones en presencia en una determinada consulta popular. Este efecto no es, claro, privativo de los procesos electorales, sino que se proyecta, en general, sobre derechos fundamentales como las libertades de expresión e información o la liber-tad ideológica, reduciendo la «garantía de lo posible» que son los derechos.

Pero si hacía falta un ejemplo práctico sobre la capacidad, al menos teórica, de incidencia de los sistemas de IA en los procesos electorales cabe recordar la reciente decisión del Tribunal Constitucional de Rumania, de 5 de diciembre de 2024, que anuló la primera vuelta de las elecciones presidenciales, tras haber con-frmado inicialmente su validez, argumentando que se había conocido con poste-rioridad una interferencia en el proceso electoral a través de las plataformas sociales, especialmente TikTok, donde se habrían creado miles de cuentas falsas y se habría distribuido publicidad política sin etiquetarla como tal, algo que resulta relativamente fácil y barato como explican muy bien en su reciente libro Rafael Rubio Núñez, Frederico Fran Alvim y Vitor de Andrade Monteiro (Inteli-gencia artifcial y campañas electorales algorítmicas. Disfunciones informativas y amena-zas sistémicas de la nueva comunicación política, CEPC, 2024), donde recogen una minuciosa catalogación de las aplicaciones «antisociales» de la IA en las campa-ñas electorales, como la manipulación de acontecimientos, la falsifcación de movimientos de apoyo o repudio, las campañas de desinformación desde dentro o desde fuera del país donde se celebran las elecciones o las consultas, la manipu-lación de los resultados de las encuestas, el sabotaje informático o la distribución automatizada y masiva de contenidos nocivos...

A este respecto, el citado Reglamento europeo por el que se establecen nor-mas armonizadas en materia de inteligencia artifcial contiene en el artículo 5.1.a una prohibición que puede operar durante los procesos electorales: «la introduc-ción en el mercado, la puesta en servicio o la utilización de un sistema de IA que se sirva de técnicas subliminales que trasciendan la conciencia de una persona o de técnicas deliberadamente manipuladoras o engañosas con el objetivo o el efecto de alterar de manera sustancial el comportamiento de una persona o un colectivo de personas, mermando de manera apreciable su capacidad para tomar una decisión informada y haciendo que tomen una decisión que de otro modo no habrían tomado, de un modo que provoque, o sea razonablemente probable que provoque, perjuicios considerables a esa persona, a otra persona o a un colectivo de personas»; además, dicho Reglamento considera que, a fn de hacer frente a los riesgos de injerencia externa indebida en el derecho de voto consagrado en el artí-culo 39 de la Carta, y de efectos adversos sobre la democracia y el Estado de Derecho, deben clasifcarse como sistemas de IA de alto riesgo los sistemas de IA destinados a ser utilizados para infuir en el resultado de una elección o un refe-réndum, o en el comportamiento electoral de las personas físicas en el ejercicio de su voto en elecciones o referendos, con excepción de los sistemas de IA a cuyos resultados de salida las personas físicas no están directamente expuestas, como las herramientas utilizadas para organizar, optimizar y estructurar campañas políti-cas desde un punto de vista administrativo y logístico.

Y esa califcación como de alto riesgo supone, de acuerdo con ese mismo Reglamento, que, entre otras exigencias, se diseñarán y desarrollarán de forma que se garantice que su funcionamiento es lo sufcientemente transparente; debe-rán permitir técnicamente el registro automático de eventos durante la vida útil del sistema; se diseñarán y desarrollarán de tal manera, incluso con herramientas adecuadas de interfaz persona-máquina, que puedan ser supervisados efcazmente por personas físicas durante el período en que estén en uso; deberán tener in nivel adecuado de precisión, solidez y ciberseguridad y se hará previamente una evalua-ción del impacto sobre los derechos fundamentales que la utilización de dicho sistema pueda producir.

No obstante estas previsiones de ámbito europeo, parece oportuno incorpo-rar a nuestra legislación electoral general una regulación específca sobre el uso de sistemas de IA donde, entre otras cosas, se establezca qué tipo de prácticas pue-den llevarse a cabo con esos sistemas; cuáles constituirán una infracción o, en su caso, un delito electoral; qué potestades tendrán los órganos de la administración electoral para garantizar la transparencia y objetividad del proceso electoral y la vigencia del principio de igualdad...

LUCRECIO REBOLLO DELGADO

Un elemento para tener en consideración en la actualidad es el fenómeno de las redes sociales. Son muchos los indicadores que ponen de manifesto que existe un porcentaje muy alto en los menores de cuarenta años que acuden únicamente como fuente de información a internet o las redes sociales. El grado de manipu-lación en estas es elevadísimo, a la vez que no hay constatación alguna de su

veracidad, de la calidad de la fuente, y en muchas de ellas se entrevé con claridad la pretensión de la información, de los mensajes, cuando no la nítida manipula-ción de la realidad y de la información, circunstancia que se facilita con la inteli-gencia artifcial. Este puede ser un grave problema para la democracia, puesto que, radicando su fuerza en la voluntad de la mayoría, esta fácil manipulación de la información puede distorsionar por completo aquélla, y ya van siendo muchos los ejemplos a este respecto. Quizás el más próximo a nuestro entorno sea la cam-paña al respecto del referéndum en Reino Unido sobre el Brexit, o la infuencia de las redes sociales en la campaña electoral de las presidenciales en EE. UU. en 2016, fenómenos ambos que se vienen estudiando ahora, y de los que se extraen conclusiones alarmantes en nuestro ámbito central de análisis, la democracia.

Es evidente que el transcendental mundo informativo se ha vuelto conside-rablemente complejo. A los clásicos canales de información (prensa, radio y TV) se han unido ahora las redes sociales, y también persisten, a la vez que han ampliado su efcacia, la operatividad de la información que realizan las estructu-ras de poder, y los diversos grupos de presión o intereses. De esta forma el ciuda-dano se sumerge a diario en un océano de información, que no está de forma pasiva a su disposición, sino que es activa, tiene la ineludible pretensión de infuir en él, y son tantos los medios y los mensajes, que ya no le es útil solamente la pre-tensión de acercarse a ella, sino que, por el contrario, tiene que desprenderse, ale-jarse, o a veces protegerse de ella. En el siglo pasado el individuo era el que acudía a la información, ahora es ésta la que invade el espacio de aquél. La tarea ya no es tanto informarse, como protegerse de la desinformación, o de la información cla-ramente intencionada. Esta labor es hercúlea. Aun haciendo uso de las herra-mientas de subjetivización, incluso aceptando mansamente el eslogan o mensaje del partido político con el que simpatizamos, o de los grupos en que nos incardi-namos, o practicando cierto alejamiento de lo público, la presión informativa y la conformación de la realidad es tan intensa, que fnaliza penetrando en el ciuda-dano. Si en el fujo de este torrente informativo, además se incluye la posverdad, las posibilidades de una información plural y verdaderamente objetiva se le pre-sentan al ciudadano como algo inalcanzable, o al menos al que renuncia un con-siderable número de ellos. Esta circunstancia, con ser grave, queda empequeñecida si la comparamos con la afectación de la libertad de pensamiento y el deterioro que produce en la propia generación de la conciencia e ideas de los individuos.

Como hemos analizado, el individuo como sujeto esencial de la democracia, requiere de conocimiento, de una aptitud abierta a una información plural, nece-sita memoria que le facilite el contraste, tiene que salirse del fltro burbuja en el que le insertan los algoritmos que manejan la información, tiene que tener espí-ritu crítico, y saber fltrar la dimensión o aproximación de lo que los distintos focos de infuencia le ofrecen como un todo informativo, y por último, también debe entrever los intereses de toda índole que se ocultan en la información. Qui-zás por ello hoy todos nos sentimos Luis de Torres. Este entrañable personaje his-tórico acompañó a Cristóbal Colón en su primer viaje en calidad de interprete, porque sabía hebreo, caldeo y árabe, y fue enviado por Colón ante el cacique de los taínos Ganahaní en la Española con una carta de presentación de los Reyes Católicos, se presume que para facilitar un buen entendimiento.

El problema que plantean hoy las redes sociales es que desde todo punto de vista parece incoherente que un sistema democrático, que se sustenta en la infor-mación, esté basado en el anonimato, donde la transparencia, la objetividad, la racionalidad, el respeto a los derechos y libertades fundamentales son manifesta-mente relegados, cuando no, claramente vulnerados. Podría argumentarse que en las redes sociales también hay pluralismo, puesto que, a una información preten-didamente intencionada o falsa, pueden surgirle contestaciones fundamentadas en la verdad, en la objetividad o la racionalidad, pero esto es únicamente un paliativo, puesto que la quiebra la genera la desinformación, y el volumen hace prevalecer el objetivo primigenio de la falsedad, de la tergiversación o de la mentira. En todo caso, no es el mejor contexto para un debate de ideas o propuestas que luego pue-dan tener una traslación positiva al ámbito de lo político, o que se materialicen por cauces democráticos. Parece que todo apunta a que, si la pretensión de la verdad objetiva o absoluta ya estaban alejadas del ciudadano, ahora hay que concluir que las redes sociales no se aproximan a ella, ni nos facilitan su consecución. Es proba-ble que la meta más inmediata sea reconsiderar su anonimato, a la vez que estable-cer mecanismos de fltrado en todo aquello que afecta a lo público, y singularmente a los elementos estructurales de la democracia, de lo contrario pueden constituirse en un elemento claramente erosionador de un pilar tan esencial en democracia como es la información, base de la formación de ideas y opiniones del individuo, y, por tanto, elemento esencial del pluralismo político.

JOSÉ TUDELA ARANDA

De nuevo, lo primero es afrmar la prudencia. Podemos intuir que la infuen-cia va a ser notable, pero nos es imposible aproximarnos con cierta seguridad a la concreción. Para ser estrictos con la pregunta, hay que delimitar primero los derechos que se encuentran implicados en los procesos democráticos. Estos pro-cesos se materializan, fundamentalmente, mediante elecciones por las que se eli-gen representantes. Se trata de hacer efectivo el poder del pueblo. En consecuencia, el derecho de sufragio en su doble vertiente es el primer derecho afectado. Asimismo, los derechos que de una manera u otra sirven a la expresión política o son instrumentos para que se materialicen: reunión en su doble expre-sión y el derecho de asociación. Junto a ellos, de forma esencial, libertad de expre-sión y derecho a la información. No puede olvidarse que el presupuesto de una democracia sana es una opinión pública bien conformada. El derecho de sufragio, en sentido estricto, se verá afectado de manera directa e indirecta por el impacto que la IA tenga sobre todas estas cuestiones. De ellas dependerá que se pueda garantizar una participación política efectiva y en igualdad de condiciones.

Desde esta premisa ¿Cuál puede ser la infuencia de la IA? De nuevo, hay que decir que la IA no es un salto en el vacío, no aparece de la nada. Muchas de las cuestiones que, aparentemente, suscita las plantea ya Internet y el uso de las redes sociales. La cuestión, considero, estriba no tanto en el presente sino en intuir el futuro. ¿Cuál es el impacto presente de la IA? En mi opinión, su incidencia sobre el derecho de sufragio viene dada, especialmente, por dos vías. Por un lado, por la capacidad de la IA para multiplicar la ya importante infuencia de las redes sociales en los procesos políticos y, en general, su capacidad para alterar el derecho a la información. La segunda cuestión que destacaría es la incidencia sobre el derecho de asociación y, en especial, sobre la creación y funcionamiento de los partidos políticos. Son dos cuestiones con la sufciente importancia como para no pensar que los procesos políticos pueden cambiar sustancialmente en los próxi-mos años.

Libertad de expresión y derecho a la información. Entiendo que, al menos de momento, es la cuestión capital en relación con los procesos democráticos. En realidad, en general, con la democracia. Las redes ya han demostrado sobrada-mente su capacidad de infuencia. El desarrollo tecnológico, primero mediante algoritmos y ahora con la consolidación de la IA generativa, ha multiplicado esa capacidad. Sin duda, el uso indebido de estas tecnologías es un riesgo grave, ya que puede alterar la equidad obligada del proceso, inclinando la balanza en un sentido predeterminado. Pero mis temores no se limitan solamente al proceso electoral. Un sistema democrático exige que se garantice el carácter veraz de la información. Pero, simultáneamente, debe garantizar la libertad de expresión con las mínimas cortapisas. Es evidente que la lucha contra la denominada desinfor-mación provoca tensiones con la libertad de expresión. Tensiones que pueden ser relevantes. Hay cuestiones fundamentales como, por ejemplo, quién asume la capacidad para decidir qué es veraz o no, qué es bulo o no. Precisamente, la con-solidación popular y política de esta voz, me resulta preocupante. Otorgarle pro-tagonismo como instrumento de descalifcación implica, por sí mismo, un riesgo implícito para la libertad de expresión y para el derecho a la información. La lucha contra la desinformación es necesaria. Pero desinformación debe entenderse de una manera estricta: debe tratarse una campaña estratégicamente organizada; con una intención determinadas; y basada en hechos objetivamente falsos. Hay que recordar que la libertad de expresión ampara el error del informador y, por supuesto, un abanico amplísimo en su forma de expresarse. La peor consecuencia para la libertad de expresión y para los procesos democráticos, para la democracia en general, sería que la libertad de expresión resultase gravemente mermada, aunque fuese con buenas intenciones.

Junto a lo anterior, mencionaba el derecho de asociación y, en concreto, el de crear partidos políticos. Su creación y su funcionamiento ya han sido afectados, de nuevo, por el proceso tecnológico. En especial, el funcionamiento de los parti-dos. Como cualquier asociación, el comportamiento de sus miembros se adapta al nuevo contexto tecnológico. No es posible realizar un análisis detenido. De forma breve, y necesariamente intuitiva, realizaré alguna consideración. Por encima de todas, entiendo que se impone la fragilidad. La fragilidad de los partidos y de los sistemas de partidos. Es más sencillo crear partidos y es más sencillo que desapa-rezcan, por ser más débiles frente al entorno. La velocidad y volatilidad que carac-teriza a este modelo social infuye en las organizaciones políticas. También la impaciencia. Los liderazgos serán más inestables y menos duraderos. Considero que es una de las razones de la actual debilidad de los liderazgos y de la volatili-dad generalizada de los sistemas de partidos.

Finalmente, hay que regresar a la igualdad. Como se dijo, es presupuesto de todos los derechos. Su relación con la participación política es evidente. La IA tiene capacidad sobrada para alterar la igualdad sustancial de los contendientes. Es una cuestión que no debería perderse de vista. De hecho, alguna afección es inevitable. El sujeto político que sepa utilizar adecuadamente esta herramienta se encontrará con una ventaja sustancial, como ya sucede con el uso de las redes sociales. Las nuevas tecnologías están introduciendo un factor de desigualdad cultural de gran impacto. La política no es ajena a esta circunstancia. Y si bien nadie puede garantizar que todos los protagonistas tengan las mismas habilida-des, sí es posible procurar que, al menos, tengan ocasión de comportarse con unos mínimos.

En fase conclusiva, hay que afrmar que el mayor impacto de la IA no es directo. Es indirecto. Es la consecuencia natural de su extraordinaria capacidad de transformación. Una pregunta es previa a la formulada: ¿Cuál va a ser el impacto de la IA en la democracia? No tenemos todavía una respuesta. Pero sí es posible afrmar que la democracia de la era digital no puede ser igual al modelo que ha regido la democracia analógica.

3. Desde el punto de vista de la dogmática de los derechos fundamentales ¿Cree que la inteligencia artifcial puede llegar a producir algún cambio en la forma en la que concebimos hoy los derechos fundamentales (su objeto, contenido, estructura..)?

ANA ABA CATOIRA

La inteligencia artifcial (IA) está provocando transformaciones profundas que afectan al núcleo de los derechos fundamentales, lo que exige una revisión de su conceptualización desde la dogmática jurídica. Los derechos fundamentales, son más que límites frente al poder público, son construcciones normativas que confguran un marco axiológico y estructural para el sistema jurídico que defne una visión de sociedad inclusiva, equitativa y respetuosa con la dignidad humana, y que ahora se enfrentan al desafío de integrar la realidad digital que afecta a los sujetos, los contenidos y las estructuras de los derechos fundamentales.

En primer lugar, en cuanto a los sujetos, los derechos fundamentales han sido tradicionalmente derechos subjetivos individuales, pero la IA introduce dinámicas que afectan tanto a individuos como a colectivos e, incluso, a entidades no humanas. Por ejemplo, las decisiones algorítmicas impactan en sociedades enteras mediante la creación de perfles grupales con técnicas de big data, que pueden generar discriminaciones estructurales hacia colectivos vulnerables. Por ello, es necesario incorporar una dimensión colectiva a los derechos fundamenta-les para proteger a los grupos frente a los riesgos derivados del uso de la IA.

En cuanto al contenido, derechos como el de privacidad requieren una rein-terpretación. Históricamente se ha concebido como un derecho negativo de exclusión, hoy debe garantizar la autodeterminación informativa entendida como la capacidad de las personas para conocer y controlar cómo se utilizan sus datos, por lo que deben establecerse garantías de transparencia algorítmica y explicabi-lidad que permitan comprender el procesamiento de los datos. El RGPD esta-blece el régimen jurídico de la protección de datos, pero la IA exige más, nuevas medidas como las auditorías de sistemas algorítmicos para prevenir vulneracio-nes o que el derecho al olvido, reconocido por el TJUE en el asunto Google Spain, comprenda el derecho a que los algoritmos no perpetúen sesgos históricos o jui-cios erróneos que afecten la reputación de las personas.

En cuanto a la estructura de los derechos, la distinción clásica entre derechos negativos y derechos positivos se diluye ante los retos de la IA ante las vulnera-ciones derivadas de los sistemas algorítmicos no encajan fácilmente en esta clasi-fcación. Este es quizás el mayor reto para asegurar la garantía de los derechos digitales que se ejercitan en las relaciones privadas mantenidas con las empresas tecnológicas, establecer un marco regulatorio que garantice la vigencia de los derechos frente a privados.

Existe una necesidad de adaptar las garantías tradicionales a los entornos digitales. El derecho a la igualdad y la no discriminación es especialmente vulne-rable frente a los sesgos algorítmicos. Los algoritmos, lejos de ser neutrales, refe-jan los datos y parámetros con los que fueron diseñados, lo que puede perpetuar desigualdades. Las garantías tradicionales deben ampliarse mediante herramien-tas como auditorías algorítmicas y mecanismos de explicabilidad, recogidas en el RIA que clasifca los sistemas de IA según su nivel de riesgo y establece obliga-ciones específcas para garantizar el respeto a los principios de igualdad y no dis-criminación.

Creo que es necesario reconocer el valor de la Carta de Derechos Digitales en un intento de abordar estas transformaciones desde una perspectiva holística. Ciertamente carece de fuerza jurídica vinculante, pero identifca vacíos normati-vos y propone derechos adaptados a las realidades tecnológicas, como la explica-bilidad, la supervisión humana o la protección frente a la manipulación algorítmica. Estos derechos emergentes amplían el catálogo de derechos y recon-fguran las relaciones entre ciudadanos, poderes públicos y actores privados en el entorno digital.

En este complejo proceso de adaptación a la IA hay un elemento esencial. La alfabetización digital se revela como instrumento imprescindible para garantizar la libertad y la seguridad de la ciudadanía en un entorno determinado por los algoritmos. Sin una comprensión básica del funcionamiento de los sistemas de IA y los riesgos aparejados, la ciudadanía queda expuesta a la vulnerabilidad digital, no solo por falta de autoprotección sino también por el desconocimiento de sus derechos y las garantías que le asisten. Y esta vulnerabilidad digital es muy pro-bable que acreciente otras vulnerabilidades existentes. Por tanto, las políticas públicas deben priorizar la educación digital como un pilar esencial del sistema de garantías complementando los posibles ajustes normativos.

FRANCISCO BALAGUER CALLEJÓN

Estamos en un tiempo de rupturas en el que resulta difícil prever el alcance de las transformaciones que vamos a vivir. A diferencia de las épocas de transi-ción, en las que se ha prefgurado previamente el resultado porque la transición opera como un puente entre el pasado y el futuro, la ruptura no nos permite cono-cer previamente el resultado: es como cuando se abre una puerta sin saber lo que habrá detrás. En la historia del constitucionalismo hemos tenido transiciones del Estado legal de Derecho al Estado constitucional como las hemos tenido también con el desarrollo del Derecho constitucional de la integración supranacional en el ámbito europeo. Sin embargo, el propio constitucionalismo se implantó a través de un proceso revolucionario, de una ruptura. La que estamos experimentando ahora con la tercera globalización y el desarrollo tecnológico del siglo XXI es una revolución de alcance equiparable a la que dio lugar al mundo moderno.

Lo que ocurre es que la constitución era entonces una palanca revolucionaria para dejar atrás el sistema estamental y construir un mercado nacional que hiciera posible el progreso. Por el contrario, en el siglo XXI la constitución es conside-rada un obstáculo para la construcción del mercado global y para el desarrollo tecnológico impulsado por las grandes compañías. La revolución que dio lugar al mundo moderno se canalizó a través del derecho, por medio de la constitución y la ley. La revolución que hoy están liderando los agentes globales se está canali-zando en función de su interés económico y procurando desactivar el derecho y especialmente el derecho constitucional.

Las transformaciones que están potenciando estos agentes globales evitan el enfrentamiento con el ordenamiento jurídico porque se realizan a través del derecho privado, eludiendo así las garantías constitucionales. Pero su batalla es esen-cialmente cultural, de ahí que podamos ver como muchos derechos y garantías constitucionales (como la intimidad o el secreto de las comunicaciones) no tienen ningún signifcado actualmente para los nativos digitales, por ejemplo. Lo pri-mero que está cambiando es la forma en la que la sociedad se relaciona con los derechos constitucionales, que convierte a muchos preceptos constitucionales en enunciados vacíos porque los patrones culturales que se están imponiendo les pri-van de sentido.

Frente a esta evolución tan negativa, la comunidad de constitucionalistas debemos reivindicar el patrimonio constitucional y potenciar una respuesta cul-tural adecuada a estos desafíos al tiempo que promover el control de las compa-ñías tecnológicas para favorecer la compatibilidad de sus aplicaciones, especialmente por lo que se refere a la confguración de la interfaz de usuario y de los algoritmos, con el sistema constitucional de derechos. El alcance de las transformaciones constitucionales que se producirán en esta tensión entre consti-tución y realidad digital es algo que no se puede aventurar. Tenemos que preser-var el avance civilizatorio que la constitución representa y afrontar su adaptación al mundo digital con prudencia y con rigor.

LORENZO COTINO HUESO

Los derechos fundamentales se han concebido históricamente como derechos subjetivos para proteger a los individuos frente al poder y en las últimas décadas también frente a privados. Sin embargo, en general en los entornos digitales y especialmente con la IA se requiere apreciar que sus efectos impactan especial-mente de manera colectiva, a comunidades e incluso a la estructura misma de las sociedades democráticas. En consecuencia, es preciso superar una visión tradicio-nal de derecho subjetivo de los derechos fundamentales. Esta concepción indivi-dualista heredada del Derecho romano se centra en la tutela de un interés subjetivo del titular frente a interferencias externas. Sin embargo, esta perspectiva resulta insufciente porque los sistemas de IA tienen consecuencias estructurales en gru-pos y comunidades. Por ejemplo, los algoritmos en los servicios públicos inteli-gentes que gestionan la sanidad, el transporte o la educación, pueden servir para la toma de decisiones discrecionales y colectivas políticas y administrativas. Como señalan autores como Hoffmann-Riem y Mantelero, es necesario adoptar un enfoque que reconozca los efectos colectivos y que permita evaluar jurídica-mente el daño social, una categoría análoga al daño medioambiental, difícil de aprehender desde una visión tradicional subjetiva. El uso masivo de datos y la capacidad de los algoritmos para crear perfles y predecir comportamientos colec-tivos requieren mecanismos de protección que vayan más allá del caso concreto y aborden los efectos sociales del uso de IA. Y no se trata sólo del uso de IA por el poder público. El impacto colectivo de la IA no se limita al ámbito público; su uso en el sector privado también tiene efectos signifcativos en los derechos fun-damentales en áreas como el consumo, el trabajo, la educación y muchos otros sectores. Con este enfoque destacan especialmente los análisis de gran calado en esta dirección de Hoffmann-Riem y especialmente Mantelero, de Tullio con apoyo de Vedder, Rodotà, Peña Gangadharan, Crawford, Faleiros, Luers, Meier, Perlich y Thorp. Al momento de una valoración jurídica y constitucional de los riesgos, daños y restricciones, es necesario realizar un «recalibrado», como sugi-rió Citron en relación al debido proceso. Es imprescindible evaluar no solo casos individuales, sino también el impacto masivo de las operaciones continuadas de algoritmos, sistemas de IA o el manejo extensivo de datos. Como se dirá, ello tiene especial incidencia en los mecanismos de garantía.

Como he sostenido hace años, la respuesta desde los derechos fundamentales exige en parte volver a los principios, esto es a la dignidad que está en la base de los derechos y con ella a la dimensión objetiva de los derechos fundamentales. Este enfoque concibe los derechos fundamentales no solo como garantías individuales, sino como principios estructurales que orientan todo el ordenamiento jurídico. En el ámbito de la IA, esta dimensión objetiva justifca la intervención del legislador para garantizar que las tecnologías se desarrollen y utilicen de forma compatible con los derechos fundamentales. También permite integrar objetivos sociales, como la sostenibilidad o la equidad, en la interpretación y aplicación de los dere-chos. La dignidad ha de seguir el rumbo principio rector de cualquier desarrollo tecnológico. Son muy numerosas las proclamaciones sobre la dignidad y los dere-chos fundamentales como elementos fundamentales en la ética de la IA y su marco jurídico, pero más allá de la retórica habitual, considero que acudir a la dignidad y la dimensión objetiva de los derechos es jurídicamente útil:

- la dignidad actúa como reactivo para establecer límites jurídicos claros. El concepto permite determinar cuándo una tecnología cruza líneas éticas y jurídicas.

- hermenéuticamente se puede acudir a la dignidad cuando es preciso actualizar el contenido y garantías de los derechos ya existentes frente a la IA. Es más, si es preciso, la dignidad también sirve como palanca para reconocer nuevos derechos.

- la dignidad y la dimensión objetiva son apoyos para impulsar nuevas regulaciones o jurisprudencia para maximizar la efcacia de los derechos y garantías efectivas ante la IA.

- sirve para justifcar la intervención pública en todas las ramas del Derecho, incluyendo el Derecho de consumo, privado o el de la competencia, para facilitar que integren entre sus objetivos la realización de los derechos.

- proporciona cobertura jurídica a la cláusula de progreso tecnológico, así como a los objetivos sociales del uso de la IA, como la sostenibilidad y la IA para el bien común.

- permite sostener nuevas respuestas y mecanismos de tutela efectivos, en su caso, la creación de nuevas instituciones y organismos específcos.

- puede ser el apoyo para garantizar los derechos de las futuras generaciones o de la humanidad en general frente a riesgos de la IA.

Además de lo anterior, desde la dogmática de los derechos fundamentales se necesita insistir en la garantía de la reserva de ley en derechos fundamentales y en su caso vinculada al principio de legalidad del sector público que utiliza IA. No sólo son precisas regulaciones generales, sino que es imprescindible que estas normas cumplan con estándares elevados de calidad legislativa. Como he tenido ocasión de examinar con detalle, no son pocos los tribunales europeos de Países Bajos, Alemania, Francia, Eslovaquia o de Gales que invalidan el uso de sistemas automatizados o con IA por la falta de una regulación legal de calidad. Las nor-mativas que regulan el uso tecnologías de alto impacto como la IA deben ser cla-ras, precisas y previsibles, no sólo para habilitar su uso que impacte en derechos, sino que también deben establecerse garantías específcas por la propia norma legal. Además, se deben evitar las habilitaciones en blanco o remisión a normati-vas técnicas o reglamentarias que no cubren los estándares exigibles. Cabe recor-dar que el RIA no es norma que sirva como regulación legal que sirva para legitimar los usos de alto riesgo que regula, sino que se requiere una regulación estatal o de la UE que cubra los estándares exigibles. Y por cuanto a la situación en España, baste decir que en diversos países se ha declarado inconstitucional en ocasiones una normativa que contaba con garantías que ni de lejos tenemos aquí respecto de los tratamientos masivos de datos que se llevan a cabo por la AEAT, la TGSS, CNMC o inspección de trabajo, entre otras.

La falta de una regulación democrática de calidad nos priva de poder usar legítimamente estas tecnologías en áreas como la seguridad, fraude, salud, edu-cación, laboral, personalización de servicios públicos, marketing y un largo etcé-tera. Estas carencias pueden también llevar a anular actuaciones públicas por violaciones de derechos fundamentales.

Finalmente, me permito señalar que no hay que abusar de acudir al derecho de protección de datos como «comodín» frente a la falta de regulación de nuevas tecnologías. Además, aplicar el régimen de protección de datos a la IA conlleva difcultades estructurales. Es difícil mantener la fnalidad de uso de los datos (art. 5.1.b RGPD), dado que continuamente los algoritmos descubren nuevas correla-ciones, haciendo impredecibles los usos futuros de los datos. Igualmente es difícil conseguir el consentimiento o una regulación legal para unas fnalidades especí-fcas ante fnalidades cambiantes. El principio de minimización de datos (art. 5.1.c RGPD) contrasta con la necesidad general de grandes volúmenes de datos en el entrenamiento o validación de sistemas de IA.

MARIO HERNÁNDEZ RAMOS

La respuesta a esta pregunta está claramente condicionada al tipo de IA presente en la actualidad. Hasta el momento, la IA presente en nuestras vidas es la denominada como IA débil, caracterizada por poder realizar acciones o procesos muy concretos, en un determinado ámbito. La IA general, es decir, la IA capaz de poder actuar tomando una amplia variedad de decisiones en muchos ámbitos, como podría hacer un ser humano, no existe aún, aunque en función de la rápida evolución tecnológica es recurrente el debate de que el momento en el que lo alcancemos se acerca cada vez más.

Así las cosas, la dogmática de los derechos fundamentales aún es adecuada. Ciertamente ha de tenerse en cuenta la peculiaridad que supone la IA en cada derecho, como se apuntó en la primera pregunta, pero no un planteamiento dogmático.

No obstante, hay dos cuestiones relevantes relacionadas a las que prestar atención.

La primera se refere a la efcacia horizontal de los derechos. Aunque los dere-chos fundamentales fueran concebidos originariamente como derechos públicos sub-jetivos, encontrando a su principales obligados a los poderes públicos, la consolidación del Estado social, principalmente pero no solo, motivó que los sujetos particulares también fueran los destinatarios de las obligaciones de los derechos fundamentales, pero con una gran variedad de tipos, efectos y extensión. La sociedad digital y su evo-lución en una sociedad algorítmica ha ocasionado que el poder no solo sea ejercido por las autoridades públicas sino por sujetos privados. En primer lugar, internet supuso una suerte de horizontalización del poder, pues permitió por primera vez a cada individuo poder infuenciar de manera determinante a otras personas o partici-par en el proceso político escapando de la infuencia y los canales de los medios tra-dicionales (medios, partidos o instituciones políticas). En segundo lugar, las grandes compañías tecnológicas acaparan tanto poder económico que son capaces de acom-pasar la agenda política con sus intereses empresariales, trascendiendo del poder eco-nómico al político. También lideran el desarrollo tecnológico que diseñan y desarrollan conforme a sus intereses. Sin lugar a duda, los derechos fundamentales han de poder vincular a estas grandes corporaciones. Cómo hacerlo desde la dogmá-tica jurídica, dado el carácter transnacional de la mayoría de estas empresas, supone uno de los principales focos de refexión en la sociedad algorítmica.

La segunda es una cuestión que se restringe al ámbito europeo. Dado el carácter transnacional de muchas empresas, y su poder económico, solo las gran-des organizaciones internacionales, como la UE o el Consejo de Europa, acaparan el poder sufciente, en términos de PIB, población, y volumen y calidad de datos personales, para hacerles frente e imponer su legislación. Un claro ejemplo puede encontrarse en la aceptación de la STJUE Google c. España por parte de la multi-nacional condenada. Sin embargo, la UE se ha embarcado en una estrategia de, no solo liderar, sino monopolizar, la legislación del espectro digital, aun cuando eso suponga legislar derechos fundamentales, como la libertad de información, pero no solo. Surge entonces la pertinente pregunta de hasta qué punto pueden regularse cuestiones importantes relacionadas con los derechos fundamentales en el ámbito digital a través del Derecho de la UE (y sus competencias de mercado), desplazando las competencias nacionales en la materia.

MIGUEL PRESNO LINERA

En lo que respecta al objeto y contenido de los derechos fundamentales con-sidero que la generalización de los sistemas de IA no provocará ningún cambio sustancial en el plano constitucional, por más que, obviamente, esos sistemas inci-den, como ya se ha dicho antes, en las facultades que garantizan los derechos (el objeto de los mismos) y en las formas de hacer valer dichas facultades (contenido).

Lo que sí puede requerir el creciente uso de la IA, la robótica y las tecnolo-gías conexas es que, mediante la imposición de un límite legislativo, se excluya alguna facultad que, de otro modo, estaría protegida por el objeto de algunos derechos: por ejemplo, la de optar a un empleo público. Estamos pensando en las ventajas con las que contaría una persona que hubiera conseguido aumentar arti-fcialmente su memoria, su capacidad de concentración, su visión..., lo que alte-raría la condición de que el acceso a las funciones y cargos públicos se haga en «condiciones de igualdad», salvo, en tal caso, que todas las personas pudieran contar con dichas «ventajas» artifciales y en las condiciones de acceso se aceptara tal eventualidad.

En suma, si la «revolución digital» y, en particular, la IA no suponen, al menos en su estado actual, una transformación esencial en lo que respecta a la dimensión subjetiva de los derechos, dicha transformación sí tiene lugar en la vertiente jurídico-objetiva del derecho. Como es sabido, esta dimensión objetiva conlleva específcamente respecto de todos los poderes públicos (legislativo, eje-cutivo y judicial) el mandato de optimizar la efcacia de dichas libertades en todo lo que jurídicamente les sea posible y está exigencia estará profundamente afec-tada por la irrupción y progresiva generalización de la IA; así, y por recordar lo dicho por el Tribunal Constitucional en la STC 76/2019 a propósito de la utili-zación de medios tecnológicos y datos personales en las actividades electorales en un contexto anterior a la actual eclosión de la IA, el legislador está constitucio-nalmente obligado a adecuar la protección que dispensa a los datos personales, imponiendo, en su caso, mayores exigencias a fn de que puedan ser objeto de tra-tamiento y previendo garantías específcas en su tratamiento, además de las que puedan ser comunes o generales (FJ 6).

Estas mayores exigencias pasan, en primer lugar, por la necesaria evaluación previa del impacto de los sistemas de IA antes de desplegar tecnologías de alto riesgo que repercutan de forma directa y signifcativa en los derechos fundamen-tales, tal y como prevé el artículo 27 del Reglamento europeo de IA para los sis-temas de alto riesgo y que consistirá en: «que consistirá en: a) una descripción de los procesos en los que se utilizará el sistema de IA de alto riesgo en consonancia con su fnalidad prevista; b) una descripción del período de tiempo durante el cual se prevé utilizar cada sistema de IA de alto riesgo y la frecuencia con la que está previsto utilizarlo; c) las categorías de personas físicas y colectivos que pue-dan verse afectados por su utilización en el contexto específco; d) los riesgos de perjuicio específcos que puedan afectar a las categorías de personas físicas y colec-tivos; e) una descripción de la aplicación de medidas de supervisión humana, de acuerdo con las instrucciones de uso; f) las medidas que deben adoptarse en caso de que dichos riesgos se materialicen, incluidos los acuerdos de gobernanza interna y los mecanismos de reclamación». En segundo lugar, es esencial que los poderes públicos lleven a cabo una intensa actividad de «alfabetización digital» para, en la línea de lo que también prevé el Reglamento europeo de IA, obtener los mayores benefcios de los sistemas de IA, protegiendo al mismo tiempo los derechos fundamentales, la salud y la seguridad, y posibilitar el control democrá-tico. Para ellos es esencial la sensibilización pública y la comprensión de los bene-fcios, los riesgos, las salvaguardias, los derechos y las obligaciones en relación con el uso de sistemas de IA.

En tercer lugar, corresponde singularmente al legislador llevar a cabo las reformas necesarias en las normas que desarrollan derechos fundamentales para ajustarlas a las nuevas exigencias derivadas de la generalización de sistemas de IA que entran de lleno en el objeto y contenido de las libertades garantizadas; así, anteriormente se habló de la afectación de los derechos en el ámbito laboral y de la aprobación de una Directiva europea, algo que, seguramente, exigirá reformas también en la legislación española; otro ámbito que demanda reformas, y sobre el que también se habló, es el de la participación en asuntos públicos y a este res-pecto, y como otra muestra, hay que recordar que el Tribunal Supremo, a raíz de la suspensión, en pleno proceso electoral, de la cuenta de un partido político en una red social, califcó de «insatisfactoria, también por su escasez, la regulación de la potestad de control atribuida a la Administración electoral» (STS 246/2022).

Finalmente, y en relación con la expansión de los sistemas de IA, la dimen-sión objetiva demandaría también la introducción de algún nuevo instrumento de garantía de los derechos, cuestión a la que nos referiremos en una respuesta posterior.

LUCRECIO REBOLLO DELGADO

Toda actividad normativa tiene por primer objetivo delimitar su campo de actuación, constatar una necesidad que justifque su existencia, y por último, pro-poner soluciones. Para concretar la primera actuación suele recurrirse a una deno-minación lo más amplia y comprensiva posible del objeto de la nueva regulación. Así ocurre al respecto de las aplicaciones tecnológicas, en las que hay una preten-sión delimitadora del campo de actuación, representativa de la problemática y con una pretensión de conjunto. El término escogido por el legislador tanto nacional, como europeo, es el de derechos digitales. Se traspasa así al mundo del Derecho las denominaciones ya existentes de sociedad digital, entorno digital, ciudadanía digital, mundo digital y un sinfín de sustantivos al que se le añade el citado adjetivo.

Sin ánimo de ser exhaustivos, Europa se ha puesto de forma muy reciente manos a la obra en la regulación de este mundo digital, seguida, como no puede ser de otra forma, de las mismas pretensiones por parte de los Estados miembros. En 2021 la Comisión Europea publica la Brújala Digital Europea, documento que tiene por objeto hacer realidad las ambiciones digitales de la UE para 2030, donde se establecen cuatro objetivos: 1. Ciudadanos con capacidades digitales y profesio-nales del sector digital altamente cualifcados, estableciendo además que, para la citada fecha, el 80% de todos los adultos deberían tener competencias digitales básicas. 2. Infraestructuras digitales seguras, efcaces y sostenibles. 3. Transforma-ción digital de las empresas. 4. Digitalización de los servicios públicos.

También en 2021, el Gobierno de España publica la Carta de Derechos Digi-tales que, a pesar de no tener carácter normativo, supone una clara pretensión de regulación futura. En el mismo rango de ejecutividad hay que referenciar la Declaración Europea Sobre los Derechos y Principios Digitales para la Década Digital, proclamada por el Parlamento Europeo, el Consejo y la Comisión, en enero de 2022. Como indica su Preámbulo, quiere ser el referente para los ciuda-danos, los Estados y las empresas, en el contexto de transformación digital.

Parece claro que en nuestro ámbito geográfco se ha determinado con nitidez el objetivo político de los próximos años, y que no es otro que impulsar una socie-dad digital, es decir, un mundo que integre en todos los aspectos al individuo y la sociedad, los avances tecnológicos, y que este proceso se lleve a cabo con cele-ridad, y singularmente realizando la integración de forma natural y sin que se produzcan disrupciones.

En ambos textos se incluye la IA como elemento referencial e integrante del concepto digital, y de forma más concreta en la genérica denominación de dere-chos digitales. Se hace necesario, por tanto, delimitar en primer lugar, qué se entiende por derechos digitales, en la idea de que es imprescindible establecer el concepto y el contenido de lo que es objeto de estudio.

El concepto Derechos digitales goza de gran predicamento en los ámbitos políticos y doctrinales. Se presenta como el término más avanzado en el campo jurídico, y se le atribuye un áurea de novedad y singularidad excepcionales. Pero desde un análisis reposado y desnudo de pretensiones o ideología, el concepto se muestra vacío, cuando no netamente equívoco. Pudiera parecer que es un nuevo conjunto de derechos que vienen a paliar las defciencias de los sistemas jurídicos vigentes, para lo que hay que anular su denominación, por ser ya caducos u obso-letos. Es un claro ejemplo de la actual corriente social donde las palabras empa-ñan y desdibujan la realidad, y que confunden hasta al observador más objetivo.

Cabe preguntarse si este nuevo concepto de Derechos digitales ¿se incluye en el conjunto que conocemos como derechos fundamentales y libertades públicas?, también nos podemos preguntar ¿si los sustituyen o complementan?, o incluso ¿si vienen provistos de mecanismos específcos de protección? Podemos seguir preguntándonos, ¿si este conjunto de derechos tiene un contenido esencial distinto, igual, o parecido a los derechos fundamentales?, y ¿cómo se relacionan o incardinan en éstos? También cabría la posibilidad de interrogarse de ¿si nos encontramos ante una nueva era en los derechos o ante una nueva generación de derechos? Cabe responder de forma genérica a todos estos interrogantes con un no rotundo. El Derecho sigue siendo una fórmula de solventar confictos sociales y opera bajo los mecanismos de siempre, es decir, en base a principios que tienen como fn el bien común, y que se insertan en un conjunto estructurado, al que denominamos ordenamiento jurídico.

El concepto Derechos digitales viene a referir una evidente preocupación por las transformaciones digitales y las implicaciones sobre los derechos fundamenta-les, generando una clara confusión jurídica. De esta forma se aglutinan en un con-junto heterogéneo, pretensiones, facultades del individuo, derechos y derechos fundamentales. No pueden tener la misma delimitación jurídica, o importancia, una simple facultad, como es el derecho a la portabilidad de datos, que el derecho a la neutralidad de internet. En otras ocasiones se adjetiva como digitales verda-deros derechos fundamentales, siendo en realidad una manifestación o extensión de estos, como ocurre con el derecho a la intimidad, a la educación, o el derecho a la información.

Sin obviar las profundas transformaciones sociales que han devenido en el ámbito social y jurídico como consecuencia de la evolución tecnológica, es con-veniente delimitar los conceptos, y singularmente clarifcarlos, pues ello facilita su entendimiento, y nos hace arrancar en la investigación de postulados jurídica-mente acertados.

El término derechos digitales en puridad lo que hace es aglutinar un con-junto de facultades y derechos relacionados con un nexo común, podría incluso decirse que tienen una fnalidad común. Todos ellos intentan dar soluciones jurí-dicas a nuevas necesidades surgidas de la sociedad digital. No es discutible su necesidad, pero es imprescindible clarifcar su catalogación jurídica, su relevancia y su alcance, en defnitiva, determinar cómo van a integrarse en los ordenamien-tos jurídicos existentes. Parece más lógico ir acomodando estas nuevas necesida-des jurídicas y sociales a los derechos fundamentales ya ampliamente reconocidos y garantizados, expandiendo su contenido esencial y afnando en los medios y procedimientos de garantía. También parece que se acomode mejor esta preten-sión con el desarrollo y evolución de los derechos fundamentales.

Toda novedad conlleva en su inicio un cierto grado de incertidumbre, de imprecisión, a la que siempre se suman intereses diversos y limitaciones de encaje o clasifcación. Como hemos visto, el concepto de derechos digitales es impreciso y encaja de forma poco convincente en los ordenamientos jurídicos actuales. Pese a la importancia de estos derechos, no parece que contengan la fuerza sufciente para adquirir plena autonomía o una clara diferenciación de los ya reconocidos. Parece más adecuado ir insertándolos en la estructura vigente, adecuándolos a los derechos y libertades reconocidos.

También puede utilizarse una aplicabilidad específca, es decir, que en un entorno novedoso como es la sociedad digital, deberán ir estableciéndose meca-nismos que reconozcan y garanticen los derechos y libertades en este contexto. Sería así más propio denominarlos derechos y libertades en el entorno digital, o de la sociedad digital. No va a surgir un nuevo derecho a la intimidad, a la liber-tad, o de información, éstos ya existen, y lo necesario es adecuarlos a las nuevas necesidades, utilizando para ello el inmenso esfuerzo realizado por la sociedad para su reconocimiento y garantía. Esta tarea parece más lógica y adecuada que articular un nuevo grupo de derechos, o en todo caso, se ajusta mejor a una fna-lidad de efcacia, que el mero agrupamiento de facultades o especifcidades en su ejercicio. La Carta de Derechos Digitales elaborada por el Gobierno de España y publicada en julio de 2021, apunta parcialmente a esta solución, cuando en su apartado XXV. 4 establece que «Los poderes públicos evaluarán las leyes admi-nistrativas y procesales vigentes a fn de examinar su adecuación al entorno digital y propondrán en su caso la realización de reformas operativas en garantía de los derechos digitales». Hemos afrmado que la intencionalidad es parcial, puesto que se refere únicamente a normas administrativas y procesales, cuando en reali-dad debería haberse referido de forma más genérica, por ejemplo, remitiendo a todo el ordenamiento jurídico, en el que se incluye también a la Constitución, dado que habrá que ampliar las delimitaciones de los derechos y sus garantías.

Parece claro que tenemos delimitado el concepto y el objeto de estudio, que vienen determinados por un fuerte impulso político y que no es otro que el de la sociedad digital. Esta nueva realidad necesita incorporar un conjunto de reglas que estructuren y ordenen su desenvolvimiento, y a ello se le denomina Derechos digitales, lo que no signifca que reframos nuevos derechos, y sí que se introdu-cen modifcaciones o adecuaciones sobre los ya existentes. En defnitiva, se trata de una migración de un mundo analógico a otro digital, donde el Derecho es también objeto de la traslación.

JOSÉ TUDELA ARANDA

Entiendo que es preciso distinguir dos planos. Aunque pueda parecer evidente, lo primero es reafrmar la posición protagonista de los derechos fundamen-tales en el sistema constitucional. Tanto como garantes de una esfera de protección del ciudadano y de limitación del poder como de instrumentos necesarios para asegurar la efectividad de la dignidad de la persona. Aunque puede parecer obvio, reafrmar esta premisa es fundamental. Entre otras cosas, porque es desde la que habrá que entender los cambios en la dogmática de los derechos. Cambios que han de servir, ante todo, para que los derechos sigan siendo lo que son. Como en relación con otras cosas de nuestro tiempo, esa dogmática debe cambiar (también lo hará de manera obligada)... para que todo siga igual, para que los derechos y libertades sigan teniendo el signifcado y funcionalidad que poseen en la actuali-dad.

Considero que, desde un análisis dogmático, el primer aspecto sobre el que se debe refexionar es la titularidad. La IA plantea cuestiones que afectan directa-mente a la titularidad de derechos de personas físicas y jurídicas y, más allá, incluso sobre los propios derechos de la IA y sus estructuras. Son dos cuestiones diversas. En principio, emerge como más relevante el desafío que para la efectivi-dad de los derechos fundamentales implica el hecho que muchos de los nuevos riesgos y oportunidades se encuentren anudados a sujetos privados de carácter multinacional. La relación jurídica sobre la que se ha construido tradicional-mente la teoría de los derechos y libertades es la relación entre el ciudadano y el poder público. Por supuesto, también ha habido lugar para el sujeto privado y en algunos casos con particular intensidad, como es el caso de las relaciones labora-les. Pero la problemática que plantea el desarrollo de la IA por agentes privados supera este marco de relaciones. Los medios conocidos para garantizar la efectivi-dad no nos aseguran el resultado deseado. Ello se comprueba con claridad si se analiza este problema desde el control. Conocemos bien cómo controlar una empresa privada tradicional y asegurar que cumpla con sus obligaciones. No sabemos, con la certeza necesaria, cómo se puede controlar (de manera efectiva) que una de las grandes corporaciones internacionales cumple realmente con las obligaciones establecidas por el Reglamento de Inteligencia Artifcial. La impor-tancia que adquieren los actores privados necesariamente acaba afectando a la ela-boración teórica de la titularidad de los derechos.

El cambio puede ser sustantivamente profundo en relación con la segunda de las cuestiones, los derechos y libertades de la IA avanzada y de los sujetos que funcionen con esta herramienta, así los robots humanoides. Se trata de una cues-tión emergente pero que, en poco tiempo, adquirirá relevancia. Recientemente, se subastó el primer cuadro realista realizado por un robot humanoide por una cantidad superior a un millón de euros. ¿A quién corresponde ese dinero? ¿A quién corresponden los derechos generados por las obras de arte producidas la IA generativa avanzada? Por no avanzar en la pregunta más desafante: ¿Poseen sen-timientos esos robots?

La relación con el objeto viene dada tanto por la dimensión de la afección de algunos derechos que puede llegar a transformarlos cualitativamente como a la aparición de nuevos ámbitos en relación con los cuales será necesario formular un nuevo estatus ciudadanos. De forma indirecta se ha ido respondiendo a esta cues-tión. La transformación en este punto es evidente y profunda. La IA acaba por romper el marco tradicional en el que se desenvolvían los derechos. De la forma menos radical posible, se podría afrmar que nace una nueva generación de dere-chos. Pero sería una aproximación insufciente. La IA cierra, de momento, el cír-culo de la construcción digital y obliga a repensar con contundencia los derechos que la deben acompañar. Pero va más allá ya que supone una sacudida transversal sobre todos los derechos. Ya no es sufciente la elaboración de Cartas, por buenas que sean. Es preciso dar un paso más. Y es una tarea de gran complejidad. Pero es preciso abordarla. El presente de la IA es sufciente para saber que la efectivi-dad de los derechos y libertades tradicionales y la garantía frente al universo tec-nológico exige el reconocimiento de esferas de libertad novedosos. También, incluso, derechos prestacionales que contribuyan a paliar los espacios crecientes de desigualdad generados por la IA.

La estructura de los derechos y de las relaciones inherentes a los mismos se verá profundamente afectada como consecuencia de diversos factores. Entre ellos, destaca la relevancia adquirida por algunos sujetos privados (grandes empresas tecnológicas) y la insufciencia que en numerosas ocasiones va a tener el ámbito estatal para responder a los nuevos retos. Las relaciones inherentes a los derechos y libertades se transforman y los poderes estatales dejan de ser la referencia única. Sin embargo, a efectos de garantía, para los ciudadanos, hoy por hoy, siguen siendo, a salvo de las instancias europeas, su única referencia. En este sentido, debe advertirse que las características de los riesgos emergentes en materia de derechos y libertades debe hacer pensar si no es preciso la creación de órganos especializados, no sólo en la actuación a posteriori sino, también y de manera preferente, en el trabajo preventivo.

4. ¿Considera preciso incorporar a la Constitución algún nuevo derecho fundamental para poder hacer frente a los riesgos que comporta la inteligencia artifcial?

ANA ABA CATOIRA

La necesidad de reconocer nuevos derechos en la era digital, y su posible evo-lución hacia derechos fundamentales, es objeto de un intenso debate entre tres posturas principales. Por un lado, están quienes defenden una reforma constitu-cional para incorporar derechos fundamentales adaptados a la sociedad algorít-mica. Por otro, quienes abogan por reconocer derechos digitales específcos como respuesta a los desafíos tecnológicos. Finalmente, hay quienes sostienen que los derechos fundamentales actuales son sufcientes, siempre que se adapten a las nuevas realidades tecnológicas, tanto en su dimensión individual como colectiva.

Es indudable que los desafíos tecnológicos afectan a los derechos tradiciona-les, como ocurre con el derecho a la protección de datos, cuyo alcance debe ser repensado. Sin embargo, esto no justifca necesariamente una proliferación de nuevos derechos. Como se afrma por el Tribunal Constitucional, la solución no reside en la mera creación de derechos, sino en el fortalecimiento de las garantías existentes. En su STC 58/2018, desde la afrmación de que el desarrollo tecnoló-gico y la globalización dan lugar a nuevas realidades que pueden incidir en el ejercicio de los derechos fundamentales, su delimitación y su protección, recono-ció la importancia de adaptar la doctrina constitucional para afrontar los riesgos derivados de la tecnología y ofrecer una adecuada respuesta constitucional. No estamos ante algo nuevo, pues a través de la interpretación de la cláusula del artí-culo 18. 4º reconoció el derecho fundamental autónomo a la protección de datos personales.

En este contexto, la posibilidad de reformar la Constitución para adaptarla a la digitalización merece un análisis profundo. Aunque la Constitución española fue concebida en un contexto analógico, el artículo 18. 4º ya estableció una refe-rencia a la tecnología, limitando el uso de la informática para garantizar derechos fundamentales como la privacidad. A través de la interpretación constitucional y la legislación posterior se ha ido ampliado y adaptado esta cláusula ante el avance de la digitalización y para dar respuesta a los nuevos retos jurídico-constituciona-les.

No obstante, algunos sostienen que las transformaciones digitales actuales exigen una actualización expresa del texto constitucional para incluir principios y derechos específcos relacionados con los entornos digitales y las implicaciones de la inteligencia artifcial. A su favor, que una reforma constitucional podría ofrecer una mayor seguridad jurídica y elevar el estatus de los derechos digitales, dotándolos de un sistema de protección reforzado. Asimismo, permitiría incor-porar principios rectores sobre el uso ético de la inteligencia artifcial, asegurando que su desarrollo respete los valores democráticos y la dignidad humana.

Sin embargo, este tipo de reforma también plantea riesgos que la desaconse-jan. La difcultad de contar con el apoyo reforzado que requiere este procedi-miento y la necesidad de realizar un posterior desarrollo normativo que defna con precisión el contenido de cada derecho, sus titulares, las obligaciones estata-les y los mecanismos jurídicos disponibles para garantizar su efectividad. Ade-más, la difcultad del procedimiento de reforma agravado no parece que lo convierta en el mecanismo idóneo para una rápida adaptación a futuros avances tecnológicos, en gran medida imprevisibles, lo que podría dejar obsoleto el texto en poco tiempo.

La interpretación evolutiva de la Constitución por parte del Tribunal Cons-titucional ha demostrado ser una herramienta efcaz para integrar derechos digi-tales sin necesidad de modifcar el texto constitucional, tal como sucedió con la protección de datos o el derecho al olvido. El reforzamiento de la legislación ordi-naria y el desarrollo de las políticas públicas son una alternativa a la reforma cons-titucional con ejemplos como la Ley Orgánica 3/2018 y la Carta de Derechos Digitales que, a pesar de sus défcits, ofrecen un marco normativo y programático fexible desde el que resulte posible adaptarse a los retos digitales.

A nivel europeo, también prevalece la tendencia de proteger derechos tradi-cionales en contextos digitales. El RGPD establece obligaciones específcas y mecanismos de responsabilidad sin crear derechos completamente nuevos, y el RIA sigue este mismo enfoque. En consecuencia, el debate no debe centrarse exclusivamente en la creación de nuevos derechos, sino en garantizar la efcacia de los derechos existentes en entornos digitales. Por ello, no parece imprescindible proclamar un nuevo derecho fundamental en la Constitución para responder a los riesgos de la inteligencia artifcial siendo más efcaz una interpretación de los derechos existentes en el contexto actual, aplicar los principios constitucionales y fortalecer las garantías mediante legislación y jurisprudencia.

Resulta necesario llamar la atención sobre una cuestión que constituye un reto a la hora de garantizar los derechos y es su falta de reconocimiento y protec-ción global habida cuenta la globalidad de la sociedad digital. No es sufciente con un sistema de protección nacional ni siquiera a nivel regional europeo, nece-sitamos contar con un sistema internacional de protección.

Además, es necesario desarrollar marcos regulatorios claros, mecanismos de supervisión efectivos y fomentar una cultura de ciberseguridad que involucre a la ciudadanía, las empresas y las administraciones. Desde el ámbito académico, nuestra labor de análisis de los riesgos tecnológicos y formulación de propuestas es esencial para salvaguardar los derechos fundamentales en la era digital.

FRANCISCO BALAGUER CALLEJÓN

Una refexión sobre nuestro sistema de derechos para determinar qué es necesario incorporar a la Constitución, qué hay que modifcar y cómo hay que modular los derechos en relación con la IA es necesaria. A partir de esa refexión, como ocurre siempre, si no se producen reformas habrá que ir adaptando la cons-titución mediante la interpretación doctrinal y a través de la jurisprudencia, especialmente por parte del Tribunal Constitucional. La preocupación existe y buena prueba de ello son las Cartas de derechos digitales que se han aprobado en Portugal o en España, con distinto alcance, así como a nivel supranacional mediante Cartas (Carta Iberoamericana) o a través de Declaraciones (UE).

Estas Cartas y Declaraciones representan un buen instrumento de trabajo para avanzar en la redefnición del sistema de derechos frente a la IA. Su formu-lación no siempre tiene en cuenta la naturaleza de la sociedad digital cuando se afrma, por ejemplo, que las normas que en el ordenamiento jurídico reconocen derechos (de procedencia constitucional, supranacional o internacional) son apli-cables (incluso plenamente aplicables) en el ámbito digital. Si así fuera no sería necesaria una Carta de Derechos Digitales precisamente porque los derechos con-tenidos en la Carta están ya reconocidos directa o indirectamente en el ordena-miento. Por lo demás, estas Cartas, incluso cuando se les atribuye valor normativo, no pueden ir más allá del nivel legislativo en la confguración del sistema consti-tucional de derechos sin una reforma constitucional.

En todo caso, por diversos motivos, la tarea de «digitalizar» la constitución para hacer posible la adaptación de nuestro patrimonio constitucional a la nueva realidad digital, de manera prudente y rigurosa como he indicado antes, no será fácil. En primer lugar, porque las causas de los problemas se sitúan fuera del Estado y de la constitución estatal, en agentes globales cuyo control es más viable desde el ámbito supranacional mediante la regulación del mercado europeo. En segundo lugar, porque esos agentes están cambiando continuamente las reglas del juego mediante el desarrollo tecnológico acelerado que impulsan. De tal manera que cuando aventuramos soluciones para algunos de los problemas que plantean al sistema constitucional de derechos ya han generado nuevos proble-mas. En tercer lugar, porque las soluciones dependen en gran medida de condi-ciones técnicas que son ajenas al ámbito jurídico y específcamente al constitucional. Desde esa perspectiva, las narrativas que se construyen desde las compañías tecnológicas tienden a ocultar las defciencias de las aplicaciones y su impacto potencialmente lesivo sobre los derechos. Los fallos de las aplicaciones se presentan como efectos desvinculados de sus creadores (el ejemplo de las «aluci-naciones» de la IAG es paradigmático) para evitar el control público y la exigen-cia de responsabilidad.

LORENZO COTINO HUESO

Se trata de una cuestión que genera un debate interesante. En los últimos tiempos se afrman «derechos de cuarta o última generación» o nuevos «derechos digitales» con relación a la necesidad de adaptar los derechos fundamentales a los nuevos entornos digitales o en particular por el impacto de la IA. No cabe duda en que en el contenido y facultades de los derechos fundamentales ya existentes hay que introducir garantías de mayor transparencia, explicabilidad y trazabili-dad de todo sistema de IA que tenga un impacto signifcativo en los colectivos, las personas y sus derechos. Especialmente ello es así en en el caso de uso público de IA. También hay que profundizar y dotar de mayores garantías a la no discri-minación frente a algoritmos, así como a la privacidad y a las libertades informa-tivas y la participación democrática.

A primera vista, el reconocimiento de nuevos derechos puede tener una gran fuerza simbólica y pedagógica, una importante función de concienciación y de generación de un marco institucional más frme. Puede servir como catali-zador de nuevas regulaciones o de un mayor escrutinio y atención por parte de los tribunales. Dada la magnitud de la transformación que implica la IA no hay que descartar el reconocimiento constitucional de nuevos derechos y garantías. Pero en cualquier caso hay que evitar declaraciones vacías que, en la práctica, no aportan soluciones. En todo caso, antes de optar por una reforma constitucional -extraordinariamente difícil en España- hay que potenciar la adaptación de la jurisprudencia constitucional y hay que poner el foco en el desarrollo legal (art. 81 CE) y regulación del ejercicio (art. 53 CE) de estos derechos. Se ha de tener en cuenta normativa y jurisprudencialmente la obligación de hacer efecti-vos los derechos en razón de su dimensión objetiva (arts. 9.2º, 10. 1 y 53 CE). Ello incluye también la necesidad de dotar de presupuestos de efcacia: recursos presupuestarios, autoridades supervisoras con competencias reales, sanciones disuasorias y vías procesales claras para la impugnación de decisiones automati-zadas. Hay que evitar regulaciones grandilocuentes de derechos, pero sin imple-mentación ni efectos prácticos. Que no vuelva a suceder lo que pasó con los «derechos digitales» de la Ley Orgánica 3/2018, que, ni gozaron de un valor simbólico -por la falta de rango constitucional- ni han contado con una regu-lación concreta y de desarrollo sufciente para tener un impacto tangible. Como decía un humorista hace años, «menos samba y más trabajar». De lo contrario, estas estrategias pueden generar frustración y restar credibilidad al propio sis-tema de derechos.

La Carta de Derechos Digitales de España de 2021 ha resultado un referente y estímulo no sólo nacional, sino también en Iberoamérica y la UE, como la Decla-ración Europea sobre los Derechos y Principios Digitales para la Década Digital (2023/C 23/01), de 15 de diciembre de 2022 o la Carta Iberoamericana de Princi-pios y Derechos en Entornos Digitales, de 25 de marzo de 2023. De la Carta espa-ñola hay que destacar los derechos relacionados con la IA en la actuación administrativa (artículo XVIII.6º), pues incluye innovaciones y concreciones que deberían inspirar al legislador nacional. El apartado XXV sobre IA es también interesante, pues se proclaman una serie de mandatos «en el desarrollo y ciclo de vida de los sistemas»: «no discriminación», «transparencia, auditabilidad, expli-cabilidad, trazabilidad, supervisión humana y gobernanza» y que deberá «garan-tizarse la accesibilidad, usabilidad y fabilidad» (2º). También, en este apartado XXV se proyecta para la IA el artículo 22 RGPD, incluyendo la explicabilidad y el derecho a la revisión humana ex post, si bien, la Carta amplía su aplicación pues va más allá de las decisiones «únicamente» automatizadas (3º). También hay garantías ante el uso de la ida en los «Derechos en el ámbito laboral» (artículo XIX), la salud (artículo XXIII) y las neurotecnologías (artículo XV). Así pues, En todo caso, la Carta de derechos digitales asienta los elementos básicos de lo que podría ser una reforma constitucional, pero sigue faltándole cualquier rango nor-mativo así como la necesaria concreción de una regulación más práctica.

Distintos instrumentos internacionales y nacionales sobre IA, no siempre se crean derechos subjetivos nuevos, sino que más bien se profundiza en la interpre-tación de derechos fundamentales ya reconocidos. El Convenio sobre Inteligencia Artifcial del Consejo de Europa de 2024 (Convenio IA) qe he tenido ocasión de analizar en el primer estudio sobre el mismo, alude más de cuarenta veces los derechos humanos, pero se cuida de no establecer de manera expresa nuevos dere-chos específcos, sino que se limita a reafrmar y concretar los existentes, princi-palmente en lo referente a la igualdad y no discriminación (arts. 9 y 17), la privacidad y protección de datos (art. 10) o los derechos de personas con discapa-cidad y de menores (art. 18). Por su parte, el Reglamento de la Unión Europea de IA de 2024 (RIA) se dirige fundamentalmente a fabricantes y proveedores de sis-temas y a quienes los implantan en sus empresas o entidades. Es por ello que el RIA olvida a los afectados o interesados y deja en un segundo plano el reconoci-miento expreso que hace de algunos derechos de los destinatarios o afectados por la IA, pese a que se introducen algunos avances en materia de recursos, reclama-ciones y explicabilidad y transparencia.

Ahora bien, las reticencias al reconocimiento de nuevos derechos subjetivos no deben confundirse con un inmovilismo jurídico. En este sentido, tanto el Con-venio IA como especialmente el Reglamento IA implican regulaciones en ocasio-nes muy precisas cuyo cumplimiento fnalmente sirve para la garantía de los derechos de las personas afectadas por la IA.

Como excepción, si pueden considerarse como derechos específcos en el Convenio IA algunas obligaciones positivas de documentación y registro (art. 14

Convenio IA). También otras medidas para garantizar los «recursos» efectivos del artículo 14, así como el artículo 15 regula las «Garantías procesales», que implican los deberes de supervisión humana y notifcación del artículo 15. Cabe señalar que esta garantía no se limita a decisiones «basadas únicamente en el tra-tamiento automatizado», sino que se extienden también a decisiones infuencia-das signifcativamente por sistemas de IA. Asimismo, se permite una reinterpretación del derecho a la tutela judicial efectiva y del propio derecho a un recurso efcaz (art. 13 del Convenio Europeo de Derechos Humanos), en la direc-ción de que los afectados puedan ejercer acciones para impugnar posibles vulne-raciones derivadas de sistemas de IA. Estos mecanismos fortalecen las garantías procesales frente a decisiones automatizadas o fuertemente asistidas por algorit-mos. Por consiguiente, hay un refuerzo de la efectividad de derechos ya existen-tes, que podría entenderse como una evolución natural de su contenido. En mayor medida se aprecia este fenómeno en el RGPD o en las obligaciones del RIA para los sistemas de alto riesgo. Sus previsiones sirven para concretar y adaptar garan-tías frente a la opacidad o las eventuales discriminaciones en el uso de algoritmos. Pese a no centrarse ni en los afectados ni en sus derechos, el RIA ha incluido el derecho a presentar una reclamación ante una autoridad de vigilancia del mer-cado y el derecho a explicación de decisiones tomadas individualmente en los artículos 85-87. Como señala López-Tarruella en el Tratado sobre el RIA que he podido coordinar,queda más bien en el ámbito de las buenas intenciones y queda en cierto modo a la sombra del artículo 22 RGPD, pero habrá que ver la inter-pretación y criterios que se desarrollan.

Dicho lo anterior, no hay que renunciar a reconocer en la Constitución nue-vos derechos subjetivos o nuevas facultades de los derechos ya existentes o nuevas técnicas de garantía en favor de los afectados por sistemas de IA. Ante las difcul-tades para una reforma del texto constitucional, no hay que excluir la vía de la interpretación, bien por los avances internacionales que puedan darse, que sirven para defnir el perfl exacto de los derechos de la Constitución (art. 10.2º CE). Asimismo, no hay que olvidar el papel de la dignidad humana y en su caso el libre desarrollo de la personalidad (art. 10. 1º CE). Se trata de pilares del ordena-miento político y fuente de garantías ante la IA que generan una tensión jurídica, normativa e interpretativa para exigir una adaptación constante de los derechos y sus mecanismos de protección ante las nuevas amenazas. De igual modo, no hay que olvidar todo el potencial interpretativo que aún da de sí el artículo 18. 4º CE, que no sólo sirve para dar cobertura a la protección de datos, sino a todo el ámbito de la privacidad reconocido en el artículo 18 CE.

Como muestra de lo señalado, el botón de los llamados neuroderechos. Chile es el país pionero, con una famante reforma constitucional y una regulación legal, pero lo cierto es que suponen más ruido que nueces. Si bien, han estimu-lado una más interesante y concreta interpretación constitucional por la Corte. El apartado XXV de la Carta de derechos digitales sistematiza bien lo que podría ser un reconocimiento constitucional de neuroderechos, tema que De la Garza o

Rollnert han analizado. El reconocimiento constitucional bien puede tener el aludido papel simbólico, pedagógico y político. Sin embargo, hoy día considero que no resulta necesario regular constitucionalmente la privacidad mental, la identidad personal, la libertad cognitiva y la integridad psicológica. Ello es así porque estos (neuro)derechos ya están reconocidos por la libertad ideológica (art. 16 CE), la integridad física y moral (art. 15 CE) o la protección de datos persona-les y el derecho a la privacidad (art. 18 CE). Por tanto, más que nuevos derechos, lo que se requiere es una adecuada adaptación normativa y jurisprudencial para interpretar estos derechos en el contexto de las neurotecnologías. Creo que más que el camino de Chile, parece más sólido seguir más Propuestas legislativas más concretas como la de México desde julio de 2024.

MARIO HERNÁNDEZ RAMOS

A riesgo de ser redundante, la respuesta que se ofrece a continuación se enmarca en el desarrollo tecnológico disponible actualmente a nivel usuario. En este sentido, considero que no es preciso una revolución regulatoria originalista, sino ofrecer una respuesta a raíz de un estudio pormenorizado y cercano al orde-namiento jurídico condicionado por un conocimiento de la tecnología en funcio-namiento. No obstante, el desarrollo de los agentes y la innovación hacia niveles cercanos a la IA general pueden modifcar esta respuesta.

Debido a que nos encontramos en una sociedad algorítmica con retos funda-mentales y escenarios novedosos, se ha demandado en la literatura especializada la creación de derechos fundamentales específcos para esta nueva realidad. Se han planteado diversas posturas, principalmente divididas entre, por un lado, elabo-rar una nueva carta de derechos humanos en relación con la IA y, por otro, con-ceptualizar derechos procedimentales, para ejercerlos principalmente contra actores privados, o instrumentales, esto es, derechos que sirvan como instrumen-tos para garantizar los derechos sustantivos.

Desde mi punto de vista, los nuevos derechos que suelen demandarse y sobre los que se discute en la literatura especializada son, en realidad, una deriva o una nueva lectura de derechos o principios jurídicos existentes, pero en un nuevo escenario como el constitucionalismo digital. Por ejemplo, dentro del principio de seguridad jurídica surgen las exigencias de transparencia y explicabilidad, concretándose en un derecho como el de recibir una explicación de cómo funciona y afecta la decisión de un sistema de IA (right to explanation), o el derecho a una traducción del lenguaje tecnológico al lenguaje del ser humano (right to obtain traslation); también se demanda el derecho a obtener información de cómo se tratan los datos personales, claramente derivado del derecho de acceso de la protec-ción de datos personales.

No obstante, es interesante refexionar que la demanda de nuevos derechos, en esencia, responde a una preocupación dominante derivada de la falta de justicia, transparencia y control (accountability) de los sistemas de IA. Cuanta menos regulación jurídica específca sobre la IA y sus efectos, mayor demanda habrá de nuevos derechos. Cuando existe cierta regulación, el foco se sitúa en «nuevos» derechos, pero principalmente de tipo procesal o instrumental, es decir, derechos que contribuyen a poder hacer efectivos los derechos sustantivos ya exis-tentes en aras de una especie de «transparencia algorítmica», sobre todo para ven-cer la postura de debilidad del ciudadano frente a poderes privados. En este escenario de ausencia regulatoria de la IA y de los poderes privados, estoy de acuerdo en el reconocimiento de una nueva categoría de derechos bajo la denomi-nación de derecho al «debido proceso algorítmico» y horizontal.

Afortunadamente los países europeos estamos embarcados en un proceso regulatorio de la IA que implica normar también la actividad de los actores que la desarrollan e implementan, sean de naturaleza pública o privada.

Por eso, la demanda de nuevos derechos sustantivos se encuentra principal-mente en la literatura estadounidense.

No reconocer nuevos derechos es la postura sostenida tanto en el Regla-mento de IA de la UE como en el Convenio Marco sobre IA y derechos humanos, democracia y Estado de Derecho del Consejo de Europa. Ninguno de estos textos cristaliza un derecho fundamental sustantivo de nueva creación. No obstante, a esta afrmación se ha de realizar tres matices.

En primer lugar, se concretiza el reconocimiento y disfrute de derechos claramente establecidos en textos constitucionales cuando la IA interviene en su eventual vulneración. Por ejemplo, el respeto por la igualdad y la prohibi-ción de la discriminación (art. 10 Convención Marco), la protección de la inti-midad de las personas y sus datos personales (art. 11 Convención Marco), «la disponibilidad de vías de recurso accesibles y efectivas para las violaciones de los derechos humanos derivadas de las actividades durante el ciclo de vida de los sistemas de inteligencia artifcial» (art. 14.1 Convención Marco) o la dispo-nibilidad de «garantías procesales, salvaguardias y derechos efectivos» cuando un sistema de IA incida en un derecho fundamental (art. 15 Convención Marco del Consejo de Europa). En segundo lugar, se establecen principios que deberán concretarse en derechos específcos en la legislación nacional como, por ejem-plo, la identifcación de contenidos generados por los sistemas de IA (art. 8 Convención Marco), o la responsabilidad por los efectos adversos sobre los dere-chos humanos resultantes de las actividades de los sistemas de IA (art. 9 Con-vención Marco). En tercer lugar, sí se reconocen nuevos derechos de carácter instrumental, es decir, derechos que posibilitan y coadyuvan la efcacia de dere-chos sustantivos clásicos como, por ejemplo, el derecho de que un individuo conozca la información sufciente sobre el sistema de IA que ha vulnerado un derecho para plantear un recurso (art. 14. 2.a) y b) Convención Marco del Con-sejo de Europa), o la posibilidad efectiva de plantear una denuncia ante las autoridades competentes por parte de las personas afectadas (art. 14.3 Conven-ción Marco).

Sin embargo, considero que nuestra Constitución debería abordar un cambio importante para hacer frente a los problemas y efectos negativos de una tecnolo-gía como la IA con potencial de limitar de manera importante la libertad humana e incluso de suplantar al ser humano mismo. Se trata de conceder más importan-cia a los principios de dignidad humana y de autonomía individual, en dos sen-tidos: primero, aumentar su relevancia para asegurar que cualquier desarrollo de la IA esté centrado en el ser humano, su promoción y desarrollo (human centered AI), sin que la autonomía individual sea sometida a limitaciones directas o indi-rectas, prohibiendo por tanto desarrollos que vayan en dirección contraria; segundo, sopesando incluso la posibilidad de dotarlos de cierta subjetividad, es decir, que no sea solo un principio que inspire la legislación y la actuación de los poderes públicos, sino que las personas puedan disponer de una acción jurídica cuando consideren que su dignidad humana, y especialmente su autonomía indi-vidual, se vea menoscabada o limitada por las acciones, directas o indirectas, o las consecuencias de sistemas de IA.

El art. 22 RGPD sobre la prohibición de ser objeto de una decisión basada úni-camente en el tratamiento automatizado es un desarrollo de esta propuesta, pues son los principios de dignidad humana y autonomía individual los sustratos a esta prohibición. No en vano, la dignidad humana implica que cada persona debe ser tratada como una persona en sí misma, no como un conjunto de parámetros, redu-cida a un conjunto de datos o como parte de un grupo sin ningún tipo de reconoci-miento individual. También la dignidad humana impediría que máquinas tomaran decisiones relevantes para el ser humano de manera totalmente autónomas, es decir, sin la participación de una persona. Me refero principalmente a decisiones que sean tocantes a la dimensión humana más esencial, por ejemplo, una condena por un delito grave. Las personas nunca deben desaparecer en escenarios decisorios donde la humanidad esté en juego. La autonomía individual cobra especial importancia en el ámbito político, jugando un papel de relevancia cuando el individuo considere que no puede formarse libremente una opinión, o tomar una decisión en conciencia debido a la concurrencia del uso de ciertas tecnologías.

MIGUEL PRESNO LINERA

No, creo que actual catálogo de derechos fundamentales incorporados a la Constitución española (CE) y el carácter abstracto y abierto de las normas que los reconocen permiten hacer frente, al menos de momento, a los riesgos que com-porta la IA y sobre los que ya se ha hablado antes.

Pensemos, para ejemplifcar, en los llamados neuroderechos, ámbito en el que uno de los mayores expertos mundiales es Rafael Yuste y sobre los que ha venido ocupándose un sector de la doctrina constitucional española (González de la Garza, Reche Tello, Rollner Liern) pero también de otras áreas jurídicas (Moreu Carbonell, Piñar Mañas, de Asís Roig, Morente Parra, Demetrio Crespo, Pérez

Manzano, Beltrán de Heredia, Barrio Andrés, Barona Villar...); pues bien, estos «derechos» han sido incorporados al artículo 19 de la Constitución de Chile aun-que no con esa denominación («El desarrollo científco y tecnológico estará al ser-vicio de las personas y se llevará a cabo con respeto a la vida y a la integridad física y psíquica. La ley regulará los requisitos, condiciones y restricciones para su uti-lización en las personas, debiendo resguardar especialmente la actividad cerebral, así como la información proveniente de ella»).

Pues bien, lo que aportarían los neuroderechos es asegurar la privacidad mental, la identidad personal, el libre albedrío el acceso justo al aumento mental y la protección contra el sesgo pero si atendemos a lo ya previsto en la CE y en muchas de nuestro entorno, las facultades propias de los neuroderechos ya gozan de protección constitucional: la privacidad mental es parte del derecho a la inti-midad personal y a la protección de datos (art. 18); la identidad personal podría ampararse en la integridad física y moral y en la libertad ideológica (arts. 15 y 16); el libre albedrío sería un remedo del libre desarrollo de la personalidad garantizado ya en la CE (art. 10.1) y que se proyecta en diferentes derechos fun-damentales, como la ya citada integridad física y moral, la libertad de expresión, la libertad ideológica, la de participación política... (arts. 15, 16, 20, 23...); el acceso justo al aumento mental y la protección frente al sesgo serían una concre-ción, entre otros, del derecho a no ser discriminado (art. 14).

Pero que no haya, a mi juicio, que incorporar nuevos derechos a la Constitu-ción no quiere decir, obviamente, que no sean necesarias nuevas previsiones legis-lativas, como ya se ha dicho antes.

LUCRECIO REBOLLO DELGADO

Parece claro que no se puede aspirar a crear un nuevo derecho fundamental como consecuencia del surgimiento de cada una de las nuevas posibilidades tec-nológicas, dado que no todas tienen el mismo grado de incidencia en las concep-ciones jurídicas, y no todas tienen la misma transcendencia desde la perspectiva jurídica. Incluso los denominados por la LO 3/2018, y de forma algo pretenciosa, derechos digitales, en su mayoría son concreciones o variantes aplicativas de los derechos fundamentales ya reconocidos en nuestro ordenamiento jurídico y el europeo, y sufcientemente garantizados. Ningún ordenamiento jurídico puede pretender dar respuesta concreta a cada una de las posibilidades de vulneración o intromisión en los derechos fundamentales. La técnica aplicada hasta ahora ha sido, a través de la legislación y la jurisprudencia, ir adecuando los derechos exis-tentes a las nuevas vulneraciones, ir ampliando las interpretaciones y solventando las omisiones, a la vez que formulando tendencias interpretativas, que con el tiempo tienen su plasmación en nuevas normativas.

La STC 58/2018 es muy clarifcadora a este respecto, y de forma concreta manifesta que «... Los avances tecnológicos y el fenómeno de la globalización a través de internet y de otras vías dan lugar a nuevas realidades que, de una u otra forma, pueden incidir sobre el ejercicio de los derechos fundamentales, su delimi-tación y su protección, lo que obliga a este Tribunal a una constante labor de actualización de su doctrina para adecuarla a la cambiante realidad social, con el fn de dar una respuesta constitucional a esas nuevas situaciones...» (FJ 4.). De igual forma, la jurisprudencia habrá de ir tejiendo la argumentación y fundamen-tación de variaciones en los derechos, armando una estructura lógico-jurídica de los derechos fundamentales, que produzca una respuesta adecuada a las nuevas necesidades jurídicas y que palié las defciencias normativas, a la vez que facilite su aplicabilidad y ejecución material. La protección jurídica y los medios de garantía ya existen, lo que varían son las formas de vulneración, por ello no es necesario crear un ordenamiento jurídico ex novo, es necesario ir adecuando el existente a las nuevas necesidades, y ello es tarea tanto del legislador, de la juris-prudencia, y también de la doctrina.

Parece claro, que la nueva sociedad digital no puede ser ahormada única-mente por el Derecho, teniendo en cuenta que supone una nueva conformación horizontal del conjunto social, y que afecta a los medios de comunicación, a la economía, a todos los ámbitos de lo social, incluso a las mismas bases de organi-zación social y política. Por ello parece muy acertada la propuesta de De la Qua-dra Salcedo, cuando usa el concepto de la solución holística (entendida en su formulación aristotélica como «el todo es mayor que la suma de sus partes»), y de forma concreta manifesta que «Esa afección a todos los elementos fundamen-tales que estructuran e informan nuestras sociedades hace obligatorio adoptar una perspectiva holística en el tratamiento de los retos que plantea la sociedad digital» (Retos, riesgos y oportunidades de la sociedad digital, en la obra de VV. AA. Sociedad Digital y Derecho, 2018, 63). Atribuir al Derecho la única forma de ordenar y encajar la sociedad digital es un grave error. El Derecho debe ser, como ha sido siempre, una forma de solventar confictos sociales con una pers-pectiva de bien común, pero en todo caso necesita de la colaboración de otras áreas de conocimiento, de todos los elementos que conforman la estructuración social.

Las soluciones aportadas por el Derecho hasta ahora parecen de todo punto insufcientes. Hacemos repaso de estas. El Derecho internacional tiene una limi-tada capacidad coactiva, por su escasa vinculación y su menor entidad sanciona-dora. Su efectividad se limita a áreas muy concretas, como es el comercio a nivel mundial, algunos aspectos de propiedad intelectual y quizás con mayor efcacia, en materia de elaboración de tratados.

Otro ámbito en que de alguna forma se viene regulando la sociedad digital es el Derecho de defensa de la competencia. Las regulaciones nacionales encuen-tran grandes difcultades a la hora de la normación por la presión que ejercen de forma genérica las grandes empresas de tecnología, dado que aquélla siempre limita su capacidad de maniobra, a la vez que tienen múltiples formas de ir elu-diendo las regulaciones nacionales. De igual manera, evitan con facilidad la competencia entre ellas, resultando que las denominadas «cinco grandes» (Google, Facebook, Microsoft, Amazon y Appel) se quedan con todo el mercado.

La única herramienta de control sobre las empresas tecnológicas hasta la fecha ha venido a través del derecho de la libre competencia. De esta forma, tanto algunos Estados europeos, como la propia Unión Europea, han impuesto sancio-nes económicas a algunas de ellas, pero que han sido asumidas más como un coste añadido de producción, que como reproche jurídico efectivo a su actividad o a la forma de llevarla a efecto. En todo caso, y como nos recuerda Hoffmann-Riem, el derecho de defensa de la competencia tiene como fnalidad «garantizar la funcio-nalidad de los mercados económicos y para impedir el abuso de una posición de dominio de mercado ... pero no es un Derecho específco para limitar otros pode-res (por ejemplo, políticos, culturales, sociales o de otra índole). El logro de obje-tivos de bien común como la protección de la autonomía (libertad frente a la manipulación), la equidad de oportunidades de acceso, la supresión de la discri-minación o la formación de una opinión pública dirigida a la reproducción y pro-moción de la pluralidad social, no son objetivo específco del Derecho de defensa de la competencia» (Big Data. Desafíos también para el Derecho, 2018, 102 y 103).

Parece adecuado deducir que las soluciones que tiene que aportar del Derecho han de venir de la extensión aplicativa de principios jurídicos a las nuevas necesidades sociales. Como nos recordara García de Enterría, «la ciencia jurídica no tiene otra misión que la de desvelar y descubrir a través de conexiones de sen-tido cada vez más profundas y ricas, mediante la construcción de instituciones y la integración respectiva de todas ellas en un conjunto, los principios generales sobre los que se articula y debe, por consiguiente, expresarse el orden jurídico (...) La superioridad del Derecho Romano sobre otros sistemas jurídicos históri-cos anteriores o posteriores estuvo justamente, no ya en la mayor perfección de sus leyes ... sino en que sus juristas fueron los primeros que se adentraron en una jurisprudencia según principios, la cual ha acreditado su fecundidad, e incluso, paradójicamente, su perennidad, y hasta su superior certeza, frente a cualquier código perfecto y cerrado de todos los que la historia nos presenta» («Refexiones sobre la ley y los principios generales del Derecho administrativo, 201).

La aportación que el jurista puede realizar a esta novedosa realidad social que denominamos sociedad digital, ha de venir, inexorablemente, precedida del entendimiento del bagaje jurídico, que ha de cohonestarse con las nuevas necesi-dades. Ello ha de llevarse a efecto en base a la reconfguración de principios jurí-dicos que nacen de una pretensión de ordenación social heredada, a la que se deben sumar las nuevas necesidades.

JOSÉ TUDELA ARANDA

Antes de nada, me interesa realizar una serie de refexiones generales. La con-solidación de la era digital exigirá en su momento una profunda revisión de la tabla de derechos y libertades contenidos en todas las constituciones. Hoy, por encontrarnos en fase incipiente, es muy pronto para acometer siquiera una reforma parcial. En todo caso, es preciso trabajar de forma constante sobre este extremo para estar en condiciones de responder y acometer una reforma puntual si se pre-senta una necesidad que no es resoluble por legislación ordinaria. No es lo de menos recordar que la reforma de la Constitución para incluir auténticos dere-chos subjetivos es sencilla, como lo es para modifcar principios rectores que en este punto adquieren particular importancia. Desde este punto de vista, y dadas las características del tema, bien podría ser un punto de encuentro para comenzar a hablar de reforma de la Constitución, aunque no se fje como un objetivo inme-diato. Si bien inmediatamente realizaré alguna referencia más concreta, considero que, de acuerdo con lo señalado, lo que debe ser prioritario es refexionar sobre la Constitución y la era digital, en este caso, sobre cuál puede ser una aproximación generalista de la Constitución a la afección que el espacio digital y, en particular, la IA tiene sobre los derechos y libertades.

Se nos pregunta por los riesgos y, en concreto, por la necesidad de reformar la Constitución para proteger frente a los peligros de la IA. Como decía, entiendo que la respuesta debe ir precedida por una refexión generalista sobre la relación entre Constitución e IA. Refexión que determina un enfoque diferente: riesgos, ventajas, garantías. Y sobre todo ello, los principios generales, las condiciones que deben ser el sustrato del desarrollo de la IA. Los riesgos existen y son importantes. Pero no se puede, o no se debe, centrar toda la atención en ellos. Entre otras cosas, porque la principal protección frente a los peligros de la IA es una buena armazón integral. En este sentido, entiendo que una reforma singular de la Constitución bien para integrar un nuevo derecho relacionado con la IA, bien para mejorar la protección de alguno de los existentes, debería ir acompañada por la incorporación de un contenido global. Un contenido que debe tener una vocación general de protección y garantía. En este sentido, y más aun teniendo en cuenta las caracte-rísticas propias del texto constitucional, el nivel de los principios generales emerge como la garantía más efciente para los desafíos que enfrenta la IA.

La incorporación de un, quizá, nuevo capítulo al Título II de la Constitución parece un objetivo deseable y razonable. Deseable por porque la IA supone un salto cualitativo en los desafíos que la era digital implica para los derechos, dando forma a afecciones que si bien ya existían no emergían con tanta claridad. Y es razonable porque no deberían existir grandes obstáculos para realizarla. En este caso, los problemas más relevantes son de carácter técnico. Como indicaré, la dif-cultad de regular cualquier materia relacionada con el nuevo escenario digital es grande y los derechos y libertades no escapan a esa difcultad. Desde una perspec-tiva política, en principio no deberían existir grandes difcultades en encontrar los sufcientes puntos de acuerdo, por lo menos sobre los mínimos generalistas que es, precisamente, la cuestión que puede tener dimensión constitucional. Se trata de una cuestión alejada de la polémica política inmediata y con una carga ideológica menor. Un área de conficto mayor podría venir por sujetos interesados que quisieran hacer valer su opinión. En todo caso, la redacción en la Constitu-ción sería demasiado general para poder plantear excesivos confictos. Como se dijo, una reforma de estas características, propia del procedimiento previsto en el artículo 167, sería tan sencilla como la consecución de un pacto entre las dos grandes formaciones políticas. Las ventajas serían grandes ya que, al margen del benefcio directo de haber sentado las bases constitucionales, se lanzaría a la socie-dad, y especialmente a los más jóvenes, un mensaje de modernización del sistema institucional.

Entiendo más relevante sentar esos principios generales que modular la redacción de alguno de los existentes o introducir nuevos derechos, cuando es pronto para conocer el impacto real de la IA. En todo caso, de acuerdo con lo mencionado, intimidad e imagen (reproducción de la imagen por IA); libertad de expresión y derecho a la información; los derechos de creación artística; y algunos aspectos de los derechos relacionados con el ámbito laboral, al objeto de impedir discriminaciones, pueden ser las áreas prioritarias para trabajo. Desde una pers-pectiva más estrictamente novedosa, considero fundamental dimensionar en sede constitucional el derecho a la transparencia, realizando una referencia singulari-zada a su proyección sobre el mundo digital. La importancia de este derecho crece por dos razones: por la mayor facilidad para incrementar el conocimiento de todas las decisiones públicas; y por la opacidad creciente que sustenta decisiones de la mayor relevancia para la vida cotidiana de las personas. Sin pausa, el derecho a la transparencia adquiere perfles más relevantes. Una redacción constitucional debería contemplar este dinamismo, instando al legislador a su permanente adap-tación en clave de máxima exigencia. En este punto se puede observar la relevan-cia y la difcultad de la notoriedad que han adquirido los particulares. Una pregunta es pertinente: ¿Cómo debe redimensionarse el principio y derecho a la transparencia en relación con las empresas privadas?

Junto al derecho a la transparencia, entiendo que sería oportuno introducir, al menos, dos principios rectores relacionados con la era digital. Uno de ellos haría referencia al universo de la igualdad; el otro, debería impulsar la educación digital. La IA, y en general, la era digital enfrentan a la igualdad a desafíos nue-vos y profundizan los existentes. No es, ni siquiera es lo más relevante, una cues-tión de brecha económica en el acceso. Se trata, ante todo, de la potencia que tienen sus tecnologías, y de forma muy especial la IA, para multiplicar las capa-cidades individuales. La brecha entre incluidos y excluidos incrementará expo-nencialmente las posibilidades de desigualdad. En relación con la educación, al menos como principio, deben contemplarse dos planos: por un lado, la educación sobre las cuestiones que suscita la IA y sobre su uso adecuado; por otro, su inci-dencia transversal sobre la adquisición de conocimiento y su posterior uso. Son dos cuestiones esenciales que, al menos, de inicio deberían traducirse en sendos principios rectores.

Finalizo la respuesta a esta pregunta recordando un planteamiento anterior. La necesidad de relacionar y, a la postre, de dar cabida en la Constitución a la IA, no puede olvidar el extraordinario desafío que para el Derecho supone esta herra-mienta. De hecho, el desarrollo tecnológico de las últimas décadas ha debilitado de manera relevante la efcacia del derecho, en particular del Derecho público. La velocidad a la que se suceden los cambios y la extraordinaria complejidad de las materias a regular cuestionan presupuestos necesarios para esa efcacia. Las dif-cultades del Derecho para seguir desarrollando su papel esencial como instru-mento de ordenación de la vida en sociedad y desarrollo efcaz de políticas públicas son, en general, grandes en la era digital. La IA signifca un incremento exponencial de esas difcultades. Se hace imperiosa una refexión sobre la idonei-dad de nuestro actual sistema de fuentes, tanto en su dimensión global como en su proyección singular (muy en especial en relación con la ley) en relación con un contexto muy diferente a aquél para el que fueron pensadas.

5. En un contexto de creciente presencia de los sistemas de inteligencia artifcial ¿sería conveniente o necesario prever nuevos instrumentos de garantía de los derechos fun-damentales?

ANA ABA CATOIRA

La naturaleza intrínsecamente algorítmica y en constante evolución de la IA difculta prever los límites de su desarrollo. Esto plantea un desafío para el diseño de un régimen jurídico que pueda responder con efcacia y solvencia a los numero-sos retos digitales. En este contexto, es fundamental equilibrar el progreso tecnoló-gico con la protección de los derechos fundamentales, recordando que la tecnología debe estar siempre al servicio de las personas, contribuyendo a mejorar sus vidas, y no al contrario. Este imperativo requiere un enfoque humanista que integre una perspectiva de derechos en todas las etapas del diseño, desarrollo e implementación de herramientas tecnológicas. De este modo, se evitan riesgos como la vulneración de principios esenciales, tales como la igualdad, la prohibición de discriminación, la libertad o la presunción de inocencia. En otras palabras, lo importante no es úni-camente regular las herramientas en sí mismas, sino los usos concretos que se les dé, ya que estos determinarán si el desarrollo y la innovación actúan como motores de progreso o como fuentes de peligro para las personas y las sociedades.

La experiencia europea, desde la implementación del RGPD, pone de mani-festo la importancia de combinar un enfoque preventivo con mecanismos de supervisión efcaces. Este modelo se aplica en el caso de la inteligencia artifcial para asegurar que el desarrollo tecnológico sea compatible con la protección de los derechos fundamentales y con los valores democráticos que sustentan nuestras sociedades. De modo que, tal como hemos dicho, aunque no sea necesario crear nuevos derechos fundamentales, es indispensable reforzar los instrumentos de garantía existentes, promoviendo la transparencia, la rendición de cuentas y la supervisión independiente.

El principio de transparencia se erige como una garantía transversal ante la opacidad inherente de muchas herramientas algorítmicas. Este principio, reco-gido en el artículo 22 del RGPD, prohíbe decisiones automatizadas que tengan efectos jurídicos signifcativos sobre las personas, y establece el derecho a obtener explicaciones sobre dichas decisiones y a impugnarlas. Además, se introduce la realización de evaluaciones de impacto en la protección de datos personales. El RIA establece una combinación de obligaciones preventivas para desarrolladores y proveedores, mecanismos de supervisión por parte de las autoridades públicas y recursos para las personas afectadas. Estas garantías se articulan principalmente en torno a la transparencia, que se traduce en obligaciones como la publicación de información completa y actualizada, la elaboración de documentación técnica, el mantenimiento de registros de conformidad y la emisión de notifcaciones rela-cionadas con los riesgos.

Sin embargo, para garantizar el cumplimiento de estas normativas, es imprescindible contar con autoridades independientes, tanto nacionales como europeas, que ejerzan funciones de control, supervisión y verifcación. Estas auto-ridades deben vigilar que se cumplan principios fundamentales como la legali-dad, la proporcionalidad, la no discriminación y la explicabilidad. Este último principio, en particular, exige a las empresas proporcionar explicaciones claras y comprensibles sobre el funcionamiento de los algoritmos que impactan en los derechos fundamentales, contribuyendo así a una mayor protección de las perso-nas frente a posibles abusos. El RIA también crea nuevos organismos diseñados para garantizar el cumplimiento normativo como la Ofcina Europea de Inteli-gencia Artifcial y a nivel nacional cada Estado miembro contará con una autori-dad de supervisión del mercado. En el caso de España, esta responsabilidad recae en la Agencia Española de Supervisión de la Inteligencia Artifcial (AESIA), la primera entidad de este tipo en la Unión Europea, que ya se encuentra operativa.

Para que estas instituciones puedan cumplir efcazmente su función, es fun-damental que dispongan de competencias y recursos sufcientes, así como de una plena independencia en sus actuaciones. Su capacidad para gestionar denuncias, investigar posibles infracciones y garantizar la protección de los derechos funda-mentales dependerá, en gran medida, de su autonomía y de la claridad de sus atribuciones. Además, es necesario que las autoridades nacionales y los organis-mos europeos cooperen para abordar efcazmente los desafíos transnacionales que plantea el uso de la IA.

FRANCISCO BALAGUER CALLEJÓN

Es necesario porque los derechos requieren de garantías que tienen que adap-tarse a las transformaciones sociales y a las nuevas actividades potencialmente lesivas. Algunas de esas garantías se han puesto ya en marcha y otras están en pro-ceso de implementación. La protección de la democracia y de los derechos require de estos instrumentos, aunque también son necesarias otras medidas de muy diverso tipo para hacer viable una protección efectiva de los derechos frente a la IA. Desde la educación digital hasta la regulación de la competencia pasando por medidas fscales, sancionadoras e incluso (en los casos extremos, como puede ser el uso de la propaganda subliminal en procesos electorales) de carácter penal.

Por lo que se refere a los grandes poderes globales que actualmente están afectando a los derechos fundamentales y minando las bases de la democracia plu-ralista, no se pueden combatir de manera efcaz a través de medidas que actúen solamente sobre los efectos y no sobre las causas. La descomposición del espacio público, la fragmentación y la radicalización son el resultado de un diseño espe-cífco de los algoritmos que está orientado a producir esos efectos para generar mayor interacción con los usuarios favoreciendo así el modelo de negocio de las grandes compañías tecnológicas.

El hecho de que algunas de estas compañías dependan en gran medida de la publicidad (en el caso de Meta, sus ingresos proceden casi exclusivamente, en un 98%, de la publicidad) genera una dependencia de los datos que necesitan para diseñar perfles de usuario que permiten ofrecer mensajes personalizados en fun-ción de su historial en Internet. Se impone una refexión sobre la viabilidad de un modelo de negocio en el que, como indicara Andrew Lewis, la gratuidad está basada en la conversión del usuario de la aplicación en el producto, en la mercan-cía objeto de venta.

La fragmentación y la radicalización del espacio público es una consecuencia del diseño específco de los algoritmos de las compañías tecnológicas. De acuerdo con las investigaciones internas que alguna de ellas ha realizado (desveladas ini-cialmente por el Wall Street Journal, sobre la base de informaciones que procedían de Frances Haugen, que trabajaba entonces para Facebook y que denunciaría pos-teriormente de manera pública las prácticas de la compañía) es técnicamente posible diseñar otros algoritmos que eviten los perniciosos efectos que los actua-les están provocando en el espacio público. Si no lo han hecho es porque eso redu-ciría su rendimiento económico. Muchas lesiones de derechos fundamentales se evitarían con un diseño diferente de los algoritmos, actuando así sobre las causas y no solamente sobre los efectos.

LORENZO COTINO HUESO

Desde el punto de vista de las garantías, cabe remitir en parte a lo ya seña-lado respecto del reconocimiento de nuevos derechos; la creación de nuevos ins-trumentos de garantía no pasa forzosamente por la formulación de nuevos derechos, sino por la adaptación orgánica y procedimental de nuestro sistema jurídico. En muchos casos, basta con afnar y actualizar la legislación. En todo caso, creo que hay que abordar especialmente tres frentes con relación a las garantías.

En primer lugar, en muchos supuestos no basta con una protección basada únicamente en intereses individuales, sino que debe atenderse a la dimensión supraindividual de los riesgos. La IA puede impactar, por ejemplo, sobre un amplio colectivo de consumidores o incluso repercutir en el debate público, la integridad de los procesos democráticos y la libertad de expresión y de formación de la voluntad política. En la Carta de Derechos Digitales propuse incluir un apartado sobre «Garantías de impacto social», inspirado en parte por Mantelero. También la Recomendación sobre IA de la UNESCO subraya la importancia de un enfoque colectivo y la inclusión de mecanismos de participación social en el uso de sistemas de IA.En los derechos de últimas generaciones desde hace tiempo se va incorporando la protección de intereses colectivos y supraindividuales y se están reforzando las garantías y regulaciones para acciones colectivas efectivas del consumidor. En 2022, el Tribunal de Justicia de la Unión Europea ha interpre-tado favorablemente la normativa de protección de datos en este contexto. El artí-culo 15 del Convenio IA exige la identifcación y evaluación de riesgos considerando todas las partes interesadas, incluidas aquellas cuyos derechos podrían verse afectados. La participación de la sociedad civil se menciona en el artículo 5 sobre «Integridad de los procesos democráticos y respeto del Estado de Derecho» y, especialmente, el artículo 20 sobre «consulta pública» dispone que «Cada Parte se esforzará por garantizar que las cuestiones importantes [...] sean, según proceda, objeto de debate público y de consulta a las múltiples partes inte-resadas a la luz, en particular, de las implicaciones sociales, económicas, jurídicas, éticas y medioambientales pertinentes.»

Una segunda vertiente de la necesaria reforma o refuerzo de las garantías se halla en la introducción para la IA del modelo del «más vale prevenir que curar». Inspirándose en las leyes de la robótica de Asimov, esto implica la integración del cumplimiento ético y legal directamente en el «Código», conforme a los términos expuestos por Lessig. El modelo preventivo, se ha consolidado en el RGPD como un elemento esencial: es el deber de realizar evaluaciones de impacto (artí-culo 35 RGPD), la exigencia de la protección de datos «desde el diseño y por defecto» (artículo 25 RGPD) o la obligación de registro interno de actividades (artículo 30 RGPD). Este modelo se generaliza en la UE en diversos ámbitos digitales como Barrio ha expuesto especialmente y en la legislación europea sobre comercialización de productos potencialmente peligrosos. Se trata la técnica del compliance o cumplimiento normativo de origen anglosajón, de integrar la ética y el cumplimiento legal directamente en el «código» o diseño de los sistemas. Este modelo se proyecta ahora, con matices, al ámbito de la IA. El alto grupo de expertos de la UE adoptó un modelo de ética en el diseño con su exhaustiva lista de evaluación, su modelo ALTAI de evaluación. En España, la Carta de Derechos Digitales establece generalmente el «principio de cumplimiento normativo desde el diseño» para todos los campos (I.4). Y para la Administración, «será necesaria una evaluación de impacto en los derechos digitales al diseñar algorit-mos para decisiones automatizadas o semiautomatizadas» (XVIII.7º). En desarrollo de la Carta, el artículo 23.1º Ley 15/2022 afrma con cierta suavidad que «se promoverá la realización de evaluaciones de impacto que determinen el posible sesgo discriminatorio». En el RIA destaca el artículo 9 del RIA que exige a los proveedores de sistemas de alto riesgo un sistema de gestión de riesgos que incorpore el impacto en los derechos fundamentales. Ello supone la identifcación y evaluación de riesgos, considerando tanto el uso previsto como un mal uso razo-nablemente previsible. Las pruebas se basan en parámetros y umbrales de toleran-cia defnidos previamente. Además, tras la comercialización del producto se evalúan riesgos adicionales y se implementan medidas específcas de gestión de riesgos. Es un proceso de mejora continua a lo largo del ciclo de vida del sistema de IA de alto riesgo, que requiere revisiones y actualizaciones periódicas. Ade-más, quien adquiere y utiliza el sistema está obligado a realizar un estudio de impacto sobre derechos fundamentales antes de su implementación (art. 27 RIA). Debe evaluarse si hay necesidad de implantar el sistema IA de alto riesgo por la entidad y, fundamentalmente, identifcar y mitigar riesgos que tiene para los derechos fundamentales que sean aceptables. Todo esto debe documentarse ade-cuadamente.

En tercer lugar, se requieren autoridades o instancias dotadas de potestades de control, investigación y sanción. Así como en protección de datos se cuenta con autoridades independientes (como la Agencia Española de Protección de Datos), también se ha planteado la necesidad de crear, o en su caso atribuir fun-ciones a órganos capaces de supervisar específcamente la IA. El RIA contempla la existencia de autoridades de supervisión del mercado a nivel nacional (artículo 59). También deben existir organismos de evaluación de conformidad, responsa-bles de realizar las pruebas de conformidad y que deben estar habilitados por una autoridad notifcante, que debe existir al menos una por país y puede ser la auto-ridad de supervisión del mercado. Asimismo, en febrero de 2024 se ha creado la Ofcina Europea de la IA, que centraliza para la Comisión Europea lo relativo a la IA general. Cuanto más vinculada esté una autoridad al ámbito de los derechos fundamentales o a la protección del consumidor, mayor independencia se requiere, hasta el nivel de independencia de las instituciones de protección de datos (Conclusiones del Abogado General, de 14 de enero de 2021, Asunto C-718/18). Sin embargo, el carácter centralizado de la AESIA y su proximidad a no pocos derechos fundamentales llevan a pensar que habría de garantizarse un mayor estándar de independencia que actualmente no se cumple con su regula-ción. El Reglamento IA exige de modo general la independencia, y la refuerza y la asegura en algunos casos más vinculados con la identifcación biométrica y los usos de seguridad pública y cumplimiento de la ley. El artículo 26 del Convenio IA subraya de manera clara que los mecanismos de supervisión deben «ejercer sus funciones de manera independiente e imparcial», asegurándose de contar con recursos y competencias sufcientes.

MARIO HERNÁNDEZ RAMOS

En línea con la respuesta anterior, más que crear nuevos instrumentos de garantía de los derechos fundamentales, considero más acertado adaptar el orde-namiento jurídico constitucional actual a la realidad algorítmica, en dos sentidos: por un lado, concebir nuevos derechos instrumentales (que pueden ahormarse y responder de manera más fel a las características y necesidades de los retos y peli-gros de la IA) que coadyuven a la efcacia de los derechos fundamentales sustan-tivos y procesales existentes (véanse los ejemplos de la Convención Marco del Consejo de Europa), o incluso refexionar sobre el diseño y reconocimiento de un derecho al «debido proceso algorítmico» y horizontal; por otro lado, es necesario analizar si las categorías constitucionales, como garantías normativas o principios generales del ordenamiento jurídico, como los incluidos en el Estado de Derecho, deben someterse a una cierta relectura e incluso transformación para adaptarlos al nuevo escenario algorítmico y que de esta forma puedan seguir cumpliendo su cometido: someter al poder a un control legítimo y democrático de una forma objetiva.

En este sentido, podrían resaltarse dos principios especialmente relevantes. En primer lugar, el principio de legalidad debería adaptarse a la realidad algorít-mica indicando la necesidad de que los sistemas de IA integren los valores cons-titucionales «desde el diseño» (by design), es decir, que los valores y principios constitucionales, incluyendo el respeto por los derechos fundamentales estén en todas las etapas de las que se compone el ciclo de vida de un sistema de IA, incluso desde el momento inicial de la concepción y diseño del modelo. En segundo lugar, el principio clásico de seguridad jurídica cobra una relevancia especial en la realidad algorítmica, y debe modularse de una manera signifcativa, asumiendo una nueva dimensión material específca y relevante. De esta manera, la seguridad jurídica se constituiría en un principio general centrado en procurar confanza a través de la robustez y la fabilidad de los sistemas de IA utilizados, que abarcaría una serie de subprincipios de garantía, como la transparencia, la explicabilidad, la interpretabilidad, la trazabilidad y la auditabilidad.

MIGUEL PRESNO LINERA

En lo que respecta a las garantías jurisdiccionales, me parece que contamos con herramientas sufcientes pero, quizás, sea necesaria también ahí una labor de «alfabetización digital», como prevé el RIA para determinados ámbitos profesio-nales,en orden a alcanzar los conocimientos necesarios para garantizar el cumpli-miento adecuado de la función de tutela de los derechos fundamentales.

En lo que se refere a las garantías orgánicas especializadas, es sabido que ya contamos, tanto en el ámbito nacional como en el europeo, con organismos como la Agencia Española de Protección de Datos y el Comité Europeo de Protección de Datos; la primera es, según el artículo 44 de su Ley Orgánica, una autoridad administrativa independiente de ámbito estatal, de las previstas en la Ley 40/2015, de 1 de octubre, de Régimen Jurídico del Sector Público, con persona-lidad jurídica y plena capacidad pública y privada, que actúa con plena indepen-dencia de los poderes públicos en el ejercicio de sus funciones; entre ellas, supervisar la aplicación de esa Ley Orgánica y del Reglamento (UE) 2016/679; el segundo es un organismo europeo independiente que tiene como objetivo garan-tizar la aplicación coherente del Reglamento General de Protección de Datos.

Parece obvio que estas entidades también están llamadas a jugar un papel importante en todo aquello que vincula a la IA con la protección de datos perso-nales pero, como hemos visto, los sistemas de IA, además de tener un impacto especial en la protección de datos, inciden en más derechos fundamentales, por lo que me parece razonable la existencia de entidades de garantía especializadas en IA y esa es la opción por la que ha optado el legislador europeo y también el espa-ñol: en el RIA se prevé una Ofcina de la Inteligencia Artifcial y un Consejo Europeo de Inteligencia Artifcial. Por su parte, España ha sido el primer país de la UE que creó, incluso antes de la aprobación del RIA, una Agencia de Supervi-sión de la Inteligencia Artifcial (Real Decreto 729/2023, de 22 de agosto) a par-tir de la autorización prevista en la Disposición adicional séptima de la Ley 28/2022, de 21 de diciembre, de fomento del ecosistema de las empresas emer-gentes. Conforme al artículo 4.2 del Real Decreto 729/2023, «La Agencia dentro del ámbito de competencias correspondientes al Estado... tiene por objeto la minimización de los riesgos que puede suponer el uso de esta nueva tecnología, el adecuado desarrollo y potenciación de los sistemas de inteligencia artifcial. En el ámbito de la competencia estatal, ejercerá las funciones de autoridad responsa-ble de la supervisión, y en su caso sanción, de los sistemas de inteligencia artif-cial con el objeto de eliminar o reducir los riesgos para la integridad, la intimidad, la igualdad de trato y la no discriminación, en particular entre mujeres y hombres, y demás derechos fundamentales que pueden verse afectados por el mal uso de los sistemas.»

Finalmente, y como ya se ha apuntado, antes, parece también acertada la pre-visión del RIA de que se haga una evaluación previa del impacto de los sistemas de IA de alto riesgo en los derechos fundamentales, algo que debe operar como un sistema de prevención de lesiones a los mismos.

LUCRECIO REBOLLO DELGADO

Hemos de ser conscientes que nos movemos en un contexto de permanente cambio. No ya cada año, sino cada mes, surge una nueva posibilidad, una mejora de aplicabilidad, se repara en una circunstancia que no había sido prevista. Las posibilidades técnicas tienen un crecimiento exponencial en cuanto a su creación y aplicabilidad en el tiempo. Por el contrario, el Derecho, como ya conocemos, es lento en su respuesta, y requiere de la actuación coordinada de muchos operadores (legislador, jurisprudencia, Administraciones Pública, órganos de control, etc.) a lo que se suma la necesidad de actuar también en diversos niveles, como el regio-nal, o internacional. Por muy previsores que sean los ordenamientos jurídicos, la IA tiene un fuerte componente de imprevisibilidad, de resultados o consecuencias colaterales no previstas, y que, en su propia creación y aplicación, requieren de un proceso de control y readaptación permanente. Esto supone una difcultad añadida al Derecho como respuesta, y se constituye en el riego más sustantivo de la IA. Conscientes de esta realidad, las nuevas normativas relativas a IA se ven necesita-das de unos periodos de actualización muy cortos, y se proyectan en un ámbito de inseguridad e imprevisibilidad manifestos. Se produce así un choque entre las pretensiones clásicas del Derecho, que se concretaban en certeza y perdurabilidad y las consecuencias de la tecnología, que son celeridad e imprevisibilidad. La solu-ción a este problema es alejarse de la casuística concreta y actuar en base a princi-pios jurídicos basados en el bien común, no parece existir otra alternativa.

No faltan autores que manifestan que la mejor solución al desarrollo tecno-lógico, y de forma más concreta de la IA, ha de venir de la mano de la misma IA, como medio de contrarrestar las defciencias, carencias o distorsiones que genera en la organización social y sus relaciones. Esto es a mi juicio parcialmente válido, pero hemos de incardinarlo en un contexto jurídico para que pueda validarse su efcacia.

Puede concluirse que harán fala nuevos instrumentos de garantía de los dere-chos y libertades fundamentales, pero inexorablemente habrá que incardinarlos en el mundo jurídico para que tengan plena efcacia, y puedan benefciarse de los elementos que aporta el Derecho.

¿Cuáles han de ser estos instrumentos? Indefectiblemente tecnológicos, pero con una pretensión y fnalidad jurídica. En concreto en el ámbito de la IA, debe-rán ser otras inteligencias artifciales las encargadas de garantizar la esencia de los derechos y libertades fundamentales. Será el algoritmo jurídico el encargado de detectar, controlar, de vigilar, de revertir la vulneración y de garantizar los obje-tivos jurídicos que emanan de la esencia de los derechos y libertades fundamen-tales, tal y como los conocemos en la actualidad.

Es evidente que nos enfrentamos a desafíos nunca vistos, pero la condición humana es inmodifcable, por lo que deberemos acelerar en nuestra capacidad para buscar nuevas soluciones a los nuevos problemas, y en esta tarea es vehículo imprescindible el Derecho como forma de solventar los confictos sociales, y tam-bién de preservar lo esencial de lo conseguido en la convivencia por el ser humano.

JOSÉ TUDELA ARANDA

Como sucede con los propios derechos, hay que distinguir entre la revisión de los instrumentos existentes y la posible creación de nuevos. Es preciso trabajar en las dos perspectivas. Para hacerlo, lo primero que resulta preciso es tener muy claro el diagnóstico y, en particular, los riesgos que tienen los derechos.

En este sentido hay varias circunstancias que condicionan de manera parti-cular e intensa la respuesta a esta pregunta. Entiendo que son tres las más rele-vantes. La primera de ellas es la velocidad. La intensidad de los cambios y la velocidad a la que se desarrolla todo, obliga a modular los órganos de protección en una doble dirección: por una parte, deberán resolver con mayor rapidez para no perder efectividad. Como siempre, pero incluso de forma más intensa, la res-puesta deberá darse en el plazo más breve posible si se quiere ser efcaz. Por otra, esa misma velocidad obliga a una necesidad constante de adaptación. La fexibi-lidad se impone como una característica general que deberán poseer todas las estructuras públicas o privadas, políticas o administrativas. Flexibilidad y capa-cidad de adaptación para adecuarse a una realidad que han dejado de ser estable.

La segunda de las circunstancias que debe ser traída a colación es la comple-jidad. Nuevos y viejos derechos se enfrentarán a una realidad crecientemente compleja. Complejidad técnica y complejidad de valores e intereses en juego. El Derecho ha tenido siempre como una de sus condiciones de efectividad la reduc-ción de la complejidad. Ese debe ser objetivo principal del legislador. Pero, por bien que lo haga, un sustrato de complejidad sustancialmente superior al hoy existente permanecerá. Los órganos de garantía deberán ser capaces tanto de rea-lizar los diagnósticos adecuados como de comprender aspectos técnicos ligados a los nuevos desafíos. Como es obvio, ello debería condicionar su composición; pro-cedimientos y su propia estructura administrativa.

Finalmente, ha de aludirse al carácter global del proceso tecnológico. Como se vio, la consecuencia es que la respuesta a muchos retos transciende el ámbito nacional con las difcultades que ello conlleva. Ello sucede también con la garan-tía de los derechos y, muy en particular, en relación con el desafío que para los mismos pueden plantear grandes empresas multinacionales. En este sentido, esta característica de la era digital supone un doble reto: por el carácter supranacional de estas corporaciones y por su naturaleza privada. En todo caso, más relevantes y difíciles de abordar son las posibles agresiones a los derechos y libertades prove-nientes no ya de empresas sino de Estados. Frente a estas es difícil imaginar ins-trumentos de garantía efectivos.

No es sencillo dar una respuesta concreta a la pregunta. Desde las premisas mencionadas, se puede pensar cómo se deben reformar las existentes y cuáles podrían ser creadas. El control del poder es, con carácter general, uno de los gran-des desafíos de la era digital. La razón es sencilla: el poder es siempre el gran desa-fío del Derecho Constitucional y el poder se ha transformado y se está transformado. En esa ecuación, una formulación adecuada del estatus civitatis se antoja esencial y parte nuclear es su garantía.

En líneas generales, los instrumentos existentes siguen pareciendo necesa-rios, en particular, el Poder Judicial en sus distintas estancias y la jurisdicción constitucional. Pero deberán cambiar para adaptarse a los nuevos desafíos. Su composición; sus procedimientos; la formación de sus miembros deberá ser muy diferente. Una idea general es válida: como todas las estructuras destinadas al control del poder, deberán ser reforzadas. Muy reforzadas. En este sentido, es plausible pensar en la creación de secciones y órganos especializados en relación con los desafíos más específcos. En este capítulo de reformas, también pueden pensarse en nuevos y especializados organismos destinados a la protección de los derechos que deberán dedicar una particular atención a la labor preventiva. Orga-nismos destinados al estudio y de prevención de riesgos y confictos emergen como una necesidad generalizada ante un modelo caracterizado por la incerti-dumbre. Finalmente, debería trabajarse la dimensión internacional. Dada la dif-cultad de abordar el orden global, bueno será centrarse en el ámbito europeo. En general, los desafíos de la era digital necesitan de respuesta en un marco como en el ámbito europeo. Los derechos no escapan a esta refexión.

6. Desde la perspectiva de los derechos fundamentales ¿qué opinión le merecen el Reglamento europeo de inteligencia artifcial y el Convenio Marco del Consejo de Europa sobre inteligencia artifcial y derechos humanos, democracia y Estado de derecho?

ANA ABA CATOIRA

Mi valoración es positiva, ya que la aprobación de estos dos instrumentos jurí-dicos, tan próximos en el tiempo, refeja la voluntad tanto de la Unión Europea como del Consejo de Europa de garantizar entornos digitales seguros que protejan los valores democráticos y los derechos de las personas, estableciendo un marco regulador sólido. Aunque ambos instrumentos comparten objetivos similares, presentan enfoques y alcances distintos debido a su diferente naturaleza jurídica.

Sin embargo, es importante destacar que, a diferencia del RGPD, el Regla-mento de inteligencia artifcial no se centra exclusivamente en las personas afec-tadas ni establece un régimen específco de garantías para ellas, pues son objetivos principales son otros: la seguridad de los sistemas de IA que deben ser respetuo-sos con los derechos de la ciudadanía y estimular la inversión e innovación en inteligencia artifcial. Para ello se sigue un modelo de gestión de riesgos que cla-sifca los sistemas de IA en cuatro categorías y establece obligaciones más o menos intensas en función de ese nivel de riesgo. El principio de transparencia y expli-cabilidad algorítmica son garantías transversales de las que derivan obligaciones para los diferentes actores involucrados en el ciclo de vida de los sistemas de IA (artículos 13, 14 y 15).

Esta norma supone la consolidación de un cambio de paradigma iniciado con el RGPD, estableciendo un modelo preventivo y proactivo que busca ser efcaz en un entorno donde los riesgos son dinámicos y en constante evolución. La transpa-rencia es esencial debido a las características propias de la inteligencia artifcial, como la opacidad de los algoritmos, que difculta comprender su funcionamiento, y la relevancia de sus aplicaciones. Entre los logros del Reglamento destacamos la prohibición de ciertas prácticas de IA que vulneran directamente derechos fun-damentales como la utilización de sistemas de categorización biométrica e indi-vidual para inferir características sensibles como la raza, orientación religiosa, ideológica o sexual, los utilizados para un reconocimiento de emociones en entor-nos laborales y educativos, salvo con fnes médicos o de seguridad, los sistemas de puntuación social que evalúan a personas o colectivos según su comportamiento social o características personales (conocidas, inferidas o predichas, o, los sistemas que utilizan técnicas subliminales, manipuladoras o engañosas para alterar el comportamiento de las personas, mermando su capacidad para tomar decisiones, entre otros. Además, valoramos muy positivamente la obligatoriedad de realizar evaluaciones de impacto de los sistemas de alto riesgo que serán complementaria a la que se tuviera que realizar, dado el caso, en materia de protección de datos (artículo 35 RGPD).

Por su parte, el Convenio Marco del Consejo de Europa sobre inteligencia artifcial, aunque comparte objetivos similares, tiene un alcance más amplio al tratarse de un tratado internacional que involucra a países no pertenecientes a la UE. Su enfoque se centra en la protección de los derechos humanos, la democra-cia y el Estado de derecho frente al desarrollo y uso de la IA, más que en aspectos económicos o de mercado.

La principal diferencia entre ambos instrumentos radica en que el RIA esta-blece obligaciones vinculantes y sanciones específcas para los Estados miembros de la UE, mientras que el Convenio del Consejo de Europa proporciona un marco de cooperación internacional con orientaciones más fexibles, adaptables a las cir-cunstancias de cada país. No obstante, este convenio está llamado a desempeñar un papel esencial, al integrar en el ámbito jurídico lo que hasta ahora eran meras normas éticas sobre la IA, sentando las bases para futuras regulaciones que esta-blezcan obligaciones específcas.

Ambos instrumentos comparten elementos comunes. De hecho, el Convenio incluye una serie de conceptos fundamentales del RIA como son el enfoque basado en el riesgo, la transparencia a lo largo de la cadena de valor de los siste-mas de IA y los contenidos generados por IA, las obligaciones detalladas de docu-mentación para los sistemas de alto riesgo y las obligaciones de gestión de riesgos, con la posibilidad de introducir prohibiciones para los sistemas de IA considera-dos una clara amenaza para los derechos fundamentales.

Además, el Convenio pone especial énfasis en la dimensión colectiva de los derechos frente a los riesgos sociales o grupales que plantea la IA. En este sentido, el artículo 15 del convenio exige la identifcación y evaluación de riesgos consi-derando a todas las partes interesadas, incluidas aquellas cuyos derechos podrían verse afectados. Este enfoque resulta fundamental, tal como ha venido insistiendo el profesor Cotino, quien afrma la necesidad de que esta perspectiva esté presente en cualquier regulación sobre garantías.

Ambos instrumentos encuentran su espacio propio, aunque se complemen-tan dentro de un marco multinivel que permite abordar los desafíos de la inteli-gencia artifcial desde diferentes perspectivas, lo que supone un importante desarrollo para el Derecho digital.

FRANCISCO BALAGUER CALLEJÓN

La regulación y el control de la IA es necesaria a todos los niveles, estatal, supranacional e internacional. Desde esa perspectiva mi valoración es positiva tanto por lo que se refere al Convenio Marco cuanto al Reglamento, sin perjuicio de que se puedan y se deban criticar en muchos aspectos. Especialmente en el caso del Reglamento resulta necesaria una apreciación crítica que permita mejorarlo en el futuro. Pero no podemos desconocer la enorme difcultad que ha tenido su elaboración, con la aparición de nuevos desarrollos de la IA durante el proceso, que exigieron su adaptación rápida a los nuevos desafíos que planteaban.

El Convenio Marco contiene principios comunes que deben ser seguidos por los Estados y que están orientados a una ordenación de la IA que la haga más coherente con los derechos y con la democracia y el Estado de Derecho. Desde esa perspectiva abre posibilidades de coordinación entre los Estados que haga posible el control de la IA frente a los agentes globales y que limite el potencial lesivo de la IA, potenciando sus efectos positivos para la sociedad. Corresponde a los Esta-dos aplicar el Convenio y generar una cooperación entre ellos que permita el intercambio de experiencias y la armonización de legislaciones.

La UE también lo hará como parte del Convenio Marco, pero además está desarrollando una encomiable labor de regulación del ámbito digital en todas sus vertientes y en esa labor se inscribe el Reglamento de IA. Ciertamente, en el caso de la UE la orientación a la protección de los derechos se produce en el contexto de su capacidad para regular el mercado europeo. Pero esa característica del Reglamento es lo que le proporciona su enorme potencial práctico y su previsible efcacia para ordenar la IA a nivel europeo (y tendencialmente a nivel global a partir del «efecto Bruselas»). Hay que tener en cuenta que la UE desarrolla una importante función de mediación entre el mercado global y el estatal, ofreciendo protección a los mercados estatales frente a la globalización. De ese modo, se pro-tegen también en gran medida (con la desdichada excepción de la crisis fnanciera de 2008) los sistemas de derechos estatales.

Una de las grandes transformaciones de los sistemas de derechos constitucio-nales debida a la globalización y al desarrollo tecnológico es que los derechos se orientan del ámbito de la producción al del consumo, que es donde se produce la mayor parte de los confictos potenciales en el gran mercado global. Esta particu-laridad hace que los derechos se vinculen también al mercado, de tal modo que la regulación del mercado ofrece posibilidades de defensa de los derechos y de con-trol de los agentes globales. Frente al progresivo deterioro de las constituciones económicas nacionales, la UE está asumiendo un papel fundamental de protec-ción de los derechos a escala europea.

Desde esa perspectiva, corresponde al constitucionalismo de nuestro tiempo adaptar las categorías que hemos heredado para seguir controlando el poder y garantizando los derechos. Algunos de los instrumentos que hemos utilizado hasta ahora quizás hayan perdido algo de su efcacia en el contexto de la globalización y de la sociedad digital. Pero hay otros nuevos que nos permiten recuperar el espí-ritu de libertad, igualdad y solidaridad que ha caracterizado siempre al constitu-cionalismo moderno para hacer frente a los nuevos desafíos. En parte lo podremos hacer mediante la cooperación internacional entre Estados (Convenio Marco) y en parte a través de la regulación del mercado europeo por parte de la UE.

LORENZO COTINO HUESO

Tanto el RIA como el Convenio IA representan avances positivos al reforzar el principio de la «IA centrada en la persona» y especialmente garantizar meca-nismos preventivos de control y evaluación de riesgos. El RIA es más concreto y con un estándar de garantías más elevado que el convenio, que es muy fexible. El Convenio IA amplía el campo de acción, pone acento en la proyección sobre la democracia y el Estado de derecho, y establece principios vinculantes para todos los tipos de IA, sean o no de alto riesgo. Sin embargo, este andamiaje normativo en el viejo continente suscita algunas dudas respecto al lugar que ocupará la Unión Europea en la carrera por la innovación en IA. No pocos actores del mer-cado temen que la excesiva complejidad de las obligaciones técnicas y documen-tales desaliente la inversión en investigación y desarrollo de sistemas de IA en Europa. Este binomio puede proyectar a Europa como el referente mundial de la IA ética y responsable, sin embargo, también puede quedar afectada la innova-ción en razón de las obligaciones del RIA: requisitos de registro de sistemas, los procesos de evaluación de conformidad, el sometimiento a auditorías técnicas y, en defnitiva, la densa burocracia que puede emerger.

Es muy positivo a mi juicio que el RIA prohíba algunos sistemas de IA por ser incompatibles con el Estado de Derecho y los derechos. Eso sí, podría haberlo hecho algo mejor y sin tantos espacios a la futura interpretación. En todo caso y especialmente, el RIA identifca unos sistemas de IA de «alto riesgo», precisa-mente, por afectar a los derechos fundamentales y la seguridad de las personas. Por una parte, será de alto riesgo la integración de IA en productos ya peligrosos, sujetos a la normativa de la UE dentro del «nuevo marco legislativo» de la UE (Anexo I). Por otra parte, son de alto riesgo los sistemas IA utilizados para «infuir sustancialmente en el resultado de la toma de decisiones» (art. 6.3 RIA) para hasta 25 fnalidades enumeradas en el Anexo III agrupadas en: Biometría; 2. Infraestructuras críticas; 3. Educación y formación profesional; 4. Empleo, ges-tión de los trabajadores y acceso al autoempleo; 5. Acceso a servicios privados esenciales y a servicios y prestaciones públicos esenciales y disfrute de estos servi-cios y prestaciones; 6. Aplicación de la ley; 7. Migración, asilo y gestión del con-trol fronterizo; 8. Administración de justicia y procesos democráticos.

Pues bien, siguiendo un modelo más técnico y de mercado, respecto de los sistemas de alto riesgo el RIA exige el marcado «CE», diseñando procedimientos de evaluación de conformidad y estableciendo obligaciones específcas para fabri-cantes e implantadores. Los proveedores y usuarios de sistemas de alto riesgo están obligados a acometer evaluaciones de impacto, a mitigar los eventuales ses-gos, a generar documentación técnica exhaustiva, a garantizar la supervisión humana y a llevar un registro de logs que posibilite la trazabilidad y la explica-ción de las decisiones automatizadas. Asimismo, obliga a que estos sistemas sean robustos, exactos y no hackeables. Todas estas exigencias serán desarrolladas ade-más por todo un armazón de normas técnicas y de armonización, que serán acom-pañadas de la normalización técnica de la IA que está actualmente en fase de desarrollo. Para los sistemas que no son de alto riesgo, todas estas obligaciones serán los referentes de las buenas prácticas a seguir voluntariamente en códigos, sellos o certifcaciones a las que se sumen los proveedores públicos o privados de esos sistemas de IA. Además, el RIA otorga a las autoridades de supervisión la capacidad de requerir documentación o solicitar modifcaciones en aquellos siste-mas que puedan poner en peligro la seguridad o los derechos individuales y colec-tivos. Se trata de un enfoque, que aunque provenga del Derecho privado y la seguridad de los productos, supone un avance notable y sitúa a la UE a la cabeza de la regulación mundial de la IA.

El Convenio IA sin duda alguna es más inconcreto y quizá tenga un valor más simbólico que jurídico y normativo. Muestra de ello es que Israel o Estados Unidos han frmado el Convenio de manera inmediata. El Convenio IA busca arraigar en el plano jurídico internacional los valores fundamentales que deben regir el desarrollo de la IA: el respeto a los derechos humanos, la democracia y el Estado de derecho. El Convenio IA contempla un abanico de garantías y princi-pios que no se circunscriben a los llamados sistemas de alto riesgo. Ello puede tener un potencial interpretativo importante, pero muy posiblemente esta exten-sión de garantías a todos los sistemas ya quedará en sede de cada Estado o parte frmante. También es relevante que el Convenio resalta la importancia de la par-ticipación social, la consulta pública y la inclusión de todas las partes interesadas en la evaluación de los posibles impactos de la IA (artículo 20). Asimismo, expresa la necesidad de contar con autoridades independientes y efectivas encar-gadas de vigilar el cumplimiento de los principios consagrados (artículo 26). Quizá el mérito esencial del Convenio IA es que puede aplicarse también a países que no integran la Unión Europea e incluso de fuera de Europa, lo que potencia su vocación de instrumento internacional de referencia. Como he señalado en algún lugar, el Convenio «pone la lírica» allí donde el RIA «pone la prosa». El RIA aporta la sistemática legal, la defnición de obligaciones precisas, los proce-dimientos de evaluación y las sanciones para quienes vulneren la normativa. El

Convenio IA, en cambio, traslada al plano vinculante los valores y principios fun-damentales que deben guiar la actividad legislativa y la actuación administrativa y judicial en relación con la IA. Si se produce una sinergia acertada entre ambos -el RIA como fundamento técnico y el Convenio como brújula axiológica-, se logrará un modelo de gobernanza de la IA capaz de combinar la rigurosidad y la claridad normativa con la efectividad en la protección de los derechos humanos.

MARIO HERNÁNDEZ RAMOS

Como se ha señalado, ninguna de estas normas cristaliza nuevos derechos fun-damentales para hacer frente a los retos de la IA, sino que contribuyen a que los derechos en vigor estén en mejor situación jurídica para proteger a la ciudadanía, desde el punto de vista de los principios de legalidad y de la seguridad jurídica.

Desde el punto de vista de los derechos fundamentales, ambas normas son bastante generales, por lo que necesitarán de una legislación específca y complementaria. Este es el propósito de la Convención Marco claramente: una vez sea ratifcado, los principios contenidos han de ser desarrollados por los Estados conforme a los objetivos marcados por la propia Convención Marco, primordial-mente garantizar que las actividades durante el ciclo de vida de los sistemas de IA sean plenamente coherentes con los derechos humanos, la democracia y el Estado de Derecho (art. 1). Sin embargo, por su naturaleza jurídica el Regla-mento pretende cierta vocación de completitud en lo que se refere a la protección de los derechos fundamentales, pero es ciertamente cuestionable dado que se trata de una norma que no concibe la protección de los derechos como su objeto fun-damental. De hecho, el Reglamento es una norma un tanto farragosa y con una mejorable técnica legislativa porque no solo se centra en los derechos, sino que combina dos marcos regulatorios muy diferentes: la protección de derechos fun-damentales y el desarrollo de una legislación de producto o sistema de certifca-ciones para la introducción en el mercado de la UE de sistemas de IA. Ciertamente hay similitudes muy importantes entre ambas normas, pero también diferencias destacables. Entre estas últimas destacaría la base y la naturaleza jurídica que condicionan el tenor de la regulación. En efecto, el Reglamento se aprueba con base en dos preceptos que delimitan su alcance y contenido, en concreto la pro-tección de datos personales (art. 16 TFUE) y la garantía del funcionamiento del mercado interior (art. 114 TFUE). Esto se ve refejado en el primero de los obje-tivos señalados por el Reglamento en su art. 1.1, que no es otro que «mejorar el funcionamiento del mercado interior». Esta base competencial condiciona la regulación que se lleva a cabo de la utilización de la IA, por lo que no es de extra-ñar que materias más de corte constitucional como el Estado de Derecho o la democracia, a pesar de constituir valores a proteger por el Reglamento aparezcan enunciados en muy pocas ocasiones, y de una manera, como por ejemplo en el art. 1, incluyéndose dentro de la categoría de derechos fundamentales (derechos proxy). Por el contrario, como se ha mencionado, la protección de los derechos fundamentales es uno de los objetivos de la Convención Marco.

Por todo ello, destacaría por encima de todo la relación de complementarie-dad entre ambas normas, por dos motivos principales.

En primer lugar, a pesar de que en apariencia parecen ser totalmente coinci-dentes, el Reglamento aborda la regulación desde las competencias que el mer-cado interior le ofrece; es decir, desde el mercado interior no se puede regular en toda su extensión los efectos que la IA pueda ocasionar en los derechos fundamen-tales, en el Estado de Derecho y en la democracia, como sí puede la Convención Marco al no estar limitada por el sistema de atribución de competencias sobre el que se basa la UE.

En segundo lugar, el Reglamento solo afecta a los 27 estados miembros de la UE. Por el contrario, la Convención Marco está abierta a ser ratifcada no solo por los 46 miembros del Consejo de Europa, y por los 5 Estados observadores, sino por cualquier país que demuestre un cierto alineamiento en el respeto de los obje-tivos del Consejo de Europa en materia de protección de derechos humanos, del Estado de Derecho y la promoción de la democracia. Esta posibilidad evidencia el objetivo del Consejo de Europa de fjar estándares que trasciendan los límites geográfcos y culturales europeos (nótese que países tan signifcativos como Esta-dos Unidos de América han frmado la Convención Marco; la frma de Japón y Canadá es inminente), lo que consecuentemente exige un nivel de abstracción y generalidad mayor que las obligaciones específcas fjadas en el Reglamento de la UE. La complementariedad entre ambas permite que los 27 Estados miembros de la UE, y sus respectivas ciudadanías y sector privado, parte también del Consejo de Europa, gocen del entramado jurídico más avanzado y sofsticado para hacer frente a los retos que plantea la IA y sus creadores y desarrolladores, así como para determinar que la innovación de esta tecnología ha de llevarse a cabo respetando y promocionando los derechos fundamentales, las instituciones democráticas y el Estado de Derecho.

MIGUEL PRESNO LINERA

Los derechos fundamentales están muy presentes en el Reglamento Europeo, al menos en teoría, pues encontramos 96 referencias a esa expresión (la mayoría, 51, en el Preámbulo) pero, ya desde el primer párrafo del Preámbulo, se deja claro que «el objetivo del presente Reglamento es mejorar el funcionamiento del mer-cado interior mediante el establecimiento de un marco jurídico uniforme, en par-ticular para el desarrollo, la introducción en el mercado, la puesta en servicio y la utilización de sistemas de inteligencia artifcial en la Unión», es decir, el Regla-mento está orientado al «mercado», palabra que aparece en 356 ocasiones, y a la seguridad de los productos de IA, lo que ocurre es que dicha orientación se pre-tende que sea compatible con «un elevado nivel de protección de la salud, la seguridad y los derechos fundamentales consagrados en la Carta de los Derechos Fundamentales de la Unión Europea, incluidos la democracia, el Estado de Derecho y la protección del medio ambiente».

Dichos condicionamientos no son, obviamente, triviales y, siguiendo el aná-lisis de Anu Bradford (Imperios digitales, 2024), son los que permiten diferenciar el modelo regulador europeo, que atiende a los derechos fundamentales, de los modelos norteamericano -basado en el mercado y en los incentivos a la innova-ción- y el chino -centrado en el desarrollo económico y en la «estabilidad del país» a costa de los derechos de la ciudadanía-, pero ninguno de dichos modelos es «puro» y, como ya se apuntado, el RIA se orienta claramente al mercado y a «brindar apoyo a la innovación» a través de unas normas armonizadas.

El RIA no crea nuevos «derechos fundamentales de la UE», sino que, conforme al artículo 1, trata de proteger a los «consagrados en la Carta» y lo hace prohibiendo ciertas «prácticas de IA» y sometiendo a condiciones a los sistemas de alto riesgo para los derechos fundamentales. Nos parece razonable el trata-miento de los sistemas de alto riesgo y un tanto decepcionante el apartado de las prohibiciones, en el que la tutela de los derechos se somete en ocasiones a políti-cas de seguridad o, en apariencia, al deseo de no poner demasiados obstáculos a las posibilidades de avance técnico de la Unión, un avance que no era precisa-mente rápido antes del Reglamento; además, varias de las prohibiciones -por ejemplo, las relativas a los sistemas que discriminan- ya se podrían amparar en normas vigentes y otras se han quedado cortas; por ejemplo, limitando la prohi-bición de los sistemas que inferen emociones al ámbito laboral y educativo y en ellos, además, con matices.

No cabe olvidar, además, que el RIA «no se aplicará a los sistemas de IA que, y en la medida en que, se introduzcan en el mercado, se pongan en servicio o se utilicen, con o sin modifcaciones, exclusivamente con fnes militares, de defensa o de seguridad nacional, independientemente del tipo de entidad que lleve a cabo estas actividades» (artículo 2.3).

Finalmente, y esa es otra prueba -y no menor- de la importancia del mer-cado, el RIA permite la exportación de sistemas de IA cuyo uso estaría prohibido en la Unión por ser lesivo de los derechos fundamentales.

Por su parte, el Convenio Marco, en coherencia con su título, «podrá com-plementarse con otros instrumentos para abordar cuestiones específcas relaciona-das con las actividades dentro del ciclo de vida de los sistemas de inteligencia artifcial» (número 11 del Preámbulo) y adopta una confguración mucho más principialista que el Reglamento, esto es, contiene mandatos de optimización, caracterizados por el hecho de que pueden ser cumplidos en diferente grado. Así, por ejemplo, dispone (artículo 4) que «cada Parte adoptará o mantendrá medidas para garantizar que las actividades dentro del ciclo de vida de los sistemas de inteligencia artifcial sean compatibles con las obligaciones de protección de los derechos humanos, consagradas en el derecho internacional aplicable y en su legislación nacional».

En segundo lugar, el Convenio incluye, esencialmente, obligaciones de resultado, dejando a los Estados la concreción de las medidas adecuadas para alcanzarlos.

En tercer lugar, y al igual que el Reglamento, tampoco el Convenio incluye derechos que no estén reconocidos en otros instrumentos internacionales

Finalmente, y eso también condiciona su contenido, el Convenio Marco nace con una cierta vocación de globalidad; así, en su Preámbulo se invoca la necesidad de establecer, con carácter prioritario, un marco jurídico aplicable a escala mun-dial que establezca principios generales y normas comunes que rijan las activida-des dentro del ciclo de vida de los sistemas de inteligencia artifcial, preservando efcazmente los valores compartidos y aprovechando los benefcios de la inteli-gencia artifcial para la promoción de esos valores de manera que favorezca la innovación responsable, y el artículo 30.1 prevé que el Convenio estará abierto a la frma de los Estados miembros del Consejo de Europa, de los Estados no miem-bros que hayan participado en su elaboración y de la Unión Europea.

Se trata, en suma, de un intento de armonización y construcción de un marco estándar y mínimo para Europa, con alcance mundial; un esfuerzo centrado en los derechos humanos, la democracia y el Estado de derecho y no tanto en la econo-mía y el mercado.

LUCRECIO REBOLLO DELGADO

Tanto la Unión Europea como el Consejo de Europa han sido hasta la fecha punteros en la regulación de la incidencia de las nuevas tecnologías en el ámbito jurídico, y de forma más concreta en el de los derechos y libertades fundaménta-les. Aunque diferenciados en su contenido, el Reglamento de IA pretende obte-ner resultados más concretos, y el Convenio contiene una formulación más clásica, ambos son textos de relevancia. El Reglamento se ha constituido en la primera regulación de carácter supraestatal específca y detallada, concreta y con una plena efcacia en su aplicabilidad. El Convenio Marco es el primer Tratado inter-nacional sobre IA, y desgrana las afectaciones de la IA en los derechos y libertades fundamentales, estableciendo límites y prohibiciones. Son en resumen dos claras muestras del interés de Europa en regular una materia tan compleja y con tanta proyección como es la IA. Pese a ello, requerirán de actualizaciones constantes, y de un fuerte respaldo institucional y ejecutivo para llevarlos a la plenitud de su efcacia jurídica.

Ambos textos tienen una considerable importancia y son refejo de que Europa es consciente de la problemática intrínseca que conlleva la IA, es de esperar que supongan un paso signifcativo en la protección de los derechos y libertades fun-damentales, pero de igual forma, no conviene ser ni ilusos, ni excesivamente con-fados. La mera publicación de las normas no garantiza su vigencia y plena aplicabilidad. Es necesario movilizar todo el cuerpo institucional y especialmente los sistemas ejecutivos y de garantía para dar plena validez a los medios de protec-ción, y ello se debe realizar con una pretensión constante, y conscientes de la cele-ridad de los cambios y adecuaciones. Nos encontramos en el inicio del desafío.

JOSÉ TUDELA ARANDA

Hay que recordar que la Unión Europea fue intuitiva y rápida en relación con el fenómeno de la IA. Ya a principios de 2020 abordó esta cuestión elabo-rando un libro blanco en el que se avanzaba que el desarrollo de la IA sería rápido. Lo ha sido, pero también lo ha sido la Unión aprobando el Reglamento. Así, creo que lo primero que hay que poner en valor es su propia existencia. Redactar una carta declarativa y, mucho más, una norma generalista sobre el deber ser y la nor-matividad de la IA es una cuestión de extraordinaria complejidad. Lo es porque supone un desafío técnico de primer orden y, aún más, porque supone decidir entre intereses encontrados que nunca permanecerán inactivos. Por ello, el primer aspecto a destacar es que tanto la Unión como el Consejo de Europa se deci-diesen a acometer esta regulación y a hacerlo en una fecha que hay que considerar como temprana, poniendo a Europa a la cabeza en esta materia. La Unión se ha convertido en institución pionera y la infuencia de su regulación ya se hace notar, siendo referente de cara a otros Estados. Es importante destacar este hecho porque el desarrollo de la IA es global y los interlocutores en este caso son Estados Uni-dos y China.

Esta refexión es puente para la segunda: la IA, y en general el conjunto de fenómenos emergentes de la mano de la era digital necesitan de respuestas tras-nacionales. Ello no supone que cada Estado no deba dar respuestas singulares y, en consecuencia, aprobar su propia legislación. En este sentido, el instrumento del Reglamento comunitario aúna las dos ventajas: permite disponer de un marco general que hubiese sido complicado y, seguramente, menos efciente dictado en el ámbito nacional y otorga la posibilidad de adaptarlo a las necesidades específ-cas de cada entorno nacional en el momento de su trasposición. La IA es un fenó-meno más de aquellos que sitúan al Estado nación frente al espejo de sus limitaciones. La consecuencia es obvia, aunque en demasiadas ocasiones se cues-tione: es preciso reforzar los poderes de la Unión y hacerlo, precisamente, desde la existencia creciente de estas situaciones.

En primer lugar, quisiera destacar el valor de haber incorporado una serie de principios generales que deben servir de marco general a la regulación de la IA. Como indiqué en su momento, el nivel de los principios generales me parece de la máxima importancia a la hora de abordar normativamente las consecuencias de la IA. En muchas ocasiones, va a ser extraordinariamente difícil aplicar preceptos concretos. El ordenamiento que regule la IA debe ser fexible, como, en general, el conjunto del ordenamiento jurídico en la era digital. Por ello, es imprescindi-ble no sólo incorporar principios sino cuidar al máximo su redacción. También en este punto es preciso tener capacidad de adaptación. Es el inicio de la IA y esos principios deberán ir modulándose y adaptándose mejor al entorno. Entre los principios que incorpora el Reglamento quisiera destacar el de intervención humana y el de seguridad técnica. Respecto del primero, hay que reparar en que la intervención humana debería derivar a una intervención pública. Es decir, la intervención humana existirá siempre o casi siempre. Por sí misma, no garantiza nada. Es preciso dar un paso más. En relación con el segundo, es relevante poner encima de la mesa la necesidad de garantizar la solidez técnica de los proyectos. En este punto, el punto débil serán las dudas que plantea la capacidad pública para asegurar esa calidad técnica. En todo caso, ambos principios son necesarios para un correcto desarrollo y uso de la IA, otorgando a jueces y magistrados una herramienta de gran utilidad.

No quiero dejar de aludir a otros dos principios, privacidad y transparencia, que, si bien no pueden considerarse novedosos, no por ello dejan de ser importan-tes. Los dos existen y poseen efectos transversales. El que se hayan incluido expre-samente debe considerarse un plus, un reforzamiento de las exigencias tradicionales. Entiendo que el Reglamento podría haber sido más ambicioso en este extremo. Los retos que plantea la IA no son como otros que conocemos. Aun-que sea a nivel de principios generales, las directrices al respecto deben ser más específcas. Avanzar en este extremo no es sencillo, pero es preciso plantearse desde el primer momento tanto la necesidad de una regulación más ambiciosa como fexible para poder ir incorporando a su formulación nuevas precisiones que los fortalezcan de cara a su uso por las autoridades judiciales.

Junto a ello, y desde una perspectiva más concreta, entiendo que el Regla-mento acierta buscando el equilibrio entre la prevención y la garantía y la promo-ción de la innovación en la materia. Para ello utiliza el concepto de riesgo y lo clasifca en cuatro niveles de manera que no se obstaculice la innovación cuando se trate de riesgos limitados o mínimos. Considerando que el nivel de riesgo inadmisible es de más fácil identifcación, el problema se plantea en relación con el concepto y determinación de riesgo alto. Es un concepto altamente subjetivo y que, sin duda, planteará problemas en el momento concreto de su determinación.

La última consideración que debe realizarse es acerca de la efcacia de las dis-posiciones del Reglamento y de las normas nacionales que lo desarrollen. Prohi-biciones, sanciones, controles. Regular la IA es un mérito relevante por sí mismo. Pero el verdadero desafío será lograr la efcacia de esa normativa. En este punto, las características de la IA mencionadas al principio (trasnacionalidad; compleji-dad; carácter privado de los sujetos más relevantes) suponen un desafío que no puede desconocerse y que siempre deberá tenerse en cuenta en el momento de las normas de desarrollo.

Finalmente, en relación con el Convenio Marco del Consejo Europeo, entiendo que es preciso valorarlo de forma conjunta con el Reglamento. Su valor es aportar un marco teórico y de valores a la IA. Las mismas razones que avalaban la importancia de los principios generales en las disposiciones normativas, avalan la notoriedad de un documento como el Convenio. La IA es un instrumento poderoso si se utiliza de forma negativa y puede tener incidencia tanto sobre el desarrollo del principio democrático como sobre cuestiones fundamentales del Estado de Derecho. El convenio aproxima respuestas, pero los desafíos son mayo-res. Estado de derecho y principio democrático son los dos pilares esenciales de la democracia constitucional. La potencia y relevancia de la IA nos enfrenta de forma defnitiva a abordar de manera global cómo debe el Derecho constitucional y el propio concepto de Constitución los desafíos de la era digital.

Footnote

1 La participación en esta encuesta es uno de los resultados del Proyecto de investigación PID2022-136548NB-I00 Los retos de la inteligencia artifcial para el Estado social y democrático de Derecho, fnan-ciado por el Ministerio de Ciencia e Innovación. Quiero agradecer a la profesora Patricia García Majado y al profesor Daniel Jove Villares la lectura de este texto y sus comentarios y sugerencias.