El 12 de julio de 2024 se publicó en el Diario Oficial de la Unión Europea el Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, sobre la inteligencia Artificial, más conocido como Ley de la IA. El uso de la inteligencia artificial plantea ciertos dilemas y posibles amenazas que hasta ahora no han tenido una respuesta legislativa, y que el Reglamento trata de regular. Una de sus aportaciones más importantes es la clasificación de los sistemas inteligentes en varios niveles de riesgo, desde el inapreciable hasta el riesgo inaceptable. Y es aquí, en este último, y lógicamente, donde el Reglamento quiere establecer mayores controles.
El Reglamento también es consciente de que estos sistemas de mayor riesgo son, precisamente, utilizados por la Administración pública, al indicar que deben «clasificarse como de alto riesgo determinados modelos de IA destinados a la Administración de Justicia y los procesos democráticos». Con lo cual, muchas de las claves que expongo deben tenerse en cuenta por las Administraciones sin perjuicio de las excepciones que, como es lógico, se establecen para ellas en el Reglamento europeo.
En este artículo aporto 9 claves del Reglamento de la IA centradas, sobre todo, en los algoritmos de riesgo alto. No obstante, dado lo extenso de la regulación, podrán extraerse otras conclusiones importantes de esta Ley de la inteligencia artificial.
1. Evaluación del impacto de los sistemas de IA
El artículo 27 del Reglamento regula la «Evaluación de impacto relativa a los derechos fundamentales para los sistemas de IA de alto riesgo«. Como he comentado, el Reglamento ha establecido distintos niveles de riesgo de las tecnologías de inteligencia artificial, en función de su impacto en los derechos de los ciudadanos. Pero donde más incide es, obviamente, en los sistemas de riesgo alto, que se definen en el artículo 6 y en el Anexo I.
La evaluación que regula la Ley de la IA tiene como objetivo principal identificar y analizar los posibles riesgos que el sistema pueda presentar para los derechos fundamentales, la salud y la seguridad de los ciudadanos. En tal sentido, antes de que un sistema de IA sea introducido en el mercado, los proveedores deben realizar un análisis exhaustivo que contemple todas las posibles consecuencias adversas de su uso.
Este análisis no solo abarcará los riesgos técnicos, sino también los éticos y sociales, considerando cómo la IA puede afectar a diferentes grupos humanos y sus derechos fundamentales. Dicha evaluación deberá ser detallada y específica, cubriendo todas las etapas del ciclo de vida del sistema, desde el diseño hasta su implementación y uso cotidiano.
La importancia de este control radica, por tanto, en la capacidad de prever y mitigar posibles daños antes de que ocurran, pues las consecuencias podrían ser muy perjudiciales. Los resultados de esta evaluación deberán ser documentados de manera clara y comprensible, permitiendo que las autoridades competentes puedan revisar y verificar que todos los riesgos han sido adecuadamente considerados y gestionados.
Además, esta documentación deberá ser accesible y estar actualizada, facilitando un control continuo y la adopción de medidas correctivas si se identifican nuevos riesgos durante el uso del sistema. Este enfoque preventivo no solo protege a los usuarios y a la sociedad en general, sino que también refuerza la confianza en la tecnología de IA, promoviendo su aceptación y adopción en diversas aplicaciones.
2. Documentación técnica
La documentación técnica se regula en el artículo 11. Se trata de un elemento esencial para garantizar la transparencia y la responsabilidad en el desarrollo y uso de los sistemas de IA de alto riesgo. Lo que se está exigiendo es tener documentado todo el proceso de desarrollo e implementación de los modelos de IA.
La documentación técnica de un sistema de IA de alto riesgo se elaborará antes de su introducción en el mercado o puesta en servicio, y se mantendrá actualizada
Esta documentación deberá incluir información detallada sobre el diseño, el desarrollo, las pruebas y la implementación del sistema. Además, debe describir las medidas de mitigación de riesgos implementadas, explicando cómo se identificaron y abordaron los posibles problemas.
La documentación debe ser exhaustiva y estar redactada de manera que sea comprensible para las autoridades competentes y otros interesados que necesiten revisar el sistema. En este entorno la transparencia se convierte en pieza esencial para asegurar que el sistema inteligente cumple con todas las normativas y estándares de seguridad aplicables.
Además de servir como una herramienta de verificación y cumplimiento, la documentación técnica juega un papel clave en la gestión del ciclo de vida del sistema de IA. Permite a los desarrolladores y operadores realizar un seguimiento de los cambios y actualizaciones realizadas en el sistema, asegurando que cualquier modificación sea adecuadamente registrada y evaluada en términos de impacto sobre los riesgos previamente identificados. La accesibilidad y actualización constante de esta documentación facilitan la supervisión continua y la implementación de mejoras necesarias, promoviendo una cultura de seguridad y responsabilidad. En el contexto de pymes, se han desarrollado formularios simplificados para ayudar a estas empresas a cumplir con los requisitos de documentación, facilitando así la incorporación de buenas prácticas y la gestión efectiva de riesgos.
3. Supervisión humana de la IA
La supervisión humana efectiva es fundamental en la regulación de sistemas de IA de alto riesgo, garantizando que los operadores puedan entender y reaccionar adecuadamente ante los resultados generados por estos algoritmos. Los sistemas inteligentes deben estar diseñados de manera que permitan a los humanos intervenir cuando sea necesario, asegurando que las decisiones críticas no se tomen sin supervisión adecuada. Esto es particularmente importante en situaciones donde la IA puede tomar decisiones que afectan significativamente la vida de las personas, como en aplicaciones médicas, legales o de seguridad. La capacidad de supervisar y, si es necesario, anular las decisiones de la IA es crucial para prevenir posibles daños y garantizar que las decisiones sean éticas y justas.
La supervisión humana no solo implica la capacidad de intervenir, sino también la de comprender cómo y por qué el sistema de IA toma determinadas decisiones. Esto requiere una transparencia y explicabilidad en el diseño del sistema, de modo que los operadores humanos puedan seguir el razonamiento del algoritmo y detectar posibles errores o sesgos. Además, es necesario que los operadores dispongan de la formación y las herramientas adecuadas para supervisar efectivamente los modelos inteligentes. Esta combinación de diseño transparente y capacitación adecuada ayudará a asegurar que los sistemas de IA de alto riesgo sean utilizados de manera segura y responsable, protegiendo a los usuarios y a la sociedad en general de posibles consecuencias negativas.
4. Ciberseguridad y resiliencia
La ciberseguridad es un aspecto crítico en la regulación de modelos de inteligencia artificial de alto riesgo. Estos sistemas deben ser diseñados y operados con medidas técnicas y organizativas robustas que garanticen su seguridad y resiliencia frente a errores, ataques y accesos no autorizados. La integridad y la confiabilidad de los sistemas de IA dependen de su capacidad para resistir y recuperarse de incidentes de ciberseguridad. Esto incluye la implementación de protocolos de seguridad que protejan tanto los datos procesados por la IA como las infraestructuras tecnológicas subyacentes. Las medidas deben abarcar desde la encriptación de datos hasta la detección y respuesta a intrusiones, asegurando que cualquier vulnerabilidad potencial sea identificada y mitigada de manera oportuna.
Además de las medidas técnicas, es crucial que las organizaciones establezcan procedimientos claros y eficaces para la gestión de la ciberseguridad. Esto incluye la capacitación continua del personal en prácticas de seguridad, la realización de auditorías y pruebas regulares de los sistemas, y la colaboración con autoridades y expertos en ciberseguridad para mantenerse al día con las últimas amenazas y mejores prácticas. La combinación de medidas técnicas robustas y una gestión proactiva de la ciberseguridad ayuda a garantizar que los programas de inteligencia artificial puedan operar de manera segura y confiable, minimizando el riesgo de interrupciones y protegiendo tanto a los usuarios como a los datos sensibles que manejan.
APLICACIONES DE LA IA EN LAS ADMINISTRACIONES PÚBLICAS
MEJORA LA PRODUCTIVIDAD CON IA
5. Transparencia y explicabilidad
La transparencia es un principio fundamental en la regulación de sistemas de IA de alto riesgo. Estos algoritmos serán transparentes en su funcionamiento, permitiendo a los usuarios y a las autoridades competentes comprender cómo y por qué se toman determinadas decisiones. Este es un aspecto que ha dado muchos problemas, pues el funcionamiento interno de la IA aún se nos escapa. Esta transparencia se logrará mediante la trazabilidad, que permite seguir el rastro de las decisiones de la IA desde los datos de entrada hasta los resultados finales. Los desarrolladores de modelos de IA deberán proporcionar explicaciones claras y comprensibles sobre los algoritmos utilizados, las fuentes de datos, y los procesos de toma de decisiones. Esta información es crucial para identificar posibles sesgos o errores y para garantizar que las decisiones de la IA sean justas y equitativas.
La transparencia también implica que los usuarios sean informados de que están interactuando con un sistema de IA (ej. al interactuar con asistentes virtuales) y comprendan las capacidades y limitaciones del sistema. Esto incluye la comunicación de posibles riesgos y la provisión de información sobre cómo el sistema ha sido evaluado y aprobado para su uso. La transparencia no solo aumenta la confianza en los sistemas de IA, sino que también facilita la supervisión y el cumplimiento de las normativas. Al hacer que los algoritmos sean más comprensibles y accesibles, se promueve un uso más informado y responsable de la tecnología, protegiendo a los usuarios y fomentando una mayor aceptación y adopción de la IA en diversas aplicaciones.
6. Registro automático de acontecimientos
El artículo 12 del Reglamento de la IA prevé la existencia de un registro automático de acontecimientos, que permita garantizar la seguridad y la trazabilidad de los sistemas de IA de alto riesgo. Durante todo el ciclo de vida del sistema, desde su desarrollo hasta su implementación y uso, se deben registrar automáticamente todos los eventos significativos, a modo de diario. Esto incluye cambios en los algoritmos, actualizaciones de software, incidencias operativas y cualquier otro evento que pueda afectar el funcionamiento y la seguridad del sistema. La ventaja de este registro es que permitirá una evaluación continua de los riesgos, facilitando la identificación de problemas y la implementación de medidas correctivas de manera oportuna.
Los acontecimientos que deben registrarse y conservarse deberán permitir (art. 12):
a) la detección de situaciones que puedan dar lugar a que el sistema de IA de alto riesgo presente un riesgo en el sentido del artículo 79, apartado 1, o a una modificación sustancial;
b) la facilitación de la vigilancia poscomercialización a que se refiere el artículo 72, y
c) la vigilancia del funcionamiento de los sistemas de IA de alto riesgo a que se refiere el artículo 26, apartado 5.
7. Notificación de incidentes
Como no puede ser de otra manera dentro del espíritu y la letra del Reglamento, la notificación de incidentes graves (art. 73) se convierte en una obligación clave para los proveedores de sistemas de IA de alto riesgo. Así, establece que los proveedores informen de inmediato a las autoridades competentes sobre cualquier incumplimiento o riesgo significativo detectado en sus modelos IA. Esta obligación de notificación rápida y transparente permite a las autoridades tomar medidas correctivas de manera oportuna y coordinar respuestas efectivas para mitigar los riesgos. Además, la notificación de incidentes es esencial para mantener la confianza pública en los sistemas IA, demostrando que los proveedores están comprometidos con la seguridad y la responsabilidad.
La cooperación con las autoridades no se limita a la notificación de incidentes; los proveedores deberán colaborar activamente en la investigación y resolución de problemas, proporcionando acceso a la documentación técnica y a los registros de eventos. Esta cooperación incluye la implementación de medidas correctivas recomendadas por las autoridades y la participación en auditorías y evaluaciones continuas. Al trabajar estrechamente con las autoridades, los proveedores pueden asegurarse de que sus herramientas de IA cumplan con los estándares de seguridad y mitiguen cualquier riesgo potencial de manera efectiva. Este enfoque colaborativo no solo mejora la seguridad del sistema, sino que también refuerza la confianza en la capacidad de la IA para operar de manera segura y responsable.
8. Apoyo a las Pymes
El apoyo a las pequeñas y medianas empresas (pymes) es fundamental en la regulación de sistemas de IA de alto riesgo. Por lo que respecta a España la regulación es especialmente importante, pues más del 99% de las empresas nacionales tienen este carácter. Recordemos que las pymes a menudo enfrentan desafíos únicos en términos de recursos y capacidades para cumplir con la complejidad normativa. En cuanto a los nuevos requisitos en el uso de la IA se han desarrollado formularios simplificados que permitirán a las pequeñas y medianas empresas proporcionar la documentación técnica necesaria y realizar evaluaciones de riesgos de manera más accesible. Con ello se pretende que incluso las empresas más pequeñas puedan desarrollar y utilizar aplicaciones de inteligencia artificial de manera segura y responsable, sin verse abrumadas por requisitos administrativos excesivos.
Además de los formularios simplificados, es importante que las pymes reciban capacitación y recursos adicionales para gestionar los riesgos asociados con la IA. Esto puede incluir talleres, guías prácticas y acceso a expertos en la materia. Al proporcionar estos recursos, se ayuda a las pymes a construir una base sólida de conocimiento y habilidades para abordar los desafíos de la IA. El apoyo continuo y adaptado a las necesidades específicas de las pymes fomenta la innovación y el crecimiento en este sector, asegurando que todas las empresas, independientemente de su tamaño, puedan contribuir al desarrollo y la adopción de tecnologías de IA de manera segura y ética.
9. Buenas prácticas
La promoción de buenas prácticas también se configura como un componente esencial en la regulación de sistemas de alto riesgo. La Oficina de IA desempeñará un papel crucial en la creación y adopción de códigos de buenas prácticas que aborden la gestión de riesgos, la ciberseguridad y la mitigación de riesgos sistémicos. Estos códigos de conducta voluntarios proporcionarán un marco para que las organizaciones sigan estándares más allá de los mínimos legales, fomentando una cultura de excelencia y responsabilidad en el uso de la IA. Las buenas prácticas ayudan a estandarizar enfoques y métodos, asegurando que las mejores soluciones y estrategias se compartan y adopten ampliamente en toda la industria.
Además, la implementación de buenas prácticas fortalecerá la confianza en los soluciones de inteligencia artificial, tanto entre los usuarios como en el público en general. Así, al seguir estos códigos de conducta, las organizaciones demuestran su compromiso con la seguridad, la transparencia y la ética, lo que a su vez promueve la aceptación y la adopción de la IA. La colaboración entre la industria, el mundo académico y la sociedad civil en la elaboración y revisión de estos códigos asegura que las mejores prácticas reflejen las necesidades y preocupaciones de todos los actores involucrados. Esta cooperación y enfoque proactivo en la gestión de riesgos contribuirán a un entorno regulatorio dinámico y adaptativo, capaz de responder a los rápidos avances tecnológicos y los desafíos emergentes en el campo de la inteligencia artificial.
Calendario de aplicación del Reglamento
Y para terminar, dejo esta imagen creada por Juan Carlos Melián, que muestra el calendario de entradas en vigor del Reglamento de la IA: