Todos hemos oído hablar de los sesgos de la inteligencia artificial (IA) y los problemas éticos y de eficacia que plantean cuando la utilizamos en entornos profesionales. Un reciente estudio realizado por investigadores de las Universidades de Gante y de Navarra explora un nuevo sesgo: la ideología implícita que incorpora la inteligencia artificial, cómo los modelos reflejan la ideología de sus creadores y cuáles son las implicaciones para los usuarios.
Diseño del estudio: diversidad ideológica en los LLM
El artículo «Large Language Models Reflect the Ideology of their Creators» examina la correlación existente entre la ideología de los creadores de los grandes modelos de lenguaje (LLM) y la postura ideológica reflejada en su comportamiento. Para realizar este estudio, los autores diseñaron un experimento en dos etapas. En la primera se les solicitó a los LLM´s que describieran una serie de personajes políticos controvertidos de la historia reciente, tanto en inglés como en chino.
En la segunda etapa, se les pidió a los mismos modelos que evaluaran la descripción generada en la etapa anterior, calificando al personaje en una escala de cinco puntos que iba desde «muy negativo» hasta «muy positivo».
Los investigadores utilizaron una lista de más de 4,000 figuras seleccionadas a partir del dataset Pantheon, que abarca personajes históricos de diferentes campos, asegurando así una muestra amplia y representativa.
El grupo de estudio incluyó 17 LLM´s desarrollados por empresas de diversas partes del mundo, como OpenAI, Google, Alibaba, y Baidu, incluyendo modelos populares como GPT-3.5, GPT-4, Claude-3, ERNIE-Bot, Gemini-Pro, LLaMA-2 y Jais. Se analizaron modelos occidentales y no occidentales, así como versiones en distintos idiomas, para determinar cómo se presentan las diferencias ideológicas de acuerdo con el origen del modelo y el idioma en que se formula la pregunta.
Resultados principales: ideología reflejada en el lenguaje
Uno de los hallazgos más importantes del estudio es la marcada diferencia en las respuestas de los modelos según el idioma que utilicemos en el prompt. Los LLM tienden a emitir juicios distintos sobre figuras históricas cuando se les solicita información en chino o en inglés. En particular, figuras alineadas con el gobierno de China, como Deng Xiaoping, son valoradas más positivamente cuando los modelos son interrogados en chino. Por contra, figuras críticas hacia China, como Nathan Law, un activista de Hong Kong, reciben valoraciones más positivas si la consulta es en inglés. Esto indica que el idioma del prompt actúa como un modulador de la perspectiva ideológica del LLM. O más bien, creo, refleja la ideología general del continente o zona del mundo (oriente vs occidente) en función del idioma, lo cual también supone cierto sesgo.
Por otro lado, el estudio revela diferencias significativas entre los modelos creados en regiones occidentales y no occidentales. Los modelos desarrollados en occidente tienden a valorar más positivamente temas como la igualdad, los derechos humanos y el multiculturalismo, mientras que los modelos no occidentales favorecen el centralismo político, la estabilidad nacional y las políticas de control estatal. Este patrón sugiere que las decisiones de diseño y la selección de datos de entrenamiento tienen un impacto profundo en la ideología que los LLM reflejan.
Incluso entre los LLM creados en occidente se hallaron importantes diferencias ideológicas. Por ejemplo, Gemini-Pro, de Google, destacó por su apoyo a valores progresistas como la inclusión, la diversidad y la justicia social, mientras que los modelos de OpenAI mostraron un mayor escepticismo hacia las organizaciones supranacionales y las políticas de bienestar.
Implicaciones para la regulación y la sociedad
Estos hallazgos contienen una implicaciones muy destacadas. Primeramente, ponen en evidencia que la selección de un modelo de lenguaje no es un acto neutro; el modelo utilizado puede influir en el modo en que se presentan y valoran ciertos temas, especialmente en ámbitos políticos y culturales. Esto puede influir en la opinión pública e incluso en el debate democrático si un modelo se convierte en dominante en una región particular.
En segundo lugar, estos resultados desafían la idea de crear LLM´s completamente imparciales desde el punto de vista ideológico. Como señalan los autores, la neutralidad en términos ideológicos es un concepto culturalmente definido y difícil de alcanzar. Intentar regular los modelos para que sean “neutrales” puede resultar en un ejercicio difícil y, potencialmente, contraproducente. En su lugar, los esfuerzos regulatorios podrían enfocarse en fomentar la transparencia sobre las decisiones de diseño y los posibles sesgos ideológicos, así como en garantizar la diversidad de modelos disponibles.
Recomendaciones: hacia una IA más transparente y plural
Con base en los hallazgos del estudio, se podrían realizar varias recomendaciones o apuntes importantes, tanto para los desarrolladores de IA generativa como para los responsables políticos y la sociedad en general:
Transparencia en el diseño: Los creadores de LLM deberían ser más transparentes respecto a las decisiones tomadas durante el desarrollo del modelo, especialmente aquellas relacionadas con la selección de datos de entrenamiento y el ajuste del modelo. Esta información podría permitir a los usuarios evaluar qué tipo de ideología podría estar reflejada en un LLM particular.
Diversidad de modelos: Fomentar la existencia de una amplia variedad de LLM podría ser beneficioso para mantener un “pluralismo agónico”, como sugiere la teoría de Chantal Mouffe. Esto implica permitir que distintas ideologías de la inteligencia artificial compitan en lugar de tratar de imponer una supuesta neutralidad.
Regulación enfocada en la pluralidad y la competencia: Los esfuerzos regulatorios deberían concentrarse en evitar la formación de monopolios de LLM, que podrían llevar a un dominio ideológico en el acceso a la información. En su lugar, debería incentivarse la creación de modelos que reflejen una diversidad de perspectivas, particularmente en regiones con lenguas y culturas menos representadas.
Conciencia del usuario: Es esencial que los usuarios de estas tecnologías entiendan que la información proporcionada por los LLM está influenciada por sus creadores. La educación en alfabetización digital debe incluir la comprensión de cómo funcionan estos modelos y qué factores afectan sus respuestas.
La influencia ideológica de la IA
Los LLM no son solo herramientas tecnológicas, sino agentes que pueden influir en la opinión pública y en el discurso político. El estudio discutido aquí muestra que estos modelos reflejan inevitablemente las ideologías de sus creadores y que, por tanto, su uso tiene implicaciones sociales y políticas significativas. En lugar de intentar eliminar todos los sesgos, podría ser más realista y beneficioso, quizás, fomentar la diversidad y la transparencia, así como educar a los usuarios para que naveguen de manera crítica por este nuevo entorno digital.
Precisamente el pensamiento crítico es lo que falta en la sociedad del siglo XXI. Estamos confiando demasiado en la inteligencia artificial, lo que unido al dirigismo y neutralización mental que venimos sufriendo en las últimas décadas, nos deja indefensos ante las influencias ideológicas, noticias falsas, etc.
El estudio reconoce ciertas limitaciones a la hora de llevarlo a cabo, como el número limitado de personajes políticos incluidos en el análisis y la inclusión de solo dos idiomas. Además, no se investigaron las causas específicas de la diversidad ideológica observada, debido a la falta de información sobre el proceso de diseño de los LLM. Como trabajo futuro, se propone aumentar el análisis a un conjunto más amplio de personajes y entidades, así como la creación de un panel de control que permita a los usuarios explorar las posiciones ideológicas de varios LLM.
En fin, este hallazgo subraya la importancia de la transparencia y la diversidad en el desarrollo de LLM para garantizar que estas tecnologías no perpetúen sesgos ideológicos y que se utilicen de manera responsable.
Uno de los aspectos más controvertidos actualmente, en lo que se refiere al uso de los datos de entrenamiento de la inteligencia artificial generativa, es su origen y los derechos de autor que pueden contener. Una reciente sentencia de un Juzgado norteamericano ha dado la razón a OpenAI (ChatGPT) en la demanda interpuesta por Raw Story Media Inc. y Alternet Media Inc. que gestionan webs de noticias, por el uso que la empresa ha hecho de datos con copyright para entrenar el más conocido gran modelo de lenguaje (LLM), ChatGPT.
Se trata de un asunto de gran importancia para el presente y futuro de la IA, pues sin datos con los que alimentar estos modelos no funcionarán adecuadamente y no se desarrollarán como se espera (razonamiento, AGI…). Cada día se genera en el mundo (e Internet) más y más información: noticias, libros, revistas, artículos, chats en foros, informes… que los LLM necesitan para alcanzar mayores capacidades y resolver mejor cuanto les pedimos.
A los creadores de modelos de IA se les plantea un «obstáculo» para crearlos, que supondría que no pudieran usarlos libremente. Claro está que los derechos de autor están para algo y la cuestión es bien simple. Casi todas estas empresas que desarrollan sus modelos inteligentes ganan dinero y no pagan por los datos que utilizan para generarlos. Obviamente no parece justo. Pero aquí entran otras consideraciones como las que ha indicado la juez en su sentencia.
Así es, la Sentencia de la Juez Colleen McMahon para desestimar la demanda considera que los modelos de IA no copian los datos de entrenamiento, no memorizan toda esa información para luego transcribirla en sus respuestas, sino que la sintetizan. Lo cual nos lleva a un tema esencial actualmente: la capacidad de los sistemas de IA generativa para crear contenido original y cómo se éste se diferencia de la mera copia. Desde una perspectiva jurídica, este argumento toca aspectos delicados de la legislación sobre propiedad intelectual y derechos de autor, los cuales requieren un análisis detallado para entender los límites y responsabilidades que se imponen a estas tecnologías emergentes.
La naturaleza de la creación por IA y su originalidad
Por tanto, lo trascendental para apoyar el uso por los LLM de tan ingente cantidad de datos sin abonar derechos es que la inteligencia artificial generativa no realiza una simple copia de las obras preexistentes, sino que sintetiza y crea contenido nuevo basado en esos grandes volúmenes de datos. De ahí, precisamente, la gran revolución que ha supuesto la IA, generar contenido nuevo, pues de lo contrario nos encontraríamos, quizás, ante grandes bases de datos que replican lo que tienen almacenado cuando les preguntamos.
Desde el punto de vista jurídico, esta idea nos lleva a preguntarnos qué significa realmente el concepto de “originalidad” en el contexto de las creaciones de IA. ¿Podemos considerar que una obra generada por un modelo de lenguaje, como GPT-4o, es verdaderamente original si el modelo ha aprendido de millones de textos, estén o no protegidos por derechos de autor?
La IA como sujeto de derechos de autor
La legislación de propiedad intelectual, tanto en Europa como en América, sigue vinculando la protección del derecho de autor a la originalidad humana, una característica que, en principio, está ausente en una IA, que se limita a identificar patrones en los datos que analiza. Recordemos que el artículo 5.1 del texto refundido de la Ley de propiedad intelectual (Real Decreto Legislativo 1/1996) establece claramente que se «considera autor a la persona natural que crea alguna obra literaria, artística o científica«.
Sin embargo, la capacidad de los sistemas de IA para crear algo nuevo y no repetitivo puede desafiar esta idea de originalidad. La mencionada limitación jurídico-fáctica fue creada antes de existir los actuales LLM´s, cuando se suponía que los humanos éramos los únicos en crear algo original. Hoy esa limitación legal no quiere decir que una IA no pueda ser original. La cuestión es que ha aprendido a base de información previa (imágenes, texto, audio), la ha sintetizado y a partir de ese conocimiento genera contenido nuevo.
Y, aunque el resultado no sea simplemente una combinación mecánica de datos, surge la pregunta de si esta autonomía creativa se puede equiparar a la creatividad humana, un requisito esencial para la protección legal. En tal sentido no hemos de perder de vista que salvo los casos excepcionales en que alguien ha creado un estilo nuevo, una primera obra o idea, el resto de humanos nos basamos, más o menos, en el conocimiento adquirido a lo largo de nuestra vida y aprendizaje para crear obras originales, sí, pero en cierto sentido partiendo de esos «patrones» y síntesis de nuestro bagaje cognitivo.
Derechos de autor y entrenamiento de la IA
El entrenamiento de una IA generativa, en esencia, implica la ingesta masiva de contenido, protegido o no, y en este proceso podría no ser suficiente argumentar que el resultado final no es una copia literal. Ahí tenemos, por ejemplo, algunas excepciones claramente reguladas como la cita o el uso justo («fair use«) en algunos sistemas jurídicos. Jurídicamente, el problema radica no solo en el producto final que se genera, sino en el uso de las obras protegidas como materia prima para la formación del modelo. Este uso masivo de contenido protegido plantea cuestiones sobre si las excepciones como el uso justo son aplicables cuando el propósito principal del mismo es el entrenamiento de una IA que luego se comercializa, reportando beneficios al creador, e incluso a terceros, sin compensar a los creadores de las obras que sirvieron como base de entrenamiento.
Además, el carácter automático e indiscriminado con el que se procesan millones de obras protegidas puede dificultar la evaluación de si se cumple con los requisitos necesarios para acogerse a estas excepciones, como la transformación del material o el impacto en el mercado potencial de la obra original. Este último es un aspecto al que aún la legislación no ha dado una respuesta clara, especialmente en lo que se refiere a los modelos privativos o comerciales.
Regular la IA, pero con cabeza
El desarrollo de la IA va tan deprisa y el legislador (como en tantos casos) tan despacio, que la falta de criterios legales que aporten seguridad crea un vacío que ya está comenzando a provocar conflictos y litigios. Esto se debe a que la ausencia de un marco normativo claro genera incertidumbre, tanto para los desarrolladores como para los usuarios, quienes no saben con certeza qué prácticas son legales y cuáles no.
Es más, esta situación de inseguridad jurídica afecta a la innovación, pues muchas empresas y creadores de tecnología pueden verse desincentivados a invertir en desarrollos ante el temor de posibles repercusiones legales futuras. Véase el caso de la ley SB 1047 o Ley de innovación segura y protegida para modelos de inteligencia artificial de frontera, que el Gobernador de California, Gavin Newsom, quería aprobar, por la que los creadores de modelos de IA respondieran del uso que hacían los clientes y usuarios. Una verdadera locura que, afortunadamente, no llegó a aprobarse.
Este vacío legal también impacta en la defensa de los derechos de autores y creadores, quienes se encuentran en una situación de indefensión frente al uso masivo de sus obras sin la debida compensación, como se ha visto con la Sentencia de la Juez Colleen McMahon.
El Reglamento europeo sobre la IA y sus problemas
La aprobación del Reglamento de la IA en la Unión Europea ha sido un primer paso en su regulación, pero también ha planteado lo que venimos indicando, reticencias y temores en el sector tecnológico, que se están traduciendo en la puesta en standby de proyectos y modelos que ya se han desplegado en EE.UU.
Por ello se han puesto en marcha contactos directos entre legisladores y actores del sector tecnológico para encontrar una solución justa y equilibrada que permita avanzar en el desarrollo de la IA sin menoscabar los derechos de todas las partes involucradas.
Titularidad y responsabilidad de las creaciones de la IA
En cuanto a la titularidad de las obras generadas por IA, surgen muchas cuestiones sobre quién debería poseer los derechos de autor. En el marco jurídico actual, la ley señala que solo los seres humanos pueden ser considerados autores. Entonces, cuando una IA genera una obra, esta no se considera protegida por derechos de autor a menos que se atribuya al operador humano que utilizó la herramienta para crearla. Este enfoque plantea aún más preguntas: ¿puede considerarse al usuario de la IA como autor si su contribución al proceso creativo se limita a dar un prompt o instrucción general? La jurisprudencia aún no ha alcanzado un consenso sobre estos temas, y dependerá, nuevamente, del desarrollo normativo y judicial resolver estas dudas.
De manera similar, la responsabilidad en caso de infracción de derechos de autor también es un tema que se debe aclarar. ¿Sería responsable el desarrollador del software que permitió la generación de una obra que infringe derechos? ¿O la responsabilidad recae exclusivamente sobre el usuario que decide utilizar el software para un fin específico? La falta de regulación específica sobre la IA deja, por el momento, también esta cuestión en un área gris, lo cual podría convertirse en una fuente de litigios complejos en los próximos años.
Algunas conclusiones
La sentencia a favor de OpenAI es una primera victoria, pero se desconoce el alcance exacto de esta espinosa cuestión, y habrá que espera meses o años a que se definan los contornos del uso de datos de entrenamiento con derechos de autor y los derechos de las creaciones de la IA. El hecho de que la IA genere algo nuevo no significa que alguien (creador del modelo o usuario) esté libre de responsabilidades o conflictos legales. Los conceptos de originalidad, derechos de autor y responsabilidad deberán ser reinterpretados y definidos a la luz de estas nuevas tecnologías para lograr seguridad jurídica y proteger los derechos de todos los actores involucrados.
No cabe duda de que esta revolución tecnológica mundial exige un importante esfuerzo por establecer los límites de su uso en los ámbitos mencionados; requiere de otra revolución normativa conexa. No debemos perder de vista, en tal sentido, que aún desconocemos el verdadero alcance de los modelos inteligentes, lo que supone al mismo tiempo que ignoramos cómo debe regularse totalmente, si bien ya estamos en disposición de prever algunos efectos presentes y futuros que requieren una actuación legislativa inmediata, como en materia de derechos de autor.
El 12 de julio de 2024 se publicó en el Diario Oficial de la Unión Europea el Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, sobre la inteligencia Artificial, más conocido como Ley de la IA. El uso de la inteligencia artificial plantea ciertos dilemas y posibles amenazas que hasta ahora no han tenido una respuesta legislativa, y que el Reglamento trata de regular. Una de sus aportaciones más importantes es la clasificación de los sistemas inteligentes en varios niveles de riesgo, desde el inapreciable hasta el riesgo inaceptable. Y es aquí, en este último, y lógicamente, donde el Reglamento quiere establecer mayores controles.
Reglamento de la IA
El Reglamento también es consciente de que estos sistemas de mayor riesgo son, precisamente, utilizados por la Administración pública, al indicar que deben «clasificarse como de alto riesgo determinados modelos de IA destinados a la Administración de Justicia y los procesos democráticos». Con lo cual, muchas de las claves que expongo deben tenerse en cuenta por las Administraciones sin perjuicio de las excepciones que, como es lógico, se establecen para ellas en el Reglamento europeo.
En este artículo aporto 9 claves del Reglamento de la IA centradas, sobre todo, en los algoritmos de riesgo alto. No obstante, dado lo extenso de la regulación, podrán extraerse otras conclusiones importantes de esta Ley de la inteligencia artificial.
1. Evaluación del impacto de los sistemas de IA
El artículo 27 del Reglamento regula la «Evaluación de impacto relativa a los derechos fundamentales para los sistemas de IA de alto riesgo«. Como he comentado, el Reglamento ha establecido distintos niveles de riesgo de las tecnologías de inteligencia artificial, en función de su impacto en los derechos de los ciudadanos. Pero donde más incide es, obviamente, en los sistemas de riesgo alto, que se definen en el artículo 6 y en el Anexo I.
La evaluación que regula la Ley de la IA tiene como objetivo principal identificar y analizar los posibles riesgos que el sistema pueda presentar para los derechos fundamentales, la salud y la seguridad de los ciudadanos. En tal sentido, antes de que un sistema de IA sea introducido en el mercado, los proveedores deben realizar un análisis exhaustivo que contemple todas las posibles consecuencias adversas de su uso.
Este análisis no solo abarcará los riesgos técnicos, sino también los éticos y sociales, considerando cómo la IA puede afectar a diferentes grupos humanos y sus derechos fundamentales. Dicha evaluación deberá ser detallada y específica, cubriendo todas las etapas del ciclo de vida del sistema, desde el diseño hasta su implementación y uso cotidiano.
La importancia de este control radica, por tanto, en la capacidad de prever y mitigar posibles daños antes de que ocurran, pues las consecuencias podrían ser muy perjudiciales. Los resultados de esta evaluación deberán ser documentados de manera clara y comprensible, permitiendo que las autoridades competentes puedan revisar y verificar que todos los riesgos han sido adecuadamente considerados y gestionados.
Además, esta documentación deberá ser accesible y estar actualizada, facilitando un control continuo y la adopción de medidas correctivas si se identifican nuevos riesgos durante el uso del sistema. Este enfoque preventivo no solo protege a los usuarios y a la sociedad en general, sino que también refuerza la confianza en la tecnología de IA, promoviendo su aceptación y adopción en diversas aplicaciones.
2. Documentación técnica
La documentación técnica se regula en el artículo 11. Se trata de un elemento esencial para garantizar la transparencia y la responsabilidad en el desarrollo y uso de los sistemas de IA de alto riesgo. Lo que se está exigiendo es tener documentado todo el proceso de desarrollo e implementación de los modelos de IA.
La documentación técnica de un sistema de IA de alto riesgo se elaborará antes de su introducción en el mercado o puesta en servicio, y se mantendrá actualizada
Esta documentación deberá incluir información detallada sobre el diseño, el desarrollo, las pruebas y la implementación del sistema. Además, debe describir las medidas de mitigación de riesgos implementadas, explicando cómo se identificaron y abordaron los posibles problemas.
La documentación debe ser exhaustiva y estar redactada de manera que sea comprensible para las autoridades competentes y otros interesados que necesiten revisar el sistema. En este entorno la transparencia se convierte en pieza esencial para asegurar que el sistema inteligente cumple con todas las normativas y estándares de seguridad aplicables.
Además de servir como una herramienta de verificación y cumplimiento, la documentación técnica juega un papel clave en la gestión del ciclo de vida del sistema de IA. Permite a los desarrolladores y operadores realizar un seguimiento de los cambios y actualizaciones realizadas en el sistema, asegurando que cualquier modificación sea adecuadamente registrada y evaluada en términos de impacto sobre los riesgos previamente identificados. La accesibilidad y actualización constante de esta documentación facilitan la supervisión continua y la implementación de mejoras necesarias, promoviendo una cultura de seguridad y responsabilidad. En el contexto de pymes, se han desarrollado formularios simplificados para ayudar a estas empresas a cumplir con los requisitos de documentación, facilitando así la incorporación de buenas prácticas y la gestión efectiva de riesgos.
3. Supervisión humana de la IA
Control humano de la IA
La supervisión humana efectiva es fundamental en la regulación de sistemas de IA de alto riesgo, garantizando que los operadores puedan entender y reaccionar adecuadamente ante los resultados generados por estos algoritmos. Los sistemas inteligentes deben estar diseñados de manera que permitan a los humanos intervenir cuando sea necesario, asegurando que las decisiones críticas no se tomen sin supervisión adecuada. Esto es particularmente importante en situaciones donde la IA puede tomar decisiones que afectan significativamente la vida de las personas, como en aplicaciones médicas, legales o de seguridad. La capacidad de supervisar y, si es necesario, anular las decisiones de la IA es crucial para prevenir posibles daños y garantizar que las decisiones sean éticas y justas.
La supervisión humana no solo implica la capacidad de intervenir, sino también la de comprender cómo y por qué el sistema de IA toma determinadas decisiones. Esto requiere una transparencia y explicabilidad en el diseño del sistema, de modo que los operadores humanos puedan seguir el razonamiento del algoritmo y detectar posibles errores o sesgos. Además, es necesario que los operadores dispongan de la formación y las herramientas adecuadas para supervisar efectivamente los modelos inteligentes. Esta combinación de diseño transparente y capacitación adecuada ayudará a asegurar que los sistemas de IA de alto riesgo sean utilizados de manera segura y responsable, protegiendo a los usuarios y a la sociedad en general de posibles consecuencias negativas.
4. Ciberseguridad y resiliencia
La ciberseguridad es un aspecto crítico en la regulación de modelos de inteligencia artificial de alto riesgo. Estos sistemas deben ser diseñados y operados con medidas técnicas y organizativas robustas que garanticen su seguridad y resiliencia frente a errores, ataques y accesos no autorizados. La integridad y la confiabilidad de los sistemas de IA dependen de su capacidad para resistir y recuperarse de incidentes de ciberseguridad. Esto incluye la implementación de protocolos de seguridad que protejan tanto los datos procesados por la IA como las infraestructuras tecnológicas subyacentes. Las medidas deben abarcar desde la encriptación de datos hasta la detección y respuesta a intrusiones, asegurando que cualquier vulnerabilidad potencial sea identificada y mitigada de manera oportuna.
Además de las medidas técnicas, es crucial que las organizaciones establezcan procedimientos claros y eficaces para la gestión de la ciberseguridad. Esto incluye la capacitación continua del personal en prácticas de seguridad, la realización de auditorías y pruebas regulares de los sistemas, y la colaboración con autoridades y expertos en ciberseguridad para mantenerse al día con las últimas amenazas y mejores prácticas. La combinación de medidas técnicas robustas y una gestión proactiva de la ciberseguridad ayuda a garantizar que los programas de inteligencia artificial puedan operar de manera segura y confiable, minimizando el riesgo de interrupciones y protegiendo tanto a los usuarios como a los datos sensibles que manejan.
La transparencia es un principio fundamental en la regulación de sistemas de IA de alto riesgo. Estos algoritmos serán transparentes en su funcionamiento, permitiendo a los usuarios y a las autoridades competentes comprender cómo y por qué se toman determinadas decisiones. Este es un aspecto que ha dado muchos problemas, pues el funcionamiento interno de la IA aún se nos escapa. Esta transparencia se logrará mediante la trazabilidad, que permite seguir el rastro de las decisiones de la IA desde los datos de entrada hasta los resultados finales. Los desarrolladores de modelos de IA deberán proporcionar explicaciones claras y comprensibles sobre los algoritmos utilizados, las fuentes de datos, y los procesos de toma de decisiones. Esta información es crucial para identificar posibles sesgos o errores y para garantizar que las decisiones de la IA sean justas y equitativas.
La transparencia también implica que los usuarios sean informados de que están interactuando con un sistema de IA (ej. al interactuar con asistentes virtuales) y comprendan las capacidades y limitaciones del sistema. Esto incluye la comunicación de posibles riesgos y la provisión de información sobre cómo el sistema ha sido evaluado y aprobado para su uso. La transparencia no solo aumenta la confianza en los sistemas de IA, sino que también facilita la supervisión y el cumplimiento de las normativas. Al hacer que los algoritmos sean más comprensibles y accesibles, se promueve un uso más informado y responsable de la tecnología, protegiendo a los usuarios y fomentando una mayor aceptación y adopción de la IA en diversas aplicaciones.
6. Registro automático de acontecimientos
El artículo 12 del Reglamento de la IA prevé la existencia de un registro automático de acontecimientos, que permita garantizar la seguridad y la trazabilidad de los sistemas de IA de alto riesgo. Durante todo el ciclo de vida del sistema, desde su desarrollo hasta su implementación y uso, se deben registrar automáticamente todos los eventos significativos, a modo de diario. Esto incluye cambios en los algoritmos, actualizaciones de software, incidencias operativas y cualquier otro evento que pueda afectar el funcionamiento y la seguridad del sistema. La ventaja de este registro es que permitirá una evaluación continua de los riesgos, facilitando la identificación de problemas y la implementación de medidas correctivas de manera oportuna.
Los acontecimientos que deben registrarse y conservarse deberán permitir (art. 12):
a) la detección de situaciones que puedan dar lugar a que el sistema de IA de alto riesgo presente un riesgo en el sentido del artículo 79, apartado 1, o a una modificación sustancial;
b) la facilitación de la vigilancia poscomercialización a que se refiere el artículo 72, y
c) la vigilancia del funcionamiento de los sistemas de IA de alto riesgo a que se refiere el artículo 26, apartado 5.
7. Notificación de incidentes
Como no puede ser de otra manera dentro del espíritu y la letra del Reglamento, la notificación de incidentes graves (art. 73) se convierte en una obligación clave para los proveedores de sistemas de IA de alto riesgo. Así, establece que los proveedores informen de inmediato a las autoridades competentes sobre cualquier incumplimiento o riesgo significativo detectado en sus modelos IA. Esta obligación de notificación rápida y transparente permite a las autoridades tomar medidas correctivas de manera oportuna y coordinar respuestas efectivas para mitigar los riesgos. Además, la notificación de incidentes es esencial para mantener la confianza pública en los sistemas IA, demostrando que los proveedores están comprometidos con la seguridad y la responsabilidad.
La cooperación con las autoridades no se limita a la notificación de incidentes; los proveedores deberán colaborar activamente en la investigación y resolución de problemas, proporcionando acceso a la documentación técnica y a los registros de eventos. Esta cooperación incluye la implementación de medidas correctivas recomendadas por las autoridades y la participación en auditorías y evaluaciones continuas. Al trabajar estrechamente con las autoridades, los proveedores pueden asegurarse de que sus herramientas de IA cumplan con los estándares de seguridad y mitiguen cualquier riesgo potencial de manera efectiva. Este enfoque colaborativo no solo mejora la seguridad del sistema, sino que también refuerza la confianza en la capacidad de la IA para operar de manera segura y responsable.
Riesgo-IA
8. Apoyo a las Pymes
El apoyo a las pequeñas y medianas empresas (pymes) es fundamental en la regulación de sistemas de IA de alto riesgo. Por lo que respecta a España la regulación es especialmente importante, pues más del 99% de las empresas nacionales tienen este carácter. Recordemos que las pymes a menudo enfrentan desafíos únicos en términos de recursos y capacidades para cumplir con la complejidad normativa. En cuanto a los nuevos requisitos en el uso de la IA se han desarrollado formularios simplificados que permitirán a las pequeñas y medianas empresas proporcionar la documentación técnica necesaria y realizar evaluaciones de riesgos de manera más accesible. Con ello se pretende que incluso las empresas más pequeñas puedan desarrollar y utilizar aplicaciones de inteligencia artificial de manera segura y responsable, sin verse abrumadas por requisitos administrativos excesivos.
Además de los formularios simplificados, es importante que las pymes reciban capacitación y recursos adicionales para gestionar los riesgos asociados con la IA. Esto puede incluir talleres, guías prácticas y acceso a expertos en la materia. Al proporcionar estos recursos, se ayuda a las pymes a construir una base sólida de conocimiento y habilidades para abordar los desafíos de la IA. El apoyo continuo y adaptado a las necesidades específicas de las pymes fomenta la innovación y el crecimiento en este sector, asegurando que todas las empresas, independientemente de su tamaño, puedan contribuir al desarrollo y la adopción de tecnologías de IA de manera segura y ética.
9. Buenas prácticas
La promoción de buenas prácticas también se configura como un componente esencial en la regulación de sistemas de alto riesgo. La Oficina de IA desempeñará un papel crucial en la creación y adopción de códigos de buenas prácticas que aborden la gestión de riesgos, la ciberseguridad y la mitigación de riesgos sistémicos. Estos códigos de conducta voluntarios proporcionarán un marco para que las organizaciones sigan estándares más allá de los mínimos legales, fomentando una cultura de excelencia y responsabilidad en el uso de la IA. Las buenas prácticas ayudan a estandarizar enfoques y métodos, asegurando que las mejores soluciones y estrategias se compartan y adopten ampliamente en toda la industria.
Además, la implementación de buenas prácticas fortalecerá la confianza en los soluciones de inteligencia artificial, tanto entre los usuarios como en el público en general. Así, al seguir estos códigos de conducta, las organizaciones demuestran su compromiso con la seguridad, la transparencia y la ética, lo que a su vez promueve la aceptación y la adopción de la IA. La colaboración entre la industria, el mundo académico y la sociedad civil en la elaboración y revisión de estos códigos asegura que las mejores prácticas reflejen las necesidades y preocupaciones de todos los actores involucrados. Esta cooperación y enfoque proactivo en la gestión de riesgos contribuirán a un entorno regulatorio dinámico y adaptativo, capaz de responder a los rápidos avances tecnológicos y los desafíos emergentes en el campo de la inteligencia artificial.
Calendario de aplicación del Reglamento
Y para terminar, dejo esta imagen creada por Juan Carlos Melián, que muestra el calendario de entradas en vigor del Reglamento de la IA:
