Riesgos de IA en el cumplimiento normativo

AI y Cumplimiento: ¿Cuáles son los Riesgos?

El crecimiento acelerado de la inteligencia artificial (IA), especialmente la IA generativa (GenAI) y los chatbots, ofrece a las empresas una gran cantidad de oportunidades para mejorar la forma en que trabajan con los clientes, impulsar eficiencias y acelerar tareas que requieren mucho trabajo. Sin embargo, la GenAI también ha traído consigo problemas que van desde fallas de seguridad y preocupaciones de privacidad hasta cuestiones sobre sesgo, exactitud e incluso alucinaciones, donde la respuesta de la IA es completamente falsa.

Esto ha llamado la atención de legisladores y reguladores. Mientras tanto, las funciones internas de cumplimiento de los clientes han tenido que adaptarse a una tecnología cada vez más compleja y en rápida evolución.

Riesgos para el Cumplimiento

En este artículo, se examinan la IA y los riesgos potenciales que plantea para el cumplimiento con los entornos legales y regulatorios. Esto significa que los equipos de cumplimiento de las organizaciones deben realizar un análisis exhaustivo sobre su uso de la GenAI para localizar debilidades y vulnerabilidades, así como evaluar la fiabilidad de los datos de origen y salida.

Proyectos Comunes de IA en Empresas

Los proyectos de IA más comunes en las empresas suelen involucrar GenAI o modelos de lenguaje grandes (LLMs). Estos se utilizan como chatbots, respondiendo consultas o proporcionando recomendaciones de productos a los clientes. La búsqueda, el resumen o la traducción de documentos son otros casos de uso populares.

Sin embargo, la IA también se utiliza en áreas como detección de fraudes, vigilancia y diagnóstico médico, donde los riesgos son mucho mayores. Esto ha generado cuestionamientos sobre cómo o si debería utilizarse la IA.

Datos Confidenciales

Las herramientas de IA también han filtrado datos confidenciales, ya sea directamente o porque los empleados han subido documentos confidenciales a una herramienta de IA. Además, existe el sesgo. Los algoritmos de IA más recientes, especialmente en los LLMs, son altamente complejos, lo que dificulta comprender cómo un sistema de IA ha llegado a sus conclusiones. Esto genera una serie de riesgos, especialmente para las empresas en industrias reguladas y el sector público.

Los reguladores actualizan rápidamente los marcos de cumplimiento existentes para cubrir los riesgos de la IA, además de la legislación como la Ley de IA de la Unión Europea (UE).

Amenazas Identificadas

Investigaciones realizadas por analistas de la industria han identificado más de 20 nuevas amenazas derivadas de la GenAI, algunas de las cuales están relacionadas con la seguridad. Esto incluye el uso de código no seguro para construir sistemas de IA, o actores maliciosos que manipulan modelos de IA. Otros riesgos, como la filtración de datos, la manipulación de datos y la falta de integridad de datos, pueden causar fallos regulatorios incluso cuando un modelo es seguro.

La situación se agrava por el crecimiento de la IA en la sombra, donde los empleados utilizan herramientas de IA de manera no oficial. Esto incluye desde la TI en la sombra en departamentos hasta individuos que alimentan datos corporativos a la IA para simplificar sus roles. La mayoría de las empresas no han considerado completamente el cumplimiento relacionado con la IA, y incluso aquellas que lo han hecho tienen controles limitados para prevenir el uso indebido.

Control de Datos de Origen

La primera área que las empresas deben controlar es cómo utilizan los datos con la IA. Esto se aplica tanto al entrenamiento de modelos como a la fase de inferencia o producción de la IA. Las empresas deben verificar que tienen los derechos para usar datos con fines de IA, lo que incluye aspectos de derechos de autor, especialmente para datos de terceros.

La información personal utilizada para la IA está cubierta por el Reglamento General de Protección de Datos (GDPR) y regulaciones de la industria. Las organizaciones no deben asumir que el consentimiento para el procesamiento de datos existente cubre las aplicaciones de IA.

Además, hay que considerar la calidad de los datos. Si una organización utiliza datos de mala calidad para entrenar un modelo, los resultados serán inexactos o engañosos, lo que a su vez crea riesgos de cumplimiento.

Salida de Datos y Cumplimiento

Un conjunto adicional de problemas de cumplimiento y regulación se aplica a los resultados de los modelos de IA. El riesgo más obvio es que los resultados confidenciales de la IA sean filtrados o robados. A medida que las empresas vinculan sus sistemas de IA a documentos o fuentes de datos internas, ese riesgo aumenta.

Ha habido casos en los que los usuarios de IA han expuesto información confidencial, ya sea de forma maliciosa o inadvertida a través de sus comandos, como el uso de datos confidenciales para entrenar modelos sin las salvaguardias adecuadas.

El riesgo de que la salida del modelo de IA sea simplemente incorrecta también es significativo. Las salidas de IA pueden parecer seguras pero ser completamente falsas, sesgadas o incluso violar la privacidad. Las empresas a menudo subestiman cuán dañino puede ser un resultado defectuoso.

Las consecuencias regulatorias pueden ser severas, ya que un solo resultado erróneo podría resultar en que numerosos clientes sean rechazados para créditos o entrevistas laborales. Esto resalta la necesidad de validación rigurosa y supervisión humana en la utilización de la IA.

Las empresas pueden, y de hecho utilizan, la IA de manera compliant, pero los directores de información y los directores digitales deben considerar cuidadosamente los riesgos de cumplimiento en el entrenamiento, la inferencia y cómo utilizan los resultados de la IA.

More Insights

Código de Práctica de IA de Uso General de la Comisión Europea

El 10 de julio de 2025, la Comisión Europea publicó la versión final del Código de Práctica para la IA de Propósito General, tres semanas antes de que entren en vigor las obligaciones relacionadas con...

Código de Práctica de la UE para la IA: Clave para el Cumplimiento

La Unión Europea ha publicado un nuevo código de prácticas voluntario para ayudar a las empresas a cumplir con su próxima Ley de IA. Este código se centra en áreas clave como las obligaciones de...

Responsabilidad en IA: Reformando la Adquisición Pública

En 2018, se reveló que el Departamento de Policía de Nueva Orleans estaba utilizando un software de policía predictiva de Palantir, lo que generó preocupaciones sobre el sesgo racial. Este caso...

Tokio Marine implementa un marco de gobernanza para la IA

Tokio Marine Holdings ha introducido un marco formal de gobernanza de IA para guiar cómo sus empresas del grupo global desarrollan y utilizan la inteligencia artificial. La política, anunciada el 16...

La Explosión de la IA Sombra: Urgente Necesidad de Gobernanza

La inteligencia artificial generativa (GenAI) ya está profundamente integrada en las empresas, aunque los gerentes no siempre se dan cuenta. Esto se conoce como Shadow AI: el uso no aprobado y no...

La Fragmentación y Captura en la Regulación de la IA

En una nueva investigación, Filippo Lancieri, Laura Edelson y Stefan Bechtold exploran cómo la economía política de la regulación de la inteligencia artificial está condicionada por el comportamiento...