AI y Cumplimiento: ¿Cuáles son los Riesgos?
El crecimiento acelerado de la inteligencia artificial (IA), especialmente la IA generativa (GenAI) y los chatbots, ofrece a las empresas una gran cantidad de oportunidades para mejorar la forma en que trabajan con los clientes, impulsar eficiencias y acelerar tareas que requieren mucho trabajo. Sin embargo, la GenAI también ha traído consigo problemas que van desde fallas de seguridad y preocupaciones de privacidad hasta cuestiones sobre sesgo, exactitud e incluso alucinaciones, donde la respuesta de la IA es completamente falsa.
Esto ha llamado la atención de legisladores y reguladores. Mientras tanto, las funciones internas de cumplimiento de los clientes han tenido que adaptarse a una tecnología cada vez más compleja y en rápida evolución.
Riesgos para el Cumplimiento
En este artículo, se examinan la IA y los riesgos potenciales que plantea para el cumplimiento con los entornos legales y regulatorios. Esto significa que los equipos de cumplimiento de las organizaciones deben realizar un análisis exhaustivo sobre su uso de la GenAI para localizar debilidades y vulnerabilidades, así como evaluar la fiabilidad de los datos de origen y salida.
Proyectos Comunes de IA en Empresas
Los proyectos de IA más comunes en las empresas suelen involucrar GenAI o modelos de lenguaje grandes (LLMs). Estos se utilizan como chatbots, respondiendo consultas o proporcionando recomendaciones de productos a los clientes. La búsqueda, el resumen o la traducción de documentos son otros casos de uso populares.
Sin embargo, la IA también se utiliza en áreas como detección de fraudes, vigilancia y diagnóstico médico, donde los riesgos son mucho mayores. Esto ha generado cuestionamientos sobre cómo o si debería utilizarse la IA.
Datos Confidenciales
Las herramientas de IA también han filtrado datos confidenciales, ya sea directamente o porque los empleados han subido documentos confidenciales a una herramienta de IA. Además, existe el sesgo. Los algoritmos de IA más recientes, especialmente en los LLMs, son altamente complejos, lo que dificulta comprender cómo un sistema de IA ha llegado a sus conclusiones. Esto genera una serie de riesgos, especialmente para las empresas en industrias reguladas y el sector público.
Los reguladores actualizan rápidamente los marcos de cumplimiento existentes para cubrir los riesgos de la IA, además de la legislación como la Ley de IA de la Unión Europea (UE).
Amenazas Identificadas
Investigaciones realizadas por analistas de la industria han identificado más de 20 nuevas amenazas derivadas de la GenAI, algunas de las cuales están relacionadas con la seguridad. Esto incluye el uso de código no seguro para construir sistemas de IA, o actores maliciosos que manipulan modelos de IA. Otros riesgos, como la filtración de datos, la manipulación de datos y la falta de integridad de datos, pueden causar fallos regulatorios incluso cuando un modelo es seguro.
La situación se agrava por el crecimiento de la IA en la sombra, donde los empleados utilizan herramientas de IA de manera no oficial. Esto incluye desde la TI en la sombra en departamentos hasta individuos que alimentan datos corporativos a la IA para simplificar sus roles. La mayoría de las empresas no han considerado completamente el cumplimiento relacionado con la IA, y incluso aquellas que lo han hecho tienen controles limitados para prevenir el uso indebido.
Control de Datos de Origen
La primera área que las empresas deben controlar es cómo utilizan los datos con la IA. Esto se aplica tanto al entrenamiento de modelos como a la fase de inferencia o producción de la IA. Las empresas deben verificar que tienen los derechos para usar datos con fines de IA, lo que incluye aspectos de derechos de autor, especialmente para datos de terceros.
La información personal utilizada para la IA está cubierta por el Reglamento General de Protección de Datos (GDPR) y regulaciones de la industria. Las organizaciones no deben asumir que el consentimiento para el procesamiento de datos existente cubre las aplicaciones de IA.
Además, hay que considerar la calidad de los datos. Si una organización utiliza datos de mala calidad para entrenar un modelo, los resultados serán inexactos o engañosos, lo que a su vez crea riesgos de cumplimiento.
Salida de Datos y Cumplimiento
Un conjunto adicional de problemas de cumplimiento y regulación se aplica a los resultados de los modelos de IA. El riesgo más obvio es que los resultados confidenciales de la IA sean filtrados o robados. A medida que las empresas vinculan sus sistemas de IA a documentos o fuentes de datos internas, ese riesgo aumenta.
Ha habido casos en los que los usuarios de IA han expuesto información confidencial, ya sea de forma maliciosa o inadvertida a través de sus comandos, como el uso de datos confidenciales para entrenar modelos sin las salvaguardias adecuadas.
El riesgo de que la salida del modelo de IA sea simplemente incorrecta también es significativo. Las salidas de IA pueden parecer seguras pero ser completamente falsas, sesgadas o incluso violar la privacidad. Las empresas a menudo subestiman cuán dañino puede ser un resultado defectuoso.
Las consecuencias regulatorias pueden ser severas, ya que un solo resultado erróneo podría resultar en que numerosos clientes sean rechazados para créditos o entrevistas laborales. Esto resalta la necesidad de validación rigurosa y supervisión humana en la utilización de la IA.
Las empresas pueden, y de hecho utilizan, la IA de manera compliant, pero los directores de información y los directores digitales deben considerar cuidadosamente los riesgos de cumplimiento en el entrenamiento, la inferencia y cómo utilizan los resultados de la IA.
