Gobernanza de IA: Por qué la supervisión tradicional es insuficiente y la necesidad de un nuevo enfoque en el paisaje evolutivo actual
En los últimos años, la inteligencia artificial (IA) ha pasado de ser una tecnología novedosa a convertirse en un componente central de las operaciones comerciales, trayendo consigo riesgos sin precedentes que los marcos de gobernanza tradicionales no pueden abordar completamente. Mientras que las juntas directivas han confiado en marcos bien establecidos para gestionar la seguridad de datos, la privacidad y el cumplimiento, estos enfoques son insuficientes frente a los desafíos únicos y complejos que presenta la IA.
Esto se debe a tres factores principales:
- La IA introduce riesgos novedosos,
- Se deben integrar nuevos requisitos legales en la estructura tecnológica para abordar estos riesgos,
- Y se requieren habilidades, procesos y herramientas especializadas para una gestión efectiva.
1. IA: No solo software, sino una nueva frontera de riesgos novedosos
La IA presenta desafíos específicos que la gobernanza heredada simplemente no está diseñada para abordar.
El núcleo de esta diferencia es que la IA difiere fundamentalmente del software tradicional debido a su capacidad para aprender, adaptarse y tomar decisiones basadas en datos, lo que la hace inherentemente menos predecible que el software tradicional basado en reglas. Dependiendo de la complejidad del sistema – desde modelos de aprendizaje automático tradicionales como los árboles de decisión hasta sistemas multiagente intrincados – estos riesgos se vuelven cada vez más complejos de detectar y abordar. Los sistemas de IA pueden exhibir sesgo, carecer de transparencia o generar desinformación y resultados inesperados, riesgos que los modelos tradicionales de supervisión no anticipan.
La Base de Datos de Incidentes de IA rastrea riesgos críticos de IA, incluidos el sesgo y la discriminación a través de factores demográficos, fallos específicos del sector (por ejemplo, en atención médica, aplicación de la ley), problemas técnicos como errores de generalización y generación de desinformación, así como riesgos operativos.
En agosto y septiembre de 2024, la AIID agregó 46 nuevos incidentes, incluidos errores de alerta de incendios forestales de Facebook, consejos parentales engañosos de Google, intentos de extorsión e impersonificación de líderes de alto perfil, una escalada global en estafas de deep fake en general, y un servicio de transcripción de IA que envió inadvertidamente una transcripción generada por IA de conversaciones privadas de una reunión de capital de riesgo.
Desde violaciones de seguridad de datos y multas regulatorias hasta daños a la reputación, cada uno de estos casos enfatiza la necesidad de un marco de gobernanza específico para IA que incluya supervisión, control de calidad, medidas de seguridad y protección de IA, y actualizaciones de cumplimiento adaptadas a los desafíos únicos que presenta la IA.
2. Siguiendo los pasos de la privacidad y la seguridad: La necesidad de cumplimiento integrado
La gobernanza de IA está siguiendo un camino similar al de la privacidad y la seguridad, ambas de las cuales tuvieron que luchar por el reconocimiento como preocupaciones críticas a nivel organizacional. Así como la privacidad y la seguridad demostraron su relevancia y necesidad, la gobernanza de IA ahora enfrenta desafíos similares en ganar reconocimiento como un área de riesgo a nivel empresarial.
Además, la privacidad y la seguridad han demostrado que simplemente tener políticas no es suficiente; los requisitos legales ahora exigen que las medidas de seguridad y privacidad se integren técnicamente en los sistemas de TI, productos e infraestructura desde el principio – un enfoque proactivo conocido como «shift left». Esta práctica, junto con la ingeniería de seguridad y privacidad, asegura que estas protecciones sean parte integral del diseño y función de la tecnología en lugar de añadirse después del desarrollo.
Lo mismo es cierto para la IA, ya que la gestión de riesgos de IA ahora es obligatoria por un número creciente de leyes internacionales como la Ley de IA de la UE y leyes estatales en EE. UU. (por ejemplo, en Utah, Colorado y California) y debe integrarse directamente en la arquitectura técnica de los sistemas de IA.
Por ejemplo, la AB 1008 de California extiende las protecciones de privacidad existentes a los sistemas de IA generativa. La AB 2013 de CA exige transparencia con respecto a los datos utilizados para entrenar modelos de IA, empujando a las empresas a incorporar prácticas de gobernanza de datos directamente en sus pilas técnicas. Similarmente, las evaluaciones de riesgo exigidas por la SB 896 indican la necesidad de que los sistemas de IA sean monitoreados y evaluados para mitigar amenazas, desde riesgos infrastructurales hasta posibles fallos a gran escala.
Para esto, las organizaciones necesitan un enfoque multidisciplinario. Los profesionales legales son esenciales para analizar las leyes aplicables y determinar el alcance del cumplimiento, mientras que los ingenieros de aprendizaje automático, científicos de datos y profesionales de gobernanza de IA juegan un papel crucial en traducir estos requisitos en medidas técnicas y operativas aplicables.
Esto representa un nuevo dominio de gobernanza, donde el cumplimiento legal se cruza con la implementación técnica de IA, requiriendo experiencia especializada para asegurar que los sistemas de IA no solo cumplan con las normativas, sino que también sean diseñados y gestionados de manera responsable desde el principio.
3. Avanzando: Construyendo una gobernanza rigurosa de IA
Para abordar estos nuevos y complejos riesgos, es esencial un enfoque de gobernanza fresco adaptado específicamente a la IA. Debe incluir:
- Nuevas habilidades y roles: Los equipos de gobernanza tradicionales pueden no tener las habilidades especializadas necesarias para entender y gestionar los sistemas de IA. La gobernanza de IA requiere personas con experiencia en ciencia de datos, aprendizaje automático, ética y cumplimiento regulatorio.
- Procesos para riesgos específicos de IA: A diferencia del software tradicional, los modelos de IA evolucionan continuamente. La gobernanza, por lo tanto, debe incluir procesos para revisiones regulares de modelos, auditorías y evaluaciones de rendimiento.
- Herramientas y tecnologías avanzadas: Se necesitan herramientas de gobernanza especializadas para manejar los requisitos únicos de la IA.
4. Conclusión: Adaptándose a las nuevas realidades en la gobernanza de IA
La rápida integración de la IA en las operaciones comerciales ha traído riesgos que son desconocidos para las estructuras de gobernanza tradicionales. En vista de la rápida adopción de herramientas de IA en las organizaciones y la aparición de sistemas de IA multi-agente, se vuelve aún más claro que los marcos de gobernanza heredados no son suficientes.
Los riesgos únicos que presentan los sistemas de IA no son teóricos; tienen implicaciones significativas en el mundo real. Los sistemas de IA mal gobernados pueden impactar directamente la reputación de la marca, erosionar la confianza pública y resultar en consecuencias legales costosas.
De cara al futuro, las empresas deben priorizar la construcción de estructuras de gobernanza que abarquen las habilidades, procesos y herramientas especializadas requeridas para abordar los riesgos distintos y complejos introducidos por la IA.
Las juntas y ejecutivos que adopten este enfoque proactivo hacia la gobernanza de IA pueden posicionar a sus organizaciones no solo para evitar costosas trampas, sino también para obtener una ventaja estratégica en un paisaje digital en rápida evolución. Esto incluye entender los riesgos de IA como un problema a nivel empresarial y no solo como un riesgo departamental. Los riesgos de IA deben informarse en la gestión de riesgos empresariales e incluirse en la planificación de continuidad del negocio. Además, con la gobernanza de IA en su lugar, las organizaciones tienen una excelente base para la gestión de productos de IA y la estrategia, y un socio que puede proporcionar una visión general de todos los activos de IA de la organización.
Invertir en la gobernanza de IA es más que cumplir con las normativas; se trata de asegurar que la IA sirva como un activo responsable y beneficioso para la empresa y sus partes interesadas.
