¿Están preparados los marcos de gobernanza de hoy para la IA agente?
A medida que los sistemas de IA se vuelven más independientes, comienzan a hacer más que seguir reglas simples. Algunos ahora toman decisiones, delegan tareas y ajustan sus objetivos, todo sin aprobación humana. Estos nuevos sistemas agentes presentan desafíos de gobernanza que los marcos actuales no están plenamente preparados para abordar.
¿Quién debería prepararse para el impacto?
Esto debería preocupar a cualquiera responsable de construir, gestionar o supervisar la IA en un entorno regulado. La realidad es que las suposiciones que funcionaron para los sistemas tradicionales basados en tareas no son aplicables a los sistemas que actúan por su cuenta. Sin estándares más claros para la autonomía y la autoridad de decisión, las organizaciones corren el riesgo de no estar preparadas para el comportamiento real de estos agentes.
¿Qué son los sistemas agentes?
Un sistema agente puede perseguir objetivos, tomar decisiones y realizar acciones con una supervisión humana limitada o nula. Puede interactuar con otros sistemas, cambiar estrategias sobre la marcha o decidir cuándo y cómo escalar tareas.
Esto plantea preguntas fundamentales:
- ¿Cuánta libertad debería tener un agente de IA para tomar decisiones?
- ¿Quién es responsable cuando el sistema agente delega una tarea a otro sistema o agente?
- ¿Puede su estructura de supervisión actual detectar cuándo ese sistema se sale de sus límites asignados?
Si su modelo de gobernanza se basa en flujos de trabajo fijos, aprobaciones estáticas o revisiones manuales, probablemente no resistirá.
Un vistazo a los marcos en los que confían la mayoría de las organizaciones
Tres marcos a menudo forman la base de los programas de IA responsable: ISO/IEC 42001, el Marco de Gestión de Riesgos de IA del NIST y la Ley de IA de la UE. Cada uno ofrece valor, pero ninguno de ellos proporciona respuestas completas en cuanto a la gestión de la autonomía y la autoridad de decisión en sistemas agentes.
ISO/IEC 42001
Este nuevo estándar internacional establece requisitos para establecer un sistema de gestión de IA, enfatizando la documentación, el control de procesos y la mejora continua. Es efectivo para ayudar a las organizaciones a definir roles y responsabilidades internas y construir un enfoque estructurado para la gobernanza de IA.
Sin embargo, ISO/IEC 42001 no ofrece orientación práctica sobre cómo establecer o monitorear límites para el comportamiento autónomo. No define qué decisiones puede o no puede tomar un sistema agente, ni cómo gestionar la delegación de autoridad dentro o entre sistemas.
Marco de Gestión de Riesgos de IA del NIST
El marco del NIST se centra en identificar, medir y gestionar los riesgos relacionados con la IA. Promueve principios como la responsabilidad y la transparencia, enfatizando la importancia del contexto.
Esto hace que el marco del NIST sea flexible; se puede aplicar a una amplia gama de sistemas, incluidos los agentes. Pero no define umbrales para la autonomía aceptable ni explica cómo monitorear la delegación de decisiones o el desvío de objetivos a lo largo del tiempo. El resultado es una base sólida, pero no un conjunto de herramientas completo.
La Ley de IA de la UE
La Ley de IA de la UE es el marco regulatorio más completo introducido hasta la fecha. Impone obligaciones específicas basadas en la clasificación de riesgo. Los sistemas de alto riesgo deben cumplir con requisitos de documentación, supervisión y revisión humana. Todo esto es valioso.
Aún así, la Ley se centra en casos de uso, no en el comportamiento del sistema. Asume que el sistema operará de maneras conocidas y fijas. No hay orientación detallada sobre qué hacer cuando un sistema de IA comienza a comportarse de manera diferente a lo esperado o toma decisiones que cambian con el tiempo.
Aspectos clave a considerar
Si está desarrollando o gobernando sistemas agentes, estos marcos omiten algunos elementos importantes:
- No hay un estándar para los niveles de autonomía.
- No hay un enfoque claro para la delegación.
- No hay herramientas para detectar el desvío de autonomía.
- No hay supervisión del comportamiento emergente.
A medida que la IA agente está surgiendo rápidamente, hay muchas incógnitas, pero los problemas descritos anteriormente no son teóricos. Estas cuestiones ya están afectando a las empresas que se están adentrando en la IA agente, y afectan cómo se gestiona el riesgo, se mantiene el cumplimiento y se construye la confianza con las partes interesadas.
Conclusión
Los sistemas agentes y los agentes agentes ya se están desplegando en miles de negocios en una variedad de industrias. Si su equipo está explorando modelos adaptativos, asistentes inteligentes o agentes autónomos, ahora es el momento de reconocer que ya no se trata de automatización estándar.
Sus controles existentes pueden no ser suficientes y esperar a que los reguladores detallen todos los requisitos es un riesgo.
Ahora es el momento de:
- Mapear la autoridad de decisión de sus sistemas.
- Establecer límites claros y puntos de escalación.
- Establecer monitoreo para el desvío de autonomía.
- Validar su gobernanza con supervisión independiente.
Las organizaciones que actúan ahora serán las que darán forma a la IA responsable, no las que reaccionen a ella.
