Riesgos de Supervisión y Casos de Uso para la IA Agente en Servicios Financieros
El 27 de enero, se publicó una discusión sobre la IA agente, describiendo cómo las empresas miembros están comenzando a experimentar con sistemas de IA autónomos e identificando las consideraciones de supervisión asociadas con estos primeros despliegues.
Se señaló que, a diferencia de las herramientas de automatización tradicionales, los agentes de IA pueden operar a través de múltiples sistemas y fuentes de datos con diversos niveles de independencia, lo que plantea preguntas sobre cómo se aplican los marcos de supervisión y gobernanza existentes a estas herramientas que pueden actuar sin una entrada humana continua.
Áreas de Riesgo Identificadas
Basándose en su monitoreo de riesgos y compromiso con las empresas miembros, se identificaron varias áreas de riesgo asociadas con el uso de la IA agente. Los riesgos clave incluyen:
- Riesgos de autonomía, alcance y autoridad. Los agentes de IA pueden iniciar acciones sin una validación humana significativa o actuar más allá de su ámbito previsto o autoridad de usuario si no se definen y aplican claramente los límites y mecanismos de aprobación.
- Desafíos de auditabilidad y explicabilidad. Los procesos de razonamiento y toma de decisiones de múltiples pasos pueden dificultar el seguimiento, la explicación o la reconstrucción del comportamiento del agente, complicando la supervisión, las pruebas y las revisiones posteriores a incidentes.
- Riesgos de gobernanza de datos y confidencialidad. Los agentes que operan en múltiples sistemas y conjuntos de datos pueden, sin querer, almacenar, explorar, divulgar o mal utilizar información sensible o propietaria.
- Limitaciones de diseño de modelos y conocimiento del dominio. Los agentes de propósito general pueden carecer de la experiencia especializada necesaria para tareas complejas en servicios financieros, y los objetivos o mecanismos de refuerzo mal diseñados pueden llevar a resultados que no se alinean con los intereses de los inversores o del mercado.
- Riesgos persistentes de IA generativa. Prejuicios, alucinaciones y preocupaciones sobre la privacidad siguen presentes y pueden amplificarse cuando los sistemas de IA operan con una mayor autonomía.
Implicaciones Prácticas
Las observaciones reiteran que las instituciones financieras siguen siendo responsables de supervisar las actividades impulsadas por IA, incluso cuando las herramientas operan con una autonomía significativa y sin nuevos requisitos específicos de tecnología. Las instituciones que consideren la IA agente deben evaluar si la supervisión existente, la escalación, la documentación y los controles de gobernanza de datos son suficientes para sistemas que pueden planificar y actuar de manera independiente.
