Gestión de la opacidad de los modelos de IA y desafíos en la gestión de riesgos
Desde chatbots hasta monitoreo de transacciones, los modelos de IA influyen en decisiones que afectan a millones de clientes y miles de millones de dólares diariamente. Sin embargo, algunas instituciones financieras pueden no conocer lo suficiente sobre ellos para cumplir con los requisitos de cumplimiento.
Desafíos de opacidad
Los modelos de IA operan fundamentalmente de manera diferente a los modelos tradicionales. A diferencia de los cálculos lineales y trazables, la IA desarrolla su propia lógica inferencial que los propietarios del modelo a menudo no pueden explicar o predecir completamente.
Riesgo de dependencia de terceros
La mayoría de las instituciones financieras tradicionales utilizan modelos fundamentales de proveedores externos en lugar de construir los propios. Esto añade otra capa de opacidad que hace que la validación y el monitoreo tradicionales sean casi imposibles.
Implicaciones regulatorias y de confianza
Los reguladores de todo el mundo exigen transparencia y control a pesar de estas limitaciones. La incapacidad para explicar las decisiones de IA socava la confianza del cliente, complica el cumplimiento y crea brechas en la gobernanza.
La complejidad de los modelos de IA
El desafío para las instituciones financieras al desarrollar modelos orientados al cliente o internos en la era de la IA es comprensible, pero no fácil de resolver. Estas instituciones desarrollan modelos para mejorar la toma de decisiones, mejorar los informes financieros y garantizar el cumplimiento regulatorio. Estos modelos se utilizan a menudo en diversas operaciones bancarias y financieras, como la evaluación de crédito, la aprobación de préstamos, la gestión de activos y pasivos, y las pruebas de estrés.
Los modelos tradicionales, para los cuales se escribió la gestión de riesgos de modelos existente, a menudo operaban de manera predecible y lineal. Un usuario de modelo podía ingresar datos, rastrear cálculos, validar supuestos y prever resultados con relativa confianza. Esto contrasta marcadamente con algunas aplicaciones de los modelos de IA, en particular aquellos que utilizan aprendizaje profundo, donde los usuarios del modelo pueden no ser capaces de predecir sus resultados o explicar con precisión las inferencias del modelo.
Complicaciones de terceros
La mayoría de las instituciones financieras no construyen sus modelos de IA desde cero; en cambio, aprovechan modelos fundamentales de empresas que sirven como base para configuraciones que van desde chatbots de servicio al cliente hasta evaluaciones de riesgo. Esto crea una nueva dimensión de opacidad. Los bancos no solo lidian con modelos que no pueden explicar completamente; están utilizando modelos que no construyeron originalmente y que no controlan completamente.
Cuando la gestión de riesgos tradicionales falla
La gestión de riesgos de modelos tradicionales se basa en tres componentes: validación inicial, monitoreo continuo y la capacidad de cuestionar los supuestos del modelo. Los modelos de IA fundamentales de terceros pueden interrumpir los tres.
La validación inicial se complica cuando se valida un sistema que solo se puede observar desde el exterior. A diferencia de los modelos estadísticos tradicionales construidos sobre supuestos explícitos, los modelos de IA desarrollan su propia lógica inferencial a través del entrenamiento, lo que no siempre es visible.
El monitoreo continuo enfrenta desafíos similares. Si una institución se basa en un modelo fundamental, está sujeta a las actualizaciones del modelo. Un modelo que funcionaba de manera confiable el mes pasado puede comportarse de manera diferente hoy debido a cambios que la institución no ejecutó; los supuestos presentes en cada versión pueden no ser fácilmente medibles.
Consecuencias en el mundo real
Las repercusiones van más allá del cumplimiento regulatorio. Cuando un modelo genera resultados que solo un equipo de una empresa externa comprende, los riesgos operativos pueden acumularse. Por ejemplo, los representantes de servicio al cliente a menudo necesitan explicar por qué un sistema de fraude marcó una transacción; o los oficiales de préstamos deben proporcionar razones específicas sobre por qué un modelo de crédito rechazó una solicitud, y la IA de caja negra hace que estos requisitos básicos sean casi imposibles.
Buscando soluciones
La industria está respondiendo con varios enfoques. Algunas instituciones exigen mayor transparencia a los proveedores de IA, negociando acceso a la documentación del modelo y métricas de rendimiento. Otras están construyendo marcos de prueba para validar modelos de terceros a través de un análisis exhaustivo de entrada-salida. Técnicas como SHAP y LIME intentan iluminar decisiones de caja negra al aproximar cómo los modelos ponderan diferentes factores. Algunas instituciones adoptan enfoques híbridos, combinando modelos más simples e interpretables con modelos fundamentales complejos para equilibrar el rendimiento con la transparencia.
Lo que debe suceder ahora
Las instituciones financieras deben incorporar mecanismos de explicabilidad y control en sus trayectorias de IA desde el principio. Esto puede requerir equipos multifuncionales de científicos de datos, gerentes de riesgos, oficiales de cumplimiento y especialistas en gestión de proveedores que puedan negociar términos adecuados con los proveedores de IA fundamentales.
Además, las instituciones necesitan marcos de gobernanza integrales que aborden los desafíos únicos de los modelos fundamentales de terceros. Esto podría incluir una mayor diligencia debida de los proveedores, monitoreo continuo, disposiciones contractuales para la transparencia del modelo y notificaciones de actualizaciones, así como la disposición a renunciar a algunas capacidades de IA cuando los riesgos no se pueden gestionar adecuadamente.
Aún así, la tensión fundamental persiste: el poder de la IA proviene en parte de su capacidad para identificar tendencias a gran escala, y actualmente opera de maneras que no comprendemos completamente. Cuando se introducen proveedores de terceros, la predictibilidad y el control se vuelven aún más inciertos. Las instituciones deben aprovechar los beneficios de los modelos fundamentales mientras reconocen lo que sigue siendo desconocido y fuera de su control directo.
Si se logra esta comprensión, puede ser un impulsor estratégico. Las instituciones que puedan aprovechar el poder de la IA de terceros mientras mantienen una supervisión genuina obtendrán una ventaja competitiva. Aquellos que no lo hagan pueden enfrentar consecuencias graves si las cajas negras de terceros producen resultados que no pueden explicar, prever ni defender. En una industria donde la confianza y el cumplimiento son primordiales, es crucial que las instituciones financieras comprendan verdaderamente los riesgos asociados con la IA.
