La gobernanza responsable de la IA no debería comenzar — ni terminar — con el cumplimiento legal
Recientemente, los clientes han comenzado a formular una versión de la misma pregunta: «Si nuestro sistema no es ‘de alto riesgo’ según la Ley de Inteligencia Artificial de la UE o la Ley de IA de Colorado, ¿por qué tengo que hacer algo al respecto?»
La suposición es que el riesgo es lo que dicen los estatutos — y solo eso. Pero ese marco es estrecho, inseguro para los consumidores y perjudicial para los negocios.
Desde hace mucho tiempo, al menos en años modernos de aprendizaje automático, las empresas han comenzado a implementar modelos predictivos de IA cada vez más complejos en sus operaciones y servicios. Las empresas lucharon por entender estos sistemas — cómo evaluar los riesgos involucrados y qué hacer para gestionarlos de manera que pudieran beneficiarse de su valor comercial mientras prevenían daños a los clientes, vergüenza pública o responsabilidad legal.
No había un camino claro, ninguna regulación o ley específica de IA, y ni siquiera mejores prácticas reales a seguir.
En esa incertidumbre, muchos abogados y científicos de datos, así como académicos y otros profesionales, se involucraron para definir cómo podría ser la gobernanza responsable de la IA. Algunos de ellos terminaron trabajando en una subvención con el Instituto Nacional de Estándares y Tecnología de EE. UU. — incluidos los fundadores del bufete de abogados que ahora es la División de IA de ZwillGen. Así nació el Marco de Gestión de Riesgos de IA de NIST.
Aunque no es un estándar de cumplimiento, este marco, que luego se amplió para incluir la IA generativa, se ha convertido en el estándar predeterminado en la gestión de IA, al menos dentro de EE. UU. Un marco similar basado en riesgos se desarrolló en Singapur; la Organización Internacional de Normalización desarrolló un estándar específico de IA para la gobernanza responsable.
Todos estos sistemas son formas para que las empresas evalúen el riesgo que enfrentan al utilizar cualquier sistema. Aunque todos reconocen que los requisitos legales deberían ser un factor en esa evaluación, ninguno comienza o termina allí.
La evaluación del riesgo
A través de una lente simplificada, esta secuencia histórica proporcionó a las empresas una forma de manejar los riesgos de la IA de manera estructurada y completa. Como reconoce el NIST AI RMF, «Las prácticas de IA responsable pueden ayudar a alinear las decisiones sobre el diseño, desarrollo y uso de sistemas de IA con el objetivo y los valores previstos. … La gestión de riesgos de IA puede impulsar usos y prácticas responsables al incitar a las organizaciones y sus equipos internos que diseñan, desarrollan y despliegan IA a pensar más críticamente sobre el contexto y los impactos negativos y positivos potenciales o inesperados».
El riesgo se define como la probabilidad de que ocurra un daño identificado multiplicado por la severidad del daño si ocurriera. Si bien los impactos legales son parte de la medida de «severidad», no son la totalidad. Cada empresa debe evaluar el riesgo de cada sistema de IA de forma independiente según su propia industria, valores, obligaciones comerciales y requisitos jurisdiccionales o regulatorios.
La tolerancia al riesgo es específica de cada empresa, al igual que las técnicas de evaluación de riesgos y las estrategias de gestión de riesgos preferidas. Aunque un sistema de IA no cumpla con una definición particular de «alto riesgo» estatutaria, las empresas deberían determinar que el sistema se encuentra dentro de su nivel de tolerancia al riesgo — que funcione como se espera, que sea lo suficientemente justo para su contexto y que no cause daños evitables o daño a la reputación. Esta es la gestión de riesgos estándar.
Más allá de «solo seguir la ley»
Dos leyes clave, la Ley de IA de la UE y la Ley de IA de Colorado, siguen este enfoque basado en el riesgo. Debido a que son estatutos y por lo tanto deben tener un alcance definido, estas leyes trazan líneas claras alrededor de ciertos casos de uso «de alto riesgo». Esas líneas son útiles, pero no son exhaustivas.
Las leyes crean un enfoque en categorías que los reguladores priorizan y hacen cumplir. No intentan decir que estas categorías son la extensión de los riesgos que las empresas pueden enfrentar al usar otros sistemas de IA. Las fuentes de exposición comercial van más allá de esto: malas decisiones, modos de falla pasados por alto, impactos sesgados, afirmaciones engañosas, incidentes de seguridad evitables, pérdida de confianza del cliente y otros riesgos de litigio que no dependen de que «IA» esté en el estatuto.
El aumento del pensamiento «solo de cumplimiento» es comprensible. Los umbrales son reconfortantes. Pero los umbrales no son el panorama completo. Si la única pregunta es «¿Esto activa la ley de IA X?», las empresas perderán riesgos que son obvios para sus usuarios, empleados, socios comerciales y la prensa.
Ejemplos de uso que requieren supervisión
La tolerancia al riesgo es inherentemente subjetiva y determinada por las empresas individuales, incluso aquellas en la misma industria. Así es la mitigación del riesgo: ¿pueden transferir el riesgo, asegurarse contra él, o de otro modo revisar el contexto de alguna manera?
El objetivo del enfoque de gestión de riesgos es que las empresas determinen cuáles son los daños potenciales de cualquier sistema de IA utilizando sus propios criterios seleccionados, estructurados y establecidos — y así evaluar los riesgos de desplegar ese sistema. Esto puede o no alinearse directamente con los ejemplos de «alto riesgo» legales de la ley de IA.
Vemos ejemplos de estos tipos de sistemas todos los días con los clientes, como:
- Herramientas de retroalimentación, rendimiento y coaching de empleados. Pueden no ser necesariamente parte de una decisión laboral significativa como para activar directamente las leyes de IA o empleo, pero moldean evaluaciones y oportunidades.
- Herramientas de evaluación de sentimiento del cliente y control de calidad. Estas herramientas pueden influir en la compensación de los empleados, impulsar decisiones de personal, decidir escalaciones para ciertos casos, y más ampliamente informar la estrategia comercial.
- Chatbots orientados al cliente. Si bien la mayoría de los chatbots probablemente no se consideren de alto riesgo bajo las leyes de IA, un chatbot que emita contenido tóxico o inseguro frustrará a los clientes y atraerá atención no deseada.
La conclusión es clara: si una herramienta moldea decisiones, como quién recibe atención, cómo se juzga a las personas, o cómo se responde a los clientes, entonces cero supervisión rara vez es la respuesta correcta. Las empresas deberían validar tales sistemas incluso si el programa nunca decide nada de forma autónoma.
Un patrón de gobernanza informado por el riesgo
No es cierto que todos los sistemas necesiten «todas» las pruebas, supervisión y documentación. Esto no sería factible para ninguna empresa. Para desarrollar un proceso de gobernanza simple que vaya más allá de las categorías de alto riesgo legales, ya sea que se sumerja en uno de los marcos mencionados o comience con lo básico.
Primero, evalúe el nivel de riesgo para el sistema. Defina el caso de uso completo para el contexto y determine qué está en juego identificando quién se ve afectado, qué decisiones se influyen y cómo podría ser el peor resultado.
Considere la exposición regulatoria si ya entra en una categoría de alto riesgo estatutaria, pero también examine la exposición comercial. ¿Podría causar daños materiales, sesgo, daño a la reputación o interrupción operativa? Esta triage inicial de riesgos permite a las empresas asignar recursos de manera apropiada.
En resumen:
- Sistemas de bajo riesgo requieren pruebas funcionales básicas y documentación que describa su uso previsto y limitaciones.
- Sistemas de riesgo medio deben someterse a pruebas de rendimiento y monitoreo, incluir verificaciones de equidad dirigidas y tener un plan de reversión en su lugar.
- Sistemas de alto riesgo exigen validación exhaustiva previa al despliegue, ejercicios de «red teaming», controles de responsabilidad humana, pruebas post-despliegue regulares y monitoreo continuo.
A continuación, demuestre que funciona. Existen tarjetas de modelo y otros enfoques disponibles, pero todos abordan en gran medida el mismo contenido. Documente qué conjuntos de datos se utilizaron, protocolos de prueba, métricas, resultados a nivel de cohorte, limitaciones conocidas y mitigaciones aceptadas o diferidas — con justificación. Establezca umbrales aceptables de desviación de rendimiento y desencadenantes de incidentes.
Comunique honestamente. Divulgue capacidades y límites a los usuarios y tomadores de decisiones; evite afirmaciones exageradas; y alinee el marketing con la realidad técnica. Reevalúe en cada cambio o actualización importante. Un nuevo modelo, nueva fuente de datos o nuevo contexto significa una nueva revisión de riesgos.
¿Funciona «equitativamente»? Esta no es solo una cuestión legal de discriminación. Los resultados inequitativos pueden ocurrir en cualquier factor o característica, no solo aquellos protegidos por la ley de derechos civiles. En cualquier caso, las prioridades operativas y de reputación de la organización se verán afectadas tanto como el cumplimiento.
Defina los grupos relevantes para el contexto del sistema particular — por ejemplo, geografía, antigüedad, idioma, tipo de dispositivo y clases protegidas cuando sea apropiado y legal evaluar. Compare distribuciones de error y resultado entre estos grupos utilizando métricas adecuadas a la tarea.
Y finalmente, añada revisión humana donde sea apropiado. Esto significa asignar una responsabilidad clara y hacer que el revisor sea responsable, no un mero sello de aprobación.
Conclusión
Las leyes de gobernanza de inteligencia artificial crean ciertas categorías donde la evaluación, pruebas y documentación son obligatorias. Ciertamente importan. Pero estos umbrales no pueden definir la postura total de riesgo para una empresa que construye, compra o opera IA de maneras integrales a sus operaciones.
La mejor práctica para cualquier sistema de consecuencias sigue siendo, tanto para modelos de IA como para cualquier otra cosa, demostrar que funciona para su uso previsto, monitorearlo en el mundo real y solucionar problemas antes de que se conviertan en daños.
La necesidad de entender dónde y cómo estos sistemas impactan sus operaciones generales no ha cambiado. Aunque ahora existen leyes que se aplican más directamente, estas deberían verse como un complemento a los requisitos de gobernanza, no como un reemplazo.
