Software de gestión de riesgos de la IA para los riesgos propios de la IA
Para qué sirve un software de gestión de riesgos de la IA
La práctica de identificar, evaluar y mitigar los riesgos propios de los sistemas de IA. Funciona con un vocabulario y un modelo de datos específicos de la IA: los riesgos viven en modelos, conjuntos de datos, interfaces, casos de uso y acciones, no en registros de activos genéricos.
- Recoge sesgos, alucinaciones, deriva de datos, inyección de prompts, degradación del modelo, fugas de propiedad intelectual, incumplimientos regulatorios
- Ancla cada riesgo al componente que produce el comportamiento
- Conecta el registro de riesgos con la capa de controles de cumplimiento a través del mismo inventario de sistemas de IA
AI Sigil ofrece un software de gestión de riesgos de la IA que aplica esta práctica sobre el mismo inventario de sistemas de IA que alimenta su vertiente de cumplimiento, así que un riesgo identificado en un modelo es visible desde cada sistema que usa ese modelo.
Cómo identifica los riesgos el software de gestión de riesgos de la IA
El software de gestión de riesgos de la IA registra cada riesgo en el modelo, conjunto de datos, interfaz, caso de uso o acción donde se origina. Dentro del software de gestión de riesgos de la IA, el registro de riesgos es un artefacto de trabajo, no una exportación trimestral.
- Recoja dominio, gravedad, probabilidad y estrategia de tratamiento como metadatos estructurados
- Puntúe por separado el riesgo inicial y el residual, antes y después de las mitigaciones
- Filtre su cartera por gravedad, estado de mitigación, dominio, sistema de IA o responsable
Del riesgo identificado al riesgo resuelto
Identificar un riesgo es el principio, no el final. El software de gestión de riesgos de la IA le permite definir una o varias mitigaciones por riesgo, cada una con su responsable, su estado y su calendario.
Defina las mitigaciones. Una o varias por riesgo, cada una con responsable, estado y fecha límite. La relación es de uno a muchos: un mismo riesgo puede llevar varios tratamientos en paralelo, seguidos de forma independiente.
Implemente y vincule evidencias. Documentos, resultados de pruebas y archivos exportados se adjuntan a la mitigación que respaldan, de modo que el vínculo entre riesgo, tratamiento y prueba se conserva de principio a fin.
Reevalúe el riesgo residual. Vuelva a puntuar una vez aplicadas las mitigaciones. La postura refleja el hoy, no el día en que se abrió el riesgo.
Un software de gestión de riesgos de la IA unificado con el cumplimiento
Su registro de riesgos y sus controles de cumplimiento no son programas separados. Comparten el mismo grafo de entidades:
- Los riesgos se vinculan a sistemas de IA
- Los sistemas de IA llevan marcos
- Los marcos tienen controles
- Los controles tienen evaluaciones
En el software de gestión de riesgos de la IA, identificar un riesgo en un modelo y evaluar el control que lo gobierna ocurren en el mismo entorno, sobre los mismos datos. La función «Manage» del NIST AI RMF y la obligación de sistema de gestión de riesgos del Reglamento de IA (artículos 9 y 17 para los sistemas de alto riesgo) comparten los mismos registros. Sin exportaciones, sin cruces de referencias, sin conciliaciones entre herramientas.
Los riesgos de la IA no son riesgos de TI
La mayoría de las herramientas de riesgo empresarial dan por hecho que el riesgo vive en un activo, una aplicación o un proceso. Los riesgos de la IA viven en los componentes que producen el comportamiento de la IA: el modelo, los datos con los que se entrenó, el prompt que lo guió, la interfaz que moldeó su uso. Además, tienen un vocabulario propio. Un software de gestión de riesgos de la IA basado en un modelo de activos genérico pasa por alto esa diferencia.
Sesgo y equidad
Alucinación
Inyección de prompts
Deriva del modelo
Calidad de los datos
Fuga de propiedad intelectual
Uso indebido y doble uso
Incumplimiento regulatorio
AI Sigil frente a otros software de gestión de riesgos de la IA
Dónde destaca cada categoría, dónde se queda corta y cómo se compara AI Sigil en cobertura de riesgos propios de la IA.
ENFOQUE
PUNTO FUERTE
LIMITACIÓN
Hoja de cálculo
Barata, flexible
Sin rastro de auditoría, sin grafo de entidades, sin flujo de reevaluación del riesgo residual
Suites de gestión de riesgos empresariales
Flujos de trabajo maduros, informes para el consejo, integración con la TI corporativa
Modelo de activos genérico, sin vocabulario propio de la IA ni ajuste por clase de riesgo
AI Sigil
El software de gestión de riesgos de la IA de AI Sigil ancla los riesgos propios de la IA a los componentes, puntúa el riesgo residual y se unifica con la capa de controles de cumplimiento
Biblioteca todavía en expansión
Qué pedirle a un software de gestión de riesgos de la IA
El software de gestión de riesgos de la IA que elija tiene que modelar los riesgos a nivel de componente, no solo a nivel de sistema de IA. Un riesgo que nace en un conjunto de datos de entrenamiento se comporta de forma distinta a uno que vive en el diseño de un prompt o en una interfaz de despliegue, y su software tiene que captar esa diferencia de forma nativa.
Tiene que puntuar el riesgo residual después de las mitigaciones, no solo el riesgo inicial. Un software de gestión de riesgos de la IA que solo guarda un campo de gravedad no puede representar el ciclo completo de la postura: identificado, tratado, reevaluado.
Y tiene que compartir el mismo grafo de entidades que sus controles de cumplimiento. Unos registros de riesgo guardados en una herramienta distinta de su biblioteca de controles acabarán divergiendo, y pasará más tiempo conciliando exportaciones que gestionando el programa.