El Marco de Seguridad de Pillar Aporta al Creciente Impulso de Seguridad en IA de la Industria
En un esfuerzo por proporcionar estrategias, gobernanza y herramientas que aseguren operaciones seguras para la IA y los agentes, la startup Pillar Security ha codificado un marco de seguridad en IA que representa un avance significativo en la industria. Este marco, conocido como Secure AI Lifecycle Framework (SAIL), fue desarrollado con la experiencia de expertos en ciberseguridad de más de dos docenas de empresas.
Entre los participantes se encuentran grandes nombres de la industria como AT&T, Corning, Philip Morris, Microsoft, Google Cloud, SAP y ServiceNow.
El marco SAIL llega tras otros desarrollos críticos en seguridad de IA que buscan hacer que los datos y las aplicaciones sean seguros a medida que aumenta el uso de la tecnología subyacente. Estas iniciativas incluyen:
- Red Teaming para combatir una variedad de categorías de amenazas de IA.
- Una visión en profundidad del sistema de control de Copilot de Microsoft para seguridad y gobernanza.
- Principales conclusiones sobre datos y gobernanza de la estrategia de IA del Cuerpo de Marines.
Objetivos del Marco SAIL
El marco SAIL tiene como objetivos principales:
- Abordar el paisaje de amenazas proporcionando una biblioteca detallada de riesgos específicos de IA.
- Definir capacidades y controles necesarios para un programa de seguridad robusto en IA.
- Facilitar y acelerar la adopción segura de IA mientras se cumplen los requisitos de cumplimiento de los usuarios de IA y sus industrias específicas.
Principios Fundamentales de SAIL
El marco SAIL, que se describe en un documento técnico detallado, se «armoniza» con y se basa en estándares existentes, específicamente:
- La gobernanza de gestión de riesgos del NIST AI Risk Management Framework.
- Las estructuras de sistemas de gestión de ISO 42001.
- La identificación de vulnerabilidades en el Top 10 de OWASP para LLMs.
- La identificación de riesgos proporcionada por marcos como el Databricks AI Security Framework.
El marco SAIL sirve como la metodología general que cierra las brechas de comunicación entre el desarrollo de IA, MLOps, LLMOps, seguridad y equipos de gobernanza. Este enfoque colaborativo y basado en procesos asegura que la seguridad se convierta en una parte integral del viaje de IA — desde la creación de políticas hasta el monitoreo en tiempo de ejecución — en lugar de ser una reflexión tardía.
Las Siete Fases Fundamentales de SAIL
El documento detalla riesgos dentro de cada una de las siete categorías:
1. Plan: Política de IA y Experimentación Segura
Esta fase cubre la necesidad de alinear la IA con los objetivos comerciales, requisitos regulatorios y estándares éticos. Se basa en la modelación de amenazas para identificar riesgos de IA desde el principio.
Ejemplos de riesgos: política de IA inadecuada, desalineación de gobernanza, mapeo de cumplimiento inadecuado.
2. Código/Sin Código: Descubrimiento de Activos de IA
Para abordar la expansión de activos y problemas relacionados como el Shadow AI, esta fase se centra en descubrir y documentar cada modelo, conjunto de datos y herramienta de IA.
Ejemplos de riesgos: inventario de activos incompleto, despliegue de Shadow AI, integraciones de terceros no identificadas.
3. Construir: Gestión de la Postura de Seguridad de IA
Esta fase se centra en modelar la postura de seguridad del sistema y priorizar protecciones basadas en riesgos.
Ejemplos de riesgos: problemas de integridad y envenenamiento de datos, inserción o manipulación de puertas traseras en modelos, bibliotecas y marcos de IA vulnerables.
4. Probar: Red Teaming de IA
Las pruebas de red teaming desafían suposiciones, validan defensas e identifican vulnerabilidades antes de que las amenazas reales las exploten.
Ejemplos de riesgos: modelos no probados, cobertura incompleta de red teaming, falta de un proceso de evaluación de riesgos.
5. Desplegar: Guardrails en Tiempo Real
Esta fase introduce salvaguardias que operan en tiempo real, incluyendo filtrado de entradas y sanitización de salidas.
Ejemplos de riesgos: configuración insegura de endpoints API, actualización o manipulación no autorizada de prompts del sistema.
6. Operar: Entornos de Ejecución Segura
Se centra en crear entornos aislados para acciones de alto riesgo, limitando el impacto si algo sale mal.
Ejemplos de riesgos: abuso de ejecución de código autónomo, invocación de API/herramientas sin restricciones.
7. Monitorear: Trazabilidad de Actividades de IA
Mediante el monitoreo continuo del comportamiento y rendimiento de la IA, los equipos pueden identificar desviaciones y responder a incidentes.
Ejemplos de riesgos: registro de interacciones de IA insuficiente, alertas de seguridad en tiempo real faltantes.
