O Quadro de Segurança da Pillar Security Adiciona ao Crescente Momento de Segurança em IA da Indústria
Em um passo significativo para o fortalecimento da segurança em inteligência artificial (IA), a startup Pillar Security desenvolveu um quadro de segurança em IA que integra a experiência de especialistas em cibersegurança de mais de duas dezenas de empresas. Este quadro, denominado Secure AI Lifecycle Framework (SAIL), representa um avanço sólido nos esforços da indústria para fornecer estratégia, governança e ferramentas que garantam operações seguras para sistemas de IA e agentes.
A iniciativa conta com a participação de gigantes como AT&T, Corning, Philip Morris, Microsoft, Google Cloud, SAP e ServiceNow, formando um conjunto notável de colaboradores.
Desenvolvimentos Críticos em Segurança de IA
O SAIL surge em um contexto de crescente necessidade de segurança em IA, especialmente à medida que a utilização da tecnologia avança. Entre as iniciativas precedentes que foram analisadas estão:
- Red Teaming emerge como uma solução para combater uma gama de categorias de ameaças de IA.
- A Microsoft oferece uma visão detalhada do sistema de controle do Copilot para segurança e governança.
- Principais conclusões sobre dados e governança da estratégia de IA do Corpo de Fuzileiros Navais dos EUA.
Objetivos do SAIL
Os objetivos do SAIL são claros e abrangentes:
- Abordar o cenário de ameaças fornecendo uma biblioteca detalhada de riscos específicos de IA mapeados.
- Definir capacidades e controles necessários para um robusto programa de segurança em IA.
- Facilitar e acelerar a adoção segura de IA, enquanto atende aos requisitos de conformidade de usuários de IA e suas indústrias específicas.
Princípios Fundamentais do SAIL
O quadro SAIL, conforme descrito em um whitepaper detalhado, “harmoniza” e se baseia em padrões existentes, como:
- Governança de gerenciamento de riscos do NIST AI Risk Management Framework.
- Estruturas de sistemas de gerenciamento do ISO 42001.
- Identificação de vulnerabilidades do Top 10 da OWASP para LLMs.
- Identificação de riscos fornecida por estruturas como o Databricks AI Security Framework.
O SAIL serve como a metodologia abrangente que conecta equipes de desenvolvimento de IA, MLOps, LLMOps, segurança e governança, garantindo que a segurança se torne uma parte integral da jornada da IA — da criação de políticas ao monitoramento em tempo real — ao invés de ser um pensamento secundário.
Fases Fundamentais do SAIL
As sete fases fundamentais do SAIL são:
1. Planejar: Política de IA e Experimentação Segura
Esta fase cobre a necessidade de alinhar a IA com metas de negócios, requisitos regulatórios e padrões éticos, utilizando modelagem de ameaças para identificar riscos precocemente.
2. Código/Não Código: Descoberta de Ativos de IA
Focada na descoberta e documentação de todos os ativos de IA, esta fase propõe o uso de ferramentas de descoberta automatizadas para promover a governança centralizada da IA.
3. Construir: Gestão da Postura de Segurança em IA
Prioriza a proteção com base em riscos identificados, prevenindo abordagens de segurança reativas e identificando pontos de estrangulamento e conexões expostas.
4. Testar: Red Teaming em IA
Utiliza abordagens adversariais para testar sistemas, validando defesas e identificando vulnerabilidades antes que ameaças reais possam explorá-las.
5. Implantar: Guardrails em Tempo Real
Introduz salvaguardas que operam em tempo real para detectar anomalias e riscos emergentes, promovendo validação rigorosa de entradas.
6. Operar: Ambientes de Execução Segura
Foca na criação de ambientes isolados para ações de alto risco, limitando o impacto de falhas, especialmente em sistemas autônomos.
7. Monitorar: Rastreio de Atividades de IA
Permite a identificação de desvios e a resposta a incidentes, assegurando a conformidade regulatória e a accountability.
O SAIL representa um avanço significativo na segurança de IA, proporcionando um framework abrangente que visa não apenas a proteção, mas também a promoção da inovação de maneira segura e responsável.
