Frameworks de Segurança em IA – Garantindo Confiança no Aprendizado de Máquina
À medida que a inteligência artificial transforma indústrias e aprimora as capacidades humanas, a necessidade de frameworks de segurança em IA tornou-se fundamental.
Desenvolvimentos recentes em padrões de segurança em IA visam mitigar os riscos associados aos sistemas de aprendizado de máquina, enquanto promovem a inovação e constroem a confiança pública.
Organizações em todo o mundo estão navegando em um complexo ecossistema de frameworks projetados para garantir que os sistemas de IA sejam seguros, éticos e confiáveis.
O Crescimento do Ecossistema de Padrões de Segurança em IA
O Instituto Nacional de Padrões e Tecnologia (NIST) estabeleceu-se como um líder nesse espaço com seu Framework de Gestão de Riscos de IA (AI RMF), lançado em janeiro de 2023.
O framework oferece às organizações uma abordagem sistemática para identificar, avaliar e mitigar riscos ao longo do ciclo de vida de um sistema de IA.
“Em sua essência, o NIST AI RMF é construído sobre quatro funções: Governar, Mapear, Medir e Gerenciar. Estas funções não são etapas discretas, mas sim processos interconectados projetados para serem implementados iterativamente ao longo do ciclo de vida de um sistema de IA”, explica a Palo Alto Networks em sua análise do framework.
Simultaneamente, a Organização Internacional de Normalização (ISO) desenvolveu a ISO/IEC 42001:2023, estabelecendo um framework abrangente para gerenciar sistemas de inteligência artificial dentro das organizações.
O padrão enfatiza “a importância do desenvolvimento e implantação de IA ética, segura e transparente” e fornece orientações detalhadas sobre gestão de IA, avaliação de riscos e a abordagem de preocupações com a proteção de dados.
Paisagem Regulatória e Requisitos de Conformidade
A União Europeia deu um passo significativo com sua Lei de Inteligência Artificial, que entrou em vigor em 2 de agosto de 2024, embora a maioria das obrigações não se aplique até agosto de 2026.
A Lei estabelece requisitos de segurança cibernética para sistemas de IA de alto risco, com penalidades financeiras substanciais por não conformidade.
“A obrigação de cumprir esses requisitos recai sobre as empresas que desenvolvem sistemas de IA e aquelas que os comercializam ou implementam”, observa a Tarlogic Security em sua análise da Lei.
Para as organizações que buscam demonstrar conformidade com essas regulamentações emergentes, a Microsoft Purview agora oferece modelos de avaliação de conformidade de IA cobrindo a Lei de IA da UE, o NIST AI RMF e a ISO/IEC 42001, ajudando as organizações a “avaliar e fortalecer a conformidade com regulamentos e padrões de IA”.
Iniciativas Lideradas pela Indústria para Proteger Sistemas de IA
Além de órgãos governamentais e regulatórios, organizações da indústria estão desenvolvendo frameworks especializados.
A Cloud Security Alliance (CSA) lançará seu Matriz de Controles de IA (AICM) em junho de 2025. Essa matriz é projetada para ajudar as organizações a “desenvolver, implementar e usar tecnologias de IA de maneira segura”.
A primeira revisão conterá 242 controles em 18 domínios de segurança, abrangendo tudo, desde a segurança de modelos até a governança e conformidade.
O Open Web Application Security Project (OWASP) criou o Top 10 para Aplicações LLM, abordando vulnerabilidades críticas em grandes modelos de linguagem.
Essa lista, desenvolvida por quase 500 especialistas de empresas de IA, empresas de segurança, provedores de nuvem e academia, identifica riscos de segurança, incluindo injeção de prompt, manipulação insegura de saída, envenenamento de dados de treinamento e negação de serviço do modelo.
A implementação desses frameworks exige que as organizações estabeleçam estruturas de governança robustas e controles de segurança.
A IBM recomenda uma abordagem abrangente para a governança de IA, incluindo “mecanismos de supervisão que abordem riscos como preconceito, infringimento de privacidade e uso indevido, enquanto promovem a inovação e constroem confiança”.
Para implementação prática de segurança, a Adversarial Robustness Toolbox (ART) fornece ferramentas que “permitem que desenvolvedores e pesquisadores avaliem, defendam e verifiquem modelos e aplicações de aprendizado de máquina contra ameaças adversariais”.
O kit de ferramentas suporta todos os principais frameworks de aprendizado de máquina e oferece 39 módulos de ataque e 29 módulos de defesa.
Olhando para o Futuro: Padrões em Evolução para Tecnologia em Evolução
À medida que as tecnologias de IA continuam a avançar, os frameworks de segurança devem evoluir de acordo.
A CSA reconhece esse desafio, observando que “manter o ritmo com as mudanças frequentes na indústria de IA não é uma tarefa fácil” e que sua Matriz de Controles de IA “definitivamente precisará passar por revisões periódicas para se manter atualizada”.
A Agência de Segurança Cibernética e Infraestrutura (CISA) lançou recentemente diretrizes alinhadas com o NIST AI RMF para combater ameaças cibernéticas impulsionadas por IA.
Essas diretrizes seguem uma filosofia de “segurança por design” e enfatizam a necessidade de as organizações “criarem um plano detalhado para a gestão de riscos de segurança cibernética, estabelecer transparência no uso de sistemas de IA e integrar ameaças, incidentes e falhas de IA em mecanismos de compartilhamento de informações”.
À medida que as organizações navegam por esse complexo cenário, uma coisa é clara: a segurança adequada em IA requer uma abordagem multidisciplinar envolvendo partes interessadas de tecnologia, direito, ética e negócios.
À medida que os sistemas de IA se tornam mais sofisticados e integrados em aspectos críticos da sociedade, esses frameworks desempenharão um papel crucial na formação do futuro do aprendizado de máquina, garantindo que permaneça tanto inovador quanto confiável.
