Requisitos de Cibersegurança para Sistemas de IA
O Ato de Inteligência Artificial (AI Act) representa o primeiro marco legal abrangente para a regulação da IA no mundo, tendo entrado em vigor em 1º de agosto de 2024. O objetivo do AI Act é garantir que os sistemas de IA sejam confiáveis, seguros e respeitem os direitos e valores fundamentais. Como parte desse objetivo, o AI Act impõe requisitos específicos para sistemas de IA de alto risco, que são aqueles que representam riscos significativos à saúde, segurança ou direitos fundamentais em determinados setores ou casos de uso.
Um desses requisitos é alcançar um nível apropriado de cibersegurança, o que significa que os sistemas de IA de alto risco devem ser resilientes contra ataques maliciosos que possam alterar seu uso, resultados ou desempenho.
Requisitos de Cibersegurança para Sistemas de IA de Alto Risco
De acordo com o Artigo 15 do AI Act, os sistemas de IA de alto risco devem ser projetados e desenvolvidos de forma a alcançar um nível apropriado de precisão, robustez e cibersegurança, assegurando que desempenhem consistentemente nessas dimensões ao longo de seu ciclo de vida. Isso implica que esses sistemas devem ser o mais resilientes possível em relação a erros, falhas ou inconsistências que possam ocorrer dentro do sistema ou no ambiente em que ele opera.
Além disso, devem estar protegidos contra tentativas de terceiros não autorizados que tentem explorar vulnerabilidades do sistema. O AI Act oferece diretrizes sobre os aspectos técnicos de como medir e garantir os níveis adequados de precisão e robustez, incentivando o desenvolvimento de benchmarks e metodologias de medição em colaboração com partes interessadas.
As medidas técnicas que visam garantir a cibersegurança dos sistemas de IA de alto risco devem ser apropriadas às circunstâncias e riscos relevantes. Entre as soluções técnicas a serem utilizadas estão as soluções de redundância técnica, que podem incluir planos de backup ou fail-safe, e medidas para prevenir, detectar, responder, resolver e controlar ataques, incluindo aqueles realizados por meio de:
- envenenamento de dados, onde o ator da ameaça manipula os dados de treinamento;
- envenenamento de modelos, onde o ator manipula componentes pré-treinados usados no treinamento;
- evasão de modelos, onde o ator manipula dados de entrada para enganar o modelo a fazer algo não intencionado.
Avaliações de Risco para Sistemas de IA de Alto Risco
O AI Act exige que os provedores de sistemas de IA de alto risco realizem uma avaliação de risco antes de colocar o sistema no mercado ou colocá-lo em serviço, documentando os resultados da avaliação na documentação técnica. A avaliação de risco deve identificar e analisar os riscos potenciais que o sistema de IA pode representar para a saúde, segurança e direitos fundamentais, além das medidas tomadas para prevenir ou mitigar esses riscos.
É importante que a avaliação de risco considere também os riscos de cibersegurança associados ao sistema de IA, bem como as medidas adotadas para garantir sua resiliência contra ataques maliciosos. Essa avaliação deve ser atualizada regularmente ao longo do ciclo de vida do sistema de IA, e a documentação técnica deve estar disponível para as autoridades competentes mediante solicitação.
A Lei de Ciberresiliência (CRA)
A cibersegurança dos sistemas de IA também é afetada pela Lei de Ciberresiliência (CRA). A CRA impõe uma série de requisitos de cibersegurança aos “produtos com elementos digitais” (ou seja, produtos conectados, incluindo roteadores Wi-Fi e dispositivos IoT, bem como certas formas de software). Esses requisitos incluem a proteção contra acesso não autorizado por meio de ferramentas como gestão de identidade e autenticação, além de minimizar a coleta de dados para processar apenas o que é adequado e relevante para o uso pretendido do dispositivo ou sistema.
A CRA também contém disposições específicas relacionadas a dispositivos de alto risco, conforme definido pelo AI Act: dispositivos conectados que contêm modelos de IA que estão em conformidade com a CRA e atendem aos requisitos de segurança por design da CRA serão considerados em conformidade com os requisitos de cibersegurança do AI Act.
Por que a cibersegurança deve ser considerada em todos os sistemas de IA
Embora o AI Act estabeleça requisitos específicos de cibersegurança para sistemas de IA de alto risco na União Europeia, ele fornece também orientações influentes sobre o padrão de cibersegurança razoável em soluções de IA mais arriscadas em outros lugares. Todos os sistemas de IA que processam dados, interagem com usuários ou influenciam ambientes físicos ou virtuais estão potencialmente expostos a ameaças de cibersegurança e devem ser projetados e desenvolvidos com segurança em mente.
A cibersegurança não é apenas uma questão de conformidade, mas também de confiança, reputação e competitividade. Os ataques cibernéticos contra sistemas de IA podem ter consequências graves, como comprometer a confidencialidade, integridade ou disponibilidade de dados, causar danos a usuários ou terceiros, minar o desempenho ou a confiabilidade do sistema de IA, ou violar direitos fundamentais ou princípios éticos.
Melhores Práticas para Provedores de Sistemas de IA
Os provedores de sistemas de IA devem adotar uma abordagem de segurança por design e segurança por padrão, o que significa que a segurança deve ser integrada ao processo de design e desenvolvimento do sistema de IA, e que as configurações padrão devem garantir o mais alto nível de segurança possível. Além disso, devem ser realizadas avaliações de risco regulares, implementar medidas técnicas e organizacionais apropriadas, e seguir as melhores práticas e padrões para garantir a cibersegurança de seus sistemas de IA.
Os provedores também devem cumprir as leis e regulamentos existentes relacionados à cibersegurança, como o Regulamento Geral sobre a Proteção de Dados (GDPR), que protege dados pessoais contra processamento não autorizado ou ilegal, e a Lei de Resiliência Operacional Digital (DORA), que se aplica ao setor financeiro e estabelece requisitos para gestão de riscos de TIC, segurança, resiliência operacional e gestão de riscos de terceiros.
Conclusão
A cibersegurança é um requisito fundamental para sistemas de IA de alto risco sob o AI Act, mas também é uma consideração relevante e importante para todos os sistemas de IA que processam dados, interagem com usuários ou influenciam ambientes físicos ou virtuais. Provedores de sistemas de IA devem adotar uma abordagem de segurança por design e segurança por padrão, realizar avaliações de risco regulares, implementar medidas apropriadas e seguir as melhores práticas para garantir a cibersegurança de seus sistemas.
