Superando a fadiga da IA
A IA está presente em todos os lugares dentro das empresas. Muitos profissionais de segurança se sentem presos entre a vontade de avançar e a incerteza sobre como começar. O medo de errar tanto na utilização da IA quanto na segurança da IA na organização frequentemente impede o progresso antes mesmo de começar. Entretanto, ao contrário de outras grandes ondas tecnológicas, como nuvem, mobile e DevOps, temos a chance de estabelecer limites em torno da IA antes que ela se torne totalmente entranhada em todos os aspectos do negócio. Esta é uma oportunidade rara, que não devemos desperdiçar.
Da fadiga da IA a uma necessária clareza
Uma grande parte da confusão vem da própria palavra “IA”. Usamos o mesmo termo para falar sobre um chatbot redigindo cópias de marketing e agentes autônomos que geram e implementam planos de resposta a incidentes. Tecnicamente, ambos são IA, mas os riscos não são os mesmos. A forma mais fácil de cortar o hype da IA é categorizar a IA com base em quão independente é o sistema e quão dano ele pode causar se algo der errado.
Em uma extremidade, temos a IA generativa, que não age por conta própria. Ela responde a comandos, cria conteúdo e ajuda com pesquisas ou redações. A maior parte do risco aqui vem do uso inadequado por parte das pessoas — compartilhando dados sensíveis, colando códigos proprietários, vazando propriedade intelectual, entre outros. A boa notícia é que esses problemas são gerenciáveis. Políticas claras de uso aceitável, treinamento sobre o que não deve ser inserido nas ferramentas de IA generativa e a implementação de controles técnicos aplicáveis resolverão uma grande parte das considerações de segurança relacionadas à IA generativa.
O risco aumenta quando as empresas permitem que a IA generativa influencie decisões. Se os dados subjacentes estiverem errados, contaminados ou incompletos, as recomendações baseadas nesses dados também estarão erradas. É aqui que os profissionais de segurança precisam prestar atenção à integridade dos dados, não apenas à proteção dos dados.
Na outra extremidade do espectro, temos a IA agente. Neste caso, as apostas são mais altas. Sistemas agentes não apenas respondem a perguntas — eles tomam ações e, às vezes, fazem escolhas. Alguns podem acionar fluxos de trabalho ou interagir com sistemas internos com muito pouca intervenção humana. Quanto mais independente o sistema, maior o impacto potencial. E, ao contrário da IA generativa, não se pode contar com “melhores comandos” para corrigir o problema.
Por que os profissionais de segurança têm uma oportunidade aqui
Se você já trabalhou com segurança por um tempo, provavelmente já passou por pelo menos uma onda tecnológica onde o negócio avançou e a segurança teve que correr atrás. A adoção da nuvem é um exemplo recente. Uma vez que esse trem deixou a estação, não havia como voltar e certamente não havia como desacelerar.
A IA é diferente. A maioria das empresas — mesmo as mais inovadoras — ainda está tentando descobrir o que querem da IA e como implementá-la da melhor forma. Fora do setor tecnológico, muitos executivos estão experimentando sem nenhuma estratégia real. Isso cria uma janela para que os profissionais de segurança estabeleçam expectativas desde o início.
Este é o momento de definir as “regras inquebráveis”, moldar quais equipes revisarão os pedidos de IA e estruturar como as decisões serão tomadas. Os líderes de segurança hoje têm mais influência do que tinham em mudanças tecnológicas anteriores, e a governança da IA rapidamente se tornou uma das responsabilidades mais estratégicas em seus papéis.
Integridade dos dados: fundamental para o risco da IA
Quando as pessoas falam sobre o triângulo CIA, a “integridade” geralmente recebe menos atenção. Na maioria das organizações, as aplicações lidam com a integridade silenciosamente em segundo plano. Mas a IA muda como pensamos sobre isso.
Se os dados que alimentam seus sistemas de IA estiverem comprometidos, incompletos, incorretos ou manipulados, as decisões baseadas nesses dados podem afetar processos financeiros, cadeias de suprimento, interações com clientes ou até mesmo a segurança física. O trabalho do profissional de segurança agora inclui garantir que os sistemas de IA dependam de dados confiáveis, e não apenas de dados protegidos. Esses dois aspectos não são mais a mesma coisa.
Uma abordagem simples e em camadas para a governança da IA
Para fazer sentido de todos os diferentes casos de uso da IA, recomenda-se uma abordagem em camadas. Essa abordagem espelha como muitas empresas já lidam com o risco de terceiros: quanto maior o risco, mais escrutínio e controles você aplica.
Passo 1: Categorizar o uso da IA
Um programa prático de governança da IA começa categorizando cada caso de uso de acordo com duas métricas principais: o nível de autonomia do sistema e seu impacto potencial nos negócios. A autonomia varia de IA generativa reativa a sistemas agentes humanos e, por fim, a agentes de IA totalmente independentes.
Cada caso de uso de IA deve ser avaliado quanto ao seu impacto nos negócios, categorizando o impacto como baixo, médio ou alto. Sistemas de baixa autonomia e baixo impacto podem exigir apenas supervisão leve, enquanto casos de uso de alta autonomia e alto impacto demandam governança formal, revisão arquitetônica rigorosa, monitoramento contínuo — e em alguns casos, supervisão humana explícita ou a adição de um interruptor de desligamento.
Passo 2: Definir controles básicos para toda a IA
Uma vez que a categorização de risco esteja em vigor, os profissionais de segurança devem garantir que controles fundamentais sejam aplicados de forma consistente em todas as implementações de IA. Independentemente da sofisticação da tecnologia, cada organização precisa de políticas de uso aceitável claras e aplicáveis, treinamento de conscientização sobre segurança que aborde riscos específicos da IA e controles técnicos que evitem vazamentos de dados e comportamentos indesejáveis. O monitoramento básico de atividades anômalas da IA também garante que até mesmo casos de uso de IA generativa de baixo risco operem dentro de limites seguros e previsíveis.
Passo 3: Determinar onde ocorrerá a revisão da IA
Com essas bases estabelecidas, as organizações devem determinar onde a governança da IA realmente ocorrerá. O fórum certo depende da maturidade organizacional e das estruturas existentes. Algumas empresas podem integrar as revisões de IA em um conselho de revisão de arquitetura estabelecido ou em um comitê de privacidade ou segurança; outras podem precisar de um corpo de governança de IA dedicado e multifuncional. Independentemente da estrutura escolhida, a supervisão eficaz da IA requer a contribuição de segurança, privacidade, dados, jurídico, produto e operações. A governança não pode ser responsabilidade de um único departamento — o impacto da IA abrange toda a empresa, e assim deve ser sua supervisão.
Passo 4: Estabelecer regras inquebráveis e controles críticos
Finalmente, antes que qualquer caso de uso de IA seja aprovado, a organização deve articular suas regras não negociáveis e controles críticos. Esses são os limites que os sistemas de IA nunca devem ultrapassar, como a exclusão autônoma de dados ou a exposição de informações sensíveis. Alguns sistemas podem exigir supervisão humana explícita, e qualquer IA agente que possa contornar mecanismos de supervisão humana deve incluir um interruptor de desligamento confiável.
Princípios de acesso de menor privilégio e zero confiança também devem ser aplicados dentro dos sistemas de IA, impedindo-os de herdar mais autoridade ou visibilidade do que o pretendido. Essas regras devem ser dinâmicas, evoluindo à medida que as capacidades da IA e as necessidades empresariais mudam.
A IA não é mais opcional, mas uma boa governança também não pode ser opcional
Os profissionais de segurança não precisam se tornar especialistas em aprendizado de máquina ou desacelerar os negócios. O que eles realmente precisam é de uma maneira clara e viável de julgar os riscos da IA e manter a segurança à medida que a adoção cresce. Dividir a IA em categorias compreensíveis, emparelhando isso com um modelo de risco simples e envolvendo as pessoas certas desde o início ajudará a reduzir a sobrecarga.
A IA irá remodelar todos os cantos da empresa. A questão é: quem moldará a IA? Pela primeira vez em muito tempo, os profissionais de segurança têm a chance de estabelecer as regras, e não apenas correr para aplicá-las.
