Além das Alucinações: Como Mitigar os Principais Riscos da IA Generativa
A IA generativa (Gen AI) está revolucionando o cenário empresarial, construindo-se sobre anos de progresso na adoção de dados e IA. Seu potencial para impulsionar vantagens competitivas e alimentar o crescimento é inegável. No entanto, capitalizar seus benefícios exige que as organizações compreendam totalmente e mitiguem seus riscos únicos, especialmente na gestão de dados e na avaliação da prontidão organizacional.
Utilizá-la de forma segura requer que as empresas compreendam não apenas os riscos e a qualidade dos dados organizacionais específicos para a implementação da Gen AI — que líderes em pesquisas destacaram como o maior desafio —, mas também como gerenciar esses dados. Para implantar a Gen AI de forma segura e eficaz, as empresas devem abordar riscos em quatro áreas principais.
1. O Elemento Humano
Diferentemente da IA tradicional, onde o desenvolvimento e a implantação eram limitados principalmente a equipes especializadas, a Gen AI alcança diversas funções e unidades de negócios. Este uso disseminado aumenta o risco de os funcionários interpretem mal ou confien excessivamente nos resultados da Gen AI. Sem a compreensão adequada, as equipes podem confiar nos resultados como infalíveis, especialmente em contextos críticos para a decisão. Isso pode resultar em danos financeiros ou reputacionais à organização.
2. Segurança e Qualidade dos Dados
Gerenciar a segurança e a qualidade dos dados é um desafio crítico ao usar a Gen AI. Embora seja relativamente simples para as organizações desenvolverem políticas que impeçam o uso de informações confidenciais ou pessoalmente identificáveis (PII) por um modelo de Gen AI, a aplicação técnica dessas regras é muito mais complexa. A principal razão é a proliferação de soluções de consumo com capacidades multimodais, aumentando o risco de os funcionários exporem inadvertidamente dados confidenciais a provedores de terceiros.
Além disso, a adoção popular de arquiteturas de Geração Aumentada por Recuperação (RAG) pode criar vulnerabilidades se as fontes de dados não forem adequadamente protegidas. A má gestão desses aspectos não só abre portas para violações regulatórias, mas também arrisca a exposição não intencional de dados, tanto interna quanto externamente.
3. Expansão do Portfólio Tecnológico
Para utilizar a Gen AI, muitas organizações devem expandir sua pilha tecnológica, seja localmente ou na nuvem. Essa escalabilidade rápida introduz riscos operacionais, incluindo lacunas de integração entre novas ferramentas e sistemas existentes, além de uma complexidade crescente da infraestrutura tecnológica. Além dos riscos de divulgação de dados, é importante prestar atenção especial aos riscos associados à integração de ferramentas de terceiros e garantir a segurança das APIs.
4. A Natureza da Tecnologia
Os modelos de Gen AI — todos operando probabilisticamente em vez de deterministicamente — introduzem outra camada de complexidade. Esses modelos são pré-treinados para um propósito específico, e determinar se um modelo é adequado para o propósito exige uma análise cuidadosa.
Um processo rigoroso de benchmarking é essencial. As empresas devem avaliar a aplicação pretendida de cada modelo, suas limitações e salvaguardas para garantir a compatibilidade com seus requisitos operacionais e padrões éticos. Esse processo não só mitiga riscos, mas também assegura que a tecnologia seja usada de maneira responsável e eficaz.
Equilibrando Inovação e Risco
Apesar desses riscos, evitar a Gen AI não é a solução. A tecnologia oferece oportunidades incomparáveis para aumentar a eficiência e a inovação, mas seus desenvolvimentos rápidos também trazem ameaças em evolução. Como as organizações novas na Gen AI podem abordar sua implantação de maneira sábia?
1. Adaptar Estruturas de Risco Existentes
A maioria das organizações já possui processos em vigor para gerenciar riscos tecnológicos. O desafio reside em adaptar essas estruturas para acomodar a Gen AI. Para uma implantação em pequena escala, uma modesta expansão de sua abordagem de gerenciamento de riscos tecnológicos pode ser suficiente. No entanto, a adoção mais ampla da Gen AI pode exigir a criação de comitês de governança específicos para IA para abordar estratégias e riscos específicos ao uso da IA na organização.
2. Estabelecer Diretrizes Éticas
Diretrizes éticas claras devem governar o uso da Gen AI, incluindo casos de uso proibidos fora do apetite da organização e categorias de risco pré-definidas. Essa orientação fornece clareza para as funções empresariais que buscam inovação e ajuda as funções de risco e auditoria a estabelecer expectativas de controle. A transparência e a confiança são fundamentais à medida que o papel da IA se prolifera. Isso envolve a compreensão das obrigações regulatórias e de conformidade, a elevação dos processos de governança, a união de partes interessadas interfuncionais e a atribuição de responsabilidades pela mitigação de riscos.
3. Governança Fásica Usando uma Abordagem Baseada em Risco
As organizações podem introduzir a Gen AI de forma incremental, aplicando governança proporcional ao nível de risco em linha com a fase da ideia de inovação. Para protótipos em cenários de baixo risco (por exemplo, investimento financeiro mínimo ou sensibilidade de dados), a supervisão pode ser mais leve. À medida que os protótipos se aproximam da implantação, avaliações mais abrangentes, incluindo avaliações de cibersegurança e análises de riscos, devem ser realizadas para reforçar as defesas.
Gen AI: E Agora?
Implantar a Gen AI não deve ser radicalmente diferente de implementar ferramentas de software padrão. Assim como outras tecnologias, ela carrega riscos que as empresas devem avaliar e mitigar cuidadosamente. O próximo documento ISO/IEC 42005 para avaliação de impacto de sistemas de IA oferece orientações úteis sobre como avaliar o impacto potencial da IA na organização e em suas partes interessadas.
Além disso, as organizações devem decidir o grau de supervisão humana necessário em casos de uso da Gen AI. O Modelo de Governança da IA de Cingapura fornece uma estrutura útil, categorizando a supervisão em três níveis: humano dentro do loop, humano fora do loop e humano sobre o loop. Determinar qual usar é uma questão de equilíbrio — resultados com um impacto significativo podem exigir uma supervisão humana mais envolvida, mesmo que a tomada de decisão rápida não seja possível. Qual opção escolher deve ser uma decisão de equipes interfuncionais que avaliam riscos e recomendam controles.
Olhando para o futuro, a emergência da IA Agente tem o potencial de transformar ainda mais as operações. A IA Agente, quando incorporada nos negócios, tem a capacidade de amadurecer além da geração de conteúdo para incluir raciocínio e tomada de decisão. Isso exige uma governança elevada para gerenciar sua influência nos processos de negócios, incluindo garantir resiliência em ambientes multiagentes e capacitar as organizações a investigar e responder a incidentes de forma eficaz.
Assim como a Gen AI de hoje, a chave para o sucesso reside em uma abordagem consistente e baseada em riscos para a implantação, combinada com uma robusta cibersegurança. Ao equilibrar inovação com cautela, as organizações podem aproveitar o potencial da Gen AI enquanto minimizam a exposição a seus riscos.
