Quais são os compromissos centrais da estrutura relativamente à transparência, documentação do modelo e direitos de autor para modelos de IA de uso geral?
Esta seção do Código de Prática de IA de Uso Geral aborda a transparência, a documentação do modelo e o cumprimento dos direitos de autor para modelos de IA de uso geral (GPAI). Define compromissos e medidas específicas que visam alinhar-se com o Capítulo V da Lei de IA.
Transparência e Documentação
Compromisso I.1: Documentação Os fornecedores comprometem-se a manter documentação atualizada do modelo, conforme estipulado no Artigo 53(1)(a) e (b) da Lei de IA. Isso inclui fornecer informações relevantes aos fornecedores downstream que integram o modelo GPAI em seus sistemas de IA e ao Gabinete de IA mediante solicitação.
Aspetos-chave deste compromisso:
- Um Formulário de Documentação do Modelo amigável simplifica o cumprimento e garante uma documentação fácil.
- O documento especifica claramente se cada item listado se destina a fornecedores downstream, ao Gabinete de IA ou às autoridades nacionais competentes.
- As informações destinadas ao Gabinete de IA ou às autoridades nacionais competentes são fornecidas apenas mediante solicitação, indicando a base legal e a finalidade.
- As informações para fornecedores downstream devem ser disponibilizadas proativamente.
- Os fornecedores são obrigados a garantir a qualidade, segurança e integridade das informações documentadas.
Exceção: Estas medidas não se aplicam a fornecedores de modelos de IA de código aberto que atendam às condições especificadas no Artigo 53(2) da Lei de IA, a menos que esses modelos sejam classificados como modelos GPAI com risco sistémico.
Cumprimento dos Direitos de Autor
Compromisso I.2: Política de Direitos de Autor Para cumprir a lei da União em matéria de direitos de autor e direitos conexos nos termos do Artigo 53(1)(c) da Lei de IA, os signatários comprometem-se a elaborar, manter atualizada e implementar uma política de direitos de autor.
Os elementos deste compromisso são:
- Desenvolver uma política para cumprir a lei da União em matéria de direitos de autor e direitos conexos.
- Identificar e cumprir as reservas de direitos expressas nos termos do Artigo 4(3) da Diretiva (UE) 2019/790.
- Adotar medidas para modelos GPAI colocados no mercado da UE, incluindo:
- Reproduzir e extrair apenas conteúdo protegido por direitos de autor legalmente acessível ao rastrear a web.
- Identificar e cumprir as reservas de direitos.
- Obter informações adequadas sobre conteúdo protegido que não seja rastreado na web pelo Signatário.
- Designar um ponto de contacto e permitir a apresentação de reclamações.
- Implementar medidas para mitigar o risco de produção de resultados que infrinjam os direitos de autor.
Este Código de Prática procura ajudar os fornecedores de IA a cumprir eficazmente as suas obrigações ao abrigo da Lei de IA, garantindo um elevado nível de transparência e respeitando as leis de direitos de autor na UE.
Quais são os princípios fundamentais que orientam o desenvolvimento do Código de Prática e como eles influenciam sua estrutura e conteúdo?
O Código de Prática de IA de Propósito Geral tem como objetivo orientar o desenvolvimento e a implantação de modelos de IA dentro da estrutura do AI Act da UE. Aqui está uma análise dos princípios centrais que moldam sua estrutura e conteúdo:
Alinhamento aos Valores da UE
O Código prioriza a adesão aos princípios e valores centrais da UE, garantindo o alinhamento com a Carta dos Direitos Fundamentais, o Tratado da União Europeia e o Tratado sobre o Funcionamento da União Europeia.
AI Act e Harmonização Internacional
O Código facilita a aplicação adequada do AI Act, ao mesmo tempo em que leva em consideração abordagens internacionais, incluindo padrões e métricas desenvolvidas por Institutos de Segurança de IA e organizações de definição de padrões, conforme o Artigo 56(1) do AI Act.
Proporcionalidade aos Riscos
O Código vincula o rigor dos compromissos e medidas ao nível de risco, exigindo ações mais rigorosas ao enfrentar níveis de risco mais elevados ou potencial para danos graves. As estratégias específicas incluem:
- Medidas Direcionadas: Concentrando-se em medidas específicas e acionáveis, em vez de proxies amplos e menos definidos.
- Diferenciação de Riscos: Adequação das estratégias de avaliação e mitigação de riscos a diferentes tipos de risco, cenários de implantação e métodos de distribuição. Por exemplo, a mitigação de riscos sistêmicos pode diferenciar entre riscos intencionais e não intencionais.
- Atualizações Dinâmicas: Referenciando fontes dinâmicas de informação que os provedores podem ser solicitados a monitorar em sua avaliação e mitigação de riscos, incluindo bancos de dados de incidentes, padrões de consenso, registros de riscos atualizados, estruturas de gerenciamento de riscos de última geração e orientação do Gabinete de IA.
Preparação para o Futuro
Reconhecendo o rápido ritmo do avanço tecnológico, o Código visa permanecer relevante por:
- Habilitar Atualizações Rápidas: Facilitar a adaptação e atualizações rápidas para refletir os desenvolvimentos tecnológicos e da indústria.
- Referenciar Informações Dinâmicas: Apontar para fontes de informação dinâmicas para avaliação e mitigação de riscos, como estruturas de gerenciamento de riscos de última geração.
- Abordar Modelos Emergentes: Considerar medidas adicionais para modelos de IA de propósito geral específicos, incluindo aqueles usados em sistemas de IA agentic.
Apoio às PMEs
O Código reconhece os desafios únicos enfrentados por pequenas e médias empresas (PMEs) e startups, e leva em consideração suas restrições. As medidas devem permitir métodos de conformidade simplificados para PMEs que não possuem os recursos de desenvolvedores de IA maiores.
Apoio ao Ecossistema
O Código promove a cooperação e o compartilhamento de conhecimento entre as partes interessadas por meio de:
- Compartilhamento de Recursos: Permitir o compartilhamento de infraestrutura de segurança de IA e melhores práticas entre os provedores de modelos.
- Engajamento das Partes Interessadas: Incentivar a participação da sociedade civil, academia, terceiros e organizações governamentais.
Inovação em Governança e Gerenciamento de Riscos
O Código incentiva a inovação, reconhecendo os avanços na governança de segurança de IA e na coleta de evidências. Abordagens alternativas à segurança de IA que demonstrem resultados iguais ou superiores com menos ônus devem ser reconhecidas e apoiadas.
Como devem os fornecedores de modelos de IA de propósito geral com risco sistémico definir e implementar um Quadro de Segurança e Proteção?
Para os fornecedores de modelos de IA de propósito geral com risco sistémico (GPAISRs), estabelecer um Quadro de Segurança e Proteção robusto é fundamental para o cumprimento de regulamentos como a Lei da IA. Este quadro não é apenas um conjunto de diretrizes, é um sistema dinâmico construído para avaliar, mitigar e governar os riscos associados a modelos de IA potencialmente perigosos.
Componentes Essenciais do Quadro
O quadro deve detalhar a avaliação, mitigação e medidas de governação do risco sistémico destinadas a manter os riscos sistémicos decorrentes dos GPAISRs dentro de níveis aceitáveis. O quadro precisa incluir estes componentes:
- Critérios de Aceitação de Risco Sistémico: Benchmarks predefinidos para determinar se os riscos sistémicos são aceitáveis. Estes critérios devem:
- Ser definidos para cada risco sistémico identificado.
- Incluir níveis de risco sistémico mensuráveis.
- Especificar níveis de risco inaceitáveis, especialmente sem mitigação.
- Alinhar-se com as melhores práticas de órgãos internacionais ou orientações do Gabinete da IA.
- Avaliação de Risco Sistémico e Procedimentos de Mitigação: Descrever como a empresa irá avaliar sistematicamente os riscos em diferentes pontos ao longo do ciclo de vida do modelo, especialmente antes da implementação.
- Previsão: Para cada nível de risco sistémico dependente de capacidades específicas do modelo, declarar estimativas de prazos para quando razoavelmente preveem que terão desenvolvido pela primeira vez um GPAISR que possua tais capacidades, se tais capacidades ainda não forem possuídas por nenhum dos modelos do Signatário já disponíveis no mercado, para facilitar a preparação de mitigações de risco sistémico apropriadas.
- Mitigação Técnica de Risco Sistémico: Os Signatários devem documentar no Quadro as mitigações técnicas de risco sistémico, incluindo as mitigações de segurança que se destinam a reduzir o risco sistémico associado ao nível de risco sistémico relevante.
- Mitigações de Risco de Governança: Detalhar as estruturas de governação, os mecanismos de supervisão e os quadros de responsabilização para a gestão de riscos sistémicos.
Implementação Prática e Relatórios
Implementar o quadro envolve um processo contínuo de avaliação, adaptação e elaboração de relatórios. As principais considerações incluem:
- Avaliações Regulares de Adequação: Determinar se o próprio quadro é eficaz na avaliação e mitigação de riscos sistémicos.
- Relatórios de Modelo de Segurança e Proteção: Estes relatórios devem documentar os resultados da avaliação de riscos, as estratégias de mitigação e as justificações para as decisões de implementação, submetidos ao Gabinete da IA.
- Transparência e Contributo Externo: o quadro deve considerar o contributo de atores externos nas suas tomadas de decisão sobre riscos sistémicos.
- Relatório de Incidentes Graves: Implementar processos para rastrear, documentar e reportar ao Gabinete da IA informações relevantes sobre incidentes graves ao longo de todo o ciclo de vida do modelo e possíveis medidas corretivas para os resolver, com recursos adequados para tais processos em relação à gravidade do incidente grave e ao grau de envolvimento do seu modelo.
- Transparência Pública: Publicar informações relevantes para a compreensão pública dos riscos sistémicos decorrentes dos seus GPAISRs, sempre que necessário para permitir eficazmente a avaliação e mitigação de riscos sistémicos.
Desafios e Nuances
Navegar neste panorama exige uma consideração cuidadosa de vários fatores:
- Proporcionalidade: A avaliação e mitigação de riscos devem ser proporcionais aos riscos específicos apresentados pelo modelo.
- Acompanhar o Estado da Arte: Implementar mitigações de segurança técnica de última geração que melhor mitiguem os riscos sistémicos inaceitáveis, incluindo as melhores práticas gerais de cibersegurança, de forma a cumprir pelo menos o objetivo de segurança RAND SL3.
- Colaboração: Partilhar ferramentas, práticas e avaliações com outras organizações pode melhorar a segurança geral e reduzir a duplicação de esforços.
- Equipas Multidisciplinares de Avaliação de Modelos: Garantir que todas as equipas de avaliação de modelos tenham a experiência necessária para contribuir para a avaliação do modelo para a avaliação do risco sistémico.
Considerações Éticas
Finalmente, os fornecedores NÃO devem retaliar contra nenhum trabalhador que forneça informações sobre riscos sistémicos decorrentes dos GPAISRs dos Signatários ao Gabinete da IA ou, conforme apropriado, às autoridades nacionais competentes, e informar os trabalhadores pelo menos anualmente sobre uma caixa de correio do Gabinete da IA designada para receber tais informações, se tal caixa de correio existir.
Quais são os passos cruciais para identificar, analisar e mitigar riscos sistêmicos ao longo do ciclo de vida de modelos de IA de propósito geral?
O Código de Prática de IA proposto pela UE, concebido para orientar a conformidade com a Lei de IA, enfatiza uma abordagem sistemática para gerir os riscos sistémicos associados aos modelos de IA de propósito geral (GPAISRs). Segue-se uma análise dos passos críticos, adaptada para profissionais de governação de IA:
1. Estabelecer um Quadro de Segurança e Proteção
Os fornecedores de GPAISRs devem adotar e implementar um Quadro de Segurança e Proteção abrangente. Este quadro deve detalhar a avaliação de riscos sistémicos, as estratégias de mitigação e as medidas de governação concebidas para manter os riscos dentro de níveis aceitáveis. Os principais componentes do quadro incluem:
- Critérios de Aceitação de Riscos Sistémicos: Critérios claramente definidos e justificados para determinar a aceitabilidade de riscos sistémicos, incluindo níveis de risco mensuráveis.
- Planos de Mitigação de Riscos: Descrições detalhadas de mitigações técnicas, suas limitações e planos de contingência para cenários onde as mitigações falham.
2. Avaliação e Mitigação de Riscos Sistémicos (Ao Longo do Ciclo de Vida)
Realizar avaliações de riscos sistémicos em pontos apropriados ao longo de todo o ciclo de vida do modelo, começando durante o desenvolvimento. Este processo envolve várias atividades-chave:
- Planeamento do Desenvolvimento: Implementar um quadro e começar a avaliar/mitigar riscos ao planear um GPAISR, ou o mais tardar 4 semanas após notificar o Gabinete de IA.
- Revisões de Marcos: Avaliar e mitigar riscos em marcos documentados durante o desenvolvimento, como após o ajuste fino, expandir o acesso ou conceder novas funcionalidades. Implementar procedimentos para identificar rapidamente mudanças substanciais no risco.
3. Identificação de Riscos Sistémicos
Selecionar e caracterizar melhor os riscos sistémicos decorrentes de GPAISRs que sejam suficientemente significativos para justificar uma avaliação e mitigação adicionais. Considerações cruciais incluem:
- Adesão à Taxonomia: Selecionar riscos de uma taxonomia definida de riscos sistémicos (por exemplo, ataque cibernético, riscos CBRN, manipulação prejudicial).
- Planeamento de Cenários: Desenvolver cenários de risco sistémico para caracterizar a natureza e as fontes. Estes devem incluir potenciais caminhos para danos e utilizações indevidas razoavelmente previsíveis.
4. Análise de Riscos Sistémicos
Realizar uma análise rigorosa dos riscos sistémicos identificados, estimando a sua gravidade e probabilidade. A análise deve alavancar múltiplas fontes e métodos:
- Estimativas Quantitativas e Qualitativas: Usar estimativas quantitativas e qualitativas de risco, conforme apropriado, juntamente com indicadores de risco sistémico para acompanhar o progresso em direção aos níveis de risco.
- Avaliações de Última Geração: Realizar avaliações para avaliar adequadamente as capacidades, propensões e efeitos dos GPAISRs, utilizando uma ampla gama de metodologias (por exemplo, red teaming, benchmarks).
- Informação Independente do Modelo: Recolher informações de revisões de literatura, dados históricos de incidentes e consultas de especialistas.
5. Determinação da Aceitação do Risco
Comparar os resultados da análise de risco sistémico com os critérios de aceitação de risco predefinidos para garantir a proporcionalidade. Usar estas comparações para informar as decisões sobre desenvolvimento, lançamento no mercado e utilização. Se os riscos forem considerados inaceitáveis:
- Implementar mitigações adicionais: Ou não disponibilizar um modelo no mercado, se aplicável.
- Restringir o marketing: Retirar ou recolher um modelo do mercado, se aplicável.
6. Mitigações de Segurança e Proteção (Técnicas)
Implementar mitigações técnicas de segurança de última geração que sejam proporcionais aos riscos sistémicos, tais como: filtrar dados de treino, monitorizar entradas/saídas, ajustar finamente para recusar certos pedidos e implementar salvaguardas/ferramentas de segurança.
Especificamente:
- Implementar as melhores práticas gerais de cibersegurança.
- Implementar procedimentos para avaliar e testar a sua prontidão de segurança contra potenciais e reais adversários. Isto inclui ferramentas como revisões de segurança regulares e programas de recompensas por bugs.
7. Governação e Documentação
Várias medidas de governação são cruciais para gerir e supervisionar eficazmente o processo:
- Alocação Clara de Responsabilidade: Definir e alocar responsabilidade para gerir o risco sistémico em todos os níveis organizacionais.
- Avaliações Externas Independentes: Obter avaliações externas independentes de GPAISRs antes de os colocar no mercado.
- Relato de Incidentes Graves: Criar processos para acompanhar, documentar e relatar incidentes graves ao Gabinete de IA sem demora indevida.
- Relatórios de Modelo: Criar Relatórios de Modelo de Segurança e Proteção detalhados que documentem as avaliações de risco, as mitigações e as justificações para o lançamento no mercado.
- Transparência Pública: Publicar informações relevantes para a compreensão pública dos riscos sistémicos.
Ao seguir diligentemente estes passos, as organizações podem navegar melhor pelo complexo panorama da governação da IA e promover um ecossistema de IA mais responsável e confiável.
Quais princípios fundamentais devem orientar a implementação de ferramentas e melhores práticas para avaliação de modelos de última geração e avaliação de risco do sistema para todos os modelos?
O projeto de Código de Prática de IA da União Europeia, com o objetivo de fornecer um modelo para conformidade com a abrangente Lei de IA, enfatiza vários princípios fundamentais para implementar a avaliação de modelos de última geração e a avaliação de risco. Estes se aplicam especificamente a modelos de IA de Propósito Geral com Risco Sistêmico (GPAISR), mas fornecem insights valiosos para todo o desenvolvimento de IA. Aqui está uma análise para profissionais de legal-tech:
Princípios e Valores da UE
Todas as ferramentas e práticas devem estar demonstrativamente alinhadas com os direitos e valores fundamentais consagrados na legislação da UE, incluindo a Carta dos Direitos Fundamentais.
Alinhamento com a Lei de IA e Abordagens Internacionais
A avaliação de modelos e a avaliação de risco devem contribuir diretamente para a correta aplicação da Lei de IA. Isso significa:
- Referenciar padrões e métricas internacionais, como aqueles desenvolvidos por Institutos de Segurança de IA, em conformidade com o Artigo 56(1) da Lei de IA.
Proporcionalidade aos Riscos
A rigorosidade das medidas de avaliação e mitigação deve ser diretamente proporcional aos riscos identificados. Este princípio impulsiona múltiplas ações-chave:
- Medidas mais rigorosas para níveis de risco mais elevados ou riscos incertos de danos graves.
- Medidas específicas que definam claramente como os fornecedores devem cumprir as obrigações.
- Diferenciação de medidas com base nos tipos de risco, estratégias de distribuição, contextos de implementação e outros fatores que influenciam os níveis de risco.
O Escritório de IA monitorará proativamente as medidas suscetíveis de burla ou especificação incorreta.
Preparação para o Futuro
Dada a rápida evolução da tecnologia de IA, as ferramentas e práticas devem facilitar atualizações rápidas à luz dos avanços tecnológicos. Isso envolve:
- Referenciar fontes de informação dinâmicas, como bases de dados de incidentes, normas de consenso, registos de risco, estruturas de gestão de risco e orientações do Escritório de IA, que se espera que os fornecedores monitorizem.
- Articular medidas adicionais para modelos GPAI específicos (por exemplo, aqueles usados em sistemas de IA agentes) conforme a tecnologia exija.
Proporcionalidade ao Tamanho do Fornecedor
As medidas devem levar em consideração o tamanho e os recursos do fornecedor do modelo de IA. A Lei de IA reconhece o valor e a necessidade de caminhos simplificados para a conformidade para pequenas e médias empresas (PMEs) e startups.
Apoio e Crescimento de IA Segura e Centrada no Ser Humano
O Código foi concebido para fomentar a cooperação entre as partes interessadas através de infraestruturas de segurança partilhadas e de melhores práticas. As ações incluem:
- Partilha de infraestruturas de segurança e melhores práticas
- Incentivar a participação da sociedade civil, da academia, de terceiros e de organizações governamentais.
- Promover a transparência entre as partes interessadas e o aumento dos esforços de partilha de conhecimento.
Inovação na Governança de IA e na Gestão de Riscos
O Código incentiva os fornecedores a inovar e a avançar no estado da arte na governança de segurança da IA. Abordagens alternativas que demonstrem resultados de segurança iguais ou superiores devem ser reconhecidas e apoiadas.
Compromisso com a Documentação e Transparência
Os signatários do código comprometem-se a elaborar e manter atualizada a documentação do modelo, incluindo informações sobre o processo de treinamento e os dados utilizados, que esteja publicamente disponível.
Quais são os requisitos de governança e relatórios que os fornecedores de Modelos de IA de Propósito Geral com Riscos Sistêmicos (GPAISRs) devem seguir para garantir a responsabilidade e a transparência?
O Código de Prática da Lei de IA impõe obrigações significativas de governança e relatórios aos fornecedores de Modelos de IA de Propósito Geral com Riscos Sistêmicos (GPAISRs) para promover a responsabilidade e a transparência. Esses requisitos são projetados para garantir que esses modelos, dadas suas capacidades de alto impacto, sejam desenvolvidos e implantados de forma responsável.
Relatórios de Segurança e Proteção do Modelo
Um requisito essencial é a criação de um Relatório de Segurança e Proteção do Modelo para cada GPAISR antes de ser disponibilizado no mercado. Este relatório deve documentar:
- Resultados da avaliação e mitigação de riscos sistêmicos.
- Justificativas para as decisões de liberar o modelo.
O nível de detalhe exigido no Relatório do Modelo deve ser proporcional ao nível de risco sistêmico que o modelo representa. Isso permite que o Escritório de IA compreenda como o fornecedor está implementando suas medidas de avaliação e mitigação de riscos sistêmicos. O relatório deve definir as condições sob as quais as justificativas para considerar o risco sistêmico como aceitável deixariam de ser válidas.
Documentação de Conformidade e Gerenciamento de Riscos
Além do Relatório do Modelo, os GPAISRs devem documentar meticulosamente sua conformidade com a Lei de IA e o Código de Prática. Essa documentação inclui:
- Estimativa se seu modelo de IA atendeu às condições de classificação para ser um GPAISR
- As metodologias para identificar e abordar riscos sistemáticos, especialmente no que diz respeito às fontes de tais riscos.
- As limitações e imprecisões ao testar e validar riscos sistemáticos.
- As qualificações e o nível das equipes internas e externas de revisão do modelo.
- A justificativa para justificar o nível dos riscos sistêmicos como aceitável.
- Como as restrições de segurança e proteção são atendidas, gerenciadas e seguidas, bem como as etapas tomadas para desenvolver os procedimentos em vigor para monitorá-las.
É fundamental reter essa documentação por um período de pelo menos doze meses e além da aposentadoria do modelo de IA.
Transparência sobre o Comportamento Pretendido do Modelo
Os Relatórios do Modelo também devem especificar o comportamento pretendido do modelo, por exemplo:
- Os princípios que o modelo foi projetado para seguir.
- Como o modelo prioriza diferentes tipos de instruções.
- Tópicos sobre os quais o modelo deve recusar instruções.
Estruturas para Segurança e Proteção
Os signatários devem preparar e manter uma Estrutura de Segurança e Proteção que detalhe a avaliação de riscos sistêmicos, mitigação e procedimentos de governança. Esta estrutura deve incluir critérios de aceitação de riscos sistémicos que:
- São mensuráveis.
- Definem camadas de risco sistêmico vinculadas a capacidades do modelo, resultados prejudiciais e estimativas de risco quantitativas.
- Identificam gatilhos e condições de risco sistêmico que exigirão mitigações para riscos sistêmicos específicos.
As estruturas devem ser continuamente aprimoradas, rapidamente atualizadas e devem refletir dinamicamente o estado da arte atual em IA.
Notificações ao Escritório de IA
Os GPAISRs são obrigados a notificar o Escritório de IA sobre vários eventos importantes:
- Quando seu modelo de IA de propósito geral atende aos critérios para classificação como um GPAISR.
- Atualizações em sua Estrutura de Segurança e Proteção.
- Os resultados das avaliações de adequação.
- A divulgação de um Relatório de Segurança e Proteção do Modelo.
Tais notificações são necessárias para avaliar se o código está sendo seguido adequadamente e para garantir a rápida conformidade.
Monitoramento e Adaptação Pós-Mercado
A governança não termina com os relatórios pré-lançamento; os GPAISRs devem conduzir o monitoramento pós-mercado para coletar dados do mundo real sobre as capacidades e efeitos de seus modelos. Se houver alterações materiais no sistema ou no cenário de risco sistêmico, os fornecedores devem atualizar seus Relatórios de Modelo e, quando apropriado, reavaliar a situação, para que o modelo permaneça em conformidade com os regulamentos.
Avaliação Externa e Interna
Além do monitoramento interno, os processos de avaliação de riscos sistêmicos devem incluir contribuições de atores externos, incluindo o governo.
- Quando um GPAISR está pronto para ser lançado no mercado, o modelo deve passar por uma avaliação externa, para todos os riscos sistêmicos detectados, antes de ser lançado no mercado.
- Após o lançamento, um GPAISR requer um programa de pesquisa que forneça aos modelos acesso à API. Os acessos devem ser concedidos a acadêmicos e equipes externas que conduzem trabalhos estudando riscos sistemáticos e atividades não comerciais.
- Qualquer trabalho ou feedback fornecido por acadêmicos e pelas equipes deve então ser usado para atualizar o código e a documentação dos GPAISRs atuais.
Avaliação Independente
Avaliadores externos devem ser usados para garantir que o viés esteja sendo levado em consideração no processo. Os avaliadores devem:
- Possuir a experiência de domínio correta para avaliar e validar o risco sistemático.
- Ser tecnicamente versado e competente na condução da validação do modelo.
- Ter implementado sistemas de informação internos e externos, que são ativamente testados e possuem um relatório atual para validar sua integridade.
Não Retaliação e Governança de Riscos
Os signatários são obrigados a não retaliar de forma alguma contra os trabalhadores que possam compartilhar informações ou expressar preocupações. Eles precisam ter uma infraestrutura segura na prática para permitir que as preocupações sejam levantadas livremente, especialmente para o Escritório de IA como um ponto de contato.
portuguese
Quais são os elementos essenciais para um processo de avaliação funcional e independente do modelo de IA?
À medida que se aproxima a data de implementação da Lei de IA, os profissionais de legal-tech e os responsáveis pela conformidade estão a concentrar-se nas avaliações independentes de modelos. O que devem os fornecedores de modelos de IA de propósito geral com risco sistémico (GPAISRs) internalizar para garantir um processo de avaliação robusto?
Avaliações Externas Independentes
Antes de colocar um GPAISR no mercado, os fornecedores devem garantir avaliações externas independentes de risco sistémico, que incluem avaliações de modelos, a menos que o modelo possa ser demonstrado como suficientemente seguro. Após o lançamento no mercado, é crucial facilitar avaliações externas independentes exploratórias, incluindo avaliações de modelos. Isso destaca a necessidade de colaboração e transparência.
Seleção de Avaliadores Independentes
Os fornecedores de GPAISR devem procurar avaliadores que:
- Tenham experiência substancial no domínio, alinhada com o domínio de risco que está a ser avaliado.
- Possuam as competências técnicas e a experiência para realizar avaliações rigorosas do modelo.
- Mantenham protocolos robustos de segurança da informação interna e externa, adequados ao nível de acesso concedido.
Fornecer Acesso e Recursos
Os fornecedores devem fornecer aos avaliadores externos independentes o acesso, a informação, o tempo e os recursos necessários para realizar avaliações eficazes do risco sistémico. Isso pode significar acesso a capacidades de ajuste fino, ferramentas de inferência seguras e documentação completa do modelo.
Manter a Integridade
Para garantir a validade das avaliações externas independentes, essas avaliações devem ser realizadas sem a influência inadequada do fornecedor. Por exemplo, os fornecedores devem evitar armazenar e analisar entradas e saídas de modelos provenientes de execuções de teste sem permissão explícita.
Facilitar a Avaliação Pós-Mercado
Os fornecedores devem facilitar a investigação externa exploratória após o lançamento dos modelos GPAISR, implementando um programa de investigação que forneça acesso API a modelos com e sem atenuações, alocando créditos API de investigação gratuitos para investigação legítima e contribuindo para um regime de porto seguro legal e técnico para proteger os avaliadores que testam o modelo.
Considerações Importantes para PMEs
As pequenas e médias empresas (PMEs) que enfrentem desafios no cumprimento das normas de qualidade ou na cooperação com as partes interessadas relevantes devem notificar o Gabinete de IA e procurar assistência na procura de meios alternativos adequados para cumprir os requisitos.
Transparência e Divulgação
É importante encontrar um equilíbrio entre a transparência pública e a manutenção da segurança, divulgando as atenuações de segurança e as avaliações do modelo com o máximo de detalhe possível, implementando, ao mesmo tempo, redações para evitar o aumento do risco sistémico ou informações económicas sensíveis.
Como é que uma cultura de risco saudável pode ser promovida em organizações envolvidas no desenvolvimento e implementação de MPAIsGRs?
Promover uma cultura de risco saudável é fundamental para as organizações que desenvolvem e implementam modelos de IA de Propósito Geral com Risco Sistémico (MPAISGRs). De acordo com o projeto de Código de Prática, isto envolve várias etapas interligadas:
Definir e Atribuir Responsabilidades
Para atividades relacionadas com a avaliação e mitigação de riscos sistémicos para os seus MPAISGRs, os Signatários comprometem-se a: (1) definir e atribuir claramente responsabilidades pela gestão do risco sistémico dos seus MPAISGRs em todos os níveis da organização; (2) atribuir recursos adequados aos intervenientes a quem foram atribuídas responsabilidades pela gestão do risco sistémico; e (3) promover uma cultura de risco saudável.
Especificamente, o Código enfatiza definições claras de responsabilidades, bem como a alocação de recursos, através de diferentes níveis dentro da organização:
- Supervisão do risco: Supervisionar as atividades de avaliação e mitigação de riscos da organização.
- Titularidade do risco: Gerir os riscos sistémicos decorrentes dos MPAISGRs.
- Apoio e monitorização: Apoiar e monitorizar a avaliação e mitigação de riscos.
- Garantia: Fornecer garantia interna (e externa, quando necessário) relativamente à adequação das atividades relacionadas com a avaliação e mitigação de riscos.
As responsabilidades são atribuídas através de:
- Órgãos de gestão supervisora
- Equipas de gestão
- Equipas operacionais
- Prestadores de Garantia, quer internos quer externos
Alocação de Recursos
Além disso, a organização deve alocar recursos àqueles com responsabilidades de gestão, incluindo:
- Recursos Humanos
- Recursos Financeiros
- Acesso à informação e conhecimento
- Recursos computacionais
Promover uma Abordagem Medida e Equilibrada
É também crucial a forma como a liderança se comporta. Os Signatários devem promover uma cultura de risco saudável e tomar medidas para garantir que os intervenientes a quem foram atribuídas responsabilidades pela gestão do risco sistémico decorrente dos MPAISGRs (nos termos da Medida II.10.1) adotem uma abordagem medida e equilibrada ao risco sistémico, não sendo excessivamente propensos ao risco, nem ignorantes do risco, nem avessos ao risco, conforme relevante para o nível de risco sistémico decorrente dos MPAISGRs dos Signatários.
Os objetivos finais a alcançar incluem um ambiente de trabalho com comunicação aberta e incentivos sensatos:
- Definir o tom no que diz respeito a uma cultura de risco sistémico saudável a partir do topo;
- Permitir uma comunicação eficaz e desafiar as decisões relativas ao risco sistémico;
- Incentivos apropriados para desencorajar a tomada excessiva de riscos sistémicos, tais como recompensas por comportamento cauteloso e sinalização interna de riscos sistémicos;
Idealmente, estes esforços devem levar a que os funcionários se sintam confortáveis a comunicar potenciais problemas relacionados com o seu trabalho:
- Inquéritos anónimos revelam que os funcionários estão cientes dos canais de reporte, sentem-se confortáveis em levantar preocupações sobre riscos sistémicos, compreendem o quadro de referência do Signatário e sentem-se confortáveis em expressar as suas opiniões; ou
- Os canais de reporte internos são ativamente utilizados e os relatórios são devidamente tratados.
Quais são os requisitos críticos para relatar e lidar com incidentes graves envolvendo GPAISRs?
À medida que a Lei de IA da UE se aproxima da aplicação, o foco está mudando para o relatório de incidentes para modelos de IA de Propósito Geral com Risco Sistêmico (GPAISRs). Aqui está um resumo dos principais requisitos, extraídos diretamente do último rascunho do Código de Prática de IA:
Rastreamento Abrangente de Incidentes
Os provedores de GPAISR devem estabelecer processos robustos para rastrear, documentar e relatar incidentes graves ao Gabinete de IA (e potencialmente às autoridades nacionais) sem demora indevida. Esses processos precisam de recursos suficientes, em relação à gravidade do incidente e ao envolvimento de seu modelo. Os métodos para identificar incidentes graves devem estar alinhados com seus modelos de negócios.
Dados Essenciais para Relatar
A documentação deve abranger detalhes relevantes, incluindo:
- Datas de início e término (ou melhores aproximações)
- Danos resultantes e partes afetadas
- A cadeia de eventos que levaram ao incidente
- A versão específica do modelo envolvida
- Descrição do envolvimento do GPAISR
- Respostas planejadas ou implementadas
- Recomendações para o Gabinete de IA e autoridades nacionais
- Uma análise da causa raiz, detalhando saídas e fatores contribuintes
- Quaisquer quase-acidentes conhecidos
Prazos de Escalonamento e Notificação
O Código especifica prazos estritos para reportar incidentes, dependendo da gravidade:
- Interrupção da Infraestrutura Crítica: Notificação imediata, o mais tardar em 2 dias
- Danos Físicos Graves: Notificação imediata, o mais tardar em 10 dias
- Infrações de Direitos Fundamentais, Danos à Propriedade/Ambientais: Notificação imediata, o mais tardar em 15 dias
- Incidentes de Segurança Cibernética, Exfiltração de Modelo: Notificação imediata, o mais tardar em 5 dias
Os relatórios iniciais devem cobrir as informações essenciais. Relatórios intermediários, detalhando o progresso a cada 4 semanas até a resolução, são exigidos. Um relatório final e abrangente deve ser entregue no máximo 60 dias após a resolução do incidente. As empresas também devem decidir se devem enviar relatórios individuais ou relatórios consolidados quando ocorrerem vários incidentes.
Documentação Proativa e Retenção
Mantenha documentação meticulosa de todos os dados relevantes por pelo menos 36 meses a partir da data da documentação ou da data do incidente grave relatado envolvendo o modelo de IA de propósito geral, o que for posterior.
Medidas Corretivas
Espera-se que os signatários tenham processos de resolução e comunicação claramente definidos e escaláveis. Estes devem ser capazes de aplicar a mitigação técnica de risco necessária quando incidentes de GPAISR acontecem—ou são previstos.
Em resumo, transparência e documentação são fundamentais. Essas medidas visam criar responsabilidade em torno dos riscos sistêmicos, promovendo colaborações entre as partes interessadas para a governança do GPAISR.
Quais são as obrigações relativas às proteções contra represálias para os trabalhadores e como informá-los?
O AI Act (Lei da IA) enfatiza as proteções contra represálias para os trabalhadores que reportam potenciais riscos sistêmicos associados a modelos de IA de propósito geral que podem ser classificados como tendo risco sistêmico (GPAISRs).
Obrigações Principais
Os signatários do Código de Conduta de IA de Propósito Geral comprometem-se com o seguinte:
- Não Retaliação: Abster-se de quaisquer ações retaliatórias contra trabalhadores que forneçam informações sobre riscos sistêmicos decorrentes dos GPAISRs da empresa. Isso se aplica se as informações forem compartilhadas com o AI Office (Escritório de IA) ou com as autoridades nacionais competentes.
- Notificação Anual: Informar os trabalhadores, pelo menos anualmente, sobre a existência de uma caixa de correio do AI Office (se houver) designada para receber informações relacionadas a riscos sistêmicos.
Considerações Importantes
O cumprimento dos compromissos de não retaliação não deve ser interpretado como substituição das leis da União sobre direitos autorais e direitos conexos. Em casos com modelos de IA de propósito geral com risco sistêmico (GPAISRs), é muito importante fomentar uma análise mais aprofundada com o AI Office.
Este compromisso visa promover a transparência e a responsabilização, garantindo que os indivíduos dentro das organizações possam levantar preocupações sobre a segurança da IA sem medo de represálias.
Quais são os aspectos cruciais que devem ser detalhados pelo modelo ao gabinete de IA para que o modelo atenda aos requisitos do Código?
Para que os modelos de IA atendam aos requisitos do Código, os provedores devem fornecer ao Gabinete de IA detalhes abrangentes. Isso inclui:
Transparência e Documentação
Os signatários precisam fornecer documentação do modelo amigável, potencialmente usando um Formulário de Documentação do Modelo. Isso inclui:
- Informações gerais do modelo (por exemplo, nome do modelo, versão, data de lançamento)
- Detalhes sobre as propriedades do modelo (arquitetura, modalidades de entrada/saída, tamanho)
- Informações sobre canais de distribuição e licenciamento
- Políticas de uso aceitável e usos pretendidos
- Especificações para processos de treinamento e dados utilizados (incluindo medidas para detectar conteúdo prejudicial e preconceitos).
- Recursos computacionais utilizados durante o treinamento.
- Informações adicionais para modelos de IA de uso geral com risco sistêmico, como estratégias de avaliação, resultados de testes adversários e detalhes da arquitetura do sistema.
As informações devem ser enviadas proativamente para provedores de IA downstream, mas apenas mediante solicitação do Gabinete de IA e das autoridades nacionais competentes, garantindo a base legal e a necessidade adequadas.
Todos os dados compartilhados exigem rigorosa adesão às obrigações de confidencialidade e proteção de segredos comerciais, conforme sublinhado no Artigo 78.
Gerenciamento de Risco Sistêmico (Aplicável a GPAISRs)
Para modelos considerados como tendo risco sistêmico, uma Estrutura Abrangente de Segurança deve ser apresentada, detalhando:
- Critérios de aceitação de risco sistêmico, incluindo níveis de risco definidos por características mensuráveis (capacidades do modelo, propensões, resultados prejudiciais).
- Avaliações detalhadas de risco sistêmico ao longo do ciclo de vida do modelo.
- Medidas técnicas e de governança para mitigar riscos.
- Avaliações periódicas da adequação da Estrutura para avaliar a eficácia e melhorar ao longo do tempo.
- Relatórios de Segurança do Modelo: documentando avaliação de risco, resultados de mitigação e tomada de decisão. Os detalhes do Relatório do Modelo devem justificar as decisões de lançamento do modelo.
Relato de Incidentes Graves
Estabelecer processos abrangentes para:
- Rastreamento e documentação de informações relevantes sobre incidentes graves, abrangendo aspectos desde datas de início/término do incidente até análise da causa raiz e medidas corretivas.
- Reportar ao Gabinete de IA da UE sem demora indevida, com prazos sensíveis à gravidade do incidente.
Transparência dos Processos
O modelo precisa fornecer:
- Uma descrição da tomada de decisão (externa ou interna).
- Qualificações, níveis de acesso e recursos para equipes de avaliação de modelo internas e externas.
- Colaboração com outras partes interessadas na cadeia de valor da IA.
- Adequação e proteção contra retaliação ao trabalhador que fornece feedback ao gabinete de IA
Outros Aspectos de Conformidade
Além disso, vários requisitos de notificação importantes devem ser seguidos para garantir que o gabinete de IA tenha informações adequadas sobre os modelos desenvolvidos pela empresa:
- Notificação proativa sobre modelos qualificados, mesmo que destinados ao uso interno.
- Atualizações oportunas sobre as mudanças na estrutura e avaliações independentes.
- Transparência em relação ao compartilhamento de ferramentas de segurança e práticas recomendadas com a comunidade de IA em geral.
Os provedores devem alocar recursos apropriados para gerenciar o risco sistêmico. Isso inclui garantir uma cultura de risco saudável, com responsabilidades claras em toda a organização.
Essas obrigações são complementadas pela implementação das medidas encontradas na seção Transparência, Direitos Autorais ou Segurança em documentos separados que acompanham o código.
Quais são os processos definidos para atualizações de Código regulares e urgentes?
O Código de Prática de IA de Propósito Geral proposto reconhece a necessidade de agilidade na governança de IA. À medida que a tecnologia de IA continua a evoluir, o documento descreve mecanismos para revisão regular, adaptação e até mesmo atualizações de emergência do Código. Isso garante que suas disposições permaneçam proporcionais aos riscos avaliados e tecnologicamente relevantes.
Revisão e Adaptação Regulares
O Código propõe um ciclo de revisão regular, ocorrendo a cada dois anos. Este processo minucioso, a ser incentivado pelo Escritório de IA, permite uma revisão abrangente do código. Esta revisão é projetada para ser adaptável às melhores práticas de IA atuais, abordagens internacionais e padrões da indústria em desenvolvimento.
Após cada revisão, o Escritório de IA confirmará a adequação do Código para os Signatários.
Suporte Contínuo à Implementação
Reconhecendo a importância do esclarecimento contínuo, o documento permite espaço para suporte contínuo à implementação por meio de orientação do Escritório de IA. Conforme declarado no Preâmbulo do Código, esta orientação garante a consistência entre os protocolos existentes, as práticas do mundo real e as disposições do Artigo 96, Lei de IA.
Atualizações de Emergência
Significativamente, a documentação alude a mecanismos para atualizações de código de emergência. Acionadas por “uma ameaça iminente de dano irreversível em larga escala”, essas atualizações seriam emitidas rapidamente para mitigar os efeitos negativos.
Além de todas as etapas e requisitos descritos acima, recomenda-se que:
- As atualizações de emergência devem estar sujeitas à revisão pelo Escritório de IA para confirmar a prevenção de danos irreversíveis em larga escala.
- O escritório de IA convida ativamente a contribuição das partes interessadas sobre o mecanismo para essas atualizações e sugestões sobre quais fóruns adequados para a promulgação de atualizações de emergência do Código.
