Explicabilidade da IA: Um Guia Prático para Construir Confiança e Compreensão

O que é Explicabilidade de IA?

Explicabilidade de IA é o grau em que os sistemas de IA e as práticas de governança permitem que uma pessoa entenda a *justificativa* por trás do comportamento de um sistema. Também abrange a demonstração dos processos por trás de seu design, desenvolvimento e implantação, garantindo sustentabilidade, segurança, justiça e responsabilidade em todos os contextos.

Aspectos Centrais da Explicabilidade de IA

A explicabilidade envolve *comunicabilidade*, o que exige explicações claras e acessíveis. A profundidade e o conteúdo das explicações dependem do contexto sociocultural em que são entregues e do público que as recebe. A Explicabilidade de IA aborda:

• Resultados de modelos algorítmicos (para decisões automatizadas ou como entradas para a tomada de decisão humana).
• Processos pelos quais um modelo e seu sistema/interface abrangente são projetados, desenvolvidos, implantados e desativados.

Explicabilidade de IA vs. Transparência de IA

Embora relacionadas, a explicabilidade se concentra na *prática* de fornecer explicações sobre os resultados apoiados por IA e os processos por trás deles. A Transparência de IA refere-se a ambos:

1. Interpretabilidade de um sistema (compreender como e por que um modelo se comportou em um contexto específico).
2. Demonstrar que os processos e a tomada de decisão por trás dos sistemas de IA são sustentáveis, seguros e justos.

Em última análise, desenvolver uma explicação *requer* um grau de transparência.

Implementação Prática

Implementar a explicabilidade de IA significa focar diretamente nas práticas de explicação *baseada em resultados* e *baseada em processos*.

Considerações Chave para Implementadores

• **Contexto é Crítico:** A profundidade, a amplitude e o conteúdo das explicações devem variar com base no contexto sociocultural e no público.
• **Compromissos entre Segurança e Explicabilidade:** As medidas de segurança tomadas para proteger algoritmos e dados podem criar um conflito com a explicabilidade, criando risco de viés, potencialmente levando a consequências não intencionais.
• **Considerações Centradas na Criança:** Preocupações adicionais, como efeitos de longo prazo no desenvolvimento holístico, bem como exfiltração de dados.

Quais são os principais tipos de explicação?

À medida que a IA continua a permear os processos críticos de tomada de decisão, não basta ter um modelo que funcione bem. As partes interessadas e os reguladores exigem transparência, impulsionando a necessidade de tornar os sistemas de IA explicáveis. Esta seção detalha os principais tipos de explicações cruciais para construir confiança e garantir a conformidade.

O tipo de explicação necessária varia dependendo do contexto, do contexto sociocultural e do público a quem são oferecidas. Embora não exista uma abordagem “tamanho único” para explicar decisões assistidas por IA/ML, estes seis tipos comuns de explicação são projetados para ajudar sua equipe de projeto de IA a construir explicações concisas e claras. Cada um está relacionado a um princípio SSAFE-D (Sustentabilidade, Segurança, Responsabilidade, Imparcialidade, Explicabilidade e Gestão de Dados):

• Explicação Racional: Aborda o “porquê” por trás de uma decisão de IA.
• Explicação de Responsabilidade: Clarifica quem é o responsável ao longo do ciclo de vida do modelo de IA, fornecendo um ponto de contato para revisão humana.
• Explicação de Dados: Detalha os dados utilizados, suas fontes e como foram gerenciados para chegar a uma decisão.
• Explicação de Imparcialidade: Descreve as etapas tomadas para garantir decisões de IA imparciais e equitativas.
• Explicação de Segurança: Descreve as medidas em vigor para maximizar o desempenho, confiabilidade, segurança e robustez dos resultados da IA.
• Explicação de Impacto: Explica o que foi considerado sobre os potenciais efeitos de um sistema de apoio à decisão de IA sobre um indivíduo e a sociedade.

Essas explicações podem ser ainda divididas em dois tipos principais:

Explicações Baseadas no Processo

Essas explicações demonstram os processos de boa governança e as melhores práticas que foram seguidas durante todo o projeto e implantação do sistema de IA. Elas mostram como a sustentabilidade, a segurança, a imparcialidade e a gestão responsável de dados foram consideradas do início ao fim no ciclo de vida do projeto.

Por exemplo, se tentar explicar a imparcialidade e a segurança, os componentes da sua explicação envolverão demonstrar que você tomou medidas adequadas em toda a produção e implementação do sistema para garantir que o seu resultado seja justo e seguro.

Explicações Baseadas no Resultado

Essas explicações se concentram no raciocínio por trás dos resultados do modelo, delineando fatores contextuais e relacionais. Devem ser comunicadas em linguagem clara, acessível às partes interessadas impactadas.

É importante também ter em consideração a IA explicável para Crianças. Ao considerar os direitos das crianças no que diz respeito aos sistemas de IA, envolve garantir que as crianças compreendam como os sistemas de IA as impactam, bem como utilizar uma linguagem apropriada à idade.

Lembre-se, fornecer explicações baseadas em processos e baseadas em resultados é crucial para promover a confiança, demonstrar responsabilidade e, em última análise, garantir a implementação responsável de sistemas de IA.

Que considerações devem ser levadas em conta ao construir sistemas de IA explicáveis adequadamente?

À medida que os sistemas de IA se tornam mais integrados em processos de tomada de decisão críticos, especialmente em setores como legal-tech, compliance e governança, entender e explicar seu racional é fundamental. A chave para isso é garantir que os projetos de IA sejam sustentáveis, justos, seguros, responsáveis e mantenham a qualidade e integridade dos dados. Isso implica enfatizar a comunicabilidade, fornecendo explicações claras e acessíveis, adaptadas ao contexto sociocultural e ao público.

Vamos detalhar as principais considerações:

Transparência e Responsabilidade

A transparência dos resultados e processos é fundamental. A documentação que detalha como um sistema de IA foi projetado, desenvolvido e implantado ajuda a justificar ações e decisões ao longo do ciclo de vida do projeto. Isso está diretamente ligado ao Artigo 5(1) do UK GDPR, que exige que os dados pessoais sejam “processados de forma lícita, justa e transparente”. As equipes de projeto precisam satisfazer todos os aspectos deste princípio.

• Divulgar o Uso da IA: Informar proativamente os indivíduos, com antecedência, sobre o uso da IA nas decisões que lhes dizem respeito. Seja aberto sobre por que, quando e como a IA está sendo usada.
• Explicar as Decisões de Forma Significativa: Fornecer uma explicação coerente e verdadeira, apresentada de forma adequada e entregue no momento certo.

A responsabilidade envolve garantir uma supervisão adequada e ser responsável perante as partes interessadas internas e externas, incluindo reguladores e indivíduos afetados. Isso inclui assumir a responsabilidade pela conformidade com os princípios de proteção de dados e demonstrar essa conformidade por meio de medidas técnicas e organizacionais adequadas; proteção de dados por design e padrão.

• Atribuir Responsabilidade: Identificar e atribuir responsabilidade dentro da organização para gerenciar e supervisionar os requisitos de ‘explicabilidade’ dos sistemas de IA, incluindo um ponto de contato humano para esclarecimentos ou contestação de decisões.
• Justificar e Evidenciar: Considerar ativamente e documentar as escolhas justificadas sobre o design e a implantação de modelos de IA explicáveis de forma adequada. Documentar essas considerações e demonstrar que estão presentes no design e na implantação do modelo. Mostrar evidências das explicações fornecidas aos indivíduos.

Contexto e Impacto

Não existe uma abordagem única. As considerações contextuais envolvem prestar atenção a vários elementos inter-relacionados que podem afetar a explicação de decisões auxiliadas por IA e o gerenciamento do processo geral. Esta deve ser uma avaliação contínua ao longo do ciclo de vida do projeto.

• Escolher Modelos e Explicações Apropriados: Com base no cenário, impacto potencial e no que um indivíduo precisa saber sobre uma decisão, selecionar um modelo de IA explicável de forma apropriada e priorizar os tipos de explicação relevantes.
• Adaptar a Governança e a Explicação: Garantir práticas de governança robustas, adaptadas à organização e às circunstâncias e necessidades específicas de cada parte interessada.
• Identificar o Público: Considerar o público e adaptar as explicações ao seu nível de especialização e compreensão. Que nível de explicação é adequado para o propósito, seja para usuários finais, implementadores, auditores ou indivíduos impactados pela decisão? Considerar vulnerabilidades e ajustes razoáveis para aqueles que necessitam de explicações.

Refletir sobre os impactos dos sistemas de IA ajuda a demonstrar que as técnicas algorítmicas não prejudicarão nem afetarão o bem-estar individual. Isso inclui avaliar os propósitos e objetivos éticos do projeto de IA nos estágios iniciais e revisitar e refletir sobre esses impactos ao longo do desenvolvimento para mitigar possíveis danos.

Implementação Prática & Considerações Chave

Ao buscar maiores graus de explicabilidade para modelos e melhor interpretabilidade das saídas, considere o seguinte:

• Necessidades Específicas do Domínio: Avaliar o contexto, o impacto potencial e as necessidades específicas do domínio ao determinar os requisitos de interpretabilidade. Isso inclui considerar o tipo de aplicação, as expectativas específicas do domínio, as normas e regras e as tecnologias existentes. Como a solução impactará os padrões da indústria e outros conselhos do governo?
• Técnicas Interpretáveis Padrão: Utilizar técnicas interpretáveis padrão sempre que possível, equilibrando os riscos e necessidades específicas do domínio com os recursos de dados disponíveis, o conhecimento do domínio e as técnicas apropriadas de IA/ML.
• Sistemas de IA de Caixa Preta: Ao considerar sistemas de IA de ‘caixa preta’, ponderar cuidadosamente os potenciais impactos e riscos, explorar opções para ferramentas suplementares de interpretabilidade e formular um plano de ação para otimizar a explicabilidade. Criar relatórios detalhados para auxiliar na tomada de decisões do modelo.
• Compreensão Humana: Ter em mente que a interpretabilidade deve ser em termos das capacidades e limitações da cognição humana, priorizando a simplicidade e a parcimônia informacional para uma IA acessível.

Tipos de Explicações

O contexto determina quais informações são necessárias, úteis ou acessíveis para explicar as decisões que envolvem IA e, portanto, quais tipos de explicações são os mais adequados. Existem vários tipos de explicações que foram projetados para ajudar sua equipe de projeto de IA a construir explicações concisas e claras:

• Explicação Racional: Ajuda as pessoas a entender as razões que levaram a um resultado de decisão.
• Explicação de Responsabilidade: Ajuda as pessoas a entender quem está envolvido no desenvolvimento e gerenciamento do modelo de IA e quem contatar para uma revisão humana de uma decisão.
• Explicação de Dados: Ajuda as pessoas a entender quais dados sobre elas e quais outras fontes de dados foram usados em uma determinada decisão de IA, bem como os dados usados para treinar e testar o modelo de IA.
• Explicação de Imparcialidade: Ajuda as pessoas a entender as medidas tomadas para garantir que as decisões de IA sejam geralmente imparciais e equitativas e se foram tratadas de forma equitativa.
• Explicação de Segurança: Ajuda as pessoas a entender as medidas que estão em vigor e as etapas tomadas para maximizar o desempenho, a confiabilidade, a segurança e a robustez dos resultados da IA, bem como qual é a justificativa para o tipo de sistema de IA escolhido.
• Explicação de Impacto: Ajuda as pessoas a entender as considerações tomadas sobre os efeitos que o sistema de apoio à decisão de IA pode ter sobre um indivíduo e a sociedade.

O que é interpretabilidade no contexto de sistemas de IA/ML?

No mundo em rápida evolução da IA e do aprendizado de máquina (ML), a interpretabilidade emergiu como uma preocupação crítica para reguladores, responsáveis pela conformidade e qualquer pessoa que implante esses sistemas. Simplificando, a interpretabilidade é o grau em que um humano pode entender como e por que um modelo de IA/ML fez uma determinada previsão ou decisão em um contexto específico. Trata-se de mais do que apenas abrir a “caixa preta”; trata-se de tornar a lógica do modelo acessível e compreensível para os usuários humanos.

O Núcleo da Interpretabilidade

A interpretabilidade vai além da compreensão abstrata; ela se concentra na capacidade de um humano de entender o funcionamento interno e a lógica subjacente de um sistema de IA. Idealmente, as partes interessadas devem ser capazes de dissecar as razões por trás das saídas ou comportamentos de um modelo, identificando como vários recursos de entrada, interações e parâmetros contribuíram para um resultado específico. Isso requer traduzir componentes matemáticos complexos em linguagem simples e cotidiana que os destinatários da decisão possam entender.

Preocupações Regulatórias e Implicações Práticas

Os reguladores estão enfatizando cada vez mais a interpretabilidade como uma pedra angular do desenvolvimento e implantação responsáveis da IA. A necessidade de transparência cria tensão em contextos de alto risco, como a segurança nacional, onde explicar um sistema de IA pode expor vulnerabilidades. No entanto, a falta de interpretabilidade levanta preocupações sobre:

• Viés e Justiça: Sem entender como um modelo funciona, é difícil detectar e mitigar preconceitos discriminatórios incorporados nos dados ou algoritmos.
• Responsabilidade: Se um sistema de IA cometer um erro ou produzir um resultado injusto, é crucial rastrear o processo de tomada de decisão e identificar as partes responsáveis.
• Consequências Não Intencionais: A incapacidade de interpretar o comportamento de um modelo pode levar a riscos perdidos e impactos negativos inesperados, especialmente em populações vulneráveis.

Para sistemas de IA que impactam crianças, os riscos são especialmente altos. Regulamentos como o Código de Design Adequado à Idade do Reino Unido enfatizam explicações amigáveis ​​para crianças e práticas de dados transparentes. As Diretrizes de Política da UNICEF sobre IA para Crianças acrescentam que os sistemas devem ser desenvolvidos considerando as crianças mais vulneráveis, independentemente de sua compreensão.

Ferramentas Práticas para Construir Sistemas Interpretáveis

Embora o uso de modelos menos complexos, como a regressão linear, possa aumentar a interpretabilidade, às vezes os modelos de “caixa preta”, como Redes Neurais ou Florestas Aleatórias, oferecem um desempenho mais poderoso. A solução é então incorporar técnicas de interpretabilidade “pós-hoc” — métodos aplicados após a construção de um modelo para explicá-lo externamente. Aqui estão duas técnicas principais que podem ajudar com tais modelos:

• Explicações Locais: Técnicas como LIME (Explicações Locais Interpretáveis ​​Agnósticas ao Modelo) fornecem explicações por instância, ou seja, por que o modelo tomou essa decisão explícita.
• Explicações Globais: PDP (Gráficos de Dependência Parcial) e ALE (Gráficos de Efeitos Locais Acumulados) oferecem informações sobre a importância “média” do recurso para explicar e avaliar um modelo em alto nível globalmente.

Construir sistemas de IA/ML explicáveis ​​não é fácil, mas é fundamental. As equipes precisam tomar decisões justificadas e transparentes sobre o design e a implantação do modelo e estar em posição de explicar claramente como a IA influenciou decisões específicas.

Quais são os aspectos-chave da transparência no desenvolvimento de IA?

À medida que a adoção da IA acelera, a transparência não é mais opcional, mas um requisito fundamental. A transparência na IA, de acordo com os padrões da indústria, abrange duas facetas críticas. Primeiro, envolve a interpretabilidade do sistema de IA – a capacidade de entender como e por que um modelo se comporta da maneira que se comporta, efetivamente ‘abrindo a caixa preta’. Segundo, a transparência exige a demonstração de que os processos de design, desenvolvimento e implantação do sistema de IA são sustentáveis, seguros, justos e sustentados por dados gerenciados de forma responsável. Isso significa documentação clara e justificativa em cada etapa do ciclo de vida da IA.

Principais Insights

Ser transparente no desenvolvimento de IA depende de vários aspectos-chave:

• Divulgação do uso de IA: Seja transparente sobre o uso de IA em processos de tomada de decisão antes de tomar decisões. Declare claramente quando e por que a IA está sendo usada.
• Explicando as decisões de forma significativa: Forneça aos stakeholders explicações verdadeiras, coerentes e apropriadamente apresentadas no momento certo.
• Registro de Transparência: Aproveite estruturas como o Algorithmic Transparency Recording Standard (ATRS) do Reino Unido para publicar abertamente informações sobre ferramentas algorítmicas usadas na tomada de decisões do setor público. O ATRS oferece uma maneira estruturada de comunicar sobre ferramentas algorítmicas e seu impacto.

Preocupações Regulatórias

A transparência da IA não é apenas uma prática recomendada; é um imperativo de conformidade. O Artigo 5(1) do GDPR do Reino Unido exige que o processamento de dados pessoais seja lícito, justo e transparente. Este mandato legal está moldando a forma como as organizações abordam o desenvolvimento e a implantação da IA. O Information Commissioner’s Office (ICO) do Reino Unido também desenvolveu orientações sobre como explicar as decisões tomadas com IA que enfatizam a necessidade de explicações claras e acessíveis.

No entanto, podem surgir conflitos, especialmente em áreas como segurança nacional, onde os interesses de segurança podem colidir com a necessidade de transparência. Além disso, as equipes de projeto têm que abordar os potenciais riscos de segurança da IA, como gerenciam as informações geradas sobre esses riscos e em que medida as explicações do modelo e dos processos do projeto de IA são disponibilizadas.

Implicações Práticas

Para que as organizações implementem efetivamente a transparência da IA, algumas etapas acionáveis ​​devem ser seguidas:

• Explicações baseadas em processos: Demonstre boas práticas de governança durante todo o design e uso do sistema de IA. Documente como a sustentabilidade, segurança, justiça e gerenciamento responsável de dados são integrados ao ciclo de vida do projeto.
• Explicações baseadas em resultados: Ofereça explicações claras e acessíveis das saídas do modelo em linguagem simples. Justifique como os julgamentos assistidos por IA são alcançados, especialmente em sistemas com intervenção humana.
• Abordar as preocupações com a equidade de dados: A transparência requer um firme compromisso com a equidade de dados para garantir que uma gama diversificada de dados seja incluída; o relatório transparente também deve demonstrar que essa meta foi atingida. Isso requer abordar como os conjuntos de dados são construídos, gerenciados e usados, com foco contínuo na mitigação de potenciais vieses.

Considerações Especiais: IA Centrada na Criança

A transparência não é ‘tamanho único’ e requer cuidados especiais para grupos vulneráveis. Numerosos documentos de orientação centrados na criança, como a orientação de política da UNICEF sobre IA para crianças, o UK ICO Age Appropriate Design Code, mencionam a transparência. Isso envolve garantir que as crianças entendam como os sistemas de IA as impactam. Eles também devem ser entregues de maneira apropriada para a idade. Isso envolve informar as crianças quando elas estão interagindo com um sistema de IA em vez de um humano; fornecer informações claras de privacidade; fornecer explicações ‘curtas’ ao usuário quando dados pessoais são usados ​​para treinamento, postar políticas claras, padrões da comunidade e termos de uso; e usar representações de informações adequadas para crianças que são adaptadas para idades específicas.

Que aspetos do contexto devem ser considerados ao explicar decisões assistidas por IA?

Ao explicar decisões assistidas por IA, “considerar o contexto” é fundamental. Não é algo pontual, mas sim uma consideração contínua desde o conceito até à implementação, e mesmo ao apresentar a própria explicação.

Aspetos Chave da Consideração do Contexto:

• Seleção do Modelo e da Explicação: Escolha modelos e explicações adaptados ao cenário específico. Isto significa avaliar o contexto, o impacto potencial da decisão e o que o indivíduo precisa de saber sobre ela. Esta avaliação ajuda você a:
  • Escolher um modelo de IA que seja adequadamente explicável.
  • Priorizar a entrega de tipos de explicação relevantes.
• Governança e Adequação da Explicação: A governança da explicabilidade da IA deve ser:
  • Robusta e refletir as melhores práticas.
  • Adaptada à sua organização e às circunstâncias e necessidades do stakeholder.
• Identificação do Público: Reconheça que o público influencia o tipo de explicações significativas e úteis. Deve-se dar atenção a:
  • Utilizadores finais e Implementadores
  • Auditores
  • Indivíduos Impactados pela Decisão
    • O seu nível de conhecimento sobre a decisão.
    • A variedade de pessoas sujeitas a decisões (para contabilizar a variação de conhecimento).
    • Se os indivíduos necessitam de ajustes razoáveis na forma como recebem as explicações.
    • Acomodar as necessidades de explicação dos mais vulneráveis.

  Para contabilizar as vulnerabilidades únicas das crianças, os sistemas de IA devem ser adaptados a contextos nacionais e locais desde a conceção até à implementação, para eliminar o enviesamento algorítmico que resulta da cegueira contextual. Deve também considerar a participação ativa das crianças em todas as fases do ciclo de vida do projeto para considerar o seu contexto de utilização pretendida dos sistemas. Ao considerar os potenciais impactos, foque-se em “apoiar ativamente as crianças mais marginalizadas”.

  Como os impactos dos sistemas de IA/ML podem ser refletidos?

  À medida que os sistemas de IA/ML atuam cada vez mais como depositários da tomada de decisão humana, é crucial refletir sobre seus impactos. Os indivíduos não podem responsabilizar diretamente esses sistemas, portanto, as organizações devem demonstrar que as técnicas algorítmicas não prejudicam o bem-estar.

  Essa reflexão deve começar nos estágios iniciais do projeto, abordando propósitos e objetivos éticos. No entanto, a reflexão não deve parar por aí. Você deve revisitar e refletir sobre esses impactos ao longo dos estágios de desenvolvimento e implementação. Documente quaisquer novos impactos identificados, juntamente com as medidas de mitigação implementadas.

  Aspectos Chave da Reflexão sobre Impactos

  Garantir o Bem-Estar Individual: Construir e implementar sistemas de IA/ML que:

  • Promovam a integridade física, emocional e mental.
  • Assegurem decisões livres e informadas.
  • Salvaguardem a autonomia e a expressão.
  • Apoiem a capacidade de prosperar e perseguir interesses.
  • Preservem a vida privada independente da tecnologia.
  • Garantam a capacidade de contribuir para grupos sociais.

  Garantir o Bem-Estar Social: Construir sistemas que:

  • Salvaguardem a conexão humana e a coesão social.
  • Priorizem a diversidade, a participação e a inclusão.
  • Incentivem que todas as vozes sejam ouvidas.
  • Tratem todos os indivíduos igualmente e protejam a equidade social.
  • Use a IA para proteger o tratamento justo e igualitário perante a lei.
  • Utilizem a inovação para capacitar e promover o bem-estar.
  • Antecipem impactos globais e geracionais mais amplos.

  Considerações para IA Centrada na Criança

  Refletir sobre os impactos conecta-se diretamente para garantir justiça, não discriminação e privacidade de dados para crianças. Isso significa:

  • Apoiar ativamente crianças marginalizadas para garantir benefícios dos sistemas de IA.
  • Garantir que os conjuntos de dados incluam uma diversidade de dados de crianças.
  • Implementar abordagens de dados responsáveis ​​para lidar com os dados das crianças com cuidado e sensibilidade.
  • Aderir ao Código de Design Apropriado à Idade, garantindo que os dados das crianças não sejam usados ​​de forma que afete negativamente seu bem-estar ou contrarie os padrões estabelecidos.

  Como construir um sistema de IA/ML apropriado para extrair informações relevantes para uma variedade de tipos de explicação?

  Construir um sistema de IA/ML capaz de fornecer informações relevantes para vários tipos de explicação requer uma consideração cuidadosa de diversos fatores, incluindo seleção de modelo, manuseio de dados e processos de governança.

  Considerações Chave para Explicabilidade

  • Contexto, Impacto e Domínio: Avalie o contexto específico, o impacto potencial e as necessidades específicas do domínio ao estabelecer os requisitos de interpretabilidade do projeto.
  • Técnicas Padrão: Recorra a técnicas interpretáveis padrão sempre que possível, equilibrando riscos específicos do domínio, dados disponíveis e técnicas de IA/ML apropriadas.
  • Modelos de “Caixa Preta”: Se estiver usando um sistema de IA de “caixa preta”, avalie minuciosamente os impactos potenciais e os riscos associados, considere opções para ferramentas suplementares de interpretabilidade e formule um plano de ação para otimizar a explicabilidade.
  • Compreensão Humana: Preste atenção tanto às capacidades quanto às limitações da cognição humana ao considerar as necessidades de interpretabilidade.

  Diversas tarefas podem facilitar o design e a implantação de sistemas de IA transparentes e explicáveis, auxiliando na clarificação de resultados para as partes interessadas:

  Tarefas para Gestão de Garantia de Explicabilidade

  • Tarefa 1: Selecione Explicações Prioritárias: Identifique os tipos de explicação mais relevantes (Racional, Responsabilidade, Dados, Justiça, Segurança, Impacto) com base no Domínio, Caso de Uso e Impacto Potencial sobre os Indivíduos.
  • Tarefa 2: Colete e Pré-processe: Reúna e prepare os dados de maneira consciente para a explicação, considerando as fontes de dados, a qualidade e os potenciais vieses. Isso auxilia na construção de várias explicações.
  • Tarefa 3: Design do Sistema para Extração de Informações: Construa o sistema para extrair informações relevantes para uma variedade de tipos de explicação e para construir modelos interpretáveis. Use Seleção e Treinamento do Modelo que dependem de necessidades de explicação, e também dependem da escolha entre modelos mais Explicáveis e sistemas de ‘caixa preta’.
  • Tarefa 4: Traduza a Racionalidade: Traduza a racionalidade do sistema, incorporando-a ao seu processo de tomada de decisão. As implementações das saídas do seu sistema de IA precisarão reconhecer o que é relevante para a decisão do resultado para um usuário impactado.
  • Tarefa 5: Prepare os Implementadores: Para garantir que eles estejam usando o modelo de IA/ML de forma responsável e justa. O treinamento que receberem deve cobrir o básico de aprendizado de máquina, suas limitações e como gerenciar vieses cognitivos.
  • Tarefa 6: Construa e Apresente Explicações: Considere como as decisões devem ser fornecidas e como outros indivíduos, com base no contexto, podem esperar que você explique suas decisões como um usuário de tecnologia automatizada assistida por IA. Esteja aberto a explicações e detalhes adicionais sobre os riscos de certas ações ou cenários.

  Abordando Preocupações Regulatórias e Considerações Éticas

  Ao desenvolver sistemas de IA – e particularmente aqueles que lidam com dados sensíveis ou decisões de alto impacto – a conformidade com o UK GDPR e outros regulamentos é fundamental. Aqui está como integrar a explicabilidade em uma estrutura de conformidade:

  • Transparência: Torne o uso da tomada de decisão por IA/ML óbvio e explique as decisões logicamente.
  • Responsabilidade Garanta uma supervisão apropriada e seja responsabilizado por órgãos internos e externos por quaisquer decisões auxiliadas por IA/ML.
  • Contexto : Não existe uma solução “tamanho único” — adaptar as explicações ao caso de uso e ao público é crucial.
  • Impactos : Envolva ativamente a supervisão humana nos processos de tomada de decisão para evitar efeitos potencialmente prejudiciais a um usuário final.

  Padrões de Registro de Transparência

  As organizações podem usar recursos como o Algorithmic Transparency Recording Standard (ATRS), que é uma estrutura que captura informações sobre ferramentas algorítmicas e sistemas de IA. Isso ajuda os órgãos do setor público a publicar abertamente informações sobre os serviços que usam para processos de tomada de decisão.

  Trade-offs de Segurança e Explicabilidade

  Esteja atento aos trade-offs entre segurança e explicabilidade. Embora a transparência possa criar vulnerabilidades, a falta dela levanta preocupações sobre viés, justiça e responsabilidade. Equilibrar esses aspectos é essencial.

  Como a lógica dos resultados de um sistema de IA pode ser traduzida em razões facilmente compreensíveis?

  Traduzir a lógica complexa da IA em razões compreensíveis é um desafio crucial, que exige uma consideração cuidadosa do contexto, do público e dos impactos potenciais. Veja como os jornalistas de tecnologia recomendam abordar essa tradução para a governança e conformidade da IA:

  Compreensão da Explicação da Lógica

  O objetivo principal é elucidar o ‘porquê’ por trás de uma decisão da IA de maneira acessível. Isso envolve:

  • Demonstrar como o sistema se comportou para chegar à decisão.
  • Ilustrar como diferentes componentes transformaram as entradas em saídas, destacando características, interações e parâmetros significativos.
  • Transmitir a lógica subjacente em termos facilmente compreensíveis para o público pretendido.
  • Contextualizar os resultados do sistema na situação real do indivíduo afetado.

  Explicações baseadas em processos esclarecem o design e o fluxo de trabalho de implantação, concentrando-se na interpretabilidade e explicabilidade, incluindo coleta de dados, seleção de modelo, extração de explicação e entrega. Explicações baseadas em resultados, então, traduzem o funcionamento do sistema, incluindo variáveis de entrada/saída e regras, para a linguagem cotidiana para esclarecer o papel de fatores e resultados estatísticos no raciocínio sobre o problema.

  Máximas Chave para a Tradução

  Vários princípios-chave guiam o processo de tradução:

  • Seja Transparente: Divulgue o uso de IA proativamente e explique as decisões de forma significativa.
  • Seja Responsável: Atribua responsabilidade pela explicabilidade e justifique as escolhas de design. Garanta que exista um ponto de contato humano para esclarecimentos.
  • Considere o Contexto: Adapte a governança e a explicação do modelo com base na experiência, vulnerabilidades e requisitos de ajustes razoáveis do público.
  • Reflita sobre os Impactos: Aborde os propósitos e objetivos éticos do projeto de IA em avaliações iniciais e contínuas.

  Navegando na IA Centrada na Criança

  Quando as crianças são afetadas, considerações adicionais são fundamentais:

  • Explicações técnicas devem ser entregues usando linguagem apropriada para a idade.
  • Envolver as crianças nas fases de design para familiarizá-las com os modelos e suas decisões.
  • Garantir total transparência sobre o uso de dados de crianças em todo o sistema de IA.
  • Estabelecer funções e responsabilidades organizacionais para a responsabilização, protegendo e capacitando os usuários infantis.

  Estratégias Práticas para Relatórios de Modelo

  O relatório de modelo desempenha um papel fundamental na tradução dos resultados:

  • Reconhecer os determinantes legítimos do resultado. Os implementadores devem reconhecer os principais fatores e determinar o resultado que está sendo descrito.
  • Verificar se as correlações produzidas pelo modelo fazem sentido para o caso de uso considerado.
  • Preparar os implementadores ensinando o básico de aprendizado de máquina e as limitações dos sistemas automatizados.

  Implementando uma Comunicação Eficaz

  A comunicação dos resultados requer um planejamento cuidadoso:

  • Criar um breve resumo das decisões assistidas por IA, apoiado por gráficos, vídeos ou recursos interativos.
  • Garantir acessibilidade e comunicação clara para limitar resultados inesperados.
  • Incluir referências às políticas relevantes ao longo do processo.

  Modelo de Gerenciamento de Garantia de Explicabilidade (EAM)

  O modelo EAM consiste em tarefas específicas projetadas para facilitar todo o processo de explicação. Inclui explicações priorizadas, dados pré-processados coletados e um sistema identificado para extrair informações relevantes para uma variedade de tipos de explicação.

  Gerenciamento de Riscos e Desafios

  Riscos e recompensas potenciais devem ser levados em consideração, mas não garantem transparência completa e justa para todos os casos de uso. Como escreverá o jornalista de tecnologia, “Os planos mais bem elaborados não podem ser perfeitos ou à prova de falhas”.

  Como os implementadores de sistemas de IA precisam estar preparados para a implantação?

  A implantação responsável de sistemas de IA requer uma preparação cuidadosa, especialmente quando a explicabilidade e a responsabilização são fundamentais. Os implementadores precisam de uma compreensão abrangente das capacidades e limitações do sistema para garantir sua aplicação ética e eficaz.

  Preparativos Essenciais para a Implantação de Sistemas de IA

  Os implementadores devem receber treinamento adequado que englobe:

  • Fundamentos de Aprendizado de Máquina: Uma compreensão fundamental de como os algoritmos de aprendizado de máquina funcionam.
  • Limitações da IA: Reconhecimento das restrições e potenciais armadilhas da IA e das tecnologias automatizadas de apoio à decisão.
  • Análise de Risco-Benefício: Consciência dos benefícios e riscos associados à implantação de sistemas de IA para apoio à decisão.
  • Gestão de Vieses Cognitivos: Técnicas para mitigar vieses cognitivos, como o viés de automação (superdependência das saídas da IA) e o viés de desconfiança da automação (subdependência das saídas da IA).

  Gestão da Garantia de Explicabilidade

  A implantação bem-sucedida também exige uma gestão completa da garantia de explicabilidade, abrangendo estas tarefas essenciais:

  • Priorização de Explicações: Determinar os tipos mais críticos de explicações (Racional, Responsabilidade, etc.) com base no domínio, caso de uso e impacto potencial sobre os indivíduos.
  • Coleta e Pré-processamento de Dados: Garantir a qualidade, representatividade dos dados e abordar potenciais vieses durante a coleta e o pré-processamento dos dados. Crucialmente inclui rotulagem de dados adequada.
  • Design do Sistema para Extração de Informações: Construir o sistema de IA para extrair informações relevantes para vários tipos de explicação, reconhecendo os custos e benefícios de usar modelos de IA mais novos, mas possivelmente menos explicáveis.
  • Tradução do Racional do Modelo: Converter o racional técnico dos resultados do sistema em termos compreensíveis e justificar a incorporação de inferências estatísticas.
  • Construção e Apresentação de Explicações Acessíveis ao Usuário: Desenvolver explicações que facilitem a colaboração entre cuidadores e familiares.

  Considerações Quando Dados de Crianças Estão Envolvidos

  Quando os dados ou o bem-estar das crianças estão em jogo, considerações adicionais são cruciais:

  • Os implementadores devem ser treinados em design centrado na criança, uma consciência que os ajudará a implementar salvaguardas que levem em consideração os requisitos e direitos especiais das crianças.
  • Compreender os regulamentos de proteção de dados, como o Regulamento Geral de Proteção de Dados (RGPD) e o Código de Design Apropriado para a Idade da ICO do Reino Unido
  • Os implementadores também devem passar por verificações de antecedentes (por exemplo, Disclosure and Barring Service – DBS, que é o serviço de verificação de antecedentes do Reino Unido) e receber treinamento para lidar e trabalhar efetivamente com crianças.

  Preparar-se para a implantação significa mais do que configuração técnica; significa cultivar um ecossistema de responsabilidade, justiça e transparência.

  Como as explicações devem ser construídas e apresentadas?
  

  À medida que os sistemas de IA se tornam mais prevalentes na tomada de decisões, a necessidade de explicações claras e acessíveis é fundamental. Mas como realmente construímos e entregamos essas explicações de forma eficaz?

  Explicações Baseadas em Resultados vs. Baseadas em Processos

  O primeiro passo é distinguir entre explicações baseadas em resultados e baseadas em processos:

  • Explicações baseadas em resultados focam nos componentes e no raciocínio por trás das saídas do modelo. Essas explicações visam deixar claro por que uma determinada decisão foi tomada. Elas devem ser acessíveis, usando linguagem simples.
  • Explicações baseadas em processos demonstram que você possui processos de governança robustos e seguiu as melhores práticas do setor durante o design, desenvolvimento e implantação do sistema de IA. Isso envolve mostrar que a sustentabilidade, segurança, justiça e gerenciamento responsável de dados foram considerados ao longo do ciclo de vida do projeto.

  Ambos os tipos são cruciais para construir confiança e garantir a responsabilização.

  Máximas Chave da Explicabilidade da IA

  Existem 4 máximas para melhorar a explicabilidade da sua IA:

  • Transparência: Seja transparente sobre o uso de IA/ML na tomada de decisões, incluindo como, quando e por que está sendo usada. Explique as decisões de forma significativa, verdadeira, apropriada e em tempo hábil.
  • Responsabilidade: Designe indivíduos ou equipes responsáveis por supervisionar os requisitos de “explicabilidade” dos sistemas de IA. Tenha um ponto de contato para esclarecer ou contestar uma decisão e tome decisões ativas sobre como projetar e implantar modelos de IA/ML para serem apropriadamente explicáveis.
  • Contexto: Reconheça que não existe uma abordagem única para todos. O contexto considera vários elementos inter-relacionados que têm efeitos na explicação das decisões assistidas por IA/ML e no processo geral.
  • Refletir sobre os Impactos: Identifique e reduza os efeitos potencialmente prejudiciais na tomada de decisões. Seja ético no uso de propósitos para não prejudicar o bem-estar. Além disso, considere o bem-estar social para salvaguardar a conexão humana.

  Tipos de Explicações para os Princípios SSAFE-D

  Para ajudar a construir explicações concisas e claras em torno dos princípios SSAFE-D (Sustentabilidade, Segurança, Responsabilidade, Justiça, Explicabilidade e Gestão de Dados), considere seis tipos de explicações:

  • Explicação da Justificativa: O “porquê” por trás de uma decisão.
  • Explicação da Responsabilidade: “Quem” contatar para revisão humana. Funções, funções e responsabilidade pelo modelo de IA.
  • Explicação dos Dados: “O que” é mantido e outros detalhes dos dados que foram usados. Dados usados, coleta e acesso de terceiros. Pré-processamento de dados e generalização.
  • Explicação da Justiça: Como o viés foi mitigado e as medidas tomadas para garantir as medidas corretas.
  • Explicação da Segurança: Maximizando a confiabilidade do desempenho e que um tipo escolhido de sistema de IA pode comparar com outros sistemas.
  • Explicação do Impacto: Efeitos que um sistema de apoio à decisão pode ter sobre um indivíduo ou sobre a sociedade. Tranquilize o público de que é benéfico.

  Passos Práticos para Construir Explicações

  Um modelo para Gestão de Garantia de Explicabilidade para projetos de IA concentra-se em:

  • Planejamento de Projetos para o ciclo de vida da IA
  • Extração e Pré-Processamento de Dados
  • Seleção e Treinamento de Modelo para uma variedade de tipos de explicação.
  • Relatório do Modelo para razões facilmente compreensíveis.
  • Treinamento do Usuário para preparar os implementadores para implantar o sistema de IA

  Considerações de Alto Nível

  Existem quatro considerações para as equipes que procuram alcançar a explicabilidade para públicos amplos e diversos:

  • Contexto, Impacto Potencial, Necessidades Específicas do Domínio: Que tipo de Aplicação e Tecnologia você está usando?

  • Técnicas Interpretáveis Padrão: Encontre os riscos, necessidades e técnicas de Inteligência Artificial/LM específicos do domínio corretos.

  • Sistemas de IA de Caixa Preta: Considerações para Avaliação completa dos riscos de impactos/riscos potenciais. Considere ferramentas de interpretabilidade suplementares e planos de ação para melhorar a explicabilidade.

  • Interpretabilidade e Compreensão Humana: Concentre-se nas capacidades e limitações da cognição humana, a fim de fornecer um sistema de IA interpretável.

  Ao focar nessas considerações, as organizações podem construir sistemas de IA que sejam eficazes e compreensíveis, promovendo a confiança e a responsabilização.

  Em última análise, a busca por IA explicável não é meramente um desafio técnico, mas fundamentalmente humano. Ao abordar diligentemente a transparência, a responsabilidade, a consciência contextual e os impactos potenciais, especialmente para populações vulneráveis como as crianças, podemos avançar para um futuro onde os sistemas de IA não sejam apenas ferramentas poderosas, mas também parceiros confiáveis na construção de um mundo mais equitativo e compreensível. As estratégias aqui delineadas fornecem um roteiro para tornar o funcionamento interno da IA mais acessível, garantindo que suas decisões não estejam envoltas em mistério, mas sim iluminadas pela clareza e propósito.