Contextualizar as descobertas sobre o uso de IA em cenários de empréstimo e contratação.
As descobertas deste estudo sobre o impacto da IA na discriminação em empréstimos e contratações devem ser compreendidas no contexto mais amplo das políticas. A Lei de IA da UE, por exemplo, exige o uso responsável da IA por meio da supervisão humana e enfatiza a não discriminação. O Artigo 10 obriga os fornecedores de sistemas de IA a implementar uma governança de dados robusta, examinando os conjuntos de dados em busca de vieses e adotando medidas de mitigação. Essa relevância política informa a exploração do nosso estudo sobre a supervisão humana na tomada de decisões por IA, destacando a necessidade de monitoramento contínuo, revisão pós-implementação e a capacidade de anular as decisões da IA. O exame do estudo sobre os efeitos da IA, particularmente no que diz respeito ao viés e à discriminação, são insumos vitais para os objetivos de identificação e mitigação de viés da Lei de IA.
Além disso, a pesquisa aqui apresentada revela que os sistemas de decisão apoiados por IA combinados com a supervisão humana podem perpetuar e mitigar os vieses – uma nuance com um contexto significativo dentro das considerações éticas mais amplas da implantação de IA de alto risco. As políticas atuais geralmente se baseiam na suposição de que a supervisão humana irá retificar as deficiências da IA, o que este estudo desafia ao demonstrar que os vieses humanos podem perdurar ou até mesmo se amplificar ao interagir com as recomendações da IA, mesmo as “justas”. Desta perspectiva, as intervenções regulatórias e os instrumentos de política atuais devem ser criticamente reavaliados para incorporar os potenciais vieses que a supervisão humana pode introduzir. As respostas políticas também devem ser proativas, considerando mecanismos de feedback, ferramentas aprimoradas de detecção de viés além dos testes de IA e estruturas colaborativas eficazes entre humanos e IA para complementar a entrada humana, em vez de simplesmente substituir ou imitar.
Implicações Práticas e Considerações Futuras
As implicações no mundo real dessas descobertas estendem-se além dos mandatos políticos para considerações de design ético de IA. Intervenções como revisões de normas organizacionais, justificativas transparentes de substituição e monitoramento contínuo de resultados são cruciais. Os tomadores de decisão precisam de acesso a insights sobre seu desempenho e vieses, juntamente com as ferramentas para explicar suas substituições, o que promove um ecossistema proativo de verificações mútuas. Esta estratégia holística visa otimizar a colaboração IA-humano para que as decisões atendam consistentemente tanto os objetivos organizacionais quanto as considerações éticas, incluindo proteções robustas contra práticas discriminatórias. Ao enquadrar a supervisão em cenários realistas e promover uma perspectiva sistêmica, os futuros ambientes de teste regulatórios para IA podem explorar a governança de dados, estabelecer as melhores práticas e promover a confiança pública em sistemas usados para empréstimos e contratações.
Quais são as principais questões de pesquisa?
Esta pesquisa busca entender o intrincado equilíbrio entre confiança e controle na supervisão humana da tomada de decisões por IA. À medida que os sistemas de IA se tornam mais prevalentes, particularmente em áreas de alto risco como empréstimos e contratações, é crucial determinar o nível apropriado de confiança nesses sistemas. As principais questões giram em torno da identificação de cenários de “superdependência”, onde os usuários aceitam inquestionavelmente as recomendações da IA, mesmo quando são falhas, e “subdependência”, onde os usuários rejeitam conselhos válidos da IA em favor de seu próprio julgamento. O objetivo geral é determinar como esses comportamentos de confiança impactam a imparcialidade da tomada de decisões assistida por IA e derivar insights para projetar mecanismos de supervisão eficazes.
Uma questão central da pesquisa é se fornecer uma IA teoricamente imparcial se traduz em decisões menos tendenciosas por parte dos usuários. Isso explora se os usuários confiam e utilizam adequadamente IAs justas. Por outro lado, o estudo pergunta se os usuários mantêm sua capacidade e disposição de entender e questionar a IA, mesmo quando ela é teoricamente imparcial. Isso investiga o potencial de “aversão a algoritmos”, onde os usuários rejeitam decisões algorítmicas em favor de suas próprias perspectivas, potencialmente enviesadas. A pesquisa visa determinar se a substituição enviesada durante a supervisão ex-post pode negar os benefícios dos esforços ex-ante para garantir a imparcialidade da IA e, inversamente, se a supervisão ex-post pode mitigar o impacto de falhas na supervisão ex-ante.
Em última análise, o estudo busca determinar como as preferências do usuário impactam suas decisões de seguir ou rejeitar o conselho da IA e se as recomendações da IA podem ampliar o impacto das tendências discriminatórias. Em essência, pergunta se o suporte da IA pode exacerbar ou perpetuar a discriminação, mesmo quando a própria IA é projetada para ser justa. Ao explorar essas questões, a pesquisa visa fornecer insights sobre o projeto de sistemas de supervisão humana que minimizem os resultados discriminatórios e maximizem os benefícios da complementaridade humano-IA em contextos sensíveis de tomada de decisão.
Qual é a metodologia empregada nesta pesquisa?
Esta pesquisa adota uma abordagem de métodos mistos, empregando um design explicativo sequencial. Este design envolve uma fase inicial de coleta e análise de dados quantitativos, seguida por uma fase subsequente de coleta e análise de dados qualitativos, com a fase qualitativa servindo para explicar e elaborar sobre os resultados quantitativos. O componente quantitativo consiste em um experimento comportamental conduzido online, simulando relacionamentos empregador-empregado e credor-devedor com profissionais de recursos humanos e bancários na Itália e na Alemanha (N=1411). Os participantes tomaram decisões sobre candidatos hipotéticos, com incentivos vinculados ao desempenho de seus candidatos escolhidos, imitando avaliações profissionais do mundo real.
Após o experimento quantitativo, uma fase qualitativa foi realizada, compreendendo entrevistas semiestruturadas e workshops online em pequenos grupos com um subconjunto de participantes do estudo e um workshop de co-design com especialistas e formuladores de políticas. As entrevistas procuraram explorar as experiências dos participantes com IA em seus contextos profissionais, seus processos de tomada de decisão e suas percepções de justiça e viés. Os workshops serviram para explorar ainda mais a validade ecológica do estudo, coletando feedback sobre como as características do candidato selecionado e a configuração experimental se relacionavam com situações da vida real, e para gerar novas ideias sobre como mitigar os vieses humanos e algorítmicos. Esta triangulação de dados quantitativos e qualitativos fornece uma compreensão abrangente e diferenciada do impacto da supervisão humana na tomada de decisão assistida por IA.
Para enriquecer a análise e derivar insights acionáveis, métodos de design participativo foram incorporados. Um workshop de co-design reuniu especialistas de diversas disciplinas para idealizar sobre a mitigação de vieses humanos e algorítmicos na tomada de decisão apoiada por inteligência artificial. Os especialistas discutiram tópicos como a definição de justiça algorítmica e humana, a tradução da justiça em regras práticas, os requisitos regulamentares para a supervisão e o fomento da consciencialização entre usuários e desenvolvedores. Este envolvimento diversificado permitiu a formulação de recomendações de políticas fundamentadas e prioridades de pesquisa orientadas para o futuro decorrentes deste estudo em larga escala sobre a forma correta de implementar sistemas de supervisão humana para evitar resultados discriminatórios. Finalmente, os formuladores de políticas foram convidados a refletir sobre as descobertas e discutir as implementações de políticas.
Quais são as principais conclusões do experimento quantitativo?
O experimento quantitativo, um estudo comportamental em larga escala envolvendo profissionais de RH e bancários na Itália e Alemanha (N=1411), produziu várias conclusões notáveis sobre o impacto da supervisão humana na discriminação em sistemas de apoio à decisão baseados em IA. Um resultado central foi que os supervisores humanos eram igualmente propensos a endossar recomendações discriminatórias de uma IA genérica quanto a seguir as sugestões de uma IA especificamente programada para a justiça. Isso ilustra nitidamente que a supervisão humana, em sua implementação atual, não impede inerentemente a discriminação quando uma IA genérica potencialmente tendenciosa é utilizada como parte do processo de tomada de decisão. Além disso, o estudo descobriu que, quando uma IA “justa” era empregada, as escolhas feitas pelos participantes exibiam menos viés de gênero. No entanto, isso não eliminou totalmente a discriminação, pois as escolhas permaneceram influenciadas pelos vieses individuais mantidos pelos próprios participantes, mostrando a persistência de vieses humanos apesar da presença de suporte algorítmico aparentemente imparcial.
Especificamente, a IA genérica, otimizada para precisão e exibindo tendências a favorecer homens e candidatos alemães, foi observada exercendo influência, levando a escolhas discriminatórias contra mulheres e candidatos italianos. Por outro lado, a IA “justa”, projetada para minimizar o viés, pareceu mitigar a discriminação contra homens, mas não negou totalmente as atitudes preconceituosas existentes. Isso sugere que, embora a IA justa possa impulsionar as decisões para resultados menos discriminatórios, ela não pode erradicar completamente os vieses humanos profundamente arraigados. Notavelmente, o experimento também atenuou algumas preocupações, demonstrando que a mera presença de IA, mesmo quando programada para a justiça, não aumentou necessariamente o impacto das tendências discriminatórias. O estudo descobriu que as preferências individuais não tiveram mais influência nas escolhas quando havia suporte de IA.
Conclusões adicionais
Além dos principais aspectos do viés, o experimento também avaliou o desempenho dos tomadores de decisão com e sem suporte de IA. Curiosamente, o acesso a recomendações de IA, seja de uma IA justa ou genérica, não melhorou demonstrativamente a qualidade das decisões humanas em termos dos objetivos pretendidos. No entanto, o experimento mostrou que seguir as recomendações da IA teria rendido mais pontos ao tomador de decisão em comparação com as decisões baseadas inteiramente na intuição humana não assistida.
Quais são os principais temas que emergem dos estudos qualitativos pós-experimentais?
Os estudos qualitativos pós-experimentais, compreendendo entrevistas individuais e workshops colaborativos com participantes do estudo e especialistas em ética de IA, aprofundaram vários temas-chave em torno da supervisão humana na tomada de decisões assistida por IA. Um tema proeminente foi a influência, muitas vezes não reconhecida, das normas organizacionais e dos interesses organizacionais percebidos na tomada de decisões. Os participantes frequentemente expressaram a priorização de estratégias e objetivos da empresa, mesmo quando essas prioridades conflitavam com considerações de justiça individual ou com as recomendações de uma IA “justa”. Isso sugere a necessidade de intervenções que visem a cultura organizacional e forneçam orientações mais claras sobre quando e como anular as recomendações da IA em favor de princípios éticos. Os dados qualitativos também iluminaram uma tensão entre as aspirações dos participantes em relação à eficiência impulsionada pela IA e suas hesitações práticas em renunciar a avaliações de qualidades “suaves” para algoritmos, especialmente no que diz respeito aos atributos matizados identificados durante as entrevistas.
Ligado à influência organizacional estava o tema recorrente de *fatores contextuais*, que os participantes identificaram como desempenhando um papel substancial em sua interação com a IA e sua confiança nas recomendações da IA. Isso destacou as limitações da visão simplificada e descontextualizada de candidatos do cenário experimental. Os participantes enfatizaram sua necessidade de uma compreensão holística das circunstâncias e motivações de um candidato, qualidades que eles acreditavam que a IA não poderia capturar adequadamente. O desejo de *explicabilidade e justificação* também emergiu como uma característica definidora da supervisão humana eficaz. Os participantes precisavam entender o raciocínio por trás das recomendações da IA não apenas para reforçar seu próprio julgamento e especialização, mas também para garantir transparência e responsabilidade para com os candidatos. Alguns participantes até expressaram relutância em adotar certos sistemas de IA porque a forma como as decisões eram tomadas não era transparente. Os resultados combinados do estudo sugerem a importância de uma abordagem centrada no ser humano para a implementação de IA, onde a tecnologia serve como uma ferramenta para facilitar a interpretação e avaliação humana, em vez de simplesmente automatizar a tomada de decisões.
Finalmente, um tema recorrente foi o papel crítico do feedback de resultados e do monitoramento contínuo no refinamento dos sistemas de IA e dos processos de tomada de decisão humana. Os participantes do estudo expressaram a necessidade de mecanismos de feedback que lhes permitissem avaliar a precisão e a justiça das decisões assistidas por IA ao longo do tempo. Um desejo recorrente tanto do profissional da área quanto dos especialistas em justiça em IA que foram consultados, foi a acessibilidade de um “sistema de teste e auditoria” que seja acessível a todas as partes e onde novos aprendizados dos sistemas e do processo de tomada de decisão possam ser obtidos. Tais sistemas que “fornecem um relato claro” do que está sendo visto e como permitirão que todos se envolvam de forma mais justa, construindo esse “engajamento comunitário” que ajudaria ainda mais na criação de processos para aprimorar o resultado de longo prazo do sistema que está sendo usado. Esse foco na aprendizagem contínua destaca a necessidade de sistemas de supervisão de IA que possam se adaptar às mudanças nos contextos sociais e facilitar o refinamento colaborativo, incorporando julgamentos humanos. Os especialistas propuseram intervenções no nível de treinamento e operacional do desenvolvimento de IA, para considerar dados mais matizados e contextuais em vez de conjuntos de dados mais genéricos e potencialmente tendenciosos ou discriminatórios.
Como os resultados das entrevistas individuais informam as questões de pesquisa?
As entrevistas individuais forneceram informações valiosas sobre as prioridades e os vieses que os profissionais consideram ao tomar decisões, tanto relacionados à equidade quanto a considerações pragmáticas. Um ponto fundamental foi a percepção de que os participantes frequentemente contextualizavam suas decisões com base em sua experiência pessoal e nos objetivos estratégicos de suas empresas. Alguns admitiram aceitar recomendações discriminatórias de sistemas de IA se estivessem alinhadas com os objetivos organizacionais, destacando assim uma tensão entre princípios éticos e demandas práticas. Além disso, os participantes expressaram uma preferência por suporte de decisão de IA quando as tarefas eram menos complexas, como processamento de dados, e expressaram hesitação ao julgar características humanas sutis. A necessidade de explicabilidade e transparência foi enfatizada, pois os participantes solicitaram insights sobre o raciocínio da IA para se sentirem seguros quanto à imparcialidade.
As entrevistas lançaram luz sobre os fatores que impulsionam a disposição dos profissionais em usar o suporte de IA, abordando, em última análise, uma questão de pesquisa chave. Abertura dos participantes às decisões assistidas por IA dependia de vários fatores, incluindo a complexidade percebida da tarefa, os riscos potenciais de confiar na IA e sua capacidade de justificar e explicar as recomendações da IA. As entrevistas também revelaram visões matizadas sobre a utilidade da IA, com alguns participantes considerando-a ferramentas indispensáveis de trabalho e eficiência. Por outro lado, foi explicado que muitas ferramentas de IA são imaturas demais para algumas responsabilidades, e essa visão foi enfatizada ao explicar a capacidade das ferramentas de IA de avaliar qualidades humanas e inter-relacionar a importância de várias qualidades ao tomar decisões informadas.
Por fim, as conclusões das entrevistas individuais sugeriram fortemente a necessidade de avaliar e abordar os vieses que não estão contidos apenas no sistema de IA. O foco também deve se concentrar em quais processos e vieses externos existem em outros membros do processo de tomada de decisão, incluindo os societais, humanos ou institucionais. Isso informou que tipos de dados deveriam ser coletados em grupos focais e quais tópicos exigiam uma avaliação mais detalhada de equipes externas que trabalham no desenvolvimento ético e equitativo de IA, como o workshop interdisciplinar sobre justiça de IA. Os insights obtidos nas entrevistas individuais permitiram aos pesquisadores desviar sua atenção para fora da caixa preta da IA e entender que mais compreensão e reflexão humana influenciariam o suporte a decisões éticas e equitativas.
Quais insights foram derivados dos workshops com profissionais?
A pesquisa qualitativa envolvendo workshops com profissionais que participaram do experimento de interação humano-IA revelou insights importantes sobre as complexidades da justiça algorítmica e da supervisão humana. Os participantes sublinharam a importância crítica de contextualizar o uso da IA dentro de seus cenários profissionais específicos. Além disso, enfatizaram a necessidade de IA explicável, desejando transparência sobre a lógica dos algoritmos e como as decisões foram tomadas. Essa explicabilidade, argumentaram, promoveria maior confiança no sistema de IA e permitiria uma tomada de decisão mais bem informada. No entanto, os participantes notaram uma tensão entre as recomendações algorítmicas e seu próprio julgamento profissional, muitas vezes valorizando sua capacidade de avaliar atributos sutis e específicos da situação que a IA pode ter dificuldades em capturar.
Outro insight significativo derivado dos workshops foi a noção de justiça além da não discriminação. Os especialistas destacaram que, embora alcançar a justiça na IA exija uma abordagem multidisciplinar, envolvendo considerações sociais e técnicas, a justiça é um processo tanto sistêmico quanto dinâmico, e é mais contextual. Construir uma justiça colaborativa, de acordo com os participantes, requer consciência de quando o sistema está falhando e quando os humanos estão falhando para o sistema. Além disso, os participantes destacaram a importância de reconhecer e abordar seus próprios vieses implícitos, bem como o potencial de vieses organizacionais influenciarem os processos de tomada de decisão. Os participantes expressaram a necessidade de diretrizes claras sobre quando ignorar as recomendações da IA e de mecanismos para revisar e monitorar as decisões de ignorar, o que ajuda a mitigar vieses não intencionais e promove resultados mais equitativos, à medida que são guiados a alinhar suas escolhas com os valores organizacionais e as metas de longo prazo. Os workshops confirmaram o valor atribuído às decisões individuais quando o contexto é mais detalhado, ao mesmo tempo em que reconhecem que a dependência pode acontecer se os resultados forem validados ou se as organizações tiverem limites.
Quais perspectivas e conclusões foram estabelecidas pelo workshop de especialistas?
O workshop de especialistas reuniu um grupo multidisciplinar para abordar vieses na tomada de decisão humana apoiada por IA, com foco em cenários como contratação e empréstimos. Crucialmente, o workshop identificou a definição de justiça como um processo dinâmico que requer prática e exercício contínuos, em vez de um conceito estático. Essa perspectiva sublinhou a necessidade de incorporar a justiça em todo o ciclo de vida do desenvolvimento do sistema de IA, desde a coleta inicial de dados até a implementação contínua. Os especialistas enfatizaram a consideração da justiça de forma dinâmica e iterativa em relação aos resultados do mundo real, inclusive após uma pessoa em supervisão humana estar “no circuito”. As discussões questionaram a eficácia de excluir apenas características protegidas dos conjuntos de dados para garantir a justiça, com os especialistas observando que isso, por si só, não garante. Isso ocorre porque isolar as características para análise também pode levar a interpretações errôneas ou à perda completa do contexto.
O workshop explorou ainda a operacionalização da justiça na colaboração humano-IA, destacando a transparência mútua como um princípio central. Os especialistas propuseram mecanismos para controle padronizado e loops de feedback para promover a supervisão ética e regulatória. Os especialistas previram um futuro onde a IA poderia ser incorporada como parte de loops de aprendizado dinâmicos, ou até mesmo contribuir positivamente para um modelo híbrido humano e IA no local de trabalho ou ambiente de empréstimo. O processo poderia envolver uma equipe que executa e itera através de testes. Por exemplo, a IA poderia fazer parte de uma equipe que examina os aspectos técnicos e sociais do projeto e pode identificar quaisquer problemas. Os especialistas também defenderam o fornecimento de análises significativas e transparência para os candidatos que passam por um humano em supervisão, bem como o processo por trás das decisões de supervisão humana. Mais especificamente, um tema chave constantemente levantado foi a importância de fomentar o “letramento em ética de IA” entre designers e usuários para garantir o desenvolvimento responsável do sistema de IA.
Os especialistas destacaram a importância do envolvimento da comunidade e da responsabilidade compartilhada na governança da IA, defendendo formas coletivas de supervisão humana. As discussões enfatizaram a priorização das necessidades da comunidade em detrimento das capacidades puramente técnicas, construindo novos imaginários para melhor apoiar e vincular mais estreitamente a tecnologia e as necessidades da comunidade. De uma perspectiva política, os especialistas instaram a UE a priorizar valores e ética no desenvolvimento de IA e investir na construção de confiança em torno da tecnologia, ajudando, em última análise, a garantir que a IA se alinhe com os objetivos estratégicos abrangentes. Os participantes do workshop também observaram que o papel do feedback das decisões de nível de usuário final e das decisões e sugestões lideradas por IA em um ecossistema maior também pode ajudar a levar pesquisadores e desenvolvedores a uma compreensão em nível de sistema de questões complexas.
Quais são os principais pontos de discussão e recomendações de políticas decorrentes da integração dos resultados da pesquisa?
A integração dos resultados de experimentos quantitativos e entrevistas qualitativas, combinada com workshops de especialistas e formuladores de políticas, destaca vários pontos de discussão cruciais e informa recomendações de políticas específicas em relação à supervisão humana da tomada de decisões apoiada por IA. Um tema geral fundamental é a necessidade de ir além de uma visão simplista da supervisão humana como um mecanismo corretivo automático para o viés da IA. A pesquisa ressalta que os vieses humanos e as normas organizacionais podem influenciar significativamente e até exacerbar resultados discriminatórios em sistemas assistidos por IA. Os pontos de discussão se concentram nas complexidades de equilibrar a eficiência algorítmica com considerações éticas, particularmente em relação à justiça e à transparência em processos de tomada de decisão frequentemente opacos. O estudo também revela a importância do contexto e as limitações de uma abordagem única para a supervisão da IA, enfatizando a necessidade de incorporar diversas perspectivas e abordar potenciais problemas sistêmicos juntamente com aspectos técnicos.
Com base nesses pontos de discussão, várias recomendações de políticas emergem para aprimorar a eficácia da supervisão humana. Há uma necessidade não apenas de mitigar os vieses da IA, mas também de implementar mecanismos robustos para monitorar e revisar as decisões humanas que substituem as recomendações da IA. Isso exigiria investimento em ferramentas de detecção de viés e programas de treinamento para aumentar a conscientização e o conhecimento dos vieses da decisão humana. A transparência precisa ser um elemento chave, permitindo que as partes interessadas obtenham insights sobre como as decisões finais são tomadas. Além disso, as estruturas de governança de IA devem considerar a inclusão de loops de feedback contínuos, permitindo que os tomadores de decisão ajustem os algoritmos de IA com base no desempenho do mundo real, aderindo às diretrizes éticas. Essas recomendações visam coletivamente criar um sistema de supervisão de IA mais holístico, adaptável e consciente do contexto, que promova a justiça.
Insights Acionáveis para Regulamentação
Para tornar as políticas mais eficazes, é importante analisar como os vieses humanos e a cultura organizacional podem afetar a justiça dos sistemas de IA. Os formuladores de políticas devem considerar regulamentos e diretrizes que incentivem as organizações a verificar sua cultura e normas e a tomar medidas que garantam que os sistemas de IA e seus supervisores humanos não reforcem as desigualdades existentes. Além disso, as políticas devem incentivar os desenvolvedores de IA a fornecer ferramentas que permitam a transparência e justifiquem explicações para a tomada de decisão da IA para as pessoas afetadas, bem como fornecer contexto sobre o que os dados e a tomada de decisão do sistema de IA fazem. Deve ser possível criar políticas que incentivem a inovação e, ao mesmo tempo, tenham salvaguardas para garantir que os sistemas de IA apoiem a justiça e protejam os direitos individuais.
