Uma Brecha Óbvia na Proibição de Tecnologias de Reconhecimento Emocional?
No dia 13 de maio de 2024, durante um evento da OpenAI, o Chat-GPT foi solicitado a contar uma história de ninar, utilizando diferentes tons emocionais. Poucos minutos depois, um pesquisador da OpenAI pediu ao Chat-GPT para avaliar suas emoções através de suas expressões faciais. O modelo de IA respondeu com uma voz feminina: “feliz e alegre, com um grande sorriso e talvez até um toque de empolgação. O que quer que esteja acontecendo, parece que você está de ótimo humor. Quer compartilhar a fonte dessas boas vibrações?”
As Tecnologias de Reconhecimento Emocional (ERTs) são conhecidas como sistemas que detectam e identificam os estados emocionais dos indivíduos através de diversos métodos. Algumas ERTs especializam-se na detecção e identificação de estados emocionais amplos, restringindo seu foco a estados negativos ou positivos (ou seja, valência), enquanto outras monitoram uma ampla gama de estados emocionais discretos (ex: felicidade, medo, raiva, surpresa, confusão, etc.).
As ERTs existem há quase 10 anos, envolvendo controvérsias a cada lançamento. Sistemas como o Rekognition da Amazon, o Microsoft Azure Emotion Recognition (também conhecido como API Face) e a startup Emotient, adquirida pela Apple, afirmam detectar emoções das pessoas através de expressões faciais. No entanto, não estão sozinhos. Nao, MiRo, Xiaoce, Hume-based AI, Happimeter, AVATAR, iBorderCtrl são todas diferentes manifestações de ERT, e todas concordam em um ponto: o acesso e a exposição à vida afetiva interna é desejável. O mercado da indústria ERT foi estimado em cerca de $20 bilhões em 2019, com sua primeira grande aparição global em aeroportos, escolas, aplicativos de redes sociais, processos de recursos humanos e ferramentas de aplicação da lei. A previsão é que a indústria ultrapasse $50 bilhões até o final de 2024.
As emoções e expressões emocionais sempre tiveram um peso importante na avaliação do caráter e intenções de uma pessoa. Analisar as emoções de outra pessoa ajuda a moldar nossos julgamentos mais importantes, seja confrontando um cônjuge com dúvidas sobre sua lealdade, decidindo se deve confiar em um colega com informações importantes ou fazendo parte de um júri decidindo se deve ou não condenar alguém à morte. O juiz da Suprema Corte dos EUA, Anthony Kennedy, escreveu no caso Riggins v. Nevada em 1992 que saber se o réu está arrependido ou culpado é necessário para “conhecer o coração e a mente do ofensor”.
Contudo, a ideia de que as emoções expressivas de uma pessoa podem revelar seu verdadeiro estado de espírito sempre foi controversa, baseando-se no fato de que os indivíduos podem às vezes enganar os outros nesse aspecto—e que algumas pessoas são muito boas nisso. Isso acompanha uma crença comum de que os estados internos das pessoas nunca são totalmente acessíveis aos outros, e, portanto, a certeza nesse aspecto nunca será possível. Paralelamente a essa crença, há a ideia de que os estados afetivos estão correlacionados com sintomas fisiológicos corporais, tornando-os suscetíveis à detecção. Assim, se as correlações ‘corretas’ entre sintomas corporais e estados afetivos internos pudessem ser descobertas, todas as tentativas de engano poderiam ser contornadas e os ‘verdadeiros’ estados afetivos de uma pessoa poderiam ser acessados independentemente da vontade da pessoa em compartilhá-los ou não.
Em 2016, a palavra “emoção” não foi mencionada uma única vez no GDPR. Em 2021, encontramos a palavra 10 vezes na Lei de IA e 20 vezes em sua versão renovada e oficial de 2024. Seguindo uma abordagem baseada em riscos para regular o uso de sistemas de IA, a Lei de IA concretiza as ideias preliminares de 2021, afirmando que existem “sérias preocupações sobre a base científica dos sistemas de IA que visam identificar ou inferir emoções”, classificando as ERTs na categoria de tecnologias de “alto risco” e proibindo seu uso em locais de trabalho e instituições educacionais.
De acordo com a Lei de IA, as ERTs são definidas como “um sistema de IA projetado para identificar ou inferir emoções ou intenções de pessoas naturais com base em seus dados biométricos”. O termo “emoções” refere-se a “emoções ou intenções como felicidade, tristeza, raiva, surpresa, nojo, embaraço, empolgação, vergonha, desdém, satisfação e diversão”. A proibição e a classificação como tecnologia de “alto risco” são justificadas pela identificação de sérios defeitos, nomeadamente a confiabilidade limitada, a falta de especificidade e a generalização limitada desses sistemas. Essas deficiências são consequência direta das limitações técnicas atuais desses sistemas e, como tal, podem enviesar os resultados e levar a discriminações sérias. A Lei de IA afirma especificamente que esses preconceitos são particularmente relevantes quando se trata de idade, etnia, raça, sexo ou deficiência.
Com isso, poderia-se concluir que as ERTs foram adequadamente abordadas e que, pelo menos na UE, sua regulamentação está em boas mãos.
No entanto, ao reconhecer as limitações técnicas desses sistemas, isso é definitivamente um passo à frente na regulamentação da IA em geral e das ERTs em particular, a lei deixa uma série de questões que precisam ser reconhecidas. Primeiro, a Lei de IA faz uma distinção entre identificar expressões de emoção e inferir o estado emocional de um indivíduo a partir de suas expressões emocionais. A proibição aplica-se apenas à última, portanto a primeira—identificação de expressões emocionais—é permitida. Formalmente, como McStay aponta, apenas proíbe as empresas de tentar explicitamente inferir emoções.
De acordo com a lei, um gerente de call center que utiliza IA emocional para monitoramento poderia, teoricamente, disciplinar um funcionário se a IA disser que ele parece estar de mau humor nas chamadas, desde que não haja inferência de que ele está, de fato, de mau humor. “Qualquer um, francamente, ainda poderia usar esse tipo de tecnologia sem fazer uma inferência explícita sobre as emoções internas de uma pessoa e tomar decisões que poderiam impactá-las”, diz McStay.
Em segundo lugar, a proibição—sobre inferir explicitamente os estados emocionais dos indivíduos a partir de suas expressões emocionais—baseia-se no fato de que existem sérias limitações técnicas, o que é motivo de preocupação. Isso pode ser problemático no futuro próximo, uma vez que as regulamentações atuais não protegem os usuários do uso de ERTs, mas sim do uso de ERTs viciadas e defeituosas.
Embora essa regulamentação possa ter colocado sua implementação em espera, essa pausa é apenas temporária, uma vez que a regulamentação não protege contra o uso de ERTs que seriam consideradas totalmente funcionais. Dada a falta de diminuição do interesse em detectar e prever emoções, e que pesquisadores, empresas privadas e governos ainda estão tentando encontrar novas formas de correlacionar pensamentos, estados afetivos e sintomas fisiológicos, também é necessário questionar quais seriam as consequências—além de preconceitos e risco de discriminação—do uso de ERTs (funcionais) para indivíduos e para a sociedade. De fato, dado o entusiasmo atual do mercado por esse tipo de tecnologia, é mais do que plausível que melhorias em, por exemplo, ERTs multimodais com monitoramento em tempo real logo superem esses desafios técnicos. A forma como a proibição atual é justificada, portanto, enfraquece severamente a regulamentação da UE sobre as ERTs e deixa a porta aberta para preocupações legítimas sobre o escopo real da proteção que ela supostamente oferece.
No rescaldo da revolução da informação, a capacidade de entender as emoções humanas agora é vista como parte essencial do desenvolvimento de sistemas de IA, desde Interação Humano-Computador (HCI) até Sistemas de Apoio à Decisão (DSS), mas como essa commodificação mal regulamentada da vida afetiva impactará a vida das pessoas na era da doxa de dados?
