Os modelos de IA podem reforçar preconceitos raciais? 

Os avanços da inteligência artificial (IA) e dos modelos de linguagem estão cada vez mais integrados ao dia a dia de profissionais e organizações. Essas tecnologias têm um impacto crescente em várias áreas, como educação, diagnóstico médico, seleção de pessoal e análise jurídica. Contudo, há uma crescente preocupação de que os modelos de linguagem possam refletir ou mesmo amplificar preconceitos sociais presentes nos dados utilizados para seu treinamento. Em um estudo publicado na revista Nature, em agosto de 2024, pesquisadores investigaram como esses modelos podem perpetuar o racismo de maneira velada através do chamado preconceito dialetal (a partir da linguagem/”dialeto” utilizada nas interações com o chat), particularmente contra falantes do Inglês Afro-Americano (African American English – AAE). O estudo revela como esses modelos de IA apresentam, de forma negativa, estereótipos sociolinguísticos. 

Leia também: IA na Medicina

Para investigar o preconceito racial implícito nos modelos de linguagem, os pesquisadores aplicaram uma técnica chamada “matched guise probing“, inspirada por metodologias utilizadas no campo da sociolinguística. Utilizaram-se textos em dois tipos de “dialetos”: o AAE e o Inglês Americano Padronizado (SAE). Foram utilizadas versões diferentes dos textos, preservando o significado, mas variando o dialeto utilizado, e os modelos de linguagem foram questionados sobre as características dos falantes com base em suas respostas textuais. O estudo incluiu modelos como GPT-2, RoBERTa, T5, GPT-3.5 e GPT-4, totalizando 12 versões diferentes analisadas. A aplicação do método possibilitou examinar diferenças nas previsões feitas pelos modelos quando expostos ao AAE e ao SAE. 

Resultados 

Os resultados do estudo demonstraram um preconceito dialetal significativo, que afeta negativamente as decisões feitas pelos modelos de linguagem em relação aos falantes do AAE. Esses falantes foram associados a ocupações menos prestigiadas, como cozinheiros ou guardas, em contraste com ocupantes de cargos mais prestigiados, que foram frequentemente atribuídos aos falantes de SAE. Além disso, em cenários judiciais fictícios, modelos de IA foram mais propensos a condenar e a recomendar sentenças de morte a falantes de AAE em comparação com aqueles que usavam SAE, mesmo sem ter havido menção explícita da raça dos falantes. 

Os pesquisadores observaram também que práticas atuais para mitigar preconceitos em modelos de linguagem, como o aumento do tamanho do modelo e o alinhamento a partir de devolutivas humanas (human feedback), não parecem ter sido capazes de reduzir o preconceito dialetal. O estudo aponta que os modelos que passaram por esse tipo de treinamento tenderam a reforçar estereótipos negativos de forma mais sutil, enquanto, superficialmente, os estereótipos exibidos eram mais positivos, o que sugere que os modelos podem conter atitudes racistas em um nível mais profundo, podendo reforçar desigualdades através de discursos raciais implícitos. 

Veja mais: Importância do ceticismo médico na aplicação da IA [vídeo]

Imagem de DCStudio/Freepik

Implicações Práticas: preconceitos raciais em ferramentas de IA 

Os achados do estudo têm implicações importantes para o uso justo e seguro de tecnologias baseadas em IA. Os modelos de linguagem têm um papel potencialmente preponderante em setores como o de contratação de pessoal, onde podem sugerir, de forma injusta, posições menos valorizadas para candidatos que utilizam AAE, o que perpetua desigualdades sociais e estereótipos históricos. Também em contextos legais, os prejuízos associados ao preconceito dialetal têm um impacto grave, uma vez que podem influenciar sentenças judiciais de forma discriminatória. 

No campo da saúde, as implicações do estudo são igualmente preocupantes. Modelos de linguagem estão cada vez mais presentes em ferramentas de suporte à decisão clínica, em sistemas de triagem e diagnóstico, em serviços de telemedicina, entre outros. O preconceito dialetal pode levar a vieses que podem potencialmente influenciar na interpretação de sintomas ou na conduta de pacientes, reforçando as disparidades raciais já existentes no acesso à saúde. Portanto, é fundamental que se desenvolvam estratégias para identificar e mitigar esses preconceitos, garantindo que as tecnologias de IA contribuam para um cuidado em saúde mais justo e equânime. 

Os resultados deste estudo revelam que, embora os modelos de linguagem possam ser ajustados para evitar estereótipos raciais de forma aberta, o preconceito pode persistir de forma velada, com consequências prejudiciais. É necessário aprimorar o cuidado no desenvolvimento dos modelos de linguagem, além da criação de novas metodologias para detectar e mitigar o racismo encoberto. Estudos futuros são fundamentais para aprofundar a compreensão desses vieses e explorar novas formas de garantir que as tecnologias de IA possam ser desenvolvidas e implementadas de maneira equitativa.