Respostas do ChatGPT conseguem sanar dúvidas sobre procedimentos colonoscópicos?

Desde que foi lançado no mercado em novembro de 2022, o ChatGPT se tornou assunto diário em todas as áreas, sendo inclusive motivo de desconfiança por diversas áreas profissionais. Muitos inclusive confundem este aplicativo com inteligência artificial (IA), como se fossem sinônimos, o que não é real, uma vez que IA é algo muito mais amplo.

Leia também: A inteligência artificial pode ajudar na escrita científica?

Longe do conhecimento do público geral e inclusive da maioria do público médico é que a inteligência artificial já é uma realidade com produtos comercialmente disponíveis e aplicados em diversas áreas da medicina. Um exemplo de tecnologia já utilizada na medicina brasileira são os novos colonoscópios, com inteligência artificial que auxiliam na detecção de pólipos em tempo real durante a realização do exame.

O interessante do ChatGPT, é como as respostas são escritas de forma natural e os “diálogos” evoluem de forma bastante semelhante a uma conversação entre duas pessoas.

O trabalho publicado pela Gastroenterology avaliou as respostas geradas pelo ChatGPT a perguntas comuns sobre dúvidas a respeito de colonoscopias.

Métodos

Através de uma busca em sites de hospitais que realizam colonoscopia, foram selecionadas aleatoriamente oito dúvidas frequentes presentes nestes site. Estas oito perguntas foram feitas ao ChatGPT, duas vezes cada uma em um mesmo dia e seus resultados anotados. Todas as respostas foram analisadas por um software de análise de plágio. Além disto as respostas, tanto as originais quanto as geradas pelo software foram analisadas por quatro gastroenterologistas que deveriam responder aos seguintes quesitos: 1- fácil de entender; 2- adequação científica; 3- satisfação com a resposta; 4- se a resposta foi formulada por inteligência artificial ou não.

Resultados

As respostas geradas pelo ChatGPT apresentaram um baixo grau de similaridade quando comparadas às respostas publicadas nos sites, no entanto apresentaram alguma similaridade entre as duas respostas do próprio Chat GPT, variando de 28% a 77%. As respostas criadas pela inteligência artificial foram classificadas predominantemente como fáceis de entender e não geradas por inteligência artificial pelos gastroenterologistas (P > o,00089). As respostas tanto pela IA, quanto as respostas originais apresentaram igual valor de satisfação. A adequação científica foi semelhante entre as respostas originais, assim como geradas por IA. Quanto à identificação se as respostas eram geradas por IA, a acurácia foi 48%, no entanto um avaliador apresentou uma acurácia de 81%.

Discussão

Este foi um dos primeiros estudos a analisar a qualidade de respostas geradas por IA a perguntas comuns em relação à colonoscopia. Surpreendentemente, houve uma baixa sensibilidade, entre os analisadores, de detectarem se a resposta foi gerada por um computador. Além disso, as respostas foram classificadas como fáceis de compreender e estariam cientificamente coerentes.

Esse estudo sugere que o uso de IA pode otimizar a comunicação entre o público alvo e o centro realizador do exame.  Diversos outros estudos têm mostrado esta viabilidade, inclusive com outros programas. No entanto pode haver algumas falhas, visto que as atualizações desse tipo de mecanismo podem não ser tão frequentes quanto as necessárias para a orientações aos pacientes. Alguma mudança drástica de rotina pode demorar a ser implementada nesse tipo de software.

Saiba mais: Inteligência artificial (IA) para rastreio de câncer de mama

Para levar para casa

As respostas para questões comuns são relativamente tranquilas de serem respondidas, visto que são genéricas e amplas para englobar os questionamentos mais frequentes. No entanto, temos que aceitar que essa tecnologia será empregada na medicina, e em última análise para uma melhor acurácia, ou até uma diminuição de custos.