Estudo avaliou ferramenta de IA com questões sobre glaucoma e doenças da retina

No último dia 22 de fevereiro, foi publicado na revista JAMA Ophthalmology uma análise comparativa entre as respostas de um grupo de oftalmologistas e um chatbot para questões sobre diagnóstico e tratamento de casos reais de pacientes com glaucoma e problemas de retina. 

Método 

Foram recrutados 15 participantes humanos – sendo oito médicos especializados em glaucoma, quatro em doenças da retina, dois oftalmologias bolsistas e um residente no último ano -, todos afiliados ao Departamento de Oftalmologia da Icahn School of Medicine do hospital Mount Sinai, em Nova York.  O chatbot utilizado foi o GPT-4, versão de 12 de maio de 2023 com dados coletados entre junho e agosto de 2023.  Foram feitas dez perguntas sobre glaucoma e problemas de retina e dez casos foram selecionados a partir de pacientes atendidos em clínicas afiliadas ao hospital.  Leia também: Diagnóstico de Transtorno do Espectro Autista (TEA) usando fotografias de retina  A precisão das respostas foi medida em uma escala Likert de 10 pontos: 

• Uma nota de 1 e 2 representaram imprecisões ruins ou inaceitáveis;  
• Notas 3 e 4, foram dadas a respostas com erros potencialmente prejudiciais;  
• Notas 5 e 6, para respostas com imprecisões moderadas que poderiam gerar problemas de interpretação;  
• Notas 7 e 8, eram respostas de boa qualidade, com pequenas imprecisões não prejudiciais;  
• Notas 9 e 10, atribuídas a respostas sem qualquer imprecisão.  

A completude das respostas também foi medida: 

• 1 a 2; respostas incompletas e não abordou partes significativas da pergunta ou do manejo;  
• 3 a 4; resposta adequada, com as informações básicas necessárias;  
• 5 a 6; resposta abrangente, abordando mais detalhes e fornecendo informações adicionais pertinentes. 

Saiba mais: Respostas do ChatGPT conseguem sanar dúvidas sobre procedimentos colonoscópicos? 

Resultados

De acordo com o estudo, o chatbot teve uma performance superior ao grupo de especialistas em questões de diagnóstico e tratamento de glaucoma, tendo pontuações melhores tanto em precisão quanto em completude. A ferramenta de IA também foi relativamente melhor nos casos de doenças de retina na completude das respostas, mas ficou parelha com os especialistas na precisão.  “Nossas descobertas, embora promissoras, não devem ser interpretadas como endosso à aplicação clínica direta devido às limitações incertas dos chatbots para tomada de decisões complexas, juntamente com as considerações éticas, regulatórias e de validação necessárias não abordadas neste estudo”, alertam os autores. *Este artigo foi revisado pela equipe médica do Portal Afya.