A IA consegue interpretar prontuários médicos com precisão?

A análise automatizada de registros em prontuários médicos geralmente é desafiadora devido à estrutura não padronizada dos dados e ao uso de linguagem natural na escrita. Com o advento dos modelos de Inteligência Artificial de linguagem de grande escala, como o Generative Pre-trained Transformer 4 (GPT-4), a interpretação “automática” de textos médicos tem se demonstrado como algo possível de ser realizado. Um estudo publicado na The Lancet Digital Health avaliou a capacidade do GPT-4 em analisar registros médicos em três idiomas diferentes, investigando e discutindo sobre a viabilidade do uso da tecnologia para esse fim na prática clínica.

O estudo retrospectivo envolveu oito hospitais universitários em quatro países (EUA, Colômbia, Singapura e Itália), em inglês, espanhol e italiano. Cada instituição forneceu sete prontuários médicos anonimizados, totalizando 56 registros médicos escritos, entre fevereiro de 2020 e junho de 2023. As notas foram submetidas ao GPT-4, que respondeu a 14 perguntas padronizadas. Dois médicos independentes avaliaram as respostas do modelo para cada prontuário.

Os documentos incluíram notas de admissão, notas de evolução e consultas especializadas, mas não sumários de alta. A amostra buscou abranger pacientes entre 18 e 65 anos, diagnosticados com obesidade e COVID-19, embora esses critérios fossem opcionais.

Resultados

Das 784 respostas geradas pelo GPT-4, 79% (IC 95%: 76-82) foram concordantes com as respostas dos dois médicos validadores, 11% (IC 95%: 8-13) tiveram concordância com apenas um médico, e 10% (IC 95%: 8-13) foram discordantes de ambos os médicos. A acurácia do GPT-4 foi superior para notas escritas em espanhol (88%) e italiano (84%) em comparação ao inglês (77%). Entre as dificuldades encontradas pelo modelo, destacaram-se a interpretação de informações implícitas e a relação entre doenças e suas complicações.

Em termos de capacidade de identificação de pacientes com os critérios clínicos, o GPT-4 apresentou sensibilidade de 97% para obesidade e 96% para COVID-19, especificidade de 100% para idade e obesidade, mas dificuldades na identificação nas notas de admissão, com especificidade de apenas 22%.

Os achados indicam que o GPT-4 tem bom desempenho na análise de informações explícitas, como idade, gênero e histórico médico. No entanto, apresenta dificuldades na inferência de relações implícitas, como a identificação de complicações de doenças. Isso sugere que, para tarefas clínicas mais complexas, pode ser necessário um ajuste fino do modelo ou o uso de prompts mais elaborados.

A performance superior em espanhol e italiano pode estar relacionada à estrutura dos registros médicos nesses idiomas, que tendem a ser mais diretos e concisos. Além disso, os médicos validadores podem ter influenciado os resultados ao comparar suas respostas com as do GPT-4 antes de emitirem um veredicto.

Conclusão

O estudo demonstra que o GPT-4 é uma ferramenta promissora para a análise de prontuários médicos, apresentando alta concordância com especialistas, especialmente para informações objetivas. No entanto, limitações na inferência de dados implícitos reforçam a necessidade de refinamento do modelo e investigações futuras sobre sua integração na rotina clínica.

A aplicação da IA na medicina requer uma abordagem crítica para garantir segurança e precisão na interpretação de dados médicos, enfatizando a necessidade de mais estudos para validar e aprimorar seu uso em ambientes clínicos.

 

Mensagem prática

Na prática, os médicos podem considerar o uso da inteligência artificial como um suporte à análise de prontuários, especialmente para a extração de informações explícitas e padronizadas. No entanto, é essencial que o julgamento clínico prevaleça sobre as respostas automatizadas, principalmente em casos que demandam uma interpretação contextual e análise de implicações clínicas mais complexas.

Além disso, a implementação da IA nos fluxos de trabalho pode otimizar o tempo de análise de registros, permitindo que os profissionais de saúde foquem em atividades que exijam raciocínio crítico e tomada de decisão personalizada para cada paciente.