A arma secreta da Mayo Clinic contra alucinações de IA: A RAG reversa em ação

Participe dos nossos boletins diários e semanais para as últimas atualizações e conteúdo exclusivo sobre cobertura de IA líder na indústria. Saiba mais

Ainda que os grandes modelos de linguagem (LLMs) se tornem cada vez mais sofisticados e capazes, eles continuam a sofrer de alucinações: oferecendo informações imprecisas ou, para ser mais duro, mentindo.

Isso pode ser particularmente prejudicial em áreas como a saúde, onde informações erradas podem ter consequências graves.

A Mayo Clinic, um dos hospitais melhor classificados nos EUA, adotou uma técnica inovadora para enfrentar esse desafio. Para ter sucesso, a instituição médica deve superar as limitações da geração aumentada por recuperação (RAG). Esse é o processo pelo qual os grandes modelos de linguagem (LLMs) extraem informações de fontes de dados relevantes e específicas. O hospital empregou o que é essencialmente um RAG reverso, onde o modelo extrai informações relevantes e, em seguida, vincula cada ponto de dados ao seu conteúdo original.

Notavelmente, isso eliminou quase todas as alucinações baseadas em recuperação de dados em casos de uso não diagnósticos, permitindo que a Mayo implementasse o modelo em sua prática clínica.

“Com essa abordagem de referenciar informações de origem por meio de links, a extração desses dados não é mais um problema”, disse Matthew Callstrom, diretor médico de estratégia da Mayo e presidente de radiologia, ao VentureBeat.

Contabilizando cada ponto de dado

Lidar com dados relacionados à saúde é um desafio complexo — e pode ser uma grande perda de tempo. Embora grandes quantidades de dados sejam coletadas em registros eletrônicos de saúde (EHRs), encontrar e separar esses dados pode ser extremamente difícil.

O primeiro caso de uso da Mayo para IA na organização desses dados foram os resumos de alta (resumos de visitas com dicas de pós-cuidado), com seus modelos utilizando o RAG tradicional. Como Callstrom explicou, esse foi um lugar natural para começar, pois envolve extração e sumarização simples, que é o que os LLMs geralmente fazem melhor.

“Na primeira fase, não estamos tentando chegar a um diagnóstico, onde você poderia perguntar a um modelo: ‘Qual é o próximo melhor passo para este paciente agora?’”, ele disse.

O perigo das alucinações também não era tão significativo quanto seria em cenários de assistência médica; não que os erros de recuperação de dados não fossem curiosos.

“Nas nossas primeiras iterações, tivemos algumas alucinações engraçadas que claramente você não toleraria — a idade errada do paciente, por exemplo”, disse Callstrom. “Então você precisa construir isso com cuidado.”

Enquanto o RAG tem sido um componente crítico para fundamentar os LLMs (melhorando suas capacidades), a técnica possui suas limitações. Os modelos podem recuperar dados irrelevantes, imprecisos ou de baixa qualidade; falhar em determinar se as informações são relevantes para a pergunta humana; ou criar saídas que não correspondem aos formatos solicitados (como retornar texto simples em vez de uma tabela detalhada).

Embora existam algumas soluções alternativas para esses problemas — como RAG gráfico, que utiliza gráficos de conhecimento para fornecer contexto, ou RAG corretivo (CRAG), onde um mecanismo de avaliação analisa a qualidade dos documentos recuperados — as alucinações não desapareceram.

Referenciando cada ponto de dado

É aqui que entra o processo de RAG reverso. Especificamente, a Mayo combinou o que é conhecido como algoritmo de agrupamento usando representantes (CURE) com LLMs e bancos de dados vetoriais para verificar a recuperação de dados.

O agrupamento é crítico para o aprendizado de máquina (ML) porque organiza, classifica e agrupa pontos de dados com base em suas semelhanças ou padrões. Isso ajuda essencialmente os modelos a “fazer sentido” dos dados. O CURE vai além do agrupamento típico com uma técnica hierárquica, usando medidas de distância para agrupar dados com base na proximidade (pense: dados mais próximos uns dos outros estão mais relacionados do que aqueles mais distantes). O algoritmo tem a capacidade de detectar “outliers”, ou pontos de dados que não correspondem aos outros.

Combinando o CURE com uma abordagem de RAG reverso, o LLM da Mayo dividiu os resumos que gerou em fatos individuais e, em seguida, fez a correspondência de volta aos documentos de origem. Um segundo LLM então avaliou quão bem os fatos se alinhavam com aquelas fontes, especificamente se havia uma relação causal entre os dois.

“Qualquer ponto de dado é referenciado de volta aos dados de origem do laboratório ou ao relatório de imagem”, disse Callstrom. “O sistema garante que as referências sejam reais e recuperadas com precisão, solucionando efetivamente a maioria das alucinações relacionadas à recuperação.”

A equipe de Callstrom usou bancos de dados vetoriais para primeiro ingerir registros de pacientes, para que o modelo pudesse recuperar rapidamente informações. Inicialmente, eles usaram um banco de dados local para o conceito de prova (POC); a versão de produção é um banco de dados genérico com lógica no próprio algoritmo CURE.

“Os médicos são muito céticos e querem ter certeza de que não estão recebendo informações que não são confiáveis”, explicou Callstrom. “Então, a confiança para nós significa a verificação de qualquer coisa que possa ser apresentada como conteúdo.”

‘Interesse incrível’ em toda a prática da Mayo

A técnica CURE também se mostrou útil para sintetizar novos registros de pacientes. Registros externos detalhando problemas complexos de pacientes podem conter “extensos” conteúdos de dados em diferentes formatos, explicou Callstrom. Isso precisa ser revisado e resumido para que os clínicos possam se familiarizar antes de ver o paciente pela primeira vez.

“Eu sempre descrevo registros médicos externos como um pouco como uma planilha: você não tem ideia do que está em cada célula, precisa olhar para cada uma para extrair o conteúdo”, disse ele.

Mas agora, o LLM realiza a extração, categoriza o material e cria uma visão geral do paciente. Típico, essa tarefa poderia consumir cerca de 90 minutos do dia de um profissional — mas a IA pode fazê-la em cerca de 10, afirmou Callstrom.

Ele descreveu um “interesse incrível” em expandir a capacidade em toda a prática da Mayo para ajudar a reduzir a carga administrativa e a frustração.

“Nosso objetivo é simplificar o processamento de conteúdo — como posso aumentar as habilidades e simplificar o trabalho do médico?” ele disse.

Enfrentando problemas mais complexos com IA

Naturalmente, Callstrom e sua equipe veem um grande potencial para a IA em áreas mais avançadas. Por exemplo, eles se associaram à Cerebras Systems para construir um modelo genômico que prevê qual será o melhor tratamento para artrite para um paciente, e também estão trabalhando com a Microsoft em um codificador de imagem e um modelo de fundação de imagem.

Seu primeiro projeto de imagem com a Microsoft é de raios-X de tórax. Até agora, eles converteram 1,5 milhão de raios-X e planejam fazer mais 11 milhões na próxima rodada. Callstrom explicou que não é extraordinariamente difícil construir um codificador de imagem; a complexidade está em fazer com que as imagens resultantes sejam realmente úteis.

Idealmente, os objetivos são simplificar a maneira como os médicos da Mayo revisam raios-X de tórax e aumentar suas análises. A IA pode, por exemplo, identificar onde eles devem inserir um tubo endotraqueal ou uma linha central para ajudar os pacientes a respirar. “Mas isso pode ser muito mais amplo”, disse Callstrom. Por exemplo, os médicos podem desbloquear outros conteúdos e dados, como uma previsão simples da fração de ejeção — ou a quantidade de sangue bombeada do coração — a partir de um raio-X de tórax.

“Agora você pode começar a pensar sobre a resposta à terapia em uma escala mais ampla”, disse ele.

A Mayo também vê “incríveis oportunidades” em genômica (o estudo do DNA), bem como em outras áreas “ômicas”, como proteômica (o estudo de proteínas). A IA poderia apoiar a transcrição gênica, ou o processo de copiar uma sequência de DNA, para criar pontos de referência para outros pacientes e ajudar a construir perfis de risco ou caminhos terapêuticos para doenças complexas.

“Portanto, você basicamente está mapeando pacientes contra outros pacientes, construindo cada paciente em torno de uma coorte,” explicou Callstrom. “É isso que a medicina personalizada realmente pode proporcionar: ‘Você se parece com esses outros pacientes, é assim que devemos tratá-lo para ver resultados esperados.’ O objetivo é realmente devolver a humanidade à saúde enquanto usamos essas ferramentas.”

Mas Callstrom enfatizou que tudo relacionado ao diagnóstico requer muito mais trabalho. É uma coisa demonstrar que um modelo de fundação para genômica funciona para artrite reumatoide; é outra validá-lo em um ambiente clínico. Os pesquisadores devem começar testando pequenos conjuntos de dados e, em seguida, expandir gradualmente os grupos de teste e comparar com a terapia convencional ou padrão.

“Você não vai imediatamente para, ‘Ei, vamos pular o Metotrexato’ [um medicamento popular para artrite reumatoide],” observou ele.

Por fim: “Reconhecemos a incrível capacidade desses modelos para realmente transformar a forma como cuidamos dos pacientes e diagnosticamos de maneira significativa, para ter um cuidado mais centrado no paciente ou específico para o paciente em vez de uma terapia padrão”, disse Callstrom. “Os dados complexos com os quais lidamos no cuidado ao paciente são onde estamos focados.”

---