A IA ainda enfrenta problemas de alucinação: Como a MongoDB pretende solucioná-los com reranqueadores avançados e modelos de embedding

Para obter o melhor resultado possível de uma consulta de IA, as organizações precisam ter os melhores dados disponíveis.

A resposta que muitas organizações encontraram para superar esse desafio é a geração aumentada por recuperação (RAG). Com RAG, os resultados são fundamentados em dados de um banco de dados. No entanto, nem todos os RAG são iguais, e otimizar um banco de dados para obter os melhores resultados possíveis pode ser um desafio.

O fornecedor de banco de dados MongoDB não é estranho ao mundo da IA ou RAG. O banco de dados homônimo da empresa já está sendo utilizado para RAG, e a MongoDB também lançou iniciativas de desenvolvimento de aplicações de IA. Embora a empresa e seus usuários — como o gigante médico Novo Nordisk — tenham obtido sucesso com a IA generativa, ainda há mais a ser feito.

Em particular, a alucinação e a precisão continuam a ser um problema que impede algumas organizações de colocar a IA generativa em produção. Para isso, a MongoDB anunciou hoje a aquisição da Voyage AI, uma empresa privada que desenvolve modelos avançados de embeddings e recuperação. A Voyage levantou US$ 20 milhões em financiamento em outubro de 2024 em uma rodada apoiada pelo gigante de dados em nuvem Snowflake. A aquisição trará a experiência da Voyage AI em geração de embeddings e reranking — componentes críticos para busca e recuperação alimentadas por IA — diretamente para a plataforma de banco de dados da MongoDB.

“No último ano, especialmente à medida que as organizações tentavam pensar em como poderiam construir aplicações impulsionadas por IA, ficou cada vez mais claro que a qualidade e a confiança nas aplicações que constroem, ou a falta delas, estavam se tornando uma das barreiras para aplicar IA a casos de uso críticos,” disse Sahir Azam, CPO da MongoDB, ao VentureBeat.

Quais são os desafios da alucinação? O RAG não os resolve?

A ideia básica por trás do RAG é que, em vez de simplesmente confiar em uma base de conhecimento a partir de dados treinados, o motor de IA generativa pode obter dados fundamentados de um banco de dados.

Criar RAG altamente preciso é bastante complexo, e ainda há um risco potencial de alucinações — um desafio enfrentado pela MongoDB e seus usuários. Embora Azam tenha se recusado a fornecer exemplos ou incidentes específicos em que a RAG de IA generativa falhou com um usuário, ele observou que a precisão é sempre uma preocupação.

Melhorar a precisão e reduzir a alucinação envolve várias etapas. A primeira é melhorar a qualidade da recuperação (o ‘R’ em RAG).

“Em muitos casos, a qualidade da recuperação não é boa o suficiente,” disse Tengyu Ma, fundador e CEO da Voyage AI, ao VentureBeat. “Na etapa de recuperação, se não estiverem recuperando informações relevantes, então a recuperação não é muito útil, e o modelo de linguagem grande (LLM) alucina porque precisa adivinhar algum contexto.”

Os modelos da Voyage AI agora parte da MongoDB ajudam a melhorar o RAG de algumas maneiras principais:

• Modelos e re-rankers específicos de domínio: Estes são treinados com grandes quantidades de dados não estruturados de setores específicos, permitindo que compreendam melhor a terminologia e a semântica desses domínios.
• Personalização e ajuste fino: Os usuários podem ajustar o mecanismo de recuperação para conjuntos de dados e casos de uso únicos.

A concorrência da MongoDB

A MongoDB não é o primeiro ou o único fornecedor a reconhecer a necessidade e o valor de ter tecnologia de embeddings e re-rankers altamente otimizados. Afinal, essa é uma das razões pelas quais a Snowflake investiu na Voyage AI e está usando os modelos da empresa.

É importante notar que, mesmo após a aquisição pela MongoDB, os modelos da Voyage AI ainda estarão disponíveis para a Snowflake e para outros usuários da Voyage AI. A grande diferença é que a Voyage AI será cada vez mais integrada nas plataformas de banco de dados da MongoDB.

A integração direta de modelos avançados de embeddings em um banco de dados é uma abordagem adotada por outros fornecedores de banco de dados rivais também. Em junho de 2024, a DataStax anunciou sua própria tecnologia RAGStack, que combina modelos avançados de embeddings e recuperação.

Azam argumentou que a MongoDB é um pouco diferente, porém. Em primeiro lugar, é um banco de dados operacional, em vez de um banco de dados analítico. Além disso, ao invés de apenas fornecer insights e análise, a MongoDB ajuda a impulsionar transações e operações do mundo real. A MongoDB também é conhecida como um “banco de dados de modelo de documento”, que possui uma estrutura diferente de um banco de dados relacional tradicional. Essa estrutura não depende de colunas e tabelas, que não são particularmente boas em representar informações sobre dados não estruturados (um elemento crítico para aplicações de IA).

“Somos a única tecnologia de banco de dados que combina a gestão de metadados sobre as informações de um cliente, as operações e transações, que são o coração do que está acontecendo no negócio, assim como a fundação para recuperação — tudo em um único sistema,” disse Azam.

Por que a Voyage AI é importante para fluxos de trabalho de IA agentiva

A necessidade de modelos de embeddings e recuperação altamente precisos está sendo ainda mais acelerada pela IA agentiva.

“A IA agentiva ainda precisa de métodos de recuperação, porque um agente não pode tomar decisões fora de contexto,” disse Ma. “Às vezes, diversos componentes de recuperação são utilizados, mesmo em uma única decisão.”

Ma observou que a Voyage AI está atualmente trabalhando em modelos específicos que são altamente personalizados para casos de uso de IA agentiva. Ele explicou que a IA agentiva pode usar diferentes tipos de consultas que ainda podem se beneficiar de mais otimização.

À medida que a IA generativa avança para casos de uso operacionais, a necessidade de eliminar o risco de alucinações é claramente fundamental. Embora a MongoDB tenha tido sucesso com a IA generativa, Azam espera que a integração da Voyage AI abra novos casos de uso críticos.

“Se agora pudermos dizer: ‘Ei, podemos fornecer mais de 90% de precisão para seus aplicativos que hoje podem, em alguns casos, ter apenas 30 ou 60% de precisão nos resultados,’ a janela de oportunidades para aplicar IA em seus aplicativos de software se amplia,” disse Azam.