AWS apresenta novos recursos avançados de RAG para dados estruturados e não estruturados

Inserir dados empresariais em grandes modelos de linguagem (LLMs) é uma tarefa crucial para garantir o sucesso das implantações de IA nas empresas.

É aqui que entra a geração aumentada por recuperação (RAG), um campo onde muitos fornecedores têm oferecido diversas soluções. Hoje, durante o AWS re:Invent 2024, a empresa anunciou uma série de novos serviços e atualizações projetadas para facilitar a inserção de dados estruturados e não estruturados nos pipelines de RAG. Tornar os dados estruturados acessíveis para RAG vai além de olhar uma única linha em uma tabela. Envolve traduzir consultas em linguagem natural em consultas SQL complexas para filtrar, juntar tabelas e agregar dados. Os desafios se ampliam para os dados não estruturados, onde não há, por definição, uma estrutura para os dados.

Para ajudar a resolver esses desafios, a AWS anunciou novos serviços para suporte à recuperação de dados estruturados, ETL (extração, transformação e carga) para dados não estruturados, automação de dados e suporte a bases de conhecimento.

“A geração aumentada por recuperação (RAG) é uma técnica muito popular para personalizar seus dados, mas um dos desafios com a RAG é que historicamente tem sido principalmente para dados textuais”, disse Swami Sivasubramanian, VP de IA e Dados da AWS, ao VentureBeat. “E se você observar as empresas, a maioria dos dados, especialmente os operacionais, está armazenada em lagos de dados e armazéns de dados, que nunca estiveram prontos para RAG, por assim dizer.”

Melhorando o suporte à recuperação de dados estruturados com as Bases de Conhecimento do Amazon Bedrock

Por que os dados estruturados não estão prontos para RAG? Sivasubramanian forneceu alguns cenários.

“Para construir um sistema altamente preciso e seguro, você precisa realmente entender o esquema, construir uma incorporação de esquema personalizado e seguir as mudanças nos esquemas”, disse Sivasubramanian.

Durante sua apresentação no re:Invent, Sivasubramanian explicou que o serviço Amazon Bedrock Knowledge Bases é uma capacidade RAG totalmente gerenciada que permite que as empresas personalizem respostas com dados contextuais e relevantes.

“Ela automatiza todo o fluxo de trabalho RAG, removendo a necessidade de você escrever código personalizado para integrar suas fontes de dados e gerenciar consultas”, disse ele.

Com o suporte à recuperação de dados estruturados nas Bases de Conhecimento do Amazon Bedrock, Sivasubramanian afirmou que a AWS está oferecendo uma solução RAG totalmente gerenciada. Ela permite que as empresas consultem nativamente todos os seus dados estruturados para gerar resultados para aplicações de IA generativa. As Bases de Conhecimento automaticamente gerarão e executarão as consultas SQL para recuperar dados empresariais e, em seguida, enriquecerão as respostas do modelo.

“A parte interessante é que ela também se ajusta ao seu esquema e dados, aprendendo com seus padrões de consulta e oferecendo opções de personalização para maior precisão”, disse ele. “Agora, com a capacidade de acessar facilmente dados estruturados para sua RAG, você gerará aplicações de IA generativa mais poderosas e inteligentes na empresa.”

GraphRAG: Unindo tudo em um gráfico de conhecimento

Outro desafio importante da IA empresarial que a AWS está buscando resolver para RAG é ajudar a melhorar a precisão, com mais fontes de dados. Esse é o desafio que a nova capacidade GraphRAG visa solucionar.

“Um dos grandes desafios nas empresas é separar peças distintas de dados e mostrar como estão conectadas para que você possa construir sistemas RAG explicáveis”, disse Sivasubramanian. “É aqui que os gráficos de conhecimento são super importantes.”

Sivasubramanian explicou que os gráficos de conhecimento criam relações entre múltiplas fontes de dados, conectando diferentes peças de informação.

“Quando essas relações são convertidas em incorporações gráficas para suas aplicações de IA generativa, o sistema pode facilmente percorrer esse gráfico e recuperar essas conexões para obter uma visão holística dos dados do cliente,” disse ele.

As novas capacidades GraphRAG nas Bases de Conhecimento do Amazon Bedrock geram automaticamente gráficos usando o serviço de banco de dados gráfico Amazon Neptune. Sivasubramanian observou que conecta a relação entre várias fontes de dados, criando aplicações de IA generativa mais abrangentes sem a necessidade de qualquer experiência em gráficos.

Enfrentando os desafios dos dados não estruturados com a Automação de Dados do Amazon Bedrock

Outro desafio crítico de dados empresariais é a questão dos dados não estruturados. Esse é um problema que muitos fornecedores estão tentando resolver, incluindo startups como a Anomalo.

Quando dados, seja um PDF, um arquivo de áudio ou vídeo, precisam ser indexados para casos de uso RAG, ter algum tipo de compreensão do conteúdo dos dados é crucial para torná-los úteis.

“Infelizmente, os dados não estruturados são difíceis de extrair e precisam ser processados e transformados para serem tornados prontos para uso”, disse Sivasubramanian.

A nova tecnologia Amazon Bedrock Data Automation é a resposta da AWS para esse desafio. Sivasubramanian explicou que o recurso transformará automaticamente conteúdo multimodal não estruturado em dados estruturados para alimentar aplicações de IA generativa.

“Gosto de pensar nisso como um ETL [Extração, Transformação e Carga] impulsionado pela IA generativa para dados não estruturados,” disse ele.

A Amazon Bedrock Data Automation irá automaticamente extrair, transformar e processar o conteúdo multimodal de uma empresa em escala. Ele observou que, com uma única API, uma empresa pode gerar saídas personalizadas, alinhadas a esquemas de dados e analisar conteúdo multimodal para aplicações de IA generativa.

“Com essas atualizações, estamos capacitando você a aproveitar todos os seus dados para construir aplicações de IA generativa contextualmente mais relevantes,” disse ele.