Atualizações do AWS Bedrock com ensino de modelos e detector de alucinações

AWS anunciou mais atualizações para o Bedrock, visando detectar alucinações e construir modelos menores de forma mais rápida, à medida que as empresas buscam mais personalização e precisão nos modelos.

A AWS anunciou durante o re:Invent 2024 o Amazon Bedrock Model Distillation e o Automated Reasoning Checks em preview para clientes empresariais interessados em treinar modelos menores e identificar alucinações.

O Amazon Bedrock Model Distillation permitirá que os usuários utilizem um modelo de IA maior para treinar um modelo menor e oferecer às empresas acesso ao modelo que acreditam funcionar melhor com sua carga de trabalho.

Modelos maiores, como Llama 3.1 405B, possuem mais conhecimento, mas são lentos e difíceis de manusear. Um modelo menor responde mais rápido, mas frequentemente tem conhecimento limitado.

A AWS afirmou que o Bedrock Model Distillation tornará o processo de transferir o conhecimento de um modelo maior para um menor sem sacrificar o tempo de resposta.

Os usuários podem selecionar o modelo mais pesado que desejam e encontrar um modelo pequeno dentro da mesma família, como Llama ou Claude, que possuem uma variedade de tamanhos de modelos na mesma família, e elaborar exemplos de prompts. O Bedrock gerará respostas e ajustará o modelo menor, continuando a criar mais dados de exemplo para concluir a destilação do conhecimento do modelo maior.

No momento, a destilação de modelos funciona com modelos da Anthropic, Amazon e Meta. A Bedrock Model Distillation está atualmente em preview.

Por que as empresas estão interessadas na destilação de modelos

Para empresas que desejam um modelo de resposta mais rápido — como um que possa responder rapidamente perguntas de clientes — é necessário equilibrar o conhecimento e a rapidez na resposta.

Embora possam optar por usar uma versão menor de um modelo grande, a AWS acredita que mais empresas estão em busca de maior personalização nos tipos de modelos — tanto os maiores quanto os menores — que desejam usar.

A AWS, que oferece uma variedade de modelos no jardim de modelos do Bedrock, espera que as empresas queiram escolher qualquer família de modelos e treinar um modelo menor para suas necessidades.

Muitas organizações, principalmente fornecedoras de modelos, utilizam a destilação de modelos para treinar modelos menores. No entanto, a AWS afirma que o processo geralmente envolve muito conhecimento em machine learning e ajuste manual. Fornecedores de modelos como a Meta usaram a destilação para oferecer uma base de conhecimento mais ampla a um modelo menor. A Nvidia utilizou técnicas de destilação e poda para criar o Llama 3.1-Minitron 4B, um modelo de linguagem pequeno que afirma ter um desempenho melhor do que modelos de tamanho semelhante.

A destilação de modelos não é nova para a Amazon, que trabalha em métodos de destilação de modelos desde 2020.

Detectando erros factuais mais rapidamente

Alucinações continuam a ser um problema para modelos de IA, mesmo que as empresas tenham criado alternativas como ajuste fino e limitação do que os modelos vão responder. Entretanto, mesmo o modelo mais ajustado que apenas realiza tarefas de geração aumentada de recuperação (RAG) com um conjunto de dados ainda pode cometer erros.

A solução da AWS é o Automated Reasoning Checks no Bedrock, que usa validação matemática para comprovar que uma resposta está correta.

“O Automated Reasoning Checks é a primeira e única salvaguarda de IA generativa que ajuda a prevenir erros factuais causados por alucinações, utilizando raciocínio lógico e verificável”, afirmou a AWS. “Ao aumentar a confiança que os clientes podem depositar nas respostas dos modelos, o Automated Reasoning Checks abre a IA generativa para novos casos de uso onde a precisão é fundamental.”

Os clientes podem acessar o Automated Reasoning Checks por meio do Amazon Bedrock Guardrails, o produto que traz IA responsável e ajuste fino aos modelos. Pesquisadores e desenvolvedores costumam usar raciocínios automatizados para lidar com respostas precisas para questões complexas com matemática.

Os usuários devem fazer o upload de seus dados e o Bedrock desenvolverá as regras que o modelo deve seguir, orientando os clientes para garantir que o modelo esteja ajustado a eles. Uma vez verificado, o Automated Reasoning Checks no Bedrock confirmará as respostas do modelo. Se retornar algo incorreto, o Bedrock sugerirá uma nova resposta.

O CEO da AWS, Matt Garman, afirmou durante sua apresentação que os cheques automatizados garantem que os dados de uma empresa permaneçam seu diferencial, refletindo isso com precisão em seus modelos de IA.