Participe do evento confiável por líderes empresariais por quase duas décadas.

O VB Transform reúne as pessoas que estão construindo uma verdadeira estratégia de IA empresarial. Saiba mais

Muitos esforços de desenvolvimento de agentes de IA empresarial nunca vão para a produção, e não é porque a tecnologia não esteja pronta. O problema, segundo a Databricks, é que as empresas ainda dependem de avaliações manuais, com um processo que é lento, inconsistente e difícil de escalar.

Hoje, na Data + AI Summit, a Databricks lançou o Mosaic Agent Bricks como solução para esse desafio. A tecnologia se baseia e estende o Mosaic AI Agent Framework que a empresa anunciou em 2024. Simplificando, não é mais suficiente apenas conseguir construir agentes de IA para ter um impacto no mundo real.

A plataforma Mosaic Agent Bricks automatiza a otimização de agentes usando uma série de inovações respaldadas por pesquisas. Entre as principais inovações está a integração do TAO (Test-time Adaptive Optimization), que fornece uma abordagem nova para o ajuste de IA sem a necessidade de dados rotulados. O Mosaic Agent Bricks também gera dados sintéticos específicos do domínio, cria benchmarks focados em tarefas e otimiza a relação qualidade-custo sem intervenção manual.

Fundamentalmente, o objetivo da nova plataforma é resolver um problema que os usuários da Databricks tinham com os esforços de desenvolvimento de agentes de IA existentes.

“Eles estavam voando às cegas, não tinham como avaliar esses agentes”, disse Hanlin Tang, CTO de Redes Neurais da Databricks, ao VentureBeat. “A maioria deles estava dependendo de um tipo de monitoramento manual para ver se o agente soava bom o suficiente, mas isso não lhes dava confiança para ir à produção.”

Da inovação em pesquisa à escala de produção de IA empresarial

Tang foi anteriormente cofundador e CTO da Mosaic, que foi adquirida pela Databricks em 2023 por $1,3 bilhões.

Na Mosaic, grande parte da inovação em pesquisa não necessariamente tinha um impacto imediato na empresa. Tudo isso mudou após a aquisição.

“O grande momento de iluminação para mim foi quando lançamos nosso produto na Databricks e, instantaneamente, da noite para o dia, tínhamos milhares de clientes empresariais usando-o,” disse Tang.

Em contraste, antes da aquisição, a Mosaic passava meses tentando fazer com que apenas um punhado de empresas testasse seus produtos. A integração da Mosaic à Databricks deu à equipe de pesquisa da Mosaic acesso direto a problemas empresariais em escala e revelou novas áreas a serem exploradas.

Esse contato empresarial revelou novas oportunidades de pesquisa.

“Só quando você tem contato com clientes empresariais, e trabalha profundamente com eles, é que você realmente descobre problemas de pesquisa interessantes a serem perseguidos,” explicou Tang. “O Agent Bricks… é, de certa forma, uma evolução de tudo o que temos trabalhado na Mosaic agora que todos nós somos totalmente bricksters.”

Resolvendo a crise de avaliação da IA agentica

As equipes empresariais enfrentam um custoso processo de otimização de tentativa e erro. Sem benchmarks focados em tarefas ou dados de teste específicos do domínio, cada ajuste de agente se torna um jogo de adivinhação caro. Aderências de qualidade, estouros de custo e prazos perdidos seguem.

O Agent Bricks automatiza todo o pipeline de otimização. A plataforma pega uma descrição de tarefa em alto nível e dados empresariais. Ela cuida do resto automaticamente.

Primeiro, gera avaliações específicas de tarefas e juízes LLM. Em seguida, cria dados sintéticos que imitam os dados dos clientes. Finalmente, pesquisa diferentes técnicas de otimização para encontrar a melhor configuração.

“O cliente descreve o problema em alto nível e não entra em detalhes de baixo nível, porque cuidamos disso,” disse Tang. “O sistema gera dados sintéticos e constrói juízes LLM personalizados específicos para cada tarefa.”

A plataforma oferece quatro configurações de agentes:

• Extração de Informação: Converte documentos (PDFs, e-mails) em dados estruturados. Um exemplo de uso poderia ser organizações de varejo que utilizam para extrair detalhes de produtos de PDFs de fornecedores, mesmo com formatação complexa.
• Assistente de Conhecimento: Fornece respostas precisas e citadas a partir de dados empresariais. Por exemplo, técnicos de manufatura podem obter respostas instantâneas de manuais de manutenção sem ter que revirar pastas.
• LLM Personalizado: Lida com tarefas de transformação de texto (resumo, classificação). Por exemplo, organizações de saúde podem personalizar modelos que resumem notas de pacientes para fluxos de trabalho clínicos.
• Supervisor de Múltiplos Agentes: Orquestra múltiplos agentes para fluxos de trabalho complexos. Um exemplo de caso de uso é empresas de serviços financeiros que podem coordenar agentes para detecção de intenção, recuperação de documentos e verificações de conformidade.

Agentes são ótimos, mas não esqueça dos dados

Construir e avaliar agentes é uma parte fundamental para tornar a IA pronta para o empresariado, mas não é a única parte necessária.

A Databricks posiciona o Mosaic Agent Bricks como a camada de consumo de IA que se coloca sobre sua pilha de dados unificada. No Data + AI Summit, a Databricks também anunciou a disponibilidade geral de sua plataforma de engenharia de dados Lakeflow, que foi primeiro apresentada em 2024.

O Lakeflow resolve o desafio da preparação de dados. Ele unifica três jornadas críticas de engenharia de dados que antes exigiam ferramentas separadas. A Ingestão trata de trazer dados estruturados e não estruturados para a Databricks. A Transformação fornece limpeza, reestruturação e preparação eficientes dos dados. A Orquestração gerencia fluxos de trabalho de produção e agendamento.

A conexão do fluxo de trabalho é direta: o Lakeflow prepara dados empresariais por meio de ingestão e transformação unificadas, então o Agent Bricks constrói agentes de IA otimizados com base nesses dados preparados.

“Ajudamos a colocar os dados na plataforma, e então você pode fazer ML, BI e análises de IA,” disse Bilal Aslam, Diretor Sênior de Gerenciamento de Produto da Databricks ao VentureBeat.

Além de ir além da ingestão de dados, o Mosaic Agent Bricks também se beneficia dos recursos de governança do Unity Catalog da Databricks. Isso inclui controles de acesso e rastreamento de linhagem de dados. Essa integração assegura que o comportamento do agente respeite a governança de dados empresariais sem configuração adicional.

Aprendizado de Agente a partir do Feedback Humano elimina o “prompt stuffing”

Uma das abordagens comuns para guiar agentes de IA hoje é usar um prompt de sistema. Tang se referiu à prática de ‘prompt stuffing’, onde os usuários colocam todos os tipos de orientações em um prompt na esperança de que o agente as siga.

O Agent Bricks introduz um novo conceito chamado – Aprendizado de Agente a partir do Feedback Humano. Esse recurso ajusta automaticamente os componentes do sistema com base em orientações de linguagem natural. Ele resolve o que Tang chama de problema do prompt stuffing. Segundo Tang, a abordagem de prompt stuffing muitas vezes falha porque os sistemas de agentes têm múltiplos componentes que precisam de ajuste.

O Aprendizado de Agente a partir do Feedback Humano é um sistema que interpreta automaticamente as orientações de linguagem natural e ajusta os componentes do sistema apropriados. A abordagem espelha o aprendizado por reforço a partir de feedback humano (RLHF), mas opera no nível do sistema de agentes em vez dos pesos individuais do modelo.

O sistema lida com dois desafios principais. Primeiro, a orientação em linguagem natural pode ser vaga. Por exemplo, o que significa ‘respeitar a voz da sua marca’? Segundo, os sistemas de agentes contêm numerosos pontos de configuração. As equipes têm dificuldade em identificar quais componentes precisam ser ajustados.

O sistema elimina as suposições sobre quais componentes de agentes precisam ser ajustados para mudanças comportamentais específicas.

“Acreditamos que isso ajudará os agentes a se tornarem mais orientáveis,” disse Tang.

Vantagens técnicas sobre frameworks existentes

Não faltam frameworks e ferramentas de desenvolvimento de IA agentica no mercado hoje. Entre a lista crescente de opções de fornecedores estão ferramentas da Langchain, Microsoft e Google.

Tang argumentou que o que torna o Mosaic Agent Bricks diferente é a otimização. Em vez de exigir configuração manual e ajuste, o Agent Bricks incorpora automaticamente múltiplas técnicas de pesquisa: TAO, aprendizado em contexto, otimização de prompts e ajuste fino.

Quando se trata de comunicações entre agentes, existem algumas opções no mercado hoje, incluindo o protocolo Agent2Agent do Google. Segundo Tang, a Databricks está atualmente explorando vários protocolos de agentes e não se comprometeu a um único padrão.

Atualmente, o Agent Bricks gerencia a comunicação entre agentes através de dois métodos principais:

• Expondo agentes como endpoints que podem ser encapsulados em diferentes protocolos.
• Usando um supervisor multi-agente que é MCP (Model Context Protocol) ciente.

Implicações estratégicas para decisores empresariais

Para as empresas que buscam liderar o caminho em IA, é crítico ter as tecnologias certas em vigor para avaliar qualidade e eficácia.

Implantar agentes sem avaliação não levará a um resultado ideal e nem ter agentes sem uma sólida base de dados. Ao considerar tecnologias de desenvolvimento de agentes, é crítico ter mecanismos adequados para avaliar as melhores opções.

A abordagem de Aprendizado de Agente a partir do Feedback Humano também é notável para os decisores empresariais, pois ajuda a guiar a IA agentica para o melhor resultado.

Para empresas que buscam liderar na implantação de agentes de IA, esse desenvolvimento significa que a infraestrutura de avaliação não é mais um fator limitante. As organizações podem concentrar seus recursos na identificação de casos de uso e preparação de dados, em vez de construir frameworks de otimização.

Insights diários sobre casos de uso empresarial com o VB Daily

Se você deseja impressionar seu chefe, o VB Daily tem o que você precisa. Nós lhe oferecemos os relatos por dentro do que as empresas estão fazendo com a IA generativa, desde mudanças regulatórias até implantações práticas, para que você possa compartilhar percepções para um ROI máximo.

Leia nossa Política de Privacidade

Obrigado por se inscrever. Confira mais newsletters do VB aqui.

Ocorreu um erro.