Coval avalia agentes de voz e chat de IA como carros autônomos.

Quais são as semelhanças entre agentes de voz de IA e carros autônomos? A performance de ambos pode ser avaliada da mesma forma, argumenta Brooke Hopkins, ex-líder técnico na Waymo. A Coval, a nova startup de Hopkins, busca fazer exatamente isso.

“Quando saí da Waymo, percebi que muitos dos problemas que enfrentávamos lá eram exatamente os mesmos que o restante da indústria de IA estava enfrentando”, disse Hopkins (fotografada acima, no centro) ao TechCrunch. “Mas todos estavam dizendo que isso era um novo paradigma, que precisávamos criar práticas de teste a partir do zero e que basicamente teríamos que recriar tudo. E eu olhei para isso e disse: espere, passamos os últimos 10 anos em direção autônoma descobrindo como fazer isso.”

Em 2024, ela decidiu lançar a Coval, uma plataforma que constrói simulações para agentes de voz e chat de IA, avaliando como eles executam tarefas da mesma forma que Hopkins testou carros autônomos na Waymo. A Coval pode executar milhares de simulações simultaneamente, como fazer uma reserva em um restaurante ou responder a uma pergunta de atendimento ao cliente de forma indireta.

A tecnologia da Coval avalia os agentes com um conjunto geral de métricas, mas as empresas também podem personalizar o que estão buscando e usar a Coval para continuar avaliando em busca de regressões. Os usuários podem ainda utilizar esses dados e os insights obtidos para apresentá-los aos seus clientes, seja em uma demonstração ou como uma ferramenta de monitoramento para mostrar que o agente está funcionando conforme o esperado.

“Um dos maiores obstáculos para a adoção de agentes pelas empresas é a dificuldade em ter confiança de que isso não é apenas uma demonstração com fumaça e espelhos,” disse Hopkins. “Escolher entre fornecedores é uma tarefa bastante complicada para esses executivos, pois é muito difícil saber o que perguntar ou como provar que esses agentes estão fazendo o que você espera. E assim, isso dá às nossas empresas a capacidade de realmente mostrar isso e demonstrá-lo.”

Hopkins realmente formulou a ideia por trás da Coval durante a edição de verão de 2024 do Y Combinator, antes de lançar o produto publicamente em outubro de 2024. Ela afirmou que a demanda tem sido forte e se tornou explosiva nos últimos dois meses, com clientes perguntando com que rapidez podem obter a avaliação de seus agentes.

A startup, com sede em San Francisco, está agora anunciando uma rodada inicial de financiamento de $3,3 milhões liderada pela MaC Venture Capital, com a participação do Y Combinator e General Catalyst. A empresa usará o capital para expandir sua equipe de engenharia e trabalhar para alcançar o ajuste produto-mercado. Hopkins acrescentou que a empresa também trabalhará para capacitar seus usuários a avaliar outros tipos de agentes de IA, como os baseados na web, no futuro.

A Coval surge em um momento em que tanto o momentum – quanto o hype – em torno dos agentes de IA parece estar em seu auge. Líderes de tecnologia empresariais, como Marc Benioff, têm elogiado (e comercializado) a tecnologia, afirmando que a Salesforce implantará mais de um bilhão de seus agentes de IA até o próximo ano. A OpenAI está sendo rumores de que lançará sua versão de um agente de IA muito em breve.

Além disso, existem inúmeras startups atuando nesse espaço. Houve mais de 100 startups construindo agentes de IA nos três grupos de 2024 do Y Combinator. Algumas startups de agentes de IA também conseguiram arrecadar rodadas de investimento significativas. Uma delas, /dev/agents, levantou $55 milhões em uma rodada inicial com uma avaliação de $500 milhões em novembro de 2024, menos de um ano após sua fundação.

Esse momentum significa que é provável que haja mais empresas buscando ajuda para avaliar seus agentes também. Hopkins disse que a Coval tem boas chances de se destacar da concorrência, pois, ao contrário dos novos entrantes inevitáveis, a Coval já tem uma vantagem inicial.

“Acho que onde realmente nos destacamos é que tenho trabalhado nesse espaço por meio década e construí esses sistemas repetidamente,” disse ela. “Construímos múltiplas iterações e vimos como eles falham e como escalonam, e estamos incorporando os mesmos conceitos na Coval e todas essas aprendizagens.”

O TechCrunch tem um boletim informativo focado em IA! Inscreva-se aqui para recebê-lo em sua caixa de entrada toda quarta-feira.