Bolt42

Participe de nossos boletins diários e semanais para atualizações mais recentes e conteúdo exclusivo sobre as principais coberturas de IA do setor. Saiba Mais

O aplicativo de avaliações Yelp tem fornecido informações úteis para jantares e outros consumidores há décadas. Ele experimentou o aprendizado de máquina desde seus anos iniciais. Durante a recente explosão da tecnologia de IA, ainda encontrou dificuldades enquanto trabalhava para empregar modelos de linguagem de última geração para alimentar alguns recursos.

O Yelp percebeu que clientes, especialmente aqueles que usavam o aplicativo apenas ocasionalmente, enfrentavam dificuldades para se conectar com seus recursos de IA, como o Assistente de IA.

“Uma das lições óbvias que vimos é que é muito fácil construir algo que parece legal, mas é muito difícil construir algo que parece legal e é realmente útil”, disse Craig Saldanha, diretor de produto do Yelp, em uma entrevista ao VentureBeat.

Não foi fácil. Depois de lançar o Yelp Assistant, seu assistente de busca baseado em IA, em abril de 2024 para um público mais amplo, o Yelp viu que os números de uso de suas ferramentas de IA começaram a cair.

“O que nos surpreendeu foi que, quando lançamos isso como um beta para os consumidores — alguns usuários e pessoas que estavam muito familiarizadas com o aplicativo — [eles] adoraram. Recebemos um sinal tão forte de que isso seria bem-sucedido, e então o liberamos para todos, [e] o desempenho simplesmente caiu”, disse Saldanha. “Levou muito tempo para descobrir o porquê.”

Acontece que os usuários mais casuais do Yelp, aqueles que visitavam ocasionalmente o site ou aplicativo para encontrar um novo alfaiate ou encanador, não esperavam estar conversando imediatamente com um representante de IA.

De recursos simples a recursos de IA mais complexos

A maioria das pessoas conhece o Yelp como um site e aplicativo para procurar avaliações de restaurantes e fotos de cardápios. Eu uso o Yelp para encontrar fotos de comida em novos locais e para ver se outras pessoas compartilham minhas opiniões sobre um prato particularmente sem sabor. Também é um lugar que me informa se um café que pretendo usar como espaço de trabalho para o dia tem Wi-Fi, tomadas e assentos, algo raro em Manhattan.

Saldanha se lembrou de que o Yelp vinha investindo em IA “durante a maior parte de uma década.”

Mas, à medida que a IA continuava a evoluir, também evoluíam as necessidades do Yelp. Ele investiu em IA para reconhecer alimentos em fotos enviadas por usuários para identificar pratos populares e, em seguida, lançou novas maneiras de se conectar a profissionais e serviços, ajudando a guiar as buscas dos usuários na plataforma.

O Assistente de IA ajuda os usuários do Yelp a encontrar o “Profissional” certo para trabalhar. As pessoas podem tocar na caixa de chat e usar os prompts ou digitar a tarefa que precisam que seja realizada. O assistente então faz perguntas de acompanhamento para restringir os provedores de serviços potenciais antes de redigir uma mensagem para os Profissionais que possam querer fazer uma oferta para o trabalho.

Saldanha disse que os Profissionais são incentivados a responder aos usuários pessoalmente, embora ele reconheça que marcas maiores frequentemente têm call centers que lidam com mensagens geradas pelo Assistente de IA do Yelp.

Além do Assistente de IA, o Yelp lançou o Review Insights e Highlights. Os LLMs analisam o sentimento dos usuários e revisores, que o Yelp coleta em pontuações de sentimento. O Yelp usa um prompt detalhado GPT-4o para gerar um conjunto de dados para uma lista de tópicos. Em seguida, é aperfeiçoado com um modelo GPT-4o-mini.

A funcionalidade de destaques de avaliações, que apresenta informações das avaliações, também utiliza um prompt de LLM para gerar um conjunto de dados. No entanto, é baseado no GPT-4, com aperfeiçoamento a partir do GPT-3.5 Turbo. O Yelp disse que atualizará o recurso com GPT-4o e o1.

O Yelp se juntou a muitas outras empresas que usam LLMs para melhorar a utilidade das avaliações, adicionando melhores funções de busca com base nos comentários dos clientes. Por exemplo, a Amazon lançou o Rufus, um assistente baseado em IA que ajuda as pessoas a encontrar itens recomendados.

Grandes modelos e necessidades de desempenho

Para suas novas funcionalidades de IA, incluindo o Assistente de IA, o Yelp recorreu a modelos como o GPT-4o da OpenAI e outros, mas Saldanha observou que, não importa o modelo, os dados do Yelp são o “ingrediente secreto” para seus assistentes. O Yelp não queria se prender a um único modelo e manteve uma mente aberta sobre quais LLMs proporcionariam o melhor atendimento ao cliente.

“Nós usamos modelos da OpenAI, Anthropic e outros modelos na AWS Bedrock,” disse Saldanha.

Saldanha explicou que o Yelp criou um rubric para testar o desempenho dos modelos em correção, relevância, consciência, segurança do cliente e conformidade. Ele disse que “são realmente os top modelos” que apresentaram o melhor desempenho. A empresa realiza um pequeno piloto com cada modelo antes de considerar o custo da iteração e a latência de resposta.

Ensinando os usuários

O Yelp também embarcou em um esforço concentrado para educar tanto usuários casuais quanto usuários frequentes para que se sentissem confortáveis com os novos recursos de IA. Saldanha disse que uma das primeiras coisas que perceberam, especialmente com o Assistente de IA, é que o tom precisava ser humano. Não poderia responder muito rápido ou muito devagar; não poderia ser excessivamente encorajador ou muito brusco.

“Colocamos muito esforço em ajudar as pessoas a se sentirem confortáveis, especialmente com essa primeira resposta. Levou quase quatro meses para acertarmos essa segunda parte. E assim que fizemos, era muito óbvio e você podia notar um aumento no engajamento,” disse Saldanha.

Parte desse processo envolveu treinar o Assistente de IA para usar certas palavras e soar positivo. Depois de todo esse aperfeiçoamento, Saldanha disse que finalmente estão vendo números de uso mais altos para os recursos de IA do Yelp.




    cinco × quatro =




    Bolt42

    IA