Levando a IA para o playground: LinkedIn combina LLMs, LangChain e Jupyter Notebooks para aprimorar a engenharia de prompts.

Para as empresas, descobrir o prompt ideal para obter o melhor resultado de um modelo de IA generativa nem sempre é uma tarefa fácil. Em algumas organizações, essa responsabilidade recaiu sobre a nova posição de engenheiro de prompt, mas isso não foi exatamente o que aconteceu no LinkedIn.

A plataforma de networking profissional é propriedade da Microsoft e atualmente possui mais de 1 bilhão de contas de usuários. Embora o LinkedIn seja uma grande organização, enfrentou o mesmo desafio básico que empresas de quase qualquer tamanho enfrentam com IA generativa —  unir usuários de negócios técnicos e não técnicos. Para o LinkedIn, o caso de uso da IA generativa envolve tanto usuários finais quanto usuários internos.

Enquanto algumas organizações podem optar por compartilhar prompts em planilhas ou até mesmo apenas por meio de canais de Slack e mensagens, o LinkedIn adotou uma abordagem um tanto inovadora. A empresa construiu o que chama de “parque de engenheira de prompts colaborativo”, que permite que usuários técnicos e não técnicos trabalhem juntos. O sistema utiliza uma combinação realmente interessante de tecnologias, incluindo modelos de linguagem de grande porte (LLMs), LangChain e Jupyter Notebooks.

O LinkedIn já utilizou essa abordagem para ajudar a melhorar seu produto Sales Navigator com recursos de IA, focando especificamente no AccountIQ — uma ferramenta que reduz o tempo de pesquisa de empresas de 2 horas para 5 minutos.

Assim como qualquer outra organização do mundo, a jornada inicial de IA generativa do LinkedIn começou tentando entender o que funcionava.

“Quando começamos a trabalhar em projetos usando IA generativa, os gerentes de produto sempre tinham muitas ideias, como ‘Ei, por que não podemos tentar isso? Por que não podemos tentar aquilo’”, disse Ajay Prakash, engenheiro de software do LinkedIn, ao VentureBeat. “A ideia era tornar possível que eles realizassem a engenharia de prompts e experimentassem coisas diferentes, sem que os engenheiros fossem o gargalo para tudo.”

O desafio organizacional de implantar IA generativa em uma empresa técnica

Certamente, o LinkedIn não é estranho ao mundo do aprendizado de máquina (ML) e da IA.

Antes que o ChatGPT surgisse, o LinkedIn já havia criado um conjunto de ferramentas para medir a imparcialidade de modelos de IA. Na VB Transform em 2022, a empresa descreveu sua estratégia de IA (naquele momento). A IA generativa, no entanto, é um pouco diferente. Ela não requer especificamente engenheiros para uso e é mais amplamente acessível. Essa é a revolução que o ChatGPT desencadeou. Construir aplicativos com IA generativa não é exatamente o mesmo que construir uma aplicação tradicional.

Prakash explicou que antes da IA generativa, os engenheiros normalmente recebiam um conjunto de requisitos de produto da equipe de gestão de produto. Eles saíam e construíam o produto.

Com a IA generativa, por outro lado, os gerentes de produto estão experimentando diferentes possibilidades para ver o que é viável e o que funciona. Ao contrário do ML tradicional que não era acessível para funcionários não técnicos, a IA generativa é mais fácil para todos os tipos de usuários.

A engenharia de prompts tradicional muitas vezes cria gargalos, com engenheiros servindo como guardiões para qualquer mudança ou experimento. A abordagem do LinkedIn transforma essa dinâmica, fornecendo uma interface amigável por meio de Jupyter Notebooks personalizados, que tradicionalmente foram utilizados para tarefas de ciência de dados e ML.

O que há dentro do parque de engenharia de prompts do LinkedIn

Não deve ser uma surpresa que o fornecedor LLM padrão utilizado pelo LinkedIn seja o OpenAI. Afinal, o LinkedIn faz parte da Microsoft, que hospeda a plataforma Azure OpenAI.

Lukasz Karolewski, gerente sênior de engenharia do LinkedIn, explicou que era apenas mais conveniente usar o OpenAI, já que sua equipe tinha acesso mais fácil dentro do ambiente LinkedIn/Microsoft. Ele observou que usar outros modelos exigiria processos adicionais de revisão de segurança e legal, que demorariam mais para serem disponibilizados. A equipe inicialmente priorizou a validação do produto e da ideia em vez de otimizar para o melhor modelo.

O LLM é apenas uma parte do sistema, que também inclui:

• Jupyter Notebooks para a camada de interface;
• LangChain para orquestração de prompts;
• Trino para consultas do lago de dados durante os testes;
• Implantação baseada em contêiner para fácil acesso;
• Elementos de UI personalizados para usuários não técnicos.

Como funciona o parque de engenharia de prompts colaborativa do LinkedIn

Os Jupyter Notebooks são amplamente utilizados na comunidade de ML há quase uma década como uma maneira de ajudar a definir modelos e dados usando uma interface interativa em Python.

Karolewski explicou que o LinkedIn pré-programou Jupyter Notebooks para torná-los mais acessíveis para usuários não técnicos. Os notebooks incluem elementos de UI como caixas de texto e botões que facilitam o início para qualquer tipo de usuário. Os notebooks são empacotados de forma que permite aos usuários iniciar o ambiente com instruções mínimas, sem a necessidade de configurar um ambiente de desenvolvimento complexo. O objetivo principal é permitir que usuários técnicos e não técnicos experimentem diferentes prompts e ideias para usar IA generativa.

Para que isso funcione, a equipe também integrou acesso aos dados do lago de dados interno do LinkedIn. Isso permite que os usuários utilizem dados de forma segura em prompts e experimentos.

LangChain serve como a biblioteca para orquestrar aplicações de IA generativa. A estrutura ajuda a equipe a encadear facilmente diferentes prompts e etapas, como buscar dados de fontes externas, filtrar e sintetizar a saída final.

Embora o LinkedIn não esteja atualmente focado na construção de aplicações totalmente autônomas e baseadas em agentes, Karolewski disse que vê o LangChain como uma base potencial para se mover nessa direção no futuro.

A abordagem do LinkedIn também inclui mecanismos de avaliação em múltiplas camadas:

• Verificação de relevância baseada em incorporação para validação de saída;
• Detecção automatizada de danos por meio de avaliadores pré-construídos;
• Avaliação baseada em LLM usando modelos maiores para avaliar modelos menores;
• Processos de revisão de especialistas humanos integrados.

De horas para minutos: Impacto real no parque de engenharia de prompts

A eficácia dessa abordagem é demonstrada pelo recurso AccountIQ do LinkedIn, que reduziu o tempo de pesquisa de empresas de duas horas para cinco minutos.

Essa melhoria não se tratou apenas de um processamento mais rápido — representou uma mudança fundamental em como recursos de IA podem ser desenvolvidos e refinados com a contribuição direta de especialistas em domínio.

“Não somos especialistas em vendas,” afirmou Karolewski. “Esta plataforma permite que especialistas em vendas validem e aprimorem diretamente os recursos de IA, criando um ciclo de feedback próximo que não era possível antes.”

Embora o LinkedIn não tenha planos de abrir o código-fonte de seu parque de engenharia de prompts de IA generativa devido à sua profunda integração com sistemas internos, a abordagem oferece lições para outras empresas que buscam escalar o desenvolvimento de IA. Embora a implementação completa possa não estar disponível, os mesmos blocos de construção básicos — ou seja, um LLM, LangChain e Jupyter Notebooks — estão disponíveis para outras organizações construírem uma abordagem semelhante.

Tanto Karolewski quanto Prakash enfatizaram que, com IA generativa, é fundamental focar na acessibilidade. Também é importante permitir a colaboração interfuncional desde o início.

“Recebemos muitas ideias da comunidade e aprendemos muito com a comunidade,” disse Lukasz. “Estamos principalmente curiosos sobre o que outras pessoas pensam e como estão trazendo expertise de especialistas em assuntos para as equipes de engenharia.”