Primeiros passos para a IA: Apenas 25% das empresas a implementaram, poucas colhem recompensas

A expectativa é de que 2025 seja o ano em que a IA se tornará realidade, trazendo benefícios específicos e tangíveis para as empresas.

No entanto, de acordo com um novo Relatório sobre o Estado do Desenvolvimento da IA da plataforma de desenvolvimento de IA Vellum, ainda não chegamos lá: apenas 25% das empresas implantaram a IA em produção, e apenas um quarto dessas já viu um impacto mensurável.

Isso parece indicar que muitas empresas ainda não identificaram casos de uso viáveis para a IA, mantendo-as (pelo menos por agora) em um padrão de espera pré-construção.

“Isso reforça que ainda estamos em um estágio bem inicial, apesar de todo o hype e discussão que estão acontecendo”, disse Akash Sharma, CEO da Vellum, ao VentureBeat. “Há muito barulho na indústria, novos modelos e provedores de modelos surgindo, novas técnicas de RAG; nós apenas queríamos entender como as empresas estão realmente implantando a IA em produção.”

As empresas devem identificar casos de uso específicos para alcançar o sucesso

A Vellum entrevistou mais de 1.250 desenvolvedores e criadores de IA para obter uma verdadeira noção do que está acontecendo nas trincheiras da IA.

De acordo com o relatório, a maioria das empresas ainda em produção está em várias etapas de suas jornadas de IA — desenvolvendo e avaliando estratégias e provas de conceito (PoC) (53%), testando em beta (14%) e, no nível mais baixo, conversando com usuários e reunindo requisitos (7,9%).

De longe, as empresas estão focadas no desenvolvimento de ferramentas de análise e interpretação de documentos e chatbots de atendimento ao cliente, de acordo com a Vellum. Mas também estão interessadas em aplicações que incorporam análises com linguagem natural, geração de conteúdo, sistemas de recomendação, geração de código e automação e pesquisa automatizada.

Até agora, os desenvolvedores relatam vantagem competitiva (31,6%), economia de custos e tempo (27,1%) e taxas de adoção de usuários mais altas (12,6%) como os maiores impactos que viram até agora. Curiosamente, no entanto, 24,2% ainda não viram nenhum impacto significativo de seus investimentos.

Sharma enfatizou a importância de priorizar casos de uso desde o início. “Ouvimos anedoticamente de pessoas que só querem usar IA pelo simples fato de usar IA”, disse ele. “Há um orçamento experimental associado a isso.”

Embora isso deixe Wall Street e investidores satisfeitos, não significa que a IA esteja realmente contribuindo com algo, apontou ele. “Algo que todos devem estar pensando é: ‘Como encontramos os casos de uso certos? Normalmente, uma vez que as empresas conseguem identificar esses casos de uso, colocá-los em produção e ver um ROI claro, elas ganham mais impulso, passam do hype. Isso resulta em mais expertise interna, mais investimento.”

OpenAI ainda está no topo, mas uma mistura de modelos será o futuro

Quando se trata de modelos utilizados, a OpenAI mantém a liderança (sem surpresa), notavelmente com seus GPT 4o e GPT 4o-mini. Mas Sharma apontou que 2024 oferecerá mais opções, seja diretamente dos criadores de modelos ou através de soluções de plataforma como Azure ou AWS Bedrock. Além disso, provedores que hospedam modelos de código aberto, como Llama 3.2 70B, estão ganhando tração também — como Groq, Fireworks AI e Together AI.

“Modelos de Código Aberto estão melhorando”, disse Sharma. “Concorrentes de código fechado da OpenAI estão alcançando em termos de qualidade.”

No entanto, as empresas não vão simplesmente se limitar a um único modelo — elas irão, cada vez mais, depender de sistemas multimodais, previu ele.

“As pessoas irão escolher o melhor modelo para cada tarefa em questão”, afirmou Sharma. “Ao construir um agente, você pode ter vários prompts, e para cada prompt individual, o desenvolvedor desejará obter a melhor qualidade, o menor custo e a menor latência, que podem ou não vir da OpenAI.”

Da mesma forma, o futuro da IA é indiscutivelmente multimodal, com a Vellum vendo um aumento na adoção de ferramentas que podem lidar com uma variedade de tarefas. Texto é o caso de uso indiscutível, seguido por criação de arquivos (PDFs ou Word), imagens, áudio e vídeo.

Além disso, a geração de informações aumentada por recuperação (RAG) é uma abordagem preferida quando se trata de recuperação de informações, e mais da metade dos desenvolvedores estão usando bancos de dados vetoriais para simplificar a busca. Os principais modelos de código aberto e proprietários incluem Pinecone, MongoDB, Quadrant, Elastic Search, PG vector, Weaviate e Chroma.

Todos estão se envolvendo (não apenas engenharia)

Curiosamente, a IA está se movendo além da TI e se tornando democratizada nas empresas (semelhante ao velho ditado ‘é preciso uma aldeia’). A Vellum descobriu que, embora a engenharia esteja mais envolvida em projetos de IA (82,3%), estão sendo acompanhados por líderes e executivos (60,8%), especialistas no assunto (57,5%), equipes de produto (55,4%) e departamentos de design (38,2%).

Isso se deve em grande parte à facilidade de uso da IA (bem como à empolgação geral em torno dela), observou Sharma.

“Esta é a primeira vez que estamos vendo software sendo desenvolvido de uma maneira muito, muito funcional e colaborativa, especialmente porque os prompts podem ser escritos em linguagem natural,” disse ele. “O software tradicional tende a ser mais determinístico. Isso é não determinístico, o que traz mais pessoas para o processo de desenvolvimento.”

No entanto, as empresas continuam a enfrentar grandes desafios — notavelmente em torno de alucinações de IA e prompts; velocidade e desempenho do modelo; acesso a dados e segurança; e obter apoio de partes interessadas importantes.

Ao mesmo tempo, enquanto mais usuários não técnicos estão se envolvendo, ainda há uma falta de expertise técnica pura internamente, apontou Sharma. “A forma de conectar todas as diferentes peças móveis ainda é uma habilidade que não muitos desenvolvedores têm atualmente,” disse ele. “Então esse é um desafio comum.”

No entanto, muitos desafios existentes podem ser superados por meio de ferramentas, ou plataformas e serviços que ajudam os desenvolvedores a avaliar sistemas complexos de IA, apontou Sharma. Os desenvolvedores podem realizar avaliação de ferramentas internamente ou com plataformas ou estruturas de terceiros; no entanto, a Vellum descobriu que quase 18% dos desenvolvedores estão definindo prompts e lógica de orquestração sem nenhuma ferramenta.

Sharma apontou que “a falta de experiência técnica se torna mais fácil quando você tem boas ferramentas que podem orientá-lo durante a jornada de desenvolvimento.” Além da Vellum, estruturas e plataformas usadas pelos participantes da pesquisa incluem Langchain, Llama Index, Langfuse, CrewAI e Voiceflow.

Avaliações e monitoramento contínuo são críticos

Outra forma de superar problemas comuns (incluindo alucinações) é realizar avaliações, ou usar métricas específicas para testar a correção de uma determinada resposta. “Mas apesar disso, [os desenvolvedores] não estão fazendo avaliações de forma tão consistente quanto deveriam,” disse Sharma.

Particularmente quando se trata de sistemas agentes avançados, as empresas precisam de processos de avaliação sólidos, disse ele. Agentes de IA têm um alto grau de não determinismo, apontou Sharma, pois chamam sistemas externos e realizam ações autônomas.

“As pessoas estão tentando construir sistemas bastante avançados, sistemas agentes, e isso requer um grande número de casos de teste e algum tipo de estrutura de testes automatizada para garantir que funcionem de maneira confiável em produção,” afirmou Sharma.

Enquanto alguns desenvolvedores estão aproveitando ferramentas de avaliação automatizadas, testes A/B e estruturas de avaliação de código aberto, a Vellum descobriu que mais de três quartos ainda estão realizando testes manuais e revisões.

“Testes manuais levam tempo, certo? E o tamanho da amostra em testes manuais geralmente é muito menor do que o que testes automatizados podem fazer,” disse Sharma. “Pode haver um desafio apenas na conscientização de técnicas, como realizar avaliações automatizadas e em larga escala.”

Por fim, ele enfatizou a importância de abraçar uma mistura de sistemas que funcionem em simbiose — desde a nuvem até interfaces de programação de aplicativos (APIs). “Considere tratar a IA como apenas uma ferramenta na caixa de ferramentas e não como a solução mágica para tudo,” disse ele.