A Nova Tipo de IA da Groq Fornece Respostas Quase Instantaneamente

Uma startup de IA chamada Groq (com Q) está viralizando após demonstrar um sistema de IA com velocidade impressionante.

Tudo começou quando Matt Shumer da empresa de IA HyperWrite postou no X sobre a ferramenta.

Nossos testes confirmam:

É extremamente rápido. Como “respostas quase instantâneas” rápidas. De fato, o Groq supera massivamente o ChatGPT, e um relatório sugere que é 13 vezes mais rápido que o popular chatbot da OpenAI.

O que está acontecendo aqui? Como uma startup pouco conhecida conseguiu abalar o que pensávamos ser possível em IA?

Eu obtive a resposta no Episódio 85 do The Artificial Intelligence Show do fundador/CEO do Marketing AI Institute Paul Roetzer.

Um novo tipo de chip de IA

A razão pela qual o Groq é tão rápido é que ele usa um novo tipo de chip desenvolvido pela empresa.

Esses chips são chamados de Unidades de Processamento de Linguagem (LPUs). As LPUs são construídas do zero para IA. (Diferente das GPUs que a NVIDIA vende, que foram inicialmente projetadas para aplicações com alto uso gráfico, como jogos eletrônicos.)

Esses chips executam modelos populares como o Llama 2 da Meta ou Mixtral, e então utilizam seu design exclusivo para fornecer resultados quase instantâneos.

A razão pela qual todos estão tão entusiasmados?

Esse tipo de velocidade abre um mundo totalmente novo de casos de uso de IA em negócios e serviços voltados para o consumidor.

A velocidade é tudo ao construir aplicações de IA voltadas para o consumidor. Mesmo o menor atraso nas respostas de um modelo de linguagem grande (LLM) pode afetar a usabilidade das ferramentas de IA em aplicações comerciais.

Já sabemos que podemos oferecer resultados sólidos com LLMs se forem ajustados corretamente. Mas, até agora, não tínhamos a capacidade de oferecer esses resultados com a velocidade necessária para usar LLMs da forma mais ampla possível.

Agora, isso pode estar mudando.

Groq vs. NVIDIA

Não se engane: os chips do Groq são importantes. Mas a empresa não está ganhando terreno sobre a NVIDIA como fabricante dominante de chips em IA tão cedo, diz Roetzer.

Embora os clientes possam preferir a velocidade dos chips do Groq em relação aos da NVIDIA, o Groq ainda é um pequeno peixe comparado ao grande tubarão que é a NVIDIA.

O Groq está a caminho de implantar 42.000 chips este ano e afirma que implantará 1 milhão até 2025. A NVIDIA, em contraste, visa produzir 2 milhões de chips apenas em 2024.

“Não é como se de repente eles aparecessem e simplesmente tomassem toda a participação de mercado”, diz Roetzer. “Mas é muito uma fase incrível de inovação em IA, onde nenhum negócio parece estar a salvo.”

Até os pequenos peixes estão dando trabalho aos grandes tubarões.

O futuro dos negócios é IA, ou obsolescência

Veremos como o Groq acabará moldando o futuro da IA. Mas a verdadeira mensagem aqui é maior do que apenas LLMs mais rápidos, diz Roetzer.

Você precisa entender que o futuro de cada negócio é IA, ou obsoleto.

Ao avançar, cada negócio no planeta se enquadrará em uma das três categorias:

• Nativo em IA. Empresas construídas do zero com IA no núcleo do produto/serviço, e provavelmente profundamente integradas em marketing, vendas, serviço e operações.
• Emergente em IA. Organizações estabelecidas que atuam rapidamente para adotar e escalar a IA em todas as áreas da organização.
• Obsoleto. Empresas que esperam o mundo dos negócios se tornar mais inteligente ao seu redor, e resistem à mudança impulsionada por IA. Essas empresas eventualmente perdem relevância e desaparecem.

Para se tornar Nativo em IA ou Emergente em IA, é preciso primeiro entender que cada negócio em cada setor enfrenta a oportunidade de ser disruptivo e o risco de ser descontinuado, diz Roetzer.

“Não me importa em qual empresa você está e em qual setor. Você tem que assumir que alguém vai construir uma versão mais inteligente da sua empresa. E é muito melhor ser aquele que faz isso por conta própria.”