Llama 3 Chegou (E É Incrível)

O Llama 3 da Meta chegou. E é incrível.

O Llama 3 é a versão mais recente do modelo de fundação open source da Meta.

A empresa afirma que ele supera outros principais modelos open source, como o Gemma e Mistral do Google.

Além disso, parece superar o Gemini Pro 1.5 e o Claude 3 Sonnet em alguns benchmarks importantes.

Hoje, você pode acessar duas versões do Llama 3.

A primeira é uma versão com 8 bilhões de parâmetros chamada Llama 3 8B. A segunda é uma versão com 70 bilhões de parâmetros chamada Llama 3 70B.

A Meta também está treinando um impressionante modelo de 405 bilhões de parâmetros que está por vir.

(Embora ainda não esteja claro se esse será open source.)

Outra novidade empolgante:

O Llama 3 agora está integrado diretamente ao Meta AI, o assistente de IA da empresa. E o Meta AI já está disponível em todo o Facebook, Instagram, WhatsApp e Messenger. Ou você pode testá-lo diretamente em Meta.ai.

O que o Llama 3 significa para você e seu negócio?

O que isso significa para o panorama geral da IA?

Eu obtive as respostas no Episódio 93 do The Artificial Intelligence Show, apresentado pelo fundador/CEO do Marketing AI Institute, Paul Roetzer.

As verdadeiras razões por trás do compromisso da Meta com o open source

A primeira pergunta a entender é:

Por que a Meta está lançando um modelo tão poderoso gratuitamente?

Afinal, a OpenAI e o Google cobram pelos modelos mais poderosos.

Para entender o porquê, você precisa compreender a história da IA da Meta, diz Roetzer.

Em 2013, o CEO da Meta, Mark Zuckerberg, começou a tentar construir um laboratório de IA.

Nessa época, a revolução do deep learning estava começando. O deep learning é o processo de conceder às máquinas habilidades semelhantes às humanas, como ver, falar, ouvir, escrever e entender. Na verdade, é o campo que tornou possíveis as aplicações generativas de IA de hoje.

Zuckerberg, assim como outros grandes líderes da tecnologia, viu o deep learning como a próxima fronteira. E grandes empresas de tecnologia estão em uma corrida incessante em direção à próxima tecnologia transformadora. (Uma corrida totalmente descrita no excelente livro sobre IA Genius Makers.)

Para chegar lá primeiro, ele tentou comprar um laboratório de IA de ponta chamado DeepMind. Ele falhou. Em vez disso, o Google comprou a DeepMind em 2014. (O Google DeepMind é agora a divisão de IA da empresa.)

Parte do motivo pelo qual a aquisição falhou?

Zuckerberg e o co-fundador da DeepMind, Demis Hassabis, não tinham química. Ou melhor, as empresas que gerenciavam não se conectavam. Zuckerberg e a Meta (então Facebook) tinham uma cultura corporativa obcecada por crescimento. Hassabis e a DeepMind focavam em pesquisa pura para explorar novas fronteiras.

Além disso, Zuckerberg não compartilhava as preocupações éticas de Hassabis sobre a ascensão da IA, diz Roetzer. Ele se recusou a prometer que a tecnologia da DeepMind seria supervisionada por um conselho de ética se decidissem se fundir.

Isso deixou Zuckerberg com um dilema.

Ele não conseguia atrair os melhores pesquisadores de IA porque não tinha um laboratório de pesquisa. E não tinha um laboratório de pesquisa porque não conseguia atrair os melhores pesquisadores de IA.

Então, Zuckerberg decidiu recrutar um dos melhores pesquisadores de IA disponíveis: Yann LeCun.

LeCun é visto como um dos pai da IA moderna devido às suas décadas de pesquisa de ponta. Inicialmente, ele recusou as propostas de Zuckerberg, até que ele fez uma oferta que ele não pôde recusar.

“Isso é realmente importante”, diz Roetzer. “Ele disse a LeCun que as interações na rede social seriam eventualmente impulsionadas por tecnologias poderosas o suficiente para realizar tarefas por conta própria.”

Em outras palavras, ele ofereceu a promessa de que agentes de IA seriam eventualmente a direção do trabalho em IA da Meta.

No curto prazo, a IA faria coisas como identificar rostos em fotos e traduzir idiomas. A longo prazo, agentes inteligentes patrulhariam e tomariam ações nas plataformas do Facebook.

Assim, Zuckerberg disse a LeCun que praticamente qualquer pesquisa em IA no domínio digital estava em aberto. (Uma proposta atraente para qualquer pesquisador.)

Ele também concordou em respeitar o compromisso de LeCun com a abertura. A livre troca de pesquisas e informações era a norma entre acadêmicos como LeCun. Não era a norma em grandes empresas de internet.

Zuckerberg argumentou que o Facebook/Meta era a exceção. Eles tinham abraçado o open source ao criarem o React, uma biblioteca JavaScript. Assim, Zuckerberg e LeCun concordaram em buscar a abertura na pesquisa em IA juntos.

A Facebook AI Research (FAIR), o laboratório de IA da empresa, nasceu.

E, hoje, LeCun é Cientista Chefe de IA na Meta.

O open source é a arma secreta de Zuckerberg contra OpenAI, Google e todos os outros

Em parte, o open source resultou do compromisso de Zuckerberg com LeCun.

Mas também é a arma chave que Zuckerberg está usando contra os concorrentes.

“Isso é um ataque direto à OpenAI, Google, Anthropic, a todos”, diz Roetzer.

Many of Zuck’s AI competitors charge for their AI products. His approach?

“Nós daremos isso gratuitamente porque todos os outros estão tentando cobrar por isso”, diz Roetzer. “Eles podem basicamente subverter todo mundo e não apenas construir em cima disso, mas integrá-lo diretamente em suas redes.”

Como sugere a postagem acima:

Os movimentos de Zuckerberg também são táticas de terras arrasadas. Táticas que ameaçam seriamente os modelos de negócios dos concorrentes e os investimentos.

“Zuckerberg é implacável. Que você goste ou não do cara, ele não hesita em fazer o que precisa ser feito para vencer”, diz Roetzer.

Mas o open source é bom para a sociedade?

O resultado é um modelo open source de alto desempenho que qualquer um pode construir por cima.

É muito provável que o Llama 3 esteja agora pelo menos no mesmo nível que o GPT-3.5. E o modelo de 405B provavelmente tem paridade com o GPT-4.

Hoje, suas saídas, velocidade e capacidades de geração de imagens são impressionantes. (Ele pode até gerar imagens em tempo real enquanto você digita um prompt.)

“Você pode começar a ver o potencial disso quando está integrado em todos os seus aplicativos”, diz Roetzer.

Isso é bom para a Meta. E, de certa forma, muito bom para os consumidores. Todos nós obtemos uma IA poderosa a praticamente nenhum custo.

Mas a IA open source também levanta algumas preocupações.

Os defensores do open source dizem que é melhor que todos tenham acesso à tecnologia. Assim, um punhado de empresas de tecnologia não pode controlá-la.

Mas o open source também coloca IA poderosa que pode ser mal utilizada nas mãos de todos. No processo, dá a novos atores ferramentas poderosas que podem ser usadas em grande escala sem supervisão.

Então, o open source é bom ou ruim para a sociedade?

Parece que os líderes de tecnologia estão cada vez mais evitando perguntas sobre isso, diz Roetzer.

“Estou sempre meio chocado com quão mal preparados eles estão para responder a essa pergunta”, diz ele.

Eles parecem voltar à ideia de que centralizar a IA pode ser pior do que o open sourcing.

“Estou muito no meio aqui. Mas nunca ouço uma boa resposta à preocupação de que você está open sourcing algo realmente poderoso que pode ser usado para desinformação e persuasão. E não podemos assumir que todos serão bons atores nisso.”