CEO da Nvidia diz que seus chips de IA estão melhorando mais rápido do que a Lei de Moore.

O CEO da Nvidia, Jensen Huang, afirma que o desempenho dos chips de IA da empresa está avançando mais rapidamente do que as taxas históricas estabelecidas pela Lei de Moore, o princípio que impulsionou o progresso computacional por décadas.

“Nossos sistemas estão progredindo muito mais rapidamente do que a Lei de Moore”, disse Huang em uma entrevista ao TechCrunch na terça-feira, na manhã seguinte ao seu discurso-chave para uma plateia de 10.000 pessoas na CES em Las Vegas.

Criada pelo cofundador da Intel, Gordon Moore, em 1965, a Lei de Moore previu que o número de transistores nos chips de computador dobraria aproximadamente a cada ano, essencialmente dobrando o desempenho desses chips. Essa previsão se concretizou na maior parte e criou avanços rápidos em capacidade e redução de custos por décadas.

Nos últimos anos, a Lei de Moore desacelerou. No entanto, Huang afirma que os chips de IA da Nvidia estão se movendo a um ritmo acelerado próprio; a empresa diz que seu mais recente superchip para data center é mais de 30 vezes mais rápido em executar cargas de trabalho de inferência de IA do que sua geração anterior.

“Podemos construir a arquitetura, o chip, o sistema, as bibliotecas e os algoritmos todos ao mesmo tempo”, disse Huang. “Se você fizer isso, poderá avançar mais rápido do que a Lei de Moore, porque pode inovar em toda a pilha.”

A ousada afirmação do CEO da Nvidia surge em um momento em que muitos questionam se o progresso da IA estagnou. Os principais laboratórios de IA — como Google, OpenAI e Anthropic — utilizam os chips de IA da Nvidia para treinar e executar seus modelos de IA, e os avanços nesses chips provavelmente se traduziriam em mais progresso nas capacidades dos modelos de IA.

Esta não é a primeira vez que Huang sugere que a Nvidia está superando a Lei de Moore. Em um podcast em novembro, Huang sugeriu que o mundo da IA está a caminho de uma “hiper Lei de Moore”.

Huang rejeita a ideia de que o progresso da IA está desacelerando. Em vez disso, afirma que agora existem três leis ativas de escalonamento de IA: pré-treinamento, a fase inicial de treinamento onde os modelos de IA aprendem padrões a partir de grandes quantidades de dados; pós-treinamento, que ajusta as respostas de um modelo de IA utilizando métodos como feedback humano; e computação em tempo de teste, que ocorre durante a fase de inferência e dá a um modelo de IA mais tempo para “pensar” após cada questão.

“A Lei de Moore foi tão importante na história da computação porque reduziu os custos computacionais”, disse Huang ao TechCrunch. “A mesma coisa vai acontecer com a inferência, onde aumentamos o desempenho, e como resultado, o custo da inferência será menor.”

(Claro, a Nvidia se tornou a empresa mais valiosa do mundo ao surfar na onda da IA, então é vantajoso para Huang dizer isso.)

Os H100 da Nvidia eram os chips preferidos das empresas de tecnologia em busca de treinar modelos de IA, mas agora que as empresas de tecnologia estão se concentrando mais na inferência, alguns questionaram se os caros chips da Nvidia ainda se manterão no topo.

Modelos de IA que utilizam computação em tempo de teste são caros para operar hoje em dia. Há preocupação de que o modelo o3 da OpenAI, que utiliza uma versão ampliada de computação em tempo de teste, seria muito caro para a maioria das pessoas usar. Por exemplo, a OpenAI gastou quase US$ 20 por tarefa usando o o3 para alcançar pontuações a nível humano em um teste de inteligência geral. Uma assinatura do ChatGPT Plus custa US$ 20 para um mês inteiro de uso.

Huang levantou o mais recente superchip para data center da Nvidia, o GB200 NVL72, no palco como um escudo durante a palestra de segunda-feira. Esse chip é de 30 a 40 vezes mais rápido na execução de cargas de trabalho de inferência de IA do que os chips mais vendidos anteriores, o H100. Huang afirma que esse salto de desempenho significa que modelos de raciocínio de IA, como o o3 da OpenAI, que utiliza uma quantidade significativa de computação durante a fase de inferência, se tornarão mais baratos ao longo do tempo.

Huang afirma que seu foco geral é criar chips mais eficientes, e que chips mais eficientes geram preços mais baixos a longo prazo.

“A solução direta e imediata para computação em tempo de teste, tanto em desempenho quanto em custo acessível, é aumentar nossa capacidade de computação”, disse Huang ao TechCrunch. Ele observou que, a longo prazo, modelos de raciocínio de IA poderiam ser usados para criar dados melhores para o pré-treinamento e pós-treinamento de modelos de IA.

Certamente, vimos o preço dos modelos de IA despencar no último ano, em parte devido a avanços computacionais de empresas de hardware como a Nvidia. Huang afirma que essa é uma tendência que ele espera continuar com modelos de raciocínio de IA, mesmo que as primeiras versões que vimos da OpenAI tenham sido bastante caras.

Mais amplamente, Huang alegou que seus chips de IA hoje são 1.000 vezes melhores do que aqueles que fabricava há 10 anos. Isso é um ritmo muito mais rápido do que o padrão estabelecido pela Lei de Moore, um ponto que Huang afirma não ver sinais de que irá parar tão cedo.

A TechCrunch tem um boletim informativo focado em IA! Inscreva-se aqui para recebê-lo em sua caixa de entrada toda quarta-feira.