CEO Revela Treinos Bilionários e Caminho para uma IA Mais Poderosa

Em uma entrevista reveladora de cinco horas com Lex Fridman, o CEO da Anthropic, Dario Amodei, revelou o que realmente é necessário para construir modelos de IA de ponta.

Durante o processo, ele nos deu uma prévia do futuro da IA—e esses insights podem ajudá-lo a se preparar melhor para a interrupção que a “IA poderosa” (como Amodei chama) trará para todos os negócios e indústrias.

No episódio 124 do The Artificial Intelligence Show, o fundador e CEO do Marketing AI Institute, Paul Roetzer, explicou o que você deve observar na entrevista de Amodei.

A Principal Conclusão da Entrevista de Amodei

A principal conclusão, se você conseguir reduzir uma entrevista de cinco horas a um único insight, é:

Escala.

Amodei afirma que não vê problemas com as leis de escalabilidade continuando, embora admita que pode estar errado e barreiras imprevistas possam surgir. No entanto, ele parece acreditar que o uso de dados sintéticos e avanços significativos na capacidade de raciocínio dos modelos de IA (como o modelo o1 da OpenAI) continuarão impulsionando o progresso em um ritmo impressionante.

Como resultado, ele espera que o dinheiro que as empresas na vanguarda gastam em treinamento exploda. Ele estima que hoje, os custos dos treinamentos giram em torno de um bilhão de dólares. No próximo ano, isso deve crescer para alguns bilhões por treinamento. Em 2026, pode ultrapassar 10 bilhões para treinar um único modelo. Até 2027, ele antecipa que as empresas de modelos terão ambições de construir clusters de treinamento de 100 bilhões de dólares.

Ele também revelou quão complexo é o processo de treinamento para os modelos mais recentes da Anthropic, devido ao aumento do tamanho, da sofisticação e das exigências de computação que os modelos estão apresentando.

Esse é um ponto importante, já que vemos cada vez mais manchetes alegando que as leis de escalabilidade chegaram a um impasse. Apenas porque os modelos podem enfrentar atrasos ou obstáculos não significa que as leis de escalabilidade sejam as culpadas, afirma Roetzer.

“Pode não ter nada a ver com as leis de escalabilidade,” diz Roetzer. “Pode simplesmente significar que os modelos estão ficando maiores e mais complexos. E essas diferentes etapas apenas levam mais tempo e estão encontrando mais e mais tipos de obstáculos, fraquezas ou ameaças, seja o que for dentro dos modelos.”

Por isso, vale a pena ouvir pessoas como Amodei: eles estão, de fato, construindo os modelos e vendo as complexidades que envolvem sua criação.

“A mídia vai escrever o que quiser, pode ter nada a ver com a realidade do que está acontecendo,” diz Roetzer.

O Que Isso Significa Para Você

O que isso realmente significa para você?

Bem, diz Roetzer, isso significa que você provavelmente deve apostar que a IA vai se tornar muito, muito mais inteligente em breve.

(Em outras palavras, a morte das leis de escalabilidade pode ser bastante exagerada.)

Amodei ainda acredita que chegaremos à AGI (ou “IA poderosa”, como ele prefere chamar) em 2026 ou 2027, se você “olhar” a taxa em que as capacidades estão aumentando.

“Ele realmente não vê obstáculos que não possam ser superados,” diz Roetzer.

Roetzer também nos incentiva a levar esses tipos de cronogramas a sério. Amodei, Sam Altman e muitos outros líderes da IA estão, essencialmente, apostando suas reputações e carreiras em que essas previsões estão, em grande parte, corretas. É provável que estivessem sendo mais cautelosos em seus comentários se estivessem mentindo sobre a taxa de progresso.

“Isso é coisa de curto prazo,” diz Roetzer. “Saberemos quando os próximos modelos forem lançados se atingimos ou não paredes nas leis de escalabilidade. E eles não acham que sim.”