Chegamos a um Impasse?

Grandes laboratórios de IA estão, aparentemente, enfrentando obstáculos em sua corrida para desenvolver modelos de próxima geração. No entanto, integrantes da indústria estão reagindo fortemente contra as sugestões de que o desenvolvimento de IA está desacelerando.

Relatórios recentes da Bloomberg e da The Information sugerem que OpenAI, Google e Anthropic estão enfrentando retornos decrescentes em seus esforços para desenvolver modelos avançados de IA — apesar dos investimentos massivos em poder computacional e dados. No entanto, muitos líderes de IA afirmam que apostar contra as leis de escalonamento é uma ideia terrível.

Quem está certo pode determinar o quanto (ou pouco) a IA realmente avança no próximo ano — e se a próxima geração de modelos de fronteira, como o GPT-5, realmente cumprir suas promessas.

Para entender melhor o debate sobre escalonamento da IA que está em curso, conversei com Paul Roetzer, fundador e CEO do Marketing AI Institute, no episódio 124 do The Artificial Intelligence Show.

Os Relatórios sobre a Desaceleração da IA

As “leis de escalonamento” referem-se à suposição básica, até agora comprovada, de que modelos de IA continuam a se tornar mais inteligentes quanto mais dados e computação são utilizados para treiná-los.

No entanto, relatórios recentes argumentam que as leis de escalonamento podem não estar se sustentando como antes.

• O modelo de próxima geração da OpenAI (codenome “Orion”) não está atendendo às expectativas de desempenho, especialmente em tarefas de codificação.
• A próxima atualização do Gemini da Google está aquém das metas internas.
• A Anthropics atrasou o lançamento de seu aguardado modelo Claude 3.5 Opus.

O argumento aqui é duplo:

1. As empresas podem estar ficando sem dados de treinamento de alta qualidade, tendo esgotado o valor que obtêm dos dados disponíveis publicamente na internet.
2. E está se tornando mais caro fazer melhorias modestas, dado o quanto de computação agora é necessário para fazer a diferença nesses modelos altamente sofisticados.

Com um ou ambos os pilares das leis de escalonamento em risco, os defensores dessa perspectiva acreditam que essas leis estão começando a encontrar um limite.

Perspectivas Internas Pintam um Quadro Diferente

No entanto, muitos insiders da IA imediatamente contestaram essa categorização.

O CEO da OpenAI, Sam Altman, tuitou “não há parede”, em referência aos relatórios de que as leis de escalonamento atingiram seu limite.

O VP de Pesquisa da Google DeepMind, Oriol Vinales, respondeu “que parede?” a um novo benchmark que mostrou o modelo futuro da Google subindo ao topo de um popular ranking de IA.

E o ex-assessor sênior da OpenAI, Miles Brundage, alertou que “apostar contra a continuidade do escalonamento da IA em gerar grandes ganhos é uma má ideia.”

Notavelmente, a dissensão muitas vezes vem das pessoas que realmente estão construindo a tecnologia nos laboratórios de IA.

“Relatórios da mídia e alguns antagonistas da IA estão afirmando que as leis de escalonamento estão desacelerando ou se estabilizando,” diz Roetzer. “Mas muitas vozes dentro dos laboratórios dizem que não há fim à vista.”

A Realidade é Mais Complexa

Então, as leis de escalonamento estão desacelerando?

Não sabemos com certeza até a próxima geração de modelos ser lançada e podermos verificar diretamente o quanto de progresso foi feito entre as gerações.

Mas há mais complexidade aqui do que os títulos podem fazer você acreditar, diz Roetzer.

O ano nem acabou ainda, portanto declarações sobre as leis de escalonamento falhando podem ser prematuras. “Ainda há a possibilidade de que modelos mais inteligentes, maiores e mais capazes estejam a caminho,” diz Roetzer.

Precisamos também ser cautelosos com nossas expectativas, ele observa. Os “atrasos” relatados podem não ser devido a atrasos reais, mas sim a nossas expectativas sobre prazos — expectativas que os laboratórios não necessariamente compartilham.

“Os laboratórios não compartilham seus planos de lançamento de modelos, então, enquanto podemos ter antecipado esses modelos até o final do ano, eles podem não ter,” diz Roetzer.

É igualmente possível que os modelos estejam atrasados ou estejam levando mais tempo exatamente por causa de quão avançados são.

“Esses modelos são complexos,” diz Roetzer. “Eles não funcionam como software tradicional onde você apenas força um monte de código e lança um modelo que faz o que você quer e depois corrige alguns problemas após o lançamento.”

Eles não funcionam como software tradicional e muitas vezes não produzem o que seus criadores esperam o tempo todo. Roetzer lembra que, frequentemente, não é até que você realmente treine um modelo que você encontra falhas ou deficiências — todas as quais requerem re-treinamento ou ajuste fino.

E, quanto mais avançados os modelos se tornam, mais riscos de segurança precisam ser abordados durante a fase de treinamento.

Já vimos essa situação se desenrolar com o Modo de Voz Avançado da OpenAI, que foi atrasado por meses devido às preocupações da empresa sobre como poderia ser mal utilizado.

“À medida que esses modelos crescem, eles se tornam mais complicados de treinar,” afirma.

O Que Fazer Sobre Isso

Então, o que você realmente faz com essa informação?

Seja cauteloso ao levar a sério os títulos, diz Roetzer. Ainda não há muitas provas de que as leis de escalonamento estão de fato desacelerando. Os laboratórios estão buscando agressivamente adicionar mais dados e mais computação a seus modelos. E estão explorando várias maneiras de tornar os modelos muito mais capazes, independentemente de as leis de escalonamento se sustentarem ou não, incluindo a construção de modelos com raciocínio avançado, modelos que são cada vez mais multimodais e modelos com memória e capacidades de autoaperfeiçoamento.

“Os laboratórios e os governos gastarão dezenas de bilhões de dólares no próximo ano em treinamento e construção desses modelos,” diz Roetzer. “Dentro de dois a três anos, eles estarão gastando centenas de bilhões de dólares para construir modelos maiores e mais capacitados em geral.”

Isso significa que, não importa o que aconteça, você verá uma IA dramaticamente mais capaz no futuro próximo — e essa tecnologia terá um impacto significativo na sua empresa e carreira.

“Portanto, se as leis de escalonamento como as conhecemos permanecerem exatamente verdadeiras ou não, não penso que isso realmente importe,” diz Roetzer.