O modelo o3 da OpenAI pode ser mais caro de operar do que originalmente estimado.

Quando a OpenAI revelou seu modelo de IA “reasoning” o3 em dezembro, a empresa se uniu aos criadores do ARC-AGI, um benchmark projetado para testar IAs altamente capazes, para demonstrar as capacidades do o3. Meses depois, os resultados foram revisados e agora parecem um pouco menos impressionantes do que inicialmente.

Na semana passada, a Arc Prize Foundation, que mantém e administra o ARC-AGI, atualizou seus custos de computação aproximada para o o3. A organização originalmente estimou que a configuração de melhor desempenho do o3 testada, o3 high, custava cerca de $3.000 para resolver um único problema do ARC-AGI. Agora, a Arc Prize Foundation acredita que o custo é muito maior — possivelmente em torno de $30.000 por tarefa.

A revisão é notável porque ilustra quão caros os modelos de IA mais sofisticados de hoje podem ser para certas tarefas, pelo menos no início. A OpenAI ainda não divulgou um preço para o o3 — nem mesmo lançou o modelo. Mas a Arc Prize Foundation acredita que o preço do modelo o1-pro da OpenAI é um proxy razoável.

Para contextualizar, o o1-pro é o modelo mais caro da OpenAI até o momento.

“Acreditamos que o o1-pro é uma comparação mais próxima do custo verdadeiro do o3… devido à quantidade de computação utilizada no tempo de teste,” disse Mike Knoop, um dos cofundadores da Arc Prize Foundation, ao TechCrunch. “Mas isso ainda é um proxy, e mantivemos o o3 rotulado como preview em nosso leaderboard para refletir a incerteza até que o preço oficial seja anunciado.”

Um preço elevado para o o3 high não seria surpreendente, dado a quantidade de recursos computacionais que o modelo supostamente utiliza. De acordo com a Arc Prize Foundation, o o3 high usou 172 vezes mais computação do que o o3 low, a configuração de menor computação do o3, para resolver o ARC-AGI.

Além disso, rumores têm circulado há algum tempo sobre planos custosos que a OpenAI está considerando introduzir para clientes corporativos. No início de março, o The Information informou que a empresa pode estar planejando cobrar até $20.000 por mês por “agentes” de IA especializados, como um agente desenvolvedor de software.

Alguns podem argumentar que até mesmo os modelos mais caros da OpenAI custarão bem menos do que um contratado ou colaborador humano típico exigiria. Mas como o pesquisador em IA Toby Ord apontou em uma postagem no X, os modelos podem não ser tão eficientes. Por exemplo, o o3 high precisou de 1.024 tentativas em cada tarefa no ARC-AGI para alcançar sua melhor pontuação.