A OpenAI supostamente está desenvolvendo novas estratégias para lidar com a desaceleração dos avanços em IA

O próximo modelo principal da OpenAI pode não representar um avanço tão significativo quanto seus predecessores, de acordo com um novo relatório da The Information.

Funcionários que testaram o novo modelo, codinome Orion, relataram que, embora seu desempenho supere os modelos existentes da OpenAI, houve menos melhorias do que as observadas na transição do GPT-3 para o GPT-4.

Em outras palavras, a taxa de melhoria parece estar diminuindo. Na verdade, o Orion pode não ser consistentemente melhor do que os modelos anteriores em algumas áreas, como programação.

Em resposta, a OpenAI criou uma equipe de fundamentos para descobrir como a empresa pode continuar a melhorar seus modelos diante de uma oferta decrescente de novos dados de treinamento. Essas novas estratégias incluem, aparentemente, treinar o Orion com dados sintéticos produzidos por modelos de IA, além de realizar mais melhorias nos modelos durante o processo pós-treinamento.

A OpenAI não respondeu de imediato a um pedido de comentário. Em resposta a relatórios anteriores sobre planos para seu modelo principal, a empresa afirmou: “Não temos planos de lançar um modelo codinome Orion este ano.”