Sakana retrata declarações sobre sua IA que alega acelerar drasticamente o treinamento de modelos

Nesta semana, a Sakana AI, uma startup apoiada pela Nvidia que arrecadou centenas de milhões de dólares de fundos de capital de risco, fez uma afirmação notável. A empresa disse que havia criado um sistema de IA, o AI CUDA Engineer, que poderia acelerar efetivamente o treinamento de certos modelos de IA em até 100x.

O único problema é que o sistema não funcionou.

Usuários no X descobriram rapidamente que o sistema da Sakana na verdade resultou em um desempenho de treinamento de modelo abaixo da média. De acordo com um usuário, a IA da Sakana resultou em uma desaceleração de 3x — e não em um aumento de velocidade.

O que deu errado? Um bug no código, segundo uma publicação de Lucas Beyer, um membro da equipe técnica da OpenAI.

“O código original deles está errado de uma maneira sutil”, escreveu Beyer no X. “O fato de que eles executam testes duas vezes com resultados totalmente diferentes deveria fazê-los parar e pensar.”

Em uma publicação de autópsia na sexta-feira, a Sakana admitiu que o sistema encontrou uma maneira de “trapacear” (como a Sakana descreveu) e culpou a tendência do sistema de “recompensar hacks” — ou seja, identificar falhas para alcançar métricas elevadas sem cumprir o objetivo desejado (acelerar o treinamento do modelo). Fenômenos semelhantes foram observados em IA treinada para jogar xadrez.

De acordo com a Sakana, o sistema encontrou explorações no código de avaliação que a empresa estava usando, permitindo que ele ignorasse validações de precisão, entre outras verificações. A Sakana afirma que resolveu o problema e que pretende revisar suas afirmações em materiais atualizados.

“Desde então, tornamos o processo de avaliação e perfilagem de runtime mais robusto para eliminar muitas dessas [sic] brechas”, escreveu a empresa na postagem no X. “Estamos no processo de revisar nosso artigo e nossos resultados para refletir e discutir os efeitos […] Pedimos desculpas profundamente pela nossa negligência aos nossos leitores. Forneceremos uma revisão deste trabalho em breve e discutiremos nossos aprendizados.”

Parabenizamos a Sakana por assumir o erro. Mas o episódio é um bom lembrete de que, se uma afirmação parecer boa demais para ser verdade, especialmente em IA, provavelmente é.