Bolt42

Na quinta-feira, a OpenAI lançou o que é, efetivamente, um chatbot de $200 por mês — e a comunidade de IA não sabia bem o que pensar sobre isso.

O novo plano ChatGPT Pro da empresa oferece acesso ao “modo o1 pro”, que a OpenAI diz que “usa mais recursos computacionais para as melhores respostas às perguntas mais difíceis”. Uma versão aprimorada do modelo de raciocínio o1 da OpenAI, o modo o1 pro deve responder a perguntas relacionadas à ciência, matemática e codificação de forma mais “confiável” e “abrangente”, segundo a OpenAI.

Quase imediatamente, as pessoas começaram a pedi-lo para desenhar unicórnios:

E projetar um computador “baseado em caranguejo”:

E discorrer poeticamente sobre o significado da vida:

Mas muitas pessoas no X não pareciam convencidas de que as respostas do modo o1 pro eram realmente dignas de $200.

“A OpenAI compartilhou exemplos concretos de prompts que falham no o1 regular mas têm sucesso no o1-pro?” perguntou o cientista da computação britânico Simon Willison. “Quero ver um único exemplo concreto que mostre sua vantagem.”

É uma pergunta razoável; afinal, esta é a assinatura de chatbot mais cara do mundo. O serviço vem com outros benefícios, como a remoção de limites de taxa e acesso ilimitado aos outros modelos da OpenAI. Mas $2.400 por ano não é uma quantia pequena, e a proposta de valor do modo o1 pro, em particular, continua obscura.

Não demorou muito para encontrar casos de falha. O modo o1 pro tem dificuldades com Sudoku, e se confundiu com uma piada de ilusão óptica que é óbvia para qualquer humano.

Os benchmarks internos da OpenAI mostram que o modo o1 pro apresenta apenas uma leve melhora em relação ao o1 padrão em problemas de codificação e matemática:

OpenAI o1-pro-mode
Créditos da Imagem:OpenAI

A OpenAI fez uma avaliação “mais rigorosa” nos mesmos benchmarks para mostrar a consistência do modo o1 pro: o modelo foi considerado que resolveu uma pergunta se acertou a resposta quatro de quatro vezes. Mas mesmo nesses testes, as melhorias não eram dramáticas:

OpenAI o1-pro-mode
Créditos da Imagem:OpenAI

O CEO da OpenAI, Sam Altman, que uma vez escreveu que a OpenAI estava em um caminho “para uma inteligência tão barata que não precisa ser medida”, foi forçado a esclarecer várias vezes na quinta-feira que o ChatGPT Pro não é para a maioria das pessoas.

“A maioria dos usuários ficará muito feliz com o o1 na [camada ChatGPT] Plus!” disse ele no X. “Quase todos serão melhor atendidos pela nossa camada gratuita ou pela camada Plus.”

Então, para quem é? Existem realmente pessoas dispostas a pagar $200 por mês para fazer perguntas como “Escreva um ensaio de 3 parágrafos sobre morangos sem usar a letra ‘e’” ou “resolva este problema da Olimpíada de Matemática“? Elas estarão dispostas a abrir mão de seu dinheiro suado sem muita garantia de que o o1 padrão não consegue responder satisfatoriamente às mesmas questões?

Perguntei a Ameet Talwalkar, professor associado de aprendizado de máquina na Carnegie Mellon e parceiro de risco na Amplify Partners, sua opinião. “Parece um grande risco para mim aumentar o preço dez vezes,” ele disse ao TechCrunch por e-mail. “Acho que teremos uma noção muito melhor em algumas semanas quanto ao apetite por esta funcionalidade.”

O cientista da computação da UCLA, Guy Van den Broeck, foi mais sincero em sua avaliação. “Não sei se o preço faz sentido,” ele disse ao TechCrunch, “e se modelos de raciocínio caros serão a norma.”

Uma visão generosa é que isso é um erro de marketing. Descrever o modo o1 pro como o melhor em resolver “os problemas mais difíceis” não diz muito aos clientes em potencial. Tampouco afirmativas vagas sobre como o modelo pode “pensar mais” e demonstrar “inteligência”. Como Willison aponta, sem exemplos específicos dessa suposta capacidade melhorada, é difícil justificar o pagamento de mais, ainda mais dez vezes o preço.

Pelo que posso perceber, especialistas em campos especializados são o público-alvo pretendido. A OpenAI diz que planeja conceder a alguns pesquisadores médicos de “instituições de destaque” acesso gratuito ao ChatGPT Pro, que incluirá o modo o1 pro. Erros são muito importantes na área da saúde e, como Bob McGrew, ex-diretor de pesquisa da OpenAI, notou no X, uma melhor confiabilidade é talvez a principal vantagem do modo o1 pro.

McGrew também ponderou que o modo o1 pro é um exemplo do que ele chama de “sobreposição de inteligência”: usuários (e talvez os criadores do modelo) não saberem como obter valor de qualquer “inteligência extra” devido a limites fundamentais de uma interface simples e baseada em texto. Assim como com os outros modelos da OpenAI, a única maneira de interagir com o modo o1 pro é através do ChatGPT, e — como apontou McGrew — o ChatGPT não é perfeito.

É verdade também que $200 cria expectativas altas. E, pelo que indica a recepção inicial nas redes sociais, o ChatGPT Pro não é uma certeza absoluta de sucesso.

    14 + 17 =

    Bolt42

    IA Marketing OpenAI