O ex-engenheiro do Google e influente pesquisador de IA François Chollet está co-fundando uma organização sem fins lucrativos para ajudar a desenvolver benchmarks que explorarão a IA em busca da “inteligência em nível humano”.
A organização sem fins lucrativos, chamada Fundação ARC Prize, será liderada por Greg Kamradt, um ex-diretor de engenharia da Salesforce e fundador do estúdio de produtos de IA Leverage. Kamradt atuará como presidente e membro do conselho.
A captação de recursos para a Fundação ARC Prize começará no final de janeiro.
“[N]ós estamos crescendo … para nos tornarmos uma verdadeira fundação sem fins lucrativos que atuará como uma estrela guia útil em direção à inteligência geral artificial,” escreveu Chollet em uma postagem no site da organização. (Inteligência geral artificial é um termo nebuloso, mas é comumente entendido como IA que pode realizar a maioria das tarefas que os seres humanos conseguem.) “[N]ós estamos tentando inspirar o progresso ao promover [o gap] nas capacidades humanas básicas.”
A Fundação ARC Prize expandirá o ARC-AGI, um teste desenvolvido por Chollet para avaliar se um sistema de IA pode adquirir habilidades novas de forma eficiente, além dos dados com os quais foi treinado. Consiste em problemas semelhantes a quebra-cabeças onde uma IA deve gerar a grade de “resposta” correta a partir de uma coleção de quadrados de cores diferentes. Os problemas foram projetados para forçar uma IA a se adaptar a novos problemas que ela não havia visto antes.
Chollet apresentou o ARC-AGI, que significa “Corpus Abstrato e de Raciocínio para Inteligência Geral Artificial”, em 2019. Muitos sistemas de IA conseguem se sair bem em exames da Olimpíada de Matemática e encontrar soluções potenciais para problemas de nível de doutorado. Mas até este ano, a IA mais bem-sucedida só conseguia resolver pouco menos de um terço das tarefas no ARC-AGI.
“Ao contrário da maioria dos benchmarks de IA de ponta, nós não estamos tentando medir risco de IA com questões de exame sobre-humanas,” escreveu Chollet na postagem. “As versões futuras do benchmark ARC-AGI se concentrarão em reduzir [o gap de capacidade humana] para zero.”
No mês de junho passado, Chollet e o co-fundador da Zapier, Mike Knoop, iniciaram uma competição para construir uma IA capaz de superar o ARC-AGI. O modelo o3 da OpenAI, que ainda não foi lançado, foi o primeiro a alcançar uma pontuação qualificadora — mas apenas com uma quantidade extraordinária de poder computacional.
Chollet deixou claro que o ARC-AGI tem falhas — muitos modelos conseguiram alcançar altas pontuações de forma “bruta” — e que ele não acredita que o o3 possua inteligência em nível humano.
“[D]ados iniciais sugerem que o próximo [sucessor do ARC-AGI] benchmark ainda apresentará um desafio significativo para o o3, potencialmente reduzindo sua pontuação para menos de 30% mesmo em altas capacidades computacionais (enquanto um humano esperto ainda conseguiria pontuar acima de 95% sem treinamento),” disse Chollet em uma declaração em dezembro passado. “Você saberá que a inteligência geral artificial chegou quando o exercício de criar tarefas que são fáceis para humanos comuns, mas difíceis para IA se tornar simplesmente impossível.”
Knoop afirma que o plano é lançar um benchmark de segunda geração do ARC-AGI “no primeiro trimestre” junto com uma nova competição. A organização sem fins lucrativos também começará a projetar a terceira edição do ARC-AGI.
Resta saber como a Fundação ARC Prize lidará com a crítica que Chollet enfrentou por exagerar ao vender o ARC-AGI como um benchmark para alcançar a AGI. A definição de AGI está sendo amplamente discutida; um funcionário da OpenAI recentemente afirmou que a AGI já foi “alcançada” se um define AGI como IA “melhor que a maioria dos humanos em muitas tarefas.”
Curiosamente, o CEO da OpenAI, Sam Altman, disse em dezembro que a empresa pretende fazer parceria com a equipe do ARC-AGI para construir futuros benchmarks. Chollet não deu atualizações sobre possíveis parcerias no anúncio de hoje.
Em uma série de postagens no X, no entanto, a Fundação ARC Prize afirmou que irá construir “uma rede acadêmica” para avançar o progresso e avaliações da AGI e estabelecer “uma coalizão de parcerias com laboratórios de IA de ponta” para colaborar em benchmarks de AGI da indústria.
A TechCrunch possui um boletim informativo focado em IA! Inscreva-se aqui para recebê-lo em sua caixa de entrada todas as quartas-feiras.
Conteúdo relacionado
Elon Musk retirará a oferta pela organização sem fins lucrativos da OpenAI se seu conselho concordar com os termos.
Em um documento apresentado na quarta-feira, os advogados de Elon Musk afirmaram que o bilionário retirará sua proposta de $97,4 bilhões pela organização…
O maior obstáculo da IA? A confiabilidade dos dados. Nova plataforma de astrônomo enfrenta esse desafio.
Participe de nossas newsletters diárias e semanais para receber as últimas atualizações e conteúdo exclusivo sobre a cobertura de IA de ponta na…
Apptronik, que fabrica robôs humanoides, levanta $350 milhões à medida que o setor esquenta
A Apptronik, uma empresa derivada da Universidade do Texas que estava desenvolvendo robôs humanoides de forma discreta antes que se tornasse tão fashion,…