O debate sobre IA de código aberto: Por que a transparência seletiva constitui um sério risco

À medida que as gigantes da tecnologia declaram seus lançamentos de IA como abertos — e até mesmo incorporam a palavra em seus nomes — o termo “código aberto”, que antes era reservado a um círculo restrito, explodiu no zeitgeist moderno. Durante este tempo precário, onde um erro de uma empresa pode atrasar o conforto público com a IA em uma década ou mais, os conceitos de abertura e transparência estão sendo usados de maneira imprudente e, às vezes, desonesta, para gerar confiança.

Ao mesmo tempo, com a nova administração da Casa Branca adotando uma abordagem mais mãos-largas em relação à regulação tecnológica, as linhas de batalha foram traçadas — colocando inovação contra regulação e prevendo consequências desastrosas se o “lado errado” prevalecer.

Há, no entanto, um terceiro caminho que foi testado e provado ao longo de outras ondas de mudança tecnológica. Fundamentada nos princípios de abertura e transparência, a verdadeira colaboração em código aberto desbloqueia taxas mais rápidas de inovação, enquanto empodera a indústria a desenvolver tecnologias que são imparciais, éticas e benéficas para a sociedade.

Entendendo o poder da verdadeira colaboração em código aberto

Em termos simples, o software de código aberto possui código fonte disponível gratuitamente, que pode ser visualizado, modificado, dissecado, adotado e compartilhado para fins comerciais e não comerciais — e historicamente, tem sido monumental na promoção da inovação. Ofertas de código aberto como Linux, Apache, MySQL e PHP, por exemplo, liberaram a internet como a conhecemos.

Agora, ao democratizar o acesso a modelos de IA, dados, parâmetros e ferramentas de IA de código aberto, a comunidade pode mais uma vez promover uma inovação mais rápida em vez de continuar reinventando a roda — motivo pelo qual um recente estudo da IBM com 2.400 tomadores de decisão de TI revelou um crescente interesse em usar ferramentas de IA de código aberto para impulsionar o ROI. Embora o desenvolvimento e a inovação mais rápidos estejam no topo da lista ao determinar o ROI na IA, a pesquisa também confirmou que abraçar soluções abertas pode estar correlacionado a uma maior viabilidade financeira.

Em vez de ganhos de curto prazo que favorecem algumas poucas empresas, a IA de código aberto convida à criação de aplicações mais diversas e personalizadas em diversas indústrias e domínios que de outra forma não teriam os recursos para modelos proprietários.

Talvez o mais importante, a transparência do código aberto permite a fiscalização e auditoria independentes do comportamento e da ética dos sistemas de IA — e quando alavancamos o interesse e a motivação existentes das massas, elas encontrarão problemas e erros, como fizeram com o fiasco do conjunto de dados LAION 5B.

Nesse caso, a multidão encontrou mais de 1.000 URLs contendo material de abuso sexual infantil verificado escondido nos dados que alimentam modelos de IA generativa como o Stable Diffusion e o Midjourney — que produzem imagens a partir de prompts de texto e imagem e são fundamentais em muitas ferramentas e aplicativos de geração de vídeo online.

Embora essa descoberta tenha causado um alvoroço, se esse conjunto de dados tivesse sido fechado, como no Sora da OpenAI ou no Gemini do Google, as consequências poderiam ter sido muito piores. É difícil imaginar a reação que ocorreria se as ferramentas mais emocionantes de criação de vídeo da IA começassem a produzir conteúdo perturbador.

Felizmente, a natureza aberta do conjunto de dados LAION 5B capacitou a comunidade a motivar seus criadores a se associarem a órgãos de vigilância do setor para encontrar uma solução e lançar o RE-LAION 5B — que exemplifica por que a transparência da verdadeira IA de código aberto não só beneficia os usuários, mas também a indústria e os criadores que estão trabalhando para construir confiança com consumidores e o público em geral.

O perigo da “open sourcery” na IA

Embora o código fonte por si só seja relativamente fácil de compartilhar, os sistemas de IA são muito mais complicados do que o software. Eles dependem do código fonte do sistema, bem como dos parâmetros do modelo, conjunto de dados, hiperparâmetros, código fonte de treinamento, geração de números aleatórios e estruturas de software — e cada um desses componentes deve funcionar em conjunto para que um sistema de IA funcione corretamente.

Em meio a preocupações sobre segurança na IA, tornou-se comum afirmar que um lançamento é aberto ou de código aberto. No entanto, para que isso seja preciso, os inovadores devem compartilhar todas as peças do quebra-cabeça para que outros players possam entender, analisar e avaliar totalmente as propriedades do sistema de IA, reproduzindo, modificando e ampliando suas capacidades.

O Meta, por exemplo, anunciou o Llama 3.1 405B como “o primeiro modelo de IA de código aberto em nível de fronteira”, mas apenas compartilhou publicamente os parâmetros pré-treinados do sistema, ou pesos, e um pouco de software. Embora isso permita que os usuários baixem e usem o modelo à vontade, componentes chave como o código fonte e o conjunto de dados permanecem fechados — o que se torna mais preocupante após o anúncio de que o Meta injetará perfis de bot de IA no etéreo mesmo enquanto para de vetar conteúdo por precisão.

Para ser justo, o que está sendo compartilhado certamente contribui para a comunidade. Modelos de pesos abertos oferecem flexibilidade, acessibilidade, inovação e um nível de transparência. A decisão da DeepSeek de abrir seus pesos, liberar seus relatórios técnicos para R1 e torná-lo gratuito para uso, por exemplo, permitiu que a comunidade de IA estudasse e verificasse sua metodologia e a incorporasse em seu trabalho.

É enganoso, no entanto, chamar um sistema de IA de código aberto quando ninguém pode realmente olhar, experimentar e entender cada parte do quebra-cabeça que entrou em sua criação.

Esse desencontro faz mais do que ameaçar a confiança pública. Em vez de capacitar todos na comunidade a colaborar, construir e avançar modelos como o Llama X, força os inovadores que usam tais sistemas de IA a confiar cegamente nos componentes que não são compartilhados.

Abraçando o desafio que temos pela frente

À medida que carros autônomos tomam as ruas em grandes cidades e sistemas de IA ajudam cirurgiões na sala de cirurgia, estamos apenas começando a deixar essa tecnologia assumir o volante proverbial. A promessa é imensa, assim como o potencial para erros — razão pela qual precisamos de novas medidas para o que significa ser confiável no mundo da IA.

Ainda assim, Anka Reuel e colegas da Universidade de Stanford recentemente tentaram estabelecer uma nova estrutura para os benchmarks de IA usados para avaliar como os modelos se desempenham, por exemplo, a prática de revisão da qual a indústria e o público dependem ainda não é suficiente. O benchmarking não leva em conta o fato de que os conjuntos de dados que estão no cerne dos sistemas de aprendizado estão em constante mudança e que as métricas apropriadas variam de caso para caso. O campo também ainda carece de uma linguagem matemática rica para descrever as capacidades e limitações da IA contemporânea.

Ao compartilhar sistemas de IA inteiros para permitir abertura e transparência em vez de contar com revisões insuficientes e fazer promessas vazias sobre palavras da moda, podemos promover uma colaboração maior e cultivar inovação com IA de forma segura e eticamente desenvolvida.

Embora a verdadeira IA de código aberto ofereça uma estrutura comprovada para alcançar esses objetivos, há uma preocupante falta de transparência na indústria. Sem uma liderança audaciosa e cooperação das empresas de tecnologia para se auto regulamentarem, essa lacuna de informação pode prejudicar a confiança e aceitação pública. Abraçar a abertura, a transparência e o código aberto não é apenas um modelo de negócios forte — é também sobre escolher entre um futuro de IA que beneficie a todos, e não apenas a poucos.

Jason Corso é professor na Universidade de Michigan e cofundador da Voxel51.