A Meta torna seu MobileLLM aberto para pesquisadores

A Meta AI anunciou o lançamento de MobileLLM, um conjunto de modelos de linguagem otimizados para dispositivos móveis, com pontos de verificação de modelo e código agora acessíveis na Hugging Face. No entanto, atualmente está apenas disponível sob uma licença Creative Commons 4.0 não comercial, o que significa que empresas não podem usá-lo em produtos comerciais.

Originalmente descrito em um artigo de pesquisa publicado em julho de 2024 e coberto pelo VentureBeat, o MobileLLM agora está completamente disponível com pesos abertos, marcando um marco significativo para a IA eficiente em dispositivos.

A liberação desses pesos abertos torna o MobileLLM um competidor mais direto, mesmo que indireto, da Apple Intelligence, a solução de IA híbrida on-device/nuvem privada da Apple composta por múltiplos modelos, que está sendo enviada para usuários do seu sistema operacional iOS 18 nos EUA e fora da UE nesta semana. No entanto, por estar restrito ao uso em pesquisa e exigir download e instalação da Hugging Face, é provável que continue limitado a uma audiência de ciência da computação e acadêmica por enquanto.

Mais eficiência para dispositivos móveis

O MobileLLM tem como objetivo enfrentar os desafios de implementar modelos de IA em smartphones e outros dispositivos com recursos limitados.

Com contagens de parâmetros variando de 125 milhões a 1 bilhão, esses modelos são projetados para operar dentro das capacidades limitadas de memória e energia típicas do hardware móvel.

Ao enfatizar a arquitetura em vez do tamanho, a pesquisa da Meta sugere que modelos compactos bem projetados podem proporcionar um desempenho robusto de IA diretamente nos dispositivos.

Resolvendo problemas de escalabilidade

A filosofia de design por trás do MobileLLM se desvia das leis tradicionais de escalabilidade da IA que enfatizam largura e grandes contagens de parâmetros.

A pesquisa da Meta AI, em vez disso, foca em arquiteturas profundas e finas para maximizar o desempenho, melhorando como conceitos abstratos são capturados pelo modelo.

Yann LeCun, Cientista Chefe de IA da Meta, destacou a importância dessas estratégias focadas na profundidade para possibilitar IA avançada em hardware comum.

O MobileLLM incorpora várias inovações destinadas a tornar modelos menores mais eficazes:

• Profundidade sobre Largura: Os modelos empregam arquiteturas profundas, que se mostraram superiores a arquiteturas mais largas, mas rasas, em cenários de pequena escala.

• Técnicas de Compartilhamento de Embeddings: Essas maximizam a eficiência de peso, crucial para manter uma arquitetura de modelo compacta.

• Atenção com Consultas Agrupadas: Inspirada em trabalhos de Ainslie et al. (2023), esse método otimiza mecanismos de atenção.

• Compartilhamento de Pesos Imediatos em Blocos: Uma estratégia inovadora para reduzir a latência minimizando o movimento de memória, ajudando a manter a execução eficiente em dispositivos móveis.

Métricas de Desempenho e Comparações

Apesar de seu tamanho compacto, os modelos MobileLLM se destacam em tarefas de benchmark. As versões de 125 milhões e 350 milhões de parâmetros mostram melhorias de 2,7% e 4,3% de precisão em relação a modelos anteriores de estado da arte (SOTA) em tarefas zero-shot.

Notavelmente, a versão de 350M até iguala o desempenho de chamadas de API do muito maior modelo Meta Llama-2 7B.

Esses ganhos demonstram que modelos menores bem arquitetados podem lidar efetivamente com tarefas complexas.

Projetado para smartphones e dispositivos de borda

A liberação do MobileLLM está alinhada com os esforços mais amplos da Meta AI para democratizar o acesso à tecnologia avançada de IA.

Com a crescente demanda por IA em dispositivos devido a custos de nuvem e preocupações com privacidade, modelos como o MobileLLM estão prontos para desempenhar um papel fundamental.

Os modelos são otimizados para dispositivos com restrições de memória de 6 a 12 GB, tornando-os práticos para integração em smartphones populares como o iPhone e Google Pixel.

Aberto, mas não comercial

A decisão da Meta AI de tornar o MobileLLM de código aberto reflete o compromisso declarado da empresa com colaboração e transparência. Infelizmente, os termos de licença proíbem o uso comercial por enquanto, portanto, apenas pesquisadores podem se beneficiar.

Ao compartilhar tanto os pesos do modelo quanto o código de pré-treinamento, eles convidam a comunidade de pesquisa a aprimorar e refinar seu trabalho.

Isso pode acelerar a inovação no campo dos modelos de linguagem pequenos (SLMs), tornando a IA de alta qualidade acessível sem depender de uma infraestrutura de nuvem extensa.

Desenvolvedores e pesquisadores interessados em testar o MobileLLM podem agora acessar os modelos na Hugging Face, totalmente integrados com a biblioteca Transformers. À medida que esses modelos compactos evoluem, eles prometem redefinir como a IA avançada opera em dispositivos do dia a dia.