Startup apoiada pela Microsoft apresenta modelos de IA empresarial otimizados para tarefas que rodam em CPUs.

Uma nova startup focada em IA para empresas está emergindo do modo stealth hoje, prometendo fornecer o que chama de modelos ‘otimizados para tarefas’, que oferecem melhor desempenho a um custo mais baixo.

Fastino, com sede em San Francisco, também revela que levantou $7 milhões em uma rodada de financiamento pré-seed com a Insight Partners e M12, o Fundo de Investimento da Microsoft, além da participação do CEO da Github, Thomas Dohmke. A Fastino está construindo sua própria família de modelos de IA para empresas, assim como ferramentas para desenvolvedores. Os modelos são novos e não são baseados em nenhum Modelo de Linguagem Grande existente. Como a maioria dos fornecedores de IA generativa, os modelos da Fastino possuem uma arquitetura de transformador, embora estejam utilizando algumas técnicas inovadoras projetadas para melhorar a precisão e a utilidade empresarial. Ao contrário da maioria dos outros fornecedores de LLMs, os modelos da Fastino funcionarão bem em CPUs de uso geral e não exigem GPUs de alto custo para operar.

A ideia para a Fastino nasceu das experiências de seus fundadores na indústria e dos desafios reais de implantar IA em larga escala.

Ash Lewis, CEO e cofundador da empresa, estava desenvolvendo uma tecnologia de agente para desenvolvedores conhecida como DevGPT. Seu cofundador, George Hurn-Maloney, foi anteriormente o fundador da Waterway DevOps, que foi adquirida pela JFrog em 2023. Lewis explicou que o agente para desenvolvedores de sua empresa anterior estava usando a OpenAI em segundo plano, o que trouxe alguns problemas.

“Estávamos gastando quase um milhão de dólares por ano na API”, disse Lewis. “Não sentimos que tínhamos controle real sobre isso.”

A abordagem da Fastino representa uma ruptura em relação aos modelos de linguagem grandes tradicionais. Em vez de criar modelos de IA de propósito geral, a empresa desenvolveu modelos otimizados para tarefas que se destacam em funções empresariais específicas.

“A ideia é que, se você restringir o escopo desses modelos, tornando-os menos generalistas para que sejam mais otimizados para sua tarefa, eles só poderão responder dentro do escopo”, explicou Lewis.

Como a abordagem de modelos otimizados para tarefas pode trazer mais eficiência à IA empresarial

O conceito de usar um modelo menor para otimizar um caso de uso específico não é uma ideia totalmente nova. Modelos de Linguagem Pequena (SLM), como o Phi-2 da Microsoft e fornecedores como a Arcee AI têm defendido essa abordagem há algum tempo.

Hurn-Maloney afirmou que a Fastino está chamando seus modelos de otimizados para tarefas, em vez de SLMs, por várias razões. Em sua visão, o termo “pequeno” muitas vezes carrega a conotação de ser menos preciso, o que não é o caso da Fastino. Lewis disse que o objetivo é realmente criar uma nova categoria de modelos que não seja um modelo generalista que seja apenas grande ou pequeno em contagem de parâmetros.

Os modelos da Fastino são otimizados para tarefas, em vez de serem modelos generalistas. O objetivo é tornar os modelos menos amplos em escopo e mais especializados para tarefas empresariais específicas. Ao focar em tarefas específicas, a Fastino afirma que seus modelos conseguem atingir maior precisão e confiabilidade em comparação com modelos de linguagem generalistas.

Esses modelos se destacam especialmente em:

• Estruturar dados textuais
• Suportar pipelines de RAG (geração aprimorada por recuperação)
• Planejamento e raciocínio de tarefas
• Gerar respostas JSON para chamadas de função

Modelos otimizados significam que não é necessária GPU, reduzindo os custos da IA empresarial

Um diferencial chave para os modelos da Fastino é o fato de que eles podem operar em CPUs e não requerem o uso de tecnologia de aceleradores de IA GPU.

A Fastino possibilita inferência rápida em CPUs usando várias técnicas diferentes.

“Se estivermos falando em termos absolutamente simples, você só precisa fazer menos multiplicações”, disse Lewis. “ Muitas de nossas técnicas na arquitetura focam em fazer menos tarefas que exigem multiplicação de matrizes.”

Ele acrescentou que os modelos oferecem respostas em milissegundos em vez de segundos. Essa eficiência se estende a dispositivos de borda, com implantações bem-sucedidas demonstradas em hardware tão modesto quanto um Raspberry Pi.

“Acredito que muitas empresas estão analisando o TCO [custo total de propriedade] para incorporar IA em suas aplicações,” acrescentou Hurn-Maloney. “Então, a capacidade de remover GPUs caras da equação é, obviamente, útil também.”

Os modelos da Fastino ainda não estão amplamente disponíveis. No entanto, a empresa já está trabalhando com líderes da indústria em dispositivos de consumo, serviços financeiros e comércio eletrônico, incluindo um importante fabricante de dispositivos na América do Norte para aplicações domésticas e automotivas.

“Nossa capacidade de operar localmente é realmente boa para indústrias que são bastante sensíveis a dados,” explicou Hurn-Maloney. “A capacidade de executar esses modelos localmente e em CPUs existentes é bastante atraente para serviços financeiros, saúde e outras indústrias sensíveis a dados.”