A plataforma de nuvem serverless Koyeb agora permite que desenvolvedores utilizem os aceleradores de IA da Tenstorrent

Poucas semanas após a fabricante de chips Tenstorrent ter arrecadado quase US$ 700 milhões em financiamento, os desenvolvedores agora podem experimentar os aceleradores de IA da Tenstorrent na Koyeb. A Tenstorrent vende processadores de IA baseados na arquitetura da instrução RISC-V e desenvolveu sua própria biblioteca de rede neural de código aberto, TT-NN, além de um modelo de programação de baixo nível, TT-Metalium.

A Tenstorrent faz parte de um grupo de empresas que buscam construir alternativas às GPUs da Nvidia e à biblioteca CUDA da empresa. Ela compete com Axelera, Etched, Groq e outros.

A Koyeb foi fundada por ex-executivos da Scaleway e se concentra no desenvolvimento de uma plataforma de nuvem sem servidor para desenvolvedores que procuram uma camada de abstração no nível da infraestrutura em nuvem. Ela compete com empresas como Fly.io, Railway e Render.

A Koyeb permite que os desenvolvedores implantem aplicações em várias máquinas virtuais usando uma interface de linha de comando ou um git push após a integração com o repositório de código. Ela suporta containers Docker e muitas linguagens populares.

Uma das principais características da Koyeb é que ela pode escalar automaticamente uma aplicação para centenas de servidores, se necessário, e quando o tráfego diminui, ela pode reduzir automaticamente a infraestrutura do servidor.

Nos últimos meses, a Koyeb tem se concentrado especificamente em aplicativos de IA. Devido à natureza sem servidor de sua plataforma, ela pode oferecer uma experiência de baixa latência para cargas de trabalho de IA.

Do ponto de vista de hardware, a Koyeb implantou placas PCIe da Tenstorrent em seus data centers. Os desenvolvedores podem acessar o SDK de baixo nível TT-Metalium da Tenstorrent para escrever programas de host e kernel.

Os desenvolvedores encontrarão dois novos tipos de instâncias na documentação e nos painéis administrativos da Koyeb:

• A instância TT-N300S possui 24 GB de memória GDDR6, 192 MB de SRAM e fornece até 466 FP8 TFLOPS. Ela é emparelhada com 64 GB de RAM e 4 vCPUs.
• A instância TT-LoudBox possui quatro N300S. Os desenvolvedores recebem 96 GB de GDDR6, 768 MB de SRAM e até 1.864 FP8 TFLOPS. Ela conta com 256 GB de RAM e 16 vCPUs.

Com este lançamento, a Koyeb está tentando se posicionar como uma plataforma de nuvem agnóstica em relação ao hardware. “Isso nos lembra da estreia da ARM no mercado de servidores com chips de alto desempenho”, disse Yann Leger, co-fundador e CEO da Koyeb, ao TechCrunch.

“Desde que apresentamos a ARM ao mercado com a Scaleway, há alguns anos, oferecendo servidores totalmente personalizados em 2013-2014, temos a experiência de implantar várias arquiteturas e operar diferentes hardwares”, acrescentou.

Quanto à Tenstorrent, a fabricante de chips de IA está procurando parceiros para construir um ecossistema para desenvolvedores em torno de seu modelo de programação de código aberto. Será preciso um esforço coletivo para oferecer uma alternativa ao stack de IA da Nvidia.