A ascensão da computação em borda impulsionará o consumo de nuvem, não o substituirá.

Este artigo faz parte da edição especial da VentureBeat, “IA em Escala: Da Visão à Viabilidade.” Leia mais sobre a edição aqui.

Os sinais estão em toda parte de que a computação de borda está prestes a transformar a IA como a conhecemos. À medida que a IA se afasta dos centros de dados centralizados, estamos vendo smartphones executando modelos de linguagem sofisticados localmente, dispositivos inteligentes processando visão computacional na borda e veículos autônomos tomando decisões em frações de segundo sem conectividade com a nuvem.

“Muita atenção no espaço da IA atualmente está voltada para o treinamento, o que faz sentido em nuvens públicas tradicionais de hyperscale”, disse Rita Kozlov, VP de produto da Cloudflare. “Você precisa de um monte de máquinas poderosas próximas umas das outras para realizar cargas de trabalho realmente grandes, e esses clusters de máquinas é que vão prever o tempo ou modelar uma nova descoberta farmacêutica. Mas estamos prestes a presenciar uma mudança nas cargas de trabalho de IA, saindo do treinamento para a inferência, e é aí que vemos a borda se tornando o paradigma dominante.”

Kozlov prevê que a inferência se aproximará progressivamente dos usuários — seja rodando diretamente em dispositivos, como em veículos autônomos, ou na borda da rede. “Para que a IA se torne parte da vida cotidiana de uma pessoa comum, elas vão esperar que seja instantânea e perfeita, assim como nossas expectativas para o desempenho da web mudaram uma vez que começamos a carregar smartphones em nossos bolsos e a depender deles para cada transação,” explicou. “E como nem todo dispositivo terá a capacidade ou a vida útil da bateria para realizar a inferência, a borda é o próximo melhor lugar.”

No entanto, essa mudança em direção à computação de borda não necessariamente reduzirá o uso da nuvem, como muitos previram. Em vez disso, a proliferação da IA de borda está impulsionando um aumento no consumo da nuvem, revelando uma interdependência que pode reformular as estratégias de IA das empresas. De fato, a inferência na borda representa apenas a última etapa em um complexo pipeline de IA que depende fortemente da computação em nuvem para armazenamento de dados, processamento e treinamento de modelos.

Uma nova pesquisa da Universidade de Ciência e Tecnologia de Hong Kong e da Microsoft Research Asia demonstra quão profunda é essa dependência — e por que o papel da nuvem pode, na verdade, se tornar mais vital à medida que a IA de borda se expande. Os testes extensivos dos pesquisadores revelam a intrincada interação necessária entre a nuvem, a borda e os dispositivos clientes para que as tarefas de IA funcionem de maneira mais eficaz.

Como a borda e a nuvem se complementam em implementações de IA

Para entender exatamente como essa relação nuvem-borda funciona na prática, a equipe de pesquisa construiu um ambiente de teste que espelha as implementações empresariais do mundo real. Sua configuração experimental incluiu servidores em nuvem Microsoft Azure para orquestração e processamento intenso, um servidor de borda GeForce RTX 4090 para computação intermediária e placas Jetson Nano representando dispositivos clientes. Essa arquitetura de três camadas revelou as exigências computacionais precisas em cada nível.

O teste-chave envolveu o processamento de solicitações de usuários expressas em linguagem natural. Quando um usuário pediu ao sistema para analisar uma foto, o GPT executado no servidor em nuvem Azure primeiro interpretou a solicitação, depois determinou quais modelos de IA especializados invocar. Para tarefas de classificação de imagens, ele implantou um modelo de transformador de visão, enquanto a legendagem de imagens e perguntas visuais usaram o retreinamento de linguagem-imagem com bootstrap (BLIP). Isso demonstrou como os servidores em nuvem devem lidar com a complexa orquestração de múltiplos modelos de IA, mesmo para solicitações aparentemente simples.

A descoberta mais significativa da equipe surgiu quando eles compararam três abordagens de processamento diferentes. A inferência apenas na borda, que dependia exclusivamente do servidor RTX 4090, teve um bom desempenho quando a largura de banda da rede excedeu 300 KB/s, mas falhou drasticamente à medida que a velocidade caía. A inferência apenas no cliente executada nas placas Jetson Nano evitava gargalos de rede, mas não conseguia lidar com tarefas complexas como respostas a perguntas visuais. A abordagem híbrida — dividindo a computação entre borda e cliente — mostrou-se mais resiliente, mantendo o desempenho mesmo quando a largura de banda ficou abaixo dos níveis ideais.

Essas limitações impulsionaram a equipe a desenvolver novas técnicas de compressão especificamente para cargas de trabalho de IA. O método orientado à tarefa obteve uma eficiência notável: mantendo 84,02% de precisão na classificação de imagens enquanto reduzia a transmissão de dados de 224KB para apenas 32,83KB por instância. Para legendagem de imagens, eles preservaram resultados de alta qualidade (escores de avaliação bilíngue — BLEU — de 39,58 em comparação a 39,66) enquanto cortavam os requisitos de largura de banda em 92%. Essas melhorias demonstram como os sistemas de borda-nuvem devem evoluir otimizações especializadas para funcionar de forma eficaz.

No entanto, os experimentos de aprendizado federado da equipe revelaram talvez a evidência mais convincente da simbiose nuvem-borda. Realizando testes em 10 placas Jetson Nano atuando como dispositivos clientes, eles exploraram como os modelos de IA poderiam aprender a partir de dados distribuídos enquanto mantinham a privacidade. O sistema operou com as restrições de rede do mundo real: 250 KB/s de uplink e 500 KB/s de downlink, típicas de implementações na borda.

Através de uma cuidadosa orquestração entre nuvem e borda, o sistema alcançou mais de ~68% de precisão no conjunto de dados CIFAR10 enquanto mantinha todos os dados de treinamento locais aos dispositivos. O CIFAR10 é um conjunto de dados amplamente utilizado em aprendizado de máquina (ML) e visão computacional para tarefas de classificação de imagens. Ele consiste em 60.000 imagens coloridas, cada uma de 32X32 pixels de tamanho, divididas em 10 classes diferentes. O conjunto de dados inclui 6.000 imagens por classe, com 5.000 para treinamento e 1.000 para teste.

Esse sucesso exigiu uma dança intrincada: dispositivos de borda executando iterações de treinamento locais, o servidor em nuvem agregando melhorias de modelo sem acessar os dados brutos e um sofisticado sistema de compressão para minimizar o tráfego de rede durante as atualizações do modelo.

Essa abordagem federada provou ser particularmente significativa para aplicações do mundo real. Para tarefas de perguntas visuais sob restrições de largura de banda, o sistema manteve uma precisão de 78,22% enquanto exigia apenas 20,39KB por transmissão — quase igualando a precisão de 78,32% das implementações que exigiam 372,58KB. A drástica redução nos requisitos de transferência de dados, combinada com a forte preservação da precisão, demonstrou como os sistemas nuvem-borda puderam manter alto desempenho mesmo em condições desafiadoras de rede.

Arquitetando para nuvem-borda

As descobertas da pesquisa apresentam um roteiro para organizações que planejam implementações de IA, com implicações que atravessam arquitetura de rede, requisitos de hardware e estruturas de privacidade. O mais crítico é que os resultados sugerem que tentar implantar IA exclusivamente na borda ou exclusivamente na nuvem leva a compromissos significativos em desempenho e confiabilidade.

A arquitetura de rede surge como uma consideração essencial. Embora o estudo tenha mostrado que tarefas de alta largura de banda, como perguntas visuais, necessitam de até 500 KB/s para desempenho ideal, a arquitetura híbrida demonstrou notável adaptabilidade. Quando as velocidades da rede caíram abaixo de 300 KB/s, o sistema redistribuiu automaticamente as cargas de trabalho entre a borda e a nuvem para manter o desempenho. Por exemplo, ao processar questões visuais sob restrições de largura de banda, o sistema alcançou 78,22% de precisão usando apenas 20,39KB por transmissão — quase igualando a precisão de 78,32% das implementações de largura de banda total que exigiam 372,58KB.

Os achados sobre a configuração de hardware desafiam suposições comuns sobre os requisitos de IA na borda. Enquanto o servidor de borda utilizou uma GeForce RTX 4090 de ponta, os dispositivos clientes funcionaram de forma eficaz em modestas placas Jetson Nano. Diferentes tarefas mostraram demandas de hardware distintas:

• A classificação de imagens funcionou bem em dispositivos clientes básicos com suporte mínimo da nuvem
• A legendagem de imagens exigiu mais envolvimento do servidor de borda
• A resposta a perguntas visuais necessitou de uma coordenação sofisticada entre nuvem e borda

Para as empresas preocupadas com a privacidade dos dados, a implementação do aprendizado federado oferece um modelo particularmente atraente. Ao alcançar 70% de precisão no conjunto de dados CIFAR10 enquanto mantinha todos os dados de treinamento locais aos dispositivos, o sistema demonstrou como as organizações podem aproveitar as capacidades de IA sem comprometer informações sensíveis. Isso exigiu a coordenação de três elementos-chave:

• Treinamento local do modelo em dispositivos de borda
• Agregação segura de atualizações do modelo na nuvem
• Compressão que preserva a privacidade para atualizações de modelo

Construir versus comprar

As organizações que veem a IA de borda meramente como uma forma de reduzir a dependência da nuvem estão perdendo a transformação maior. A pesquisa sugere que implementações bem-sucedidas de IA de borda exigem uma integração profunda entre recursos de borda e nuvem, camadas de orquestração sofisticadas e novas abordagens para gerenciamento de dados.

A complexidade desses sistemas significa que mesmo organizações com consideráveis recursos técnicos podem achar a construção de soluções personalizadas contraproducente. Enquanto a pesquisa apresenta um caso convincente para arquiteturas híbridas nuvem-borda, a maioria das organizações simplesmente não precisará construir tais sistemas do zero.

Em vez disso, as empresas podem aproveitar os provedores de computação de borda existentes para alcançar benefícios semelhantes. A Cloudflare, por exemplo, construiu uma das maiores infraestruturas globais para inferência de IA, com GPUs agora implantadas em mais de 180 cidades em todo o mundo. A empresa também aprimorou recentemente sua rede para suportar modelos maiores como Llama 3.1 70B enquanto reduzia a latência média de consulta para apenas 31 milissegundos, em comparação com 549ms anteriormente.

Essas melhorias vão além de métricas de desempenho bruto. A introdução de registros persistentes e capacidades de monitoramento aprimoradas pela Cloudflare aborda outra descoberta chave da pesquisa: a necessidade de orquestração sofisticada entre recursos de borda e nuvem. As melhorias no banco de dados vetorial, que agora suportam até 5 milhões de vetores com tempos de consulta dramaticamente reduzidos, mostram como plataformas comerciais podem oferecer otimização orientada à tarefa.

Para empresas que buscam implantar aplicações de IA de borda, a escolha cada vez mais não é se devem construir ou comprar, mas sim qual provedor pode melhor apoiar seus casos de uso específicos. O rápido avanço das plataformas comerciais significa que as organizações podem se concentrar em desenvolver suas aplicações de IA em vez de construir infraestrutura. À medida que a IA de borda continua a evoluir, essa tendência em direção a plataformas especializadas que abstraem a complexidade da coordenação nuvem-borda é provavelmente acelerada, tornando capacidades sofisticadas de IA de borda acessíveis a uma gama mais ampla de organizações.

A nova economia de infraestrutura de IA

A convergência da computação de borda e da IA está revelando algo muito mais significativo do que uma evolução técnica — está desvendando uma reestruturação fundamental da economia da infraestrutura de IA. Existem três mudanças transformadoras que remodelarão a estratégia de IA das empresas.

Primeiramente, estamos testemunhando o surgimento do que pode ser chamado de “arbitragem de infraestrutura” na implantação de IA. O verdadeiro motor de valor não é o poder computacional bruto — é a capacidade de otimizar dinamicamente a distribuição de cargas de trabalho em uma rede global. Isso sugere que empresas que estão construindo sua própria infraestrutura de IA de borda não estão apenas competindo contra plataformas comerciais; estão também competindo contra as economias fundamentais de escala e otimização globais.

Em segundo lugar, a pesquisa revela um “paradoxo de capacidade” emergente na implantação de IA de borda. À medida que esses sistemas se tornam mais sofisticados, eles realmente aumentam, em vez de diminuir, a dependência dos recursos de nuvem. Isso contradiz a sabedoria convencional de que a computação de borda representa um movimento para longe da infraestrutura centralizada. Em vez disso, estamos testemunhando o surgimento de um novo modelo econômico onde as capacidades de borda e nuvem são multiplicativas, em vez de substitutivas — criando valor através de sua interação, em vez de sua independência.

Talvez mais profundamente, a ascensão do que poderia ser chamado de “capital de orquestração”, onde a vantagem competitiva deriva não da posse de infraestrutura ou desenvolvimento de modelos, mas da otimização sofisticada de como esses recursos interagem. Trata-se de construir uma nova forma de propriedade intelectual em torno da orquestração de cargas de trabalho de IA.

Para os líderes empresariais, essas percepções exigem uma reavaliação fundamental da estratégia de IA. A estrutura tradicional de decisão entre construir ou comprar está se tornando obsoleta em um mundo onde o principal motor de valor é a orquestração. Organizações que compreendem essa mudança deixarão de ver a IA de borda como uma decisão de infraestrutura técnica e começarão a considerá-la como uma capacidade estratégica que requer novas formas de especialização e aprendizado organizacional.

Olhando para o futuro, isso sugere que a próxima onda de inovação em IA não virá de modelos melhores ou hardware mais rápido, mas de abordagens cada vez mais sofisticadas para orquestrar a interação entre recursos de borda e nuvem. Toda a estrutura econômica da implantação de IA é provável que evolua de acordo.

As empresas que prosperarem nesse novo cenário serão aquelas que desenvolverem competências profundas no que pode ser chamado de “inteligência de orquestração”, ou a capacidade de otimizar dinamicamente sistemas híbridos complexos para a máxima criação de valor. Isso representa uma mudança fundamental em como pensamos sobre a vantagem competitiva na era da IA, movendo-se de um foco na propriedade e controle para um foco na otimização e orquestração.