Grandes empresas adotam computação híbrida para manter o controle de sua própria inteligência.

Apresentado pela Inflection AI

---

Serviços públicos e centralizados de modelos de linguagem de grande porte (LLM) de fornecedores como OpenAI têm, sem dúvida, catalisado a revolução GenAI, oferecendo uma maneira acessível para empresas experimentarem e implementarem rapidamente capacidades de IA. Mas, à medida que a tecnologia avança, grandes empresas, particularmente aquelas que investem pesadamente em IA, estão começando a ter uma combinação de modelos em nuvem de acesso público e modelos de computação privada e local — resultando em um ambiente híbrido.

Podemos afirmar que, se você está gastando mais de $10.000.000 por ano em gasto total com IA e não possui alguns investimentos em modelos — de código aberto ou outros — que você possua ou pelo menos controle, além de alguns recursos de computação privada, você está indo na direção errada.

Vemos essa necessidade de Possuir Sua Própria Inteligência como especialmente aguda para organizações com preocupações significativas de segurança, requisitos regulatórios ou necessidades específicas de escalabilidade.

O futuro aponta para uma preferência crescente por soluções de “computação privada” — abordagens de implantação que aproveitam nuvens privadas virtuais (VPC) ou até mesmo infraestrutura local para tarefas e processos vitais como parte de sua plataforma de inteligência.

Nuevos fornecedores como Cohere, Inflection AI e SambaNova Systems estão atendendo a essa demanda crescente, oferecendo soluções que alinham-se com as necessidades de empresas para as quais soluções apenas em nuvem pública podem não ser mais suficientes.

Os grandes modelos da OpenAI e da Anthropic prometem ambientes privados, mas seus colaboradores ainda podem acessar dados de logs e transações quando necessário, e as empresas não acreditam que “apenas confiar no contrato” seja suficiente para proteger dados críticos. Vamos explorar por que a computação privada está ganhando força e quais são os trade-offs para grandes empresas.

LLMs públicos e centralizados iniciaram a revolução GenAI

Serviços públicos de LLMs foram fundamentais para ajudar as empresas a se atualizarem com a GenAI. Fornecedores como OpenAI oferecem modelos de ponta que são fáceis de acessar e implementar através de APIs baseadas em nuvem. Isso possibilitou que organizações de qualquer tamanho começassem a integrar capacidades avançadas de IA em seus fluxos de trabalho sem a necessidade de uma infraestrutura complexa ou especialização interna em IA.

Os cinco principais problemas que ouvimos sobre LLMs públicos de grandes empresas em produção são:

1. Riscos de segurança e confidencialidade: Grandes empresas frequentemente lidam com dados sensíveis, variando de roteiros de produtos proprietários a informações confidenciais de clientes. Embora os provedores de nuvem pública implementem rigorosos protocolos de segurança, algumas organizações hesitam em confiar em colaboradores de terceiros com seus dados mais valiosos. Essa preocupação aumenta ao discutir roteiros futuros de produtos, que, em mãos erradas, poderiam beneficiar concorrentes.

2. Perda de poder de negociação: À medida que as empresas se tornam mais dependentes da GenAI, podem se encontrar vulneráveis a aumentos de preços por parte dos hiperescaladores. Serviços em nuvem pública normalmente operam sob um modelo de pagamento por uso, que pode se tornar mais caro à medida que o uso escala. Empresas que dependem de serviços de LLM em nuvem pública podem descobrir que não têm alavancagem à medida que os preços aumentam ao longo do tempo.

3. Questões de confiança com os futuros desenvolvimentos da IA: Embora os contratos atuais possam parecer suficientes, grandes empresas podem se preocupar com o futuro. Em um futuro hipotético com verdadeira Inteligência Geral Artificial (AGI) — uma forma de IA que teoricamente poderia superar os humanos — as empresas podem hesitar em confiar a terceiros a gestão de tecnologias tão poderosas, mesmo com contratos aparentemente infalíveis. Afinal, os potenciais riscos de um mau funcionamento ou uso indevido da AGI, mesmo que improváveis, têm um peso significativo.

4. Controle sobre funções e atualizações: Serviços públicos de LLMs, normalmente, impõem atualizações e mudanças de funcionalidades de forma centralizada, o que significa que empresas que utilizam esses serviços não podem controlar quando ou como as atualizações ocorrem. Isso pode levar a interrupções, já que as empresas precisam continuamente retestar seus sistemas e fluxos de trabalho sempre que novas versões dos modelos são introduzidas.

5. Eficiência de custos à medida que o consumo de tokens cresce: Modelos de precificação baseados em tokens utilizados pelos serviços públicos de LLMs são convenientes para casos de uso de baixo a moderado. No entanto, para empresas que utilizam esses modelos em grande escala, os custos podem se tornar proibitivos. Estimamos que o ponto de equilíbrio para a eficiência de custos ocorre em torno de 500.000 tokens por dia com as opções e preços atuais. Além disso, os custos por token começam a superar a conveniência de não gerenciar sua infraestrutura.

Principais benefícios para compradores nas nuvens de LLM públicas

1. Fácil e econômico para testes: Nuvens públicas oferecem uma barreira de entrada extremamente baixa. As empresas podem experimentar diferentes modelos, funcionalidades e aplicações sem um investimento inicial significativo em infraestrutura ou talentos técnicos.

2. Sem ou baixo desembolso de capital: Ao usar um serviço de nuvem pública, as empresas são poupadas das elevadas despesas de capital necessárias para construir ou manter clusters de computação de alto desempenho.

3. Sem necessidade de gerenciar infraestrutura local: Ao depender de um provedor de nuvem pública, as empresas não precisam desenvolver, manter e proteger sua própria infraestrutura local, que pode ser dispendiosa e demorada.

Empresas líderes estão indo para ambientes híbridos com computação privada

Observamos pelo menos dois tipos muito diferentes de organizações na adoção de GenAI/IA. O primeiro grupo é o que chamamos de “mergulhadores de pé”. Eles tentaram algumas aplicações isoladas e permitem apenas um ou dois fornecedores fornecendo ferramentas padrão como Co-Pilot ou ChatGPT. Eles podem ter ilhas de automação construídas em diferentes divisões.

O segundo grupo é o que chamamos de “orquestradores de produtividade” – essas são empresas que possuem sistemas significativos em produção. Este último grupo possui uma combinação de serviços em nuvem pública e computação privada e soluções que foram construídas e/ou montadas para atender suas necessidades atuais em produção. Essas soluções permitem que as empresas implantem modelos de GenAI em sua própria infraestrutura local ou dentro de sua própria nuvem privada virtual, trazendo capacidades de IA mais próximas de suas “fronteiras de confiança”. Aqui estão os benefícios que ouvimos dos orquestradores:

Prós das soluções de computação privada

1. Segurança e confidencialidade aprimoradas: Ao implantar LLMs em um ambiente de nuvem privada ou local, as empresas mantêm seus dados dentro de sua própria infraestrutura, minimizando o risco de acesso não autorizado ou exposição acidental. Isso é particularmente importante para empresas de setores como finanças, saúde e defesa, onde a privacidade dos dados é fundamental.

2. Eficiência de custos em escala: Embora os custos iniciais de configuração sejam mais altos, soluções de computação privada se tornam mais custo-efetivas à medida que o uso aumenta. Empresas com alto consumo de tokens podem evitar os custos variáveis dos serviços em nuvem pública, reduzindo suas despesas gerais ao longo do tempo.

3. Maior controle sobre o desenvolvimento de IA: Com a computação privada, as empresas mantêm total controle sobre os modelos que implantam, incluindo quando e como as atualizações ocorrem. Isso permite que as empresas evitem interrupções em seus fluxos de trabalho e garantam que os modelos estejam sempre otimizados para suas necessidades específicas.

4. Personalização e flexibilidade: LLMs públicos são projetados para atender ao maior público possível, o que significa que podem não ser sempre adaptados às necessidades específicas de uma única empresa. Soluções de computação privada, por outro lado, permitem maior personalização e ajuste fino para resolver desafios empresariais únicos.

5. Desenvolvimento de expertise interna: GenAI/IA está crescendo em termos de suas capacidades e aplicações, portanto, ter capacidade interna para construir e operar novas soluções se tornará cada vez mais importante.

Contras das soluções de computação privada

Ao mesmo tempo, esses benefícios não vêm sem custos e riscos. Os dois maiores problemas que ouvimos são:

1. Despesas de capital iniciais mais altas: Montar uma infraestrutura de computação privada requer um investimento significativo em hardware, software e recursos humanos. Embora esse custo possa ser amortizado ao longo do tempo, representa um grande comprometimento financeiro inicial.

2. Complexidade técnica aumentada: Gerenciar uma infraestrutura de IA local ou baseada em VPC exige um nível mais elevado de especialização em TI, particularmente nas áreas de operações de aprendizado de máquina (MLOps) e gerenciamento de modelos de linguagem de grande porte. As empresas devem estar preparadas para contratar ou treinar funcionários para lidar com a complexidade desses sistemas.

As organizações mais adequadas para investimentos em computação privada são as regulamentadas e com alto gasto em GenAI

Para os líderes de IA em empresas que estão usando IA para transformar sua base de custos ou experiência do cliente, desenvolver e ter uma estratégia híbrida não é opcional; é existencial.

Em um artigo da HBR de 2023, introduzimos a ideia de uma nova categoria de trabalho: WINS. Isso é mais preciso do que o comumente usado ‘trabalho do conhecimento’ e inclui empresas cuja base de custos é composta por funções e tarefas que criam ou melhoram Palavras, Imagens, Números e Sons – trabalho WINS. Por exemplo, um cirurgião cardíaco e um chef são trabalhadores do conhecimento, mas não são trabalhadores WINS. Programadores de software, contadores e profissionais de marketing são trabalhadores WINS.

E se o trabalho WINS que está sendo criado já está altamente digitalizado, essas tarefas, funções, empresas e indústrias estão sendo transformadas à medida que falamos.

Além disso, vemos ações muito iniciais em empresas intensivas em WINS que possuem as seguintes características:

• Indústrias regulamentadas: Setores como finanças, saúde e governo estão sujeitos a rigorosas regulamentações de privacidade de dados e conformidade. Soluções de computação privada garantem que dados sensíveis nunca deixem o controle da empresa.

• Empresas com investimento significativo em GenAI: Empresas que já gastam $10 milhões ou mais anualmente em GenAI provavelmente acharão opções de computação privada mais custo-efetivas em escala, especialmente à medida que seu consumo diário de tokens cresce.

• Negócios que automatizam processos cognitivos avançados: Empresas em campos como descoberta de medicamentos ou entretenimento, onde a IA é utilizada para impulsionar processos altamente específicos e proprietários, se beneficiam ao manter sua infraestrutura de IA internamente. Isso reduz o risco de vazamento crítico de propriedade intelectual (PI) e garante que o desenvolvimento de IA esteja alinhado com seus objetivos de negócios.

Conclusão: Hibridize seu ambiente para controlar seu destino

Enquanto os serviços públicos de LLM têm sido inestimáveis para dar início à revolução GenAI, eles não atenderão às necessidades de longo prazo de toda empresa. Para grandes empresas que lidam com dados sensíveis, uso intenso de IA e preocupações sobre controle e custo, soluções de computação privada oferecem uma alternativa convincente.

À medida que mais fornecedores surgem para atender a esse espaço, podemos esperar ver um número crescente de empresas migrando de nuvens públicas para implantações privadas mais seguras, personalizáveis e escaláveis.

Paul Baier e John Sviokla são cofundadores da GAI Insights.

---

Artigos patrocinados são conteúdos produzidos por uma empresa que está pagando pelo post ou possui um relacionamento comercial com a VentureBeat, e sempre são claramente marcados. Para mais informações, entre em contato com sales@venturebeat.com.