Sprawl de ativos, dados isolados e a busca da CloudQuery por uma governança unificada na nuvem

Ganho de visibilidade — e, em última instância, insights — sobre ativos de nuvem empresarial está se tornando cada vez mais desafiador.

Os ambientes de nuvem são vastos e fragmentados, e as capacidades de inventário nas ferramentas existentes podem ser limitadas e não intuitivas, separando elementos como custos e dados de segurança em plataformas desconectadas com flexibilidade limitada.

A empresa de governança em nuvem CloudQuery está se posicionando para resolver esse problema, centralizando ativos de nuvem, metadados de segurança e custos em um só lugar e tornando-os acessíveis através de consultas e relatórios SQL fáceis e integrados. A empresa está adotando uma abordagem voltada para desenvolvedores na governança de nuvem, extraindo dados de mais de 60 fontes — incluindo AWS, GCP, Azure, Okta e Wiz — para um único armazém de dados consultável.

A empresa agora está anunciando uma rodada de financiamento de $16 milhões liderada pela Partech para escalar ainda mais sua abordagem de visibilidade em nuvem.

“O maior desafio das ferramentas existentes é que elas estão isoladas — uma para segurança, uma para custo, uma para inventário de ativos — tornando difícil obter uma visão unificada entre os domínios,” disse o fundador da CQ, Yevgeny Pats, à VentureBeat. “Mesmo perguntas simples como ‘Qual volume EBS está conectado a um EC2 que está desligado?’ são difíceis de responder sem juntar várias ferramentas.”

(Nota do editor: Teremos uma discussão em painel sobre “Qualidade de Dados para Gen AI e Além — A Fundamento de Confiança e Desempenho” no VB Transform este mês. Inscreva-se hoje.)

CloudQuery por trás dos panos

CloudQuery utiliza duas tecnologias fundamentais: um armazém de dados e o banco de dados open-source ClickHouse, além do framework Apache Arrow para desenvolver aplicações de análise de dados.

Essa arquitetura de plug-in de alto desempenho construída em Go conecta-se diretamente às APIs, como AWS, Azure, Google Cloud Platform (GCP) e muitas outras plataformas, puxando metadados de configuração, segurança e custos. A plataforma sincroniza continuamente dados de dezenas de provedores e serviços de nuvem em um inventário centralizado de ativos normalizados.

“Colocamos uma forte ênfase na precisão e frescor dos dados, sincronizando com alta frequência para garantir que as equipes estejam trabalhando com as informações mais confiáveis e atualizadas,” disse Pats.

Ele explicou que os dados são estruturados de maneira relacional para acionar o mecanismo SQL da CloudQuery e seus relatórios integrados, permitindo que as equipes tenham total flexibilidade sem depender de ferramentas opacas.

A empresa também utiliza “seletivamente” modelos de linguagem de grande porte (LLMs) para consultas em linguagem natural, geração de SQL e recomendações, “mas sempre com uma base de dados precisa e transparente,” afirmou Pats. Ele ressaltou que, como a IA compreende bem SQL, ferramentas como Claude e OpenAI podem criar relatórios e análises personalizadas em linguagem simples.

Adotar uma abordagem voltada para desenvolvedores é crítico, disse Pats, pois os desenvolvedores são, em última análise, os responsáveis por construir, operar e proteger a infraestrutura de nuvem atual. No entanto, muitas ferramentas de visibilidade em nuvem foram construídas para governança de cima para baixo, e não para as pessoas que estão realmente no campo.

“Quando você coloca os desenvolvedores em primeiro lugar, com dados acessíveis, APIs flexíveis e linguagem nativa como o SQL, você os capacita a mover-se mais rápido, identificar problemas mais cedo e construir com mais segurança,” disse ele.

Os clientes estão encontrando maneiras de usar a CloudQuery além do inventário de ativos. “Muitos começam com visibilidade e rapidamente crescem para casos de uso como monitoramento de conformidade, gestão de postura de segurança, otimização de custos, tudo a partir da mesma plataforma central,” disse Pats.

Como a Hexagon construiu um lago de dados serverless para todas as suas lojas em nuvem

Uma empresa que já está vendo resultados é Hexagon. A equipe do centro de excelência de nuvem (CCoE) da empresa tinha como objetivo construir um lago de dados totalmente serverless que pudesse coletar dados de todas as suas contas em nuvem e armazená-los em um único lago de dados.

Eles também queriam a capacidade de consultar esses dados usando SQL, visualizá-los com ferramentas familiares (como o AWS QuickSight) e explorar a história de sua configuração em nuvem ao longo do tempo.

A equipe construiu um pipeline de dados serverless usando a CloudQuery para coletar dados de todas as contas e armazená-los no S3. O AWS Glue, então, ingere os dados no Glue DB em um formato que o Amazon Athena pode consultar, o que o Athena faz e visualiza no QuickSight.

“Ter uma solução totalmente serverless era um requisito importante,” escreveram Peter Figueiredo, especialista em governança em nuvem e FinOps da Hexagon, e Herman Schaaf, diretor de engenharia da CloudQuery, em um post de blog. “Essa decisão trouxe muitos benefícios, pois não há necessidade de atualizações demoradas e praticamente nenhuma manutenção.”

Eles tiveram que superar alguns desafios, particularmente com plugins de suporte ao Amazon S3. A equipe do CCoE foi uma das primeiras a experimentar os recursos da CloudQuery na destination do S3 e ofereceu insights que levaram a novos recursos. Estes incluem:

• Suporte a Parquet: O destino de arquivos da CloudQuery inicialmente só suportava formatos de dados CSV e JSON. Erros nas interpretações de JSON levaram a CloudQuery a adicionar suporte a Parquet.
• Particionamento de dados: Um plugin de destino de arquivo da CloudQuery agora permite particionamento na escrita inicial (anteriormente indisponível, resultando em etapas desnecessárias).
• Visualização de recursos para Athena: A CloudQuery inicialmente oferecia apenas uma visualização de recursos para AWS compatível com Postgres. No entanto, o Athena não suportava isso, então a CloudQuery adicionou uma função que pode recuperar uma lista de todas as tabelas para construir ou atualizar uma visualização de recursos.

A equipe de Figueiredo usou a CloudQuery para substituir o gerenciador de endereços IP da VPC da AWS (IPAM) – que ele chamou de caro e limitado, pois não cobre outros provedores de nuvem.

Em última análise, sua equipe executa a CloudQuery no modo ‘data lake’ usando “infraestrutura ultra barata” incluindo AWS S3, ECS, Glue, Athena e Lambda,” Figueiredo disse à VentureBeat. Isso mantém os custos baixos e permite que a Hexagon una todos os seus endereços IP entre diferentes provedores de nuvem.

“Podemos consultar rapidamente qualquer IP em todo o ambiente e descobrir quem são os proprietários,” disse Figueiredo. “Agora somos capazes de coletar tudo o que precisamos a um custo muito baixo e com quase zero manutenção. Esse é o santo graal para nossa equipe.”