BigQuery é 5 vezes maior que Snowflake e Databricks: O que o Google está fazendo para torná-lo ainda melhor.

Google Cloud anunciou um número significativo de novos recursos no evento Google Cloud Next na semana passada, com pelo menos 229 novos anúncios.

Entremeado nessa montanha de notícias, que incluiu novos chips de IA e capacidades de IA autônomas, bem como atualizações de banco de dados, o Google Cloud também fez alguns movimentos significativos com seu serviço de data warehouse BigQuery. Entre as novas capacidades está o BigQuery Unified Governance, que ajuda as organizações a descobrir, entender e confiar em seus ativos de dados. As ferramentas de governança ajudam a abordar barreiras importantes para a adoção de IA, garantindo qualidade, acessibilidade e confiabilidade dos dados.

As apostas são enormes para o Google enquanto enfrenta rivais no espaço de dados empresariais.

O BigQuery está no mercado desde 2011 e cresceu significativamente nos últimos anos, tanto em termos de capacidades quanto de base de usuários. Aparentemente, o BigQuery também é um grande negócio para o Google Cloud. Durante o Google Cloud Next, foi revelado pela primeira vez o tamanho real do negócio. Segundo o Google, o BigQuery tinha cinco vezes o número de clientes de Snowflake e Databricks.

“Este é o primeiro ano em que temos permissão para realmente publicar uma estatística de cliente, o que foi maravilhoso para mim,” disse Yasmeen Ahmad, diretora administrativa de análise de dados do Google Cloud, ao VentureBeat. “Databricks e Snowflake são as únicas outras plataformas de data warehouse empresarial no mercado. Temos cinco vezes mais clientes do que qualquer um deles.”

Como o Google está melhorando o BigQuery para promover a adoção empresarial

Embora o Google agora afirme ter uma base de usuários mais extensa do que seus rivais, não está aliviando o pé do acelerador. Nos últimos meses, e particularmente no Google Cloud Next, o hiperscaler anunciou várias novas capacidades para avançar na adoção empresarial.

Um desafio fundamental para a IA empresarial é ter acesso aos dados corretos que atendem aos acordos de nível de serviço (SLAs) de negócios. Segundo a pesquisa da Gartner citada pelo Google, organizações que não habilitam e apoiam seus casos de uso de IA através de uma prática de dados pronta para IA verão mais de 60% dos projetos de IA falharem em entregar nos SLAs de negócios e serem abandonados.

Esse desafio decorre de três problemas persistentes que assolam a gestão de dados empresariais:

1. Silos de dados fragmentados
2. Requisitos em rápida mudança
3. Culturas organizacionais de dados inconsistentes, onde as equipes não compartilham uma linguagem comum em torno dos dados.

A solução BigQuery Unified Governance do Google representa uma significativa mudança em relação às abordagens tradicionais, incorporando capacidades de governança diretamente na plataforma BigQuery em vez de exigir ferramentas ou processos separados.

BigQuery unified governance: Uma análise técnica detalhada

No cerne do anúncio do Google está a governança unificada do BigQuery, alimentada pelo novo catálogo universal do BigQuery. Diferente dos catálogos tradicionais que apenas contêm informações básicas de tabela e coluna, o catálogo universal integra três tipos distintos de metadados:

1. Metadados físicos/técnicos: Definições de esquema, tipos de dados e estatísticas de perfil.
2. Metadados de negócios: Termos de glossário empresarial, descrições e contexto semântico.
3. Metadados de tempo de execução: Padrões de consulta, estatísticas de uso e informações específicas de formato para tecnologias como Apache Iceberg.

Essa abordagem unificada permite que o BigQuery mantenha um entendimento abrangente dos ativos de dados em toda a empresa. O que torna o sistema particularmente poderoso é como o Google integrou o Gemini, seu modelo de IA avançado, diretamente na camada de governança através do que chamam de motor do conhecimento.

O motor do conhecimento melhora ativamente a governança ao descobrir relacionamentos entre conjuntos de dados, enriquecendo os metadados com contexto empresarial e monitorando a qualidade dos dados automaticamente.

As principais capacidades incluem busca semântica com entendimento de linguagem natural, geração automatizada de metadados, descoberta de relacionamentos impulsionada por IA, produtos de dados para empacotamento de ativos relacionados, um glossário comercial, catalogação automática de dados estruturados e não estruturados e detecção automatizada de anomalias.

Esqueça os benchmarks, a IA empresarial é um problema maior

A estratégia do Google transcende a competição de modelos de IA.

“Acho que há um foco excessivo da indústria apenas em ficar no topo daquela tabela de classificação individual, e na verdade o Google está pensando de forma holística sobre o problema,” disse Ahmad.

Essa abordagem abrangente aborda todo o ciclo de vida dos dados empresariais, respondendo perguntas críticas como: Como você entrega confiança? Como você entrega escala? Como você entrega governança e segurança?

Ao inovar em cada camada do stack e reunir essas inovações, o Google criou o que Ahmad chama de um ciclo de ativação de dados em tempo real, onde, assim que os dados são capturados, independentemente do tipo ou formato ou onde estão sendo armazenados, há geração instantânea de metadados, linhagem e qualidade.

Dito isso, os modelos importam. Ahmad explicou que com o advento de modelos de raciocínio como o Gemini 2.0, houve uma grande liberação para as plataformas de dados do Google.

“Um ano atrás, quando você pedia à GenAI que respondesse a uma pergunta de negócios, qualquer coisa que fosse um pouco mais complexa, você realmente precisaria dividi-la em vários passos,” disse ela. “De repente, com o modelo de raciocínio, ele pode fazer um plano… você não precisa codificar uma maneira de fazê-lo construir um plano. Ele sabe como construir planos.”

Como resultado, ela disse que agora você pode facilmente ter um agente de engenharia de dados construindo um pipeline que tem três passos ou 10 passos. A integração com as capacidades de IA do Google transformou o que é possível com dados empresariais.

Impacto no mundo real: Como as empresas estão se beneficiando

Levi Strauss & Company oferece um exemplo convincente de como a governança de dados unificada pode transformar operações empresariais. A empresa de 172 anos está usando as capacidades de governança de dados do Google enquanto faz a transição de um negócio principalmente atacadista para se tornar uma marca de venda direta ao consumidor. Em uma sessão no Google Cloud Next, Vinay Narayana, responsável pela engenharia da plataforma de dados e IA da Levi’s, detalhou o caso de uso de sua organização.

“Aspiramos empoderar nossos analistas de negócios a ter acesso a dados em tempo real que também sejam precisos,” disse Narayana. “Antes de embarcarmos em nossa jornada para construir uma nova plataforma, descobrimos vários desafios dos usuários. Nossos usuários de negócios não sabiam onde os dados estavam, e se soubessem a fonte dos dados, não sabiam quem era o responsável. Se eles conseguissem acesso, não havia documentação.”

A Levi’s construiu uma plataforma de dados no Google Cloud que organiza produtos de dados por domínio de negócios, tornando-os descobríveis através do Analytics Hub (o marketplace de dados do Google). Cada produto de dados é acompanhado de documentação detalhada, informações de linhagem e métricas de qualidade.

Os resultados têm sido impressionantes: “Estamos 50 vezes mais rápidos do que nossa plataforma de dados legada, e isso é no mínimo. Um número significativo de visualizações é 100 vezes mais rápido,” disse Narayana. “Temos mais de 700 usuários já utilizando a plataforma diariamente.”

Outro exemplo vem da Verizon, que está utilizando as ferramentas de governança do Google como parte da sua iniciativa One Verizon Data para unificar dados anteriormente isolados entre as unidades de negócios.

“Esse será o maior data warehouse de telecomunicações na América do Norte rodando no BigQuery,” disse Arvind Rajagopalan, VP de engenharia de dados, arquitetura e produtos da Verizon, durante uma sessão do Google Cloud Next.

A infraestrutura de dados da empresa é colossal, composta por 3.500 usuários que realizam aproximadamente 50 milhões de consultas, 35.000 pipelines de dados e mais de 40 petabytes de dados.

Em uma sessão de destaque no Google Cloud Next, Ahmad também forneceu inúmeros outros exemplos de usuários. O Radisson Hotel Group personalizou sua publicidade em escala, treinando modelos do Gemini com dados do BigQuery. As equipes experimentaram um aumento de 50% na produtividade, enquanto a receita de campanhas impulsionadas por IA aumentou em mais de 20%. A Gordon Food Service migrou para o BigQuery, garantindo que seus dados estivessem prontos para a IA e aumentando a adoção de aplicativos voltados para o cliente em 96%.

Qual é a ‘grande’ diferença: Explorando o cenário competitivo

Existem vários fornecedores no espaço de data warehouses empresariais, incluindo Databricks, Snowflake, Microsoft com Synapse e Amazon com Redshift. Todos esses fornecedores desenvolveram várias formas de integrações de IA nos últimos anos.

Databricks possui uma plataforma de data lakehouse abrangente e tem expandido suas próprias capacidades de IA, em parte graças à aquisição de $1,3 bilhões da Mosaic. A Amazon Redshift adicionou suporte para IA generativa em 2023, com o Amazon Q ajudando os usuários a construir consultas e obter melhores respostas. Por sua parte, a Snowflake tem desenvolvido ferramentas e se associado a provedores de modelos de linguagem grande (LLM), incluindo a Anthropic.

Quando questionada sobre comparações especificamente com as ofertas da Microsoft, Ahmad argumentou que o Synapse não é uma plataforma de dados empresariais para os tipos de casos de uso que os clientes utilizam o BigQuery.

“Acho que superamos a indústria toda, porque trabalhamos em todas as peças,” disse ela. “Nós temos o melhor modelo, aliás, é o melhor modelo integrado em um stack de dados que entende como os agentes funcionam.”

Essa integração tem impulsionado a rápida adoção de capacidades de IA dentro do BigQuery. Segundo o Google, o uso dos modelos de IA do Google no BigQuery para análise multimodal aumentou em 16 vezes ano após ano.

O que isso significa para as empresas que adotam IA

Para as empresas que já lutam com a implementação de IA, a abordagem integrada do Google em governança pode oferecer um caminho mais simplificado para o sucesso do que juntar sistemas de gerenciamento de dados e IA separados.

A afirmação de Ahmad de que o Google “superou” os concorrentes nesse espaço enfrentará escrutínio à medida que as organizações colocarem essas novas capacidades em prática. No entanto, os exemplos de clientes e os detalhes técnicos sugerem que o Google fez progressos significativos para abordar um dos aspectos mais desafiadores da adoção de IA empresarial.

Para tomadores de decisões técnicas avaliando plataformas de dados, as principais perguntas serão se essa abordagem integrada oferece valor adicional suficiente para justificar a migração de investimentos existentes em plataformas especializadas, como Snowflake ou Databricks, e se o Google pode manter seu ritmo atual de inovação enquanto os concorrentes reagem.