Puppygraph acelera o acesso de LLMs a insights de dados em grafo

À medida que as empresas continuam a investir fortemente em análises avançadas e modelos de linguagem de grande escala (LLMs), a tecnologia de grafos tornou-se uma das abordagens mais favorecidas para a configuração da pilha de dados. Ela permite que os usuários compreendam relacionamentos complexos em seus conjuntos de dados, que muitas vezes não são evidentes em bancos de dados relacionais tradicionais.

No entanto, manter e consultar bancos de dados de grafos juntamente com bancos de dados relacionais tradicionais é bastante complicado (e caro). Hoje, PuppyGraph, uma startup com sede em São Francisco fundada por ex-funcionários do Google e LinkedIn, levantou US$ 5 milhões para solucionar essa lacuna com o primeiro e único mecanismo de consulta zero-ETL do mundo. O mecanismo permite que os usuários consultem seus dados relacionais existentes como um grafo unificado, sem a necessidade de um banco de dados gráfico separado e longos processos de extração-transformação-carregamento (ETL).

O mecanismo foi lançado em março de 2024 e já está sendo utilizado por várias empresas para simplificar a análise de dados. Somente sua edição de desenvolvedor para sempre gratuita está testemunhando um aumento de 70% nos downloads mês a mês.

A necessidade do PuppyGraph

Uma arquitetura de banco de dados gráfico espelha o ato de desenhar em um quadro branco, armazenando todas as informações em nós (representando entidades, pessoas e conceitos) com o contexto e as conexões relevantes entre eles. Usando essa estrutura de grafo, os usuários podem identificar padrões complexos e relacionamentos que podem não ser facilmente evidentes em bancos de dados relacionais tradicionais (consultados via SQL) e implantar algoritmos para rapidamente habilitar casos de uso como IA/ML, detecção de fraudes, mapeamento da jornada do cliente e gerenciamento de riscos para redes.

Na configuração atual, a única maneira de adotar tecnologias de grafos é configurar um banco de dados gráfico nativo separado e mantê-lo em sincronia com o banco de dados de origem. A tarefa parece simples, mas se torna bastante complicada, com as equipes tendo que configurar pipelines complexos e intensivos em recursos de ETL para migrar seus conjuntos de dados para o armazenamento gráfico. Isso pode facilmente custar milhões e levar meses, impedindo os usuários de executar consultas críticas para os negócios.

Sem mencionar que, uma vez que o banco de dados é configurado, eles também têm que gerenciá-lo continuamente, o que aumenta ainda mais os custos e cria problemas de escalabilidade a longo prazo.

Para abordar essas lacunas, os ex-funcionários do Google e LinkedIn, Weimo Liu, Lei Huang e Danfeng Xu, se reuniram e fundaram o PuppyGraph. A ideia era fornecer às equipes uma maneira de consultar seus bancos de dados relacionais existentes e lagos de dados como grafos, sem migrações de dados.

Dessa forma, os mesmos dados que são analisados com consultas SQL podem ser analisados como um grafo, levando a um acesso mais rápido a insights. Isso pode ser particularmente útil em casos onde os dados estão profundamente conectados com relacionamentos de vários níveis, como na cadeia de suprimentos ou na cibersegurança.

“Quanto mais profundo o nível, mais complexo se torna a consulta em uma consulta SQL tradicional. Isso ocorre porque cada nível adicional requer uma operação de junção de tabela adicional, aumentando a complexidade e potencialmente desacelerando dramaticamente o desempenho da consulta… Em contraste, a consulta gráfica lida com esses relacionamentos de vários níveis de forma muito mais eficiente. Elas são projetadas para rapidamente percorrer essas conexões usando caminhos através do grafo, independentemente da profundidade da conexão,” disse Zhenni Wu, que se juntou à equipe fundadora do PuppyGraph, à VentureBeat.

Wu afirmou que o PuppyGraph elimina completamente a necessidade de extensas configurações de ETL, permitindo uma ‘implantação para consulta’ em cerca de 10 minutos. Tudo o que o usuário precisa fazer é conectar a ferramenta à sua fonte de dados de sua escolha. Uma vez feito, ela cria automaticamente um esquema de grafo e consulta as tabelas em modelos gráficos. Além disso, o design distribuído do mecanismo permite processar conjuntos de dados extremamente grandes e consultas complexas de múltiplos saltos.

Ele pode se conectar a todos os principais lagos de dados, incluindo Google BigQuery e Databricks, para realizar análises gráficas aceleradas – enquanto mantém os custos em um nível mais baixo ao mesmo tempo.

“A separação da arquitetura de armazenamento e computação significa que o baixo custo é uma das maiores vantagens do PuppyGraph. Não há custo de armazenamento porque o mecanismo consulta diretamente os dados dos lagos/depositórios de dados existentes dos usuários. Isso fornece flexibilidade para escalar os recursos de computação conforme necessário, permitindo ajustes para lidar com cargas de trabalho flutuantes de forma eficiente, sem arriscar contenda de recursos ou degradação de desempenho,” acrescentou Wu.

Impacto significativo nos primeiros dias

Embora a empresa tenha menos de um ano, já está testemunhando sucesso com várias empresas, incluindo Coinbase, Clarivate, Dawn Capital e Prevelant AI.

Em um caso, uma empresa fez a transição para o PuppyGraph de um sistema de banco de dados gráfico legado e conseguiu reduzir seu custo total de propriedade em mais de 80%. Uma plataforma de negociação financeira de destaque foi capaz de realizar uma consulta de caminho de 5 saltos entre a conta A e a conta B em cerca de 1 bilhão de arestas em menos de 3 segundos.

Antes do PuppyGraph, sua solução baseada em SQL construída internamente não conseguiu consultar além de uma consulta de 3 saltos e teve problemas de tempo limite em lotes.

Com esse financiamento, a empresa planeja acelerar seu desenvolvimento de produtos, expandir sua equipe e aumentar sua presença no mercado, levando o mecanismo de consulta zero-ETL para mais organizações em todo o mundo.

De acordo com Gartner, o mercado para tecnologias de grafos crescerá para US$ 3,2 bilhões até 2025, com uma taxa de crescimento anual composta (CAGR) de 28,1%. Outros jogadores na categoria incluem Neo4j, AWS Neptune, Aerospike e ArrangoDB.