Os pipelines de dados nativos de IA da Observo reduzem a telemetria ruidosa em 70%, fortalecendo a segurança empresarial.

A explosão da IA desencadeou uma avalanche de dados. Modelos de IA precisam de conjuntos de dados massivos para treinamento, e as cargas de trabalho que eles suportam —ferramentas internas ou aplicativos voltados para o cliente — estão gerando um fluxo intenso de dados de telemetria: logs, métricas, rastros e muito mais.

Mesmo com ferramentas de observabilidade existentes, as organizações frequentemente enfrentam dificuldades para acompanhar o volume crescente de dados, tornando mais difícil detectar e responder a incidentes a tempo. É aqui que entra um novo protagonista, Observo AI.

A startup baseada na Califórnia, que recentemente recebeu apoio de Felicis e Lightspeed Venture Partners, desenvolveu uma plataforma que cria pipelines de dados nativos de IA para gerenciar automaticamente os fluxos crescentes de telemetria. Isso ajuda empresas como Informatica e Bill.com a reduzir o tempo de resposta a incidentes em mais de 40% e diminuir os custos de observabilidade pela metade.

O problema: controle de telemetria baseado em regras

Os sistemas empresariais modernos geram dados operacionais em escala de petabytes de forma contínua.

Embora essas informações barulhentas e não estruturadas tenham um certo valor, nem todos os pontos de dados representam um sinal crítico para identificar incidentes. Isso leva as equipes a lidarem com uma grande quantidade de dados a serem filtrados para seus sistemas de resposta. Se alimentarem tudo no sistema, os custos e falsos positivos aumentam. Por outro lado, se escolherem criteriosamente, a escalabilidade e a precisão são afetadas — novamente resultando em detecções e respostas a ameaças perdidas.

Em uma pesquisa recente realizada pela KPMG, quase 50% das empresas disseram sofrer com violações de segurança, e a baixa qualidade dos dados e os alarmes falsos são grandes contribuintes. É verdade que alguns sistemas de gestão de informações e eventos de segurança (SIEM) e ferramentas de observabilidade têm filtros baseados em regras para reduzir o ruído, mas essa abordagem rígida não evolui em resposta ao aumento dos volumes de dados.

Para abordar essa lacuna, Gurjeet Arora, ex-líder de engenharia na Rubrik, desenvolveu a Observo, uma plataforma que otimiza esses pipelines de dados operacionais com a ajuda da IA.

A oferta se posiciona entre as fontes de telemetria e os destinos, utilizando modelos de aprendizado de máquina para analisar o fluxo de dados que chega. Ela compreende essas informações e, em seguida, reduz o ruído para decidir onde deve ir — para um sistema de alerta e resposta a incidentes de alto valor ou para um lago de dados mais acessível cobrindo diferentes categorias de dados. Em essência, encontra os sinais de alta importância de forma autônoma e os direciona para o lugar correto.

“Observo AI… aprende, se adapta e automatiza decisões em pipelines de dados complexos de forma dinâmica,” disse Arora ao VentureBeat. “Ao aproveitar ML e LLMs, filtra dados de telemetria barulhentos e não estruturados, extraindo apenas os sinais mais críticos para detecção e resposta a incidentes. Além disso, o engenheiro de dados Orion da Observo automatiza várias funções de pipeline de dados, incluindo a capacidade de derivar insights usando uma consulta em linguagem natural.”

O que é ainda mais interessante é que a plataforma continua a evoluir sua compreensão continuamente, ajustando proativamente suas regras de filtragem e otimizando o pipeline entre fontes e destinos em tempo real. Isso garante que ela acompanhe mesmo com o surgimento de novas ameaças e anomalias, sem a necessidade de configurar novas regras.

O valor para as empresas

A Observo AI existe há nove meses e já conquistou mais de uma dúzia de clientes empresariais, incluindo Informatica, Bill.com, Alteryx, Rubrik, Humber River Health e Harbor Freight. Arora observou que eles viram um crescimento de 600% na receita de trimestre para trimestre e já atraíram clientes de alguns de seus concorrentes.

“Nosso maior concorrente hoje é uma outra startup chamada Cribl. Temos uma clara diferenciação de produto e valor em relação ao Cribl, e também os desbancamos em algumas empresas. Em um nível mais amplo, nosso uso da IA é o principal fator diferenciador, que leva a melhores otimizações e enriquecimentos de dados, resultando em um melhor ROI e análises, levando a uma resolução de incidentes mais rápida,” acrescentou, observando que a empresa geralmente otimiza os pipelines de dados a ponto de reduzir o “ruído” em 60-70%, em comparação com 20-30% dos concorrentes.

O CEO não compartilhou como os clientes mencionados obtiveram benefícios com a Observo, embora tenha apontado o que a plataforma foi capaz de fazer por empresas operando em setores altamente regulamentados (sem compartilhar nomes).

Em um caso, um grande hospital norte-americano estava lutando com o crescente volume de telemetria de segurança de diferentes fontes, levando a milhares de alertas insignificantes e enormes despesas com Azure Sentinel SIEM, retenção de dados e computação. Os analistas de operações de segurança da organização tentaram criar pipelines improvisados para amostrar e reduzir a quantidade de dados processados, mas temiam estar perdendo alguns sinais que poderiam ter um grande impacto.

Com os algoritmos específicos da fonte de dados da Observo, a organização inicialmente conseguiu reduzir mais de 78% do total do volume de logs ingeridos no Sentinel, enquanto onboardava todos os dados que realmente importavam. À medida que a ferramenta continua a melhorar, a empresa espera alcançar mais de 85% de reduções nos primeiros três meses. No aspecto de custos, reduziu o custo total do Sentinel, incluindo armazenamento e computação, em mais de 50%.

Isso permitiu que a equipe priorizasse os alertas mais importantes, resultando em uma redução de 35% no tempo médio para resolver incidentes críticos.

De maneira semelhante, em outro caso, uma empresa global de dados e IA foi capaz de reduzir seus volumes de logs em mais de 70% e diminuir seus custos totais de Observabilidade e SIEM do Elasticsearch em mais de 40%.

Planeje adiante

Como próximo passo, a empresa planeja acelerar seus esforços de entrada no mercado e enfrentar outros jogadores da categoria — Cribl, Splunk, DataDog, etc.

Também planeja aprimorar o produto com mais capacidades de IA, detecção de anomalias, motor de políticas de dados, análises e conectores de fonte e destino.

De acordo com insights da MarketsAndMarkets, o tamanho do mercado para ferramentas e plataformas de observabilidade globais deve crescer quase 12%, passando de $2,4 bilhões em 2023 para $4,1 bilhões em 2028.