O maior obstáculo da IA? A confiabilidade dos dados. Nova plataforma de astrônomo enfrenta esse desafio.

Astronomer, a empresa por trás do software de orquestração Apache Airflow, lançou hoje o Astro Observe, marcando sua expansão de uma empresa de produto único para o competitivo mercado de plataformas de operações de dados. O movimento ocorre em um momento em que as empresas lutam para operacionalizar suas iniciativas em IA e manter pipelines de dados confiáveis em grande escala.

A nova plataforma tem como objetivo ajudar as organizações a monitorar e solucionar problemas em seus fluxos de trabalho de dados de forma mais eficaz, combinando orquestração e capacidades de observabilidade em uma única solução. Essa consolidação pode reduzir significativamente a complexidade que muitas empresas enfrentam ao gerenciar sua infraestrutura de dados.

“Anteriormente, nossos clientes tinham que nos procurar para orquestrar pipelines de dados, e precisavam buscar um fornecedor diferente para observabilidade de dados e de Airflow,” disse Julian LaNeve, CTO da Astronomer, em entrevista ao VentureBeat. “Estamos tentando tornar isso muito mais fácil para nossos clientes, oferecendo tudo em uma plataforma.”

Análise preditiva impulsionada por IA visa prevenir falhas em pipelines

Um diferencial chave do Astro Observe é sua capacidade de prever falhas potenciais em pipelines antes que impactem as operações comerciais. A plataforma inclui um “Motor de Insights” impulsionado por IA que analisa padrões em centenas de implantações de clientes para fornecer recomendações proativas para otimização.

“Nós realmente informaremos as pessoas duas horas antes de um SLA (acordo de nível de serviço) acontecer, que elas provavelmente não cumprirão devido a algum atraso muito distante,” explicou LaNeve. “Isso move as pessoas de um mundo muito reativo para uma abordagem muito mais proativa, onde você pode começar a resolver problemas antes que as partes interessadas downstream fiquem sabendo.”

O momento é particularmente significativo à medida que as organizações lidam com a operacionalização de modelos de IA. Embora muita atenção tenha sido dada ao desenvolvimento de modelos, o desafio de manter pipelines de dados confiáveis para alimentar esses modelos se tornou cada vez mais crítico.

“No final das contas, para levar esses casos de uso de IA de protótipo para produção, torna-se um problema de engenharia de dados no final do dia,” observou LaNeve. “Como você alimenta efetivamente esses LLMs com os dados certos no momento certo, toda vez? É isso que os engenheiros de dados têm feito há muitos anos.”

Do sucesso de código aberto à gestão de dados empresariais

A plataforma baseia-se na profunda experiência da Astronomer com o Apache Airflow, uma plataforma de gerenciamento de workflow de código aberto que é baixada mais de 30 milhões de vezes por mês. Isso representa um aumento significativo em relação a quatro anos atrás, quando o Airflow 2.0 teve menos de um milhão de downloads.

Uma característica notável é o “gráfico global da cadeia de suprimentos”, que fornece visibilidade sobre a linhagem de dados e dependências operacionais. Isso ajuda as equipes a compreenderem as relações complexas entre diferentes ativos e fluxos de dados — crucial para manter a confiabilidade em implantações em larga escala.

A plataforma também introduz o conceito de “produto de dados”, permitindo que as equipes agrupem ativos de dados relacionados e atribuam acordos de nível de serviço (SLAs). Essa abordagem ajuda a fechar a lacuna entre equipes técnicas e partes interessadas empresariais, fornecendo métricas claras sobre confiabilidade e entrega de dados.

O adotante inicial GumGum já viu benefícios da plataforma. “Adicionar observabilidade de dados juntamente com orquestração nos permite antecipar problemas antes que impactem os usuários e sistemas downstream,” disse Brendan Frick, Gerente Sênior de Engenharia da GumGum.

A expansão da Astronomer ocorre em um momento em que as empresas estão cada vez mais buscando consolidar suas ferramentas de dados. Com organizações tipicamente gerenciando oito ou mais ferramentas de diferentes fornecedores, o movimento em direção a plataformas unificadas pode sinalizar uma mudança mais ampla no cenário de gestão de dados empresariais.

O desafio para a Astronomer será competir com players estabelecidos em observabilidade enquanto mantém sua liderança no espaço de orquestração. No entanto, sua profunda integração com o Airflow e foco na gestão proativa pode dar a ela uma vantagem no mercado em rápida evolução de ferramentas de infraestrutura de IA.