Sua aplicação de IA está irritando os usuários ou saindo do script? Raindrop surge com uma plataforma de observabilidade nativa em IA para monitorar o desempenho.

À medida que as empresas buscam cada vez mais construir e implantar aplicações e serviços alimentados por IA generativa para uso interno ou externo (funcionários ou clientes), uma das questões mais desafiadoras que enfrentam é entender exatamente como esses ferramentas de IA estão se comportando na prática.

Na verdade, uma recente pesquisa da consultoria McKinsey & Company revelou que apenas 27% dos 830 entrevistados afirmaram que suas empresas analisaram todos os resultados de seus sistemas de IA generativa antes de serem disponibilizados aos usuários.

A menos que um usuário realmente registre uma reclamação, como uma empresa pode saber se seu produto de IA está se comportando como esperado?

Raindrop, anteriormente conhecido como Dawn AI, é uma nova startup que enfrenta o desafio diretamente, posicionando-se como a primeira plataforma de observabilidade projetada especificamente para IA em produção, detectando erros à medida que acontecem e explicando às empresas o que deu errado e por quê. O objetivo? Ajudar a resolver o chamado “problema da caixa preta” da IA generativa.

“Os produtos de IA falham constantemente — de maneiras tanto engraçadas quanto aterrorizantes,” escreveu o co-fundador Ben Hylak no X recentemente, “O software comum gera exceções. Mas os produtos de IA falham silenciosamente.”

Raindrop busca oferecer uma ferramenta que defina categoria, semelhante ao que a empresa de observabilidade Sentry faz para software tradicional.

Enquanto isso, ferramentas tradicionais de rastreamento de exceções não capturam os comportamentos sutis dos grandes modelos de linguagem ou dos companheiros de IA, Raindrop tenta preencher essa lacuna.

“Em software tradicional, você tem ferramentas como Sentry e Datadog para lhe dizer o que está dando errado na produção,” disse ele ao VentureBeat em uma entrevista por vídeo na semana passada. “Com IA, não havia nada.”

Até agora — claro.

Como Raindrop funciona

Raindrop oferece um conjunto de ferramentas que permite que equipes em empresas grandes e pequenas detectem, analisem e respondam a problemas de IA em tempo real.

A plataforma se posiciona na interseção das interações do usuário e saídas do modelo, analisando padrões em centenas de milhões de eventos diários, mas fazendo isso com criptografia SOC-2 ativada, protegendo os dados e a privacidade dos usuários e da empresa que oferece a solução de IA.

“Raindrop está onde o usuário está,” explicou Hylak. “Analisamos suas mensagens, além de sinais como curtidas/descurtidas, erros de construção ou se eles implantaram a saída, para inferir o que realmente está dando errado.”

Raindrop utiliza um pipeline de aprendizado de máquina que combina resumidores alimentados por LLM com classificadores menores feitos sob medida otimizados para escala.

“Nosso pipeline de ML é um dos mais complexos que já vi,” disse Hylak. “Usamos grandes LLMs para o processamento inicial e, em seguida, treinamos modelos pequenos e eficientes para operar em escala em centenas de milhões de eventos diariamente.”

Os clientes podem acompanhar indicadores como frustração do usuário, falhas em tarefas, recusas e lapsos de memória. A Raindrop utiliza sinais de feedback, como descurtidas, correções de usuários ou comportamento subsequente (como implantações falhadas) para identificar problemas.

O co-fundador e CEO da Raindrop, Zubin Singh Koticha, disse ao VentureBeat na mesma entrevista que, enquanto muitas empresas se baseavam em avaliações, benchmarks e testes unitários para verificar a confiabilidade de suas soluções de IA, havia muito pouco projetado para checar as saídas de IA durante a produção.

“Imagine se, na codificação tradicional, você dissesse: ‘Oh, meu software passa por dez testes unitários. É ótimo. É um software robusto.’ Obviamente, não é assim que funciona,” disse Koticha. “É um problema semelhante que estamos tentando resolver aqui, onde na produção, não há realmente muito que lhe diga: está funcionando extremamente bem? Está quebrado ou não? E é aí que entramos.”

Para empresas em setores altamente regulados ou para aquelas que buscam níveis adicionais de privacidade e controle, a Raindrop oferece Notify, uma versão totalmente local, voltada para a privacidade da plataforma, destinada a empresas com rigorosos requisitos de manuseio de dados.

Diferente das ferramentas tradicionais de registro de LLM, o Notify realiza reduções tanto do lado do cliente via SDKs quanto do lado do servidor com ferramentas semânticas. Ele não armazena dados persistentes e mantém todo o processamento dentro da infraestrutura do cliente.

O Raindrop Notify fornece resumos diários de uso e destaca problemas de alto sinal diretamente em ferramentas de trabalho como Slack e Teams — sem a necessidade de registro em nuvem ou configurações complexas de DevOps.

Identificação e precisão avançadas de erros

Identificar erros, especialmente com modelos de IA, está longe de ser simples.

“O que é difícil neste espaço é que cada aplicação de IA é diferente,” disse Hylak. “Um cliente pode construir uma ferramenta de planilha, outro um companheiro alienígena. O que ‘quebrado’ significa varia enormemente entre eles.” Essa variabilidade é a razão pela qual o sistema da Raindrop se adapta a cada produto individualmente.

Cada produto de IA que a Raindrop monitora é tratado como único. A plataforma aprende a forma dos dados e normas de comportamento para cada implantação, construindo uma ontologia dinâmica de problemas que evolui ao longo do tempo.

“A Raindrop aprende os padrões de dados de cada produto,” explicou Hylak. “Começa com uma ontologia de alto nível de problemas comuns de IA — coisas como preguiça, lapsos de memória ou frustração do usuário — e depois adapta esses problemas a cada aplicativo.”

Seja um assistente de codificação que esquece uma variável, um companheiro alienígena de IA que de repente se refere a si mesmo como um humano dos EUA, ou até mesmo um chatbot que começa a mencionar aleatoriamente alegações de “genocídio branco” na África do Sul, a Raindrop visa destacar esses problemas com um contexto acionável.

As notificações são projetadas para serem leves e oportunas. As equipes recebem alertas no Slack ou Microsoft Teams quando algo incomum é detectado, com sugestões sobre como reproduzir o problema.

Com o tempo, isso permite que os desenvolvedores de IA consertem bugs, refinem prompts ou até mesmo identifiquem falhas sistêmicas na forma como suas aplicações respondem aos usuários.

“Classificamos milhões de mensagens por dia para encontrar problemas como uploads quebrados ou reclamações de usuários,” disse Hylak. “Tudo gira em torno de destacar padrões fortes e específicos o suficiente para justificar uma notificação.”

De Sidekick para Raindrop

A história de origem da empresa está enraizada na experiência prática. Hylak, que trabalhou anteriormente como designer de interface humana no visionOS da Apple e em engenharia de software de aviônicos na SpaceX, começou a explorar IA após encontrar o GPT-3 em seus primeiros dias, em 2020.

“Assim que usei o GPT-3 — apenas uma simples conclusão de texto — ficou claro para mim,” ele lembrou. “Eu pensei instantaneamente: ‘Isso vai mudar a forma como as pessoas interagem com a tecnologia.’”

Junto com os co-fundadores Koticha e Alexis Gauba, Hylak inicialmente construiu Sidekick, uma extensão do VS Code com centenas de usuários pagantes.

Mas construir o Sidekick revelou um problema mais profundo: depurar produtos de IA em produção era quase impossível com as ferramentas disponíveis.

“Começamos construindo produtos de IA, não infraestrutura,” explicou Hylak. “Mas rapidamente percebemos que, para fazer algo sério crescer, precisávamos de ferramentas para entender o comportamento da IA — e essas ferramentas não existiam.”

O que começou como uma irritação rapidamente evoluiu para o foco central. A equipe se pivotou, desenvolvendo ferramentas para entender o comportamento do produto de IA em configurações do mundo real.

No processo, descobriram que não estavam sozinhos. Muitas empresas nativas de IA careciam de visibilidade sobre o que seus usuários estavam realmente experimentando e por que as coisas estavam quebrando. Com isso, a Raindrop nasceu.

A precificação, diferenciação e flexibilidade da Raindrop atraíram uma ampla gama de clientes iniciais

A precificação da Raindrop é projetada para acomodar equipes de vários tamanhos.

Um plano Starter está disponível por $65/mês, com preços baseados em uso. O tier Pro, que inclui rastreamento de tópicos personalizados, busca semântica e recursos locais, começa em $350/mês e requer engajamento direto.

Embora ferramentas de observabilidade não sejam novas, a maioria das opções existentes foi construída antes do surgimento da IA generativa.

A Raindrop se destaca por ser nativa de IA desde a sua concepção. “Raindrop é nativa de IA,” disse Hylak. “A maioria das ferramentas de observabilidade foi criada para software tradicional. Elas não foram projetadas para lidar com a imprevisibilidade e nuances do comportamento de LLM no mundo real.”

Essa especificidade atraiu um conjunto crescente de clientes, incluindo equipes da Clay.com, Tolen e New Computer.

Os clientes da Raindrop abrangem uma ampla gama de verticais de IA — de ferramentas de geração de código a companheiros de histórias imersivas de IA — cada um exigindo diferentes lentes sobre o que “comportamento inadequado” significa.

Nascido da necessidade

A ascensão da Raindrop ilustra como as ferramentas para construir IA precisam evoluir junto com os próprios modelos. À medida que as empresas lançam mais recursos alimentados por IA, a observabilidade se torna essencial — não apenas para medir desempenho, mas para detectar falhas ocultas antes que os usuários as escalem.

Nas palavras de Hylak, a Raindrop está fazendo pelo AI o que o Sentry fez pelos aplicativos da web — exceto que agora os riscos incluem alucinações, recusa, e intenções desalinhadas. Com seu rebranding e expansão de produto, a Raindrop aposta que a próxima geração de observabilidade de software será de design nativo de IA.