O agente totalmente autônomo da Qodo enfrenta as complexidades dos testes de regressão.

O código está em constante evolução no processo de desenvolvimento de software, exigindo testes contínuos para garantir qualidade e manutenibilidade. Este é o ponto central dos testes de regressão, onde testes existentes são reexecutados para garantir que o código modificado continue a funcionar conforme o esperado.

No entanto, os testes de regressão podem ser demorados e complexos, muitas vezes sendo negligenciados em detrimento de outras prioridades.

Qodo (anteriormente CodiumAI) afirma que pode aliviar as dores de cabeça em torno do processo com o lançamento hoje de seu novo agente de testes de regressão totalmente autônomo, Qodo Cover. Seu agente cria suítes de validação para garantir que as aplicações de software estão, essencialmente, funcionando corretamente. A startup de dois anos e meio anunciou sua nova ferramenta na AWS re:Invent, onde também foi apresentada como finalista em uma competição AWS Unicorn Tank.

“Estamos nos movendo em direção a um lugar onde a IA não apenas escreve código — ela ajuda a lidar com a maior parte da carga de trabalho dos desenvolvedores, provando que o código funciona corretamente,” disse o CEO da Qodo, Itamar Friedman, ao VentureBeat.

Apoiando o próximo grande salto no desenvolvimento de software

A Qodo explicou mais cedo este ano no VentureBeat Transform que está abordando agentes de IA de forma incremental — enfrentando concorrentes como Devin, que oferecem suítes mais completas. A startup israelense oferece diversos pequenos agentes que lidam com tarefas específicas dentro dos fluxos de trabalho de desenvolvimento de software.

Qodo Cover é o mais recente desses agentes. O agente totalmente autônomo analisa o código-fonte e realiza testes de regressão para validá-lo à medida que muda ao longo de seu ciclo de vida. A plataforma garante que cada teste seja executado com sucesso, seja aprovado e aumente a quantidade de código que cobre — e apenas mantém aqueles que atendem a todos os três critérios.

Estima-se que os desenvolvedores empresariais passem apenas uma hora por dia realmente escrevendo código; o restante de seu tempo é dedicado a tarefas cruciais, como testes e revisão, observou Friedman. No entanto, “muitas empresas estão se apressando para gerar código com IA, focando nessa uma hora enquanto ignoram o restante da equação.”

As abordagens tradicionais de testes simplesmente não escalam, ele observou, o que pode travar o próximo salto no desenvolvimento de software onde a IA pode gerar de forma confiável 80% ou mais de código de alta qualidade. “Assim como a verificação de hardware revolucionou a fabricação de chips há algumas décadas, estamos agora em um ponto de inflexão semelhante com software. Quando 25% ou mais do código é gerado por IA, precisamos de novos paradigmas para garantir a confiabilidade.”

Aprovado pelo Hugging Face

Demonstração de sua capacidade de gerar testes de qualidade de produção, uma solicitação de pull gerada totalmente de forma autônoma pelo Qodo Cover foi recentemente aceita no repositório PyTorch Image Models do Hugging Face. As solicitações de pull são um meio de controle de qualidade no desenvolvimento de software, permitindo que colaboradores proponham e revisem mudanças antes de serem integradas a um código base. Isso pode manter código ruim e bugs fora do código base principal para garantir qualidade e consistência.

A aceitação pelo Hugging Face valida a oferta da Qodo e a expõe a mais de 40.000 projetos no popular repositório de aprendizado de máquina (ML).

“Conseguir uma contribuição aceita em um grande projeto de código aberto é um sinal de que os agentes de IA estão começando a operar no nível de desenvolvedores profissionais quando se trata de entender bases de código complexas e manter altos padrões de qualidade,” disse Friedman. “É uma visão de como o desenvolvimento de software evoluirá.”

Qodo Cover é baseado em um projeto de código aberto que a Qodo lançou em maio. Esse projeto foi baseado no TestGen-LLM, uma ferramenta desenvolvida por pesquisadores da Meta para automatizar totalmente a cobertura de testes. Para superar os desafios com testes gerados por modelos de linguagem grande (LLM), os pesquisadores se propuseram a responder perguntas específicas:

• O teste compila e roda corretamente?
• O teste aumenta a cobertura de código?

Uma vez então validadas essas perguntas, é importante realizar uma investigação manual, escreve Friedman em um postagem no blog. Isso envolve perguntar:

• Quão bem escrito é o teste?
• Quanto valor ele realmente agrega?
• Atende a algum requisito adicional?

Os usuários fornecem vários insumos para o Qodo Cover, incluindo:

• O arquivo-fonte que deve ser testado
• Suíte de testes existente
• Relatório de cobertura
• Comando para construir e executar suítes
• Metas de cobertura de código e número máximo de iterações a serem realizadas
• Contexto adicional e opções de solicitação

O Qodo Cover então gera mais testes no mesmo estilo, valida-os usando o ambiente de tempo de execução (ou seja, eles compilan e passam?), revisa métricas como aumento da cobertura de código e atualiza suítes de testes e relatórios de cobertura existentes. Isso se repete até que o código atinja o limite de cobertura ou o número máximo de iterações.

Dando aos desenvolvedores total controle, fornecendo relatórios de progresso

O agente da Qodo pode ser implantado como uma ferramenta abrangente que analisa repositórios completos para identificar lacunas e irregularidades e estender suítes de testes. Ou, pode ser estabelecido como uma ação do GitHub que cria solicitações de pull automaticamente para sugerir testes para o código recém-alterado. A Qodo enfatiza que os desenvolvedores mantêm total controle e têm a capacidade de revisar e aceitar testos de forma seletiva. Cada solicitação de pull também inclui relatórios detalhados sobre o progresso da cobertura.

O Qodo Cover suporta todos os modelos de IA populares, incluindo GPT-4o e Claude 3.5 Sonnet. A empresa afirma que entrega resultados de alta qualidade em mais de uma dúzia de linguagens de programação, incluindo JavaScript, TypeScript, C++, C#, Ruby, Go e Rust. Ele é projetado para integrar-se com o Qodo Merge, que revisa e gerencia solicitações de pull, e a ferramenta de codificação Qodo Gen.