O argumento a favor da incorporação de trilhas de auditoria em sistemas de IA antes da escalabilidade

Observação do editor: Emilia liderará uma mesa redonda editorial sobre este tópico no VB Transform este mês. Registre-se hoje.

Os frameworks de orquestração para serviços de IA desempenham múltiplas funções para as empresas. Eles não apenas estabelecem como aplicações ou agentes se integram, mas também permitem que os administradores gerenciem fluxos de trabalho e agentes, além de auditar seus sistemas.

À medida que as empresas começam a escalar seus serviços de IA e colocá-los em produção, construir um pipeline gerenciável, rastreável, auditável e robusto garante que seus agentes funcionem exatamente como deveriam. Sem esses controles, as organizações podem não estar cientes do que está acontecendo em seus sistemas de IA e podem descobrir o problema tarde demais, quando algo dá errado ou falham em cumprir regulamentações.

Kevin Kiley, presidente da empresa de orquestração empresarial Airia, disse à VentureBeat em uma entrevista que os frameworks devem incluir auditabilidade e rastreabilidade.

“É crítico ter essa observabilidade e ser capaz de voltar ao registro de auditoria e mostrar quais informações foram fornecidas em que momento,” disse Kiley. “Você precisa saber se foi um ator mal-intencionado, ou um funcionário interno que não estava ciente de que estava compartilhando informações ou se foi uma alucinação. Você precisa de um registro disso.”

Idealmente, robustez e trilhas de auditoria devem ser incorporadas nos sistemas de IA desde uma fase muito inicial. Compreender os riscos potenciais de uma nova aplicação ou agente de IA e garantir que eles continuem a funcionar de acordo com os padrões antes da implantação ajudaria a aliviar as preocupações em torno da introdução de IA na produção.

No entanto, as organizações não projetaram inicialmente seus sistemas com rastreabilidade e auditabilidade em mente. Muitos programas pilotos de IA começaram como experimentos iniciados sem uma camada de orquestração ou uma trilha de auditoria.

A grande questão que as empresas enfrentam agora é como gerenciar todos os agentes e aplicações, garantir que seus pipelines permaneçam robustos e, se algo der errado, saber o que deu errado e monitorar o desempenho da IA.

Escolhendo o método certo

Antes de construir qualquer aplicação de IA, os especialistas disseram que as organizações precisam avaliar seus dados. Se uma empresa sabe quais dados seus sistemas de IA podem acessar e quais dados ela ajustou em um modelo, ela tem essa linha de base para comparar o desempenho a longo prazo.

“Quando você executa alguns desses sistemas de IA, trata-se mais de que tipo de dados posso validar que meu sistema está realmente funcionando corretamente ou não?” disse Yrieix Garnier, vice-presidente de produtos da DataDog, à VentureBeat em uma entrevista. “Isso é muito difícil de fazer, entender se eu tenho o sistema de referência certo para validar soluções de IA.”

Uma vez que a organização identifica e localiza seus dados, ela precisa estabelecer versionamento de datasets — essencialmente atribuindo um timestamp ou número de versão — para tornar os experimentos reproduzíveis e entender o que o modelo mudou. Esses datasets e modelos, quaisquer aplicações que utilizem esses modelos ou agentes específicos, usuários autorizados e os números de desempenho base podem ser carregados na plataforma de orquestração ou observabilidade.

Assim como ao escolher modelos fundamentais para construir, as equipes de orquestração devem considerar a transparência e a abertura. Embora alguns sistemas de orquestração de código fechado tenham inúmeras vantagens, plataformas mais abertas também podem oferecer benefícios que algumas empresas valorizam, como maior visibilidade nos sistemas de tomada de decisão.

Plataformas de código aberto como MLFlow, LangChain e Grafana fornecem agentes e modelos com instruções detalhadas e flexíveis, além de monitoramento. As empresas podem optar por desenvolver seu pipeline de IA por meio de uma única plataforma de ponta a ponta, como a DataDog, ou utilizar várias ferramentas interconectadas da AWS.

Outra consideração para as empresas é incorporar um sistema que mapeie agentes e respostas de aplicações para ferramentas de conformidade ou políticas de IA responsável. AWS e Microsoft oferecem serviços que rastreiam ferramentas de IA e a que ponto elas aderem às diretrizes e outras políticas estabelecidas pelo usuário.

Kiley disse que uma consideração para as empresas ao construir esses pipelines confiáveis envolve escolher um sistema mais transparente. Para Kiley, não ter visibilidade sobre como os sistemas de IA funcionam não funcionará.

“Independentemente do caso de uso ou mesmo da indústria, você terá essas situações onde precisará de flexibilidade, e um sistema fechado não funcionará. Existem fornecedores que têm ótimas ferramentas, mas é um pouco como uma caixa preta. Eu não sei como está chegando a essas decisões. Eu não tenho a capacidade de interceptar ou intervir em pontos onde talvez eu queira,” ele disse.

Participe da conversa no VB Transform

Estarei liderando uma mesa redonda editorial no VB Transform 2025 em San Francisco, de 24 a 25 de junho, chamada “Melhores práticas para construir frameworks de orquestração para IA agentiva,” e adoraria que você se juntasse à conversa. Registre-se hoje.