Escalando a IA: Melhores Práticas para Plataformas

Este é um artigo de VB Lab Insights apresentado pelo Capital One.

As empresas estão agora profundamente investidas em como construir e evoluir continuamente plataformas empresariais de classe mundial que possibilitem a construção, implantação, escalabilidade e evolução de casos de uso de IA ao longo do tempo. Muitas empresas historicamente adotaram uma abordagem federada para plataformas enquanto construíam capacidades e recursos para atender às necessidades específicas de áreas individuais de seus negócios.

Hoje, no entanto, avanços como a IA generativa introduzem novos desafios que exigem uma abordagem evoluída para a construção e escalabilidade de plataformas empresariais. Isso inclui considerar as necessidades de talentos especializados e recursos de Unidade de Processamento Gráfico (GPU) para treinar e hospedar grandes modelos de linguagem, acessar volumes enormes de dados de alta qualidade, colaboração próxima entre muitas equipes para implantar fluxos de trabalho ágeis e um alto nível de maturidade para interfaces de programação de aplicativos (APIs) internas e ferramentas que fluxos de trabalho multi-agenciais exigem, para citar alguns. Sistemas díspares e a falta de padronização dificultam a capacidade das empresas de abraçar todo o potencial da IA.

No Capital One, aprendemos que grandes empresas devem ser guiadas por um conjunto comum de melhores práticas e padrões de plataforma para implantar IA efetivamente em larga escala. Embora os detalhes possam variar, existem quatro princípios comuns que ajudam as empresas a implantar IA com sucesso em grande escala para desbloquear valor para seus negócios:

1. Tudo começa com o usuário

O objetivo de qualquer plataforma empresarial é capacitar os usuários — portanto, você deve começar com as necessidades desses usuários. Você deve buscar entender como seus usuários estão interagindo com suas plataformas, quais problemas estão tentando resolver e quaisquer obstáculos que estão enfrentando.

No Capital One, por exemplo, um princípio fundamental que guia nossas equipes de plataforma de IA/ML é que nos dedicamos a todos os aspectos da experiência do cliente, mesmo aqueles que não supervisionamos diretamente. Por exemplo, realizamos várias iniciativas nos últimos anos para resolver os problemas de gerenciamento de dados e acesso para nossos usuários, mesmo que dependamos de outras plataformas empresariais para isso.

À medida que você conquista a confiança e o envolvimento de seus usuários, pode inovar e reimaginar o que é possível com novas ideias e indo “mais fundo na pilha”. Essa obsessão pelo cliente é a base para construir plataformas duradouras e sustentáveis.

2. Estabelecendo um planejamento de plataforma multitenancy

A multitenência é essencial para qualquer plataforma empresarial, permitindo que várias linhas de negócios e equipes distribuídas utilizem as capacidades centrais da plataforma, como computação, armazenamento, serviços de inferência, orquestração de fluxos de trabalho, etc. em um ambiente compartilhado, mas bem gerenciado. Isso permite resolver problemas centrais de acesso a dados, possibilita abstração, habilita múltiplos padrões de computação e simplifica o provisionamento e gerenciamento de instâncias de computação para serviços essenciais — por exemplo, a grande frota de GPUs e Unidades de Processamento Central (CPUs) que as cargas de trabalho de IA/ML exigem.

Com o design adequado de um planejamento de plataforma multitenancy, é possível integrar tanto componentes de software de código aberto e comerciais de primeira linha quanto escalar de forma flexível à medida que a plataforma evolui ao longo do tempo. No Capital One, desenvolvemos um robusto planejamento de controle de plataforma com Kubernetes como base, que escala para nossa grande frota de clusters de computação na AWS, utilizados por milhares de usuários ativos de IA/ML em toda a empresa.

Estamos sempre experimentando e adotando componentes de software de código aberto e comerciais de primeira linha como plug-ins, e desenvolvendo nossas próprias capacidades proprietárias onde nos dão uma vantagem competitiva. Para o usuário final, isso possibilita o acesso às tecnologias mais recentes e a maiores capacidades de autoatendimento, permitindo que as equipes construam e implantem em nossas plataformas sem a necessidade de solicitar suporte das nossas equipes de engenharia.

3. Incorporando automação e governança

Ao construir uma nova plataforma, é crítico ter os mecanismos adequados para coletar logs e insights sobre modelos e recursos ao longo do ciclo de vida, à medida que são construídos, testados e implantados. As empresas podem automatizar tarefas centrais, como rastreamento de linhagem, conformidade com controles empresariais, observabilidade, monitoramento e detecção em várias camadas de suas plataformas. Ao padronizar e automatizar essas tarefas, é possível reduzir semanas e, em alguns casos, meses do tempo necessário para desenvolver e implantar novos modelos mission-critical e casos de uso de IA.

No Capital One, levamos isso um passo adiante ao construir um marketplace de componentes reutilizáveis e kits de desenvolvimento de software (SDKs) que têm padrões embutidos de observabilidade e governança. Isso capacita nossos associados a encontrar as bibliotecas reutilizáveis, fluxos de trabalho e códigos contribuídos por usuários que precisam para desenvolver modelos e aplicativos de IA com confiança, sabendo que os artefatos que estão construindo nas plataformas empresariais são bem gerenciados por baixo. De fato, neste ponto da nossa jornada, consideramos esse nível de automação e padronização como uma vantagem competitiva.

4. Investindo em talento e rotinas empresariais eficazes

Construir plataformas de IA de última geração requer uma equipe multifuncional de classe mundial. Uma equipe eficaz de plataformas de IA deve ser multidisciplinar e diversa, incluindo cientistas de dados, engenheiros, designers, gerentes de produto, especialistas em risco cibernético e de modelos e mais. Cada um desses membros da equipe traz habilidades e experiências únicas e desempenha um papel crucial na construção e iteração de uma plataforma de IA que funcione para todos os usuários e possa ser extensível ao longo do tempo.

No Capital One, tornamo-nos uma missão colaborar de forma multifuncional em toda a empresa, enquanto construímos e implantamos nossas capacidades de plataforma de IA. À medida que buscamos evoluir nossa organização e fortalecer nossa força de trabalho em IA, estabelecemos o papel de Engenheiro de Machine Learning em 2021 e, mais recentemente, o papel de Engenheiro de IA, para recrutar e reter o talento técnico que nos ajudará a continuar na vanguarda da IA e resolver os problemas mais desafiadores nos serviços financeiros.

Ao longo do caminho, estabelecer e comunicar roteiros bem definidos e controles de mudança para os usuários da plataforma, e incorporar ciclos de feedback em seu planejamento e processos de entrega de software, é crítico para garantir que seus usuários fiquem informados, possam contribuir para o que está por vir e entendam os benefícios da estratégia de plataforma que você está implementando.

Preparando suas fundações para IA

Construir ou transformar plataformas empresariais para a era da IA não é uma tarefa pequena, mas preparará seu negócio para uma maior agilidade e escalabilidade. No Capital One, vimos de perto como essas fundações podem potencializar IA/ML em escala para continuar a gerar valor para nossos negócios e mais de 100 milhões de clientes.

Ao estabelecer as fundações técnicas adequadas, implementar práticas de governança desde o início e investir em talentos, seus usuários em breve poderão alavancar a IA de maneiras bem governadas em toda a empresa.

Abhijit Bose é Vice-Presidente Sênior, Chefe de Plataformas Empresariais de IA e ML no Capital One.

O conteúdo do VB Lab Insights é criado em colaboração com uma empresa que está pagando pelo post ou tem um relacionamento comercial com a VentureBeat, e eles são sempre claramente marcados. Para mais informações, entre em contato sales@venturebeat.com.