Bolt42

Este é um artigo do VB Lab Insights apresentado pela Capital One.

A IA oferece um potencial transformador, mas desbloquear seu valor requer uma forte gestão de dados. A IA fundamenta-se em uma base de dados sólida que pode ser aprimorada iterativamente, criando um efeito de roda-gigante entre dados e IA. Essa roda-gigante permite que as empresas construam soluções mais personalizadas e em tempo real que desbloqueiam impactos para seus clientes e para o negócio.

Gerenciar dados no mundo atual não é simples. O volume de dados está disparando, com pesquisas mostrando que ele dobrou nos últimos cinco anos. Como resultado, 68% dos dados disponíveis para as empresas ficam inexplorados. Dentro desses dados, há uma enorme variedade de estruturas e formatos, com o MIT observando que cerca de 80-90% dos dados são não estruturados — alimentando a complexidade de utilizá-los. Por fim, a velocidade com que os dados precisam ser disponibilizados aos usuários está acelerando. Alguns casos de uso exigem disponibilidade de dados em menos de 10 milissegundos, ou seja, dez vezes mais rápido do que o piscar de olhos.

Os ecossistemas de dados de hoje são grandes, diversos e rápidos — e a revolução da IA está elevando ainda mais as exigências sobre como as empresas gerenciam e utilizam dados.

Fundamentos para excelentes dados

O ciclo de vida dos dados é complicado e impiedoso, muitas vezes envolvendo muitas etapas, muitos saltos e muitas ferramentas. Isso pode levar a formas disparatadas de trabalhar com dados e a diferentes níveis de maturidade e instrumentação para impulsionar a gestão de dados.

Para capacitar os usuários com dados confiáveis para inovação, precisamos, primeiro, abordar os fundamentos da gestão de grandes dados: autoatendimento, automação e escalabilidade.

  • Autoatendimento significa capacitar os usuários a fazer seu trabalho com o mínimo de atrito. Abrange áreas como descoberta de dados sem costura, facilidade na produção de dados e ferramentas que democratizam o acesso aos dados.
  • A automação garante que todas as capacidades de gestão de dados essenciais estejam integradas nas ferramentas e experiências que permitem aos usuários trabalhar com dados.
  • Os ecossistemas de dados precisam escalar — especialmente na era da IA. Entre outras considerações, as empresas precisam considerar a escalabilidade de certas tecnologias, capacidades de resiliência e acordos de nível de serviço que estabelecem obrigações básicas sobre como os dados devem ser geridos (bem como mecanismos de controle para tais acordos).

Esses princípios formam a base para produzir e consumir grandes dados.

Produzindo grandes dados

Os produtores de dados são responsáveis por integrar e organizar dados, permitindo um consumo rápido e eficiente. Um portal de autoatendimento bem projetado pode desempenhar um papel fundamental aqui, permitindo que os produtores interajam de forma tranquila com os sistemas em todo o ecossistema — como armazenamento, controles de acesso, aprovações, versionamento e catálogos de negócios. O objetivo é criar um plano de controle unificado que mitigue a complexidade desses sistemas, tornando os dados disponíveis no formato certo, no momento certo e no lugar certo.

Para escalar e impor a governança, as empresas podem optar por uma plataforma central ou um modelo federado — ou até mesmo adotar uma abordagem híbrida. Uma plataforma central simplifica a publicação de dados e as regras de governança, enquanto um modelo federado oferece flexibilidade, utilizando SDKs feitos sob medida para gerenciar a governança e a infraestrutura localmente. O ponto crucial é implementar mecanismos consistentes que garantam automação e escalabilidade, permitindo que o negócio produza de forma confiável dados de alta qualidade que impulsionem a inovação em IA.

Consumindo grandes dados

Os consumidores de dados — como cientistas de dados e engenheiros de dados — precisam de fácil acesso a dados confiáveis e de alta qualidade para experimentação e desenvolvimento rápidos. Simplificar a estratégia de armazenamento é um passo fundamental. Centralizando o processamento dentro do lago de dados e utilizando uma única camada de armazenamento, as empresas podem minimizar a dispersão de dados e reduzir a complexidade, permitindo que os mecanismos de computação consumam dados a partir de uma única camada de armazenamento.

As empresas também devem adotar uma estratégia de zoneamento para lidar com casos de uso diversos. Por exemplo, uma zona bruta pode suportar tipos de dados e arquivos expandidos, como dados não estruturados, enquanto uma zona curada impõe requisitos de esquema e qualidade mais rigorosos. Essa configuração permite flexibilidade ao mesmo tempo em que mantém a governança e a qualidade dos dados. Os consumidores podem usar essas zonas para atividades como criar espaços pessoais para experimentação ou zonas colaborativas para projetos em equipe.

Serviços automatizados garantem acesso a dados, gerenciamento de ciclo de vida e conformidade, capacitando os usuários a inovar com confiança e velocidade.

Priorize a simplicidade

Estratégias de IA eficazes estão fundamentadas em ecossistemas de dados robustos e bem projetados. Ao simplificar como você produz e consome dados — e melhorar a qualidade desses dados — as empresas podem capacitar os usuários a inovar em novas áreas de desempenho com confiança.

Como base, é fundamental que as empresas priorizem ecossistemas e processos que aumentem a confiabilidade e a acessibilidade. Ao implementar os princípios descritos acima, elas podem fazer exatamente isso — construindo uma gestão de dados escalável e aplicável que alimentará experimentações rápidas em IA e, em última instância, proporcionará valor empresarial a longo prazo.

Marty Andolino é VP de Engenharia de Software na Capital One
Kajal Wood é Diretora Sênior de Engenharia de Software na Capital One

Conteúdo do VB Lab Insights é criado em colaboração com uma empresa que está pagando pelo post ou tem um relacionamento comercial com a VentureBeat, e sempre está claramente marcado. Para mais informações, entre em contato sales@venturebeat.com.

    dezoito − 18 =

    Bolt42

    IA Inovação Negócios