O AWS SageMaker está se transformando em um hub integrado de dados e IA.

Hoje, durante sua grande conferência anual re:Invent 2024, a Amazon Web Services (AWS) anunciou a próxima geração de sua plataforma de desenvolvimento de machine learning (ML) baseada em nuvem, SageMaker, transformando-a em um hub unificado que permite às empresas reunir não apenas todos os seus ativos de dados — abrangendo diferentes lagos de dados e fontes na arquitetura de lakehouse — mas também um conjunto abrangente de análises do ecossistema AWS e ferramentas de ML anteriormente díspares.

Em outras palavras: o SageMaker não será mais apenas um lugar para construir aplicativos de IA e machine learning — agora você pode conectar seus dados e extrair análises deles também.

A mudança vem em resposta a uma tendência geral de convergência de análises e IA, onde os usuários empresariais têm utilizado seus dados de maneiras interconectadas, desde o suporte à análise histórica até a habilitação de treinamento de modelos de ML e aplicações de IA generativa visando diferentes casos de uso.

A Microsoft, em particular, tem se esforçado para integrar todas as suas ofertas de dados dentro de seu produto Fabric, e no mês passado anunciou que mais de seus bancos de dados operacionais seriam integrados de forma nativa. Isso tudo permite um desenvolvimento de aplicativos de IA mais fácil para os clientes — já que o acesso nativo aos dados pode tornar a IA muito mais rápida e eficiente. A Microsoft tem sido percebida como um líder aqui, e agora a Amazon está alcançando-a.

“Muitos clientes já utilizam combinações de nossas ferramentas de análises e ML projetadas especificamente (de forma isolada), como Amazon SageMaker — o padrão de facto para trabalhar com dados e construir modelos de ML — Amazon EMR, Amazon Redshift, lagos de dados Amazon S3 e AWS Glue. A próxima geração do SageMaker reúne essas capacidades — juntamente com algumas novas funcionalidades empolgantes — para oferecer aos clientes todas as ferramentas necessárias para processamento de dados, análises SQL, desenvolvimento e treinamento de modelos de ML, e IA generativa, diretamente no SageMaker,” afirmou Swami Sivasubramanian, vice-presidente de Dados e IA da AWS, em um comunicado.

SageMaker Unified Studio e Lakehouse no centro

O Amazon SageMaker tem sido há muito tempo uma ferramenta crítica para desenvolvedores e cientistas de dados, proporcionando um serviço totalmente gerenciado para implantar modelos de ML prontos para produção.

O ambiente de desenvolvimento integrado da plataforma, SageMaker Studio, oferece às equipes uma única interface visual baseada na web para realizar todas as etapas de desenvolvimento de machine learning, desde a preparação de dados, construção de modelos, treinamento, ajuste e implantação.

No entanto, à medida que as necessidades empresariais continuam a evoluir, a AWS percebeu que manter o SageMaker restrito apenas à implantação de ML não fazia sentido. As empresas também precisam de serviços de analytics especialmente projetados (suportando cargas de trabalho como análises SQL, análises de busca, processamento de big data e análises de streaming) juntamente com as capacidades existentes de ML do SageMaker e fácil acesso a todos os seus dados para gerar insights e impulsionar novas experiências para seus usuários finais.

Duas novas capacidades: SageMaker Lakehouse e Unified Studio

Para preencher essa lacuna, a empresa agora atualizou o SageMaker com duas capacidades principais: Amazon SageMaker Lakehouse e Unified Studio.

A oferta de lakehouse, como a empresa explica, fornece acesso unificado a todos os dados armazenados nos lagos de dados construídos sobre o Amazon Simple Storage Service (S3), armazéns de dados Redshift e outras fontes de dados federadas, quebrando silos e tornando-os facilmente consultáveis, independentemente de onde a informação estava originalmente armazenada.

“Hoje, mais de um milhão de lagos de dados são construídos no Amazon Simple Storage Service… permitindo que os clientes centralizem seus ativos de dados e extraíam valor com as ferramentas de análise, IA e ML da AWS… Os clientes podem ter dados espalhados por múltiplos lagos de dados, assim como um armazém de dados, e se beneficiariam de uma maneira simples de unificar todos esses dados,” observou a empresa em um comunicado à imprensa.

Uma vez que todos os dados estejam unificados com a oferta de lakehouse, as empresas podem acessá-los e colocá-los em ação com a outra capacidade principal — SageMaker Unified Studio.

No core, o studio atua como um ambiente unificado que reúne todas as capacidades existentes de IA e análises dos estúdios autônomos da Amazon, editores de consultas e ferramentas visuais — abrangendo Amazon Bedrock, Amazon EMR, Amazon Redshift, AWS Glue e o já existente SageMaker Studio.

Isso evita o incômodo e o tempo perdido de usar ferramentas separadas de forma isolada e dá aos usuários um lugar único para aproveitar essas capacidades para descobrir e preparar seus dados, elaborar consultas ou código, processar os dados e construir modelos de ML. Eles podem até chamar o assistente Amazon Q Developer e pedir que ele execute tarefas como integração de dados, descoberta, codificação ou geração de SQL — tudo no mesmo ambiente.

Assim, em suma, os usuários recebem um único lugar com todos os seus dados e todas as suas ferramentas de análises e ML para potencializar aplicações de downstream, que vão desde engenharia de dados, análises SQL e consultas ad-hoc até ciência de dados, ML e IA generativa.

Bedrock no SageMaker

Por exemplo, com as capacidades do Bedrock no SageMaker Studio, os usuários podem conectar seus modelos de base de alto desempenho preferidos e ferramentas como Agentes, Guardrails e Bases de Conhecimento com seus ativos de dados de lakehouse para rapidamente construir e implantar aplicações de IA generativa.

Uma vez que os projetos estão executados, as ofertas de lakehouse e studio também permitem que as equipes publiquem e compartilhem seus dados, modelos, aplicações e outros artefatos com seus membros da equipe — mantendo políticas de acesso consistentes usando um único modelo de permissão com controles de segurança granulares. Isso acelera a descobribilidade e reutilização de recursos, prevenindo duplicações de esforços.

Compatível com padrões abertos

Notavelmente, o SageMaker Lakehouse é compatível com o Apache Iceberg, o que significa que também funcionará com ferramentas de IA e ML familiares e motores de consulta compatíveis com o padrão aberto Apache Iceberg. Além disso, inclui integrações zero-ETL para Amazon Aurora MySQL e PostgreSQL, Amazon RDS para MySQL, Amazon DynamoDB com o Amazon Redshift, além de aplicações SaaS como Zendesk e SAP.

“As ofertas do SageMaker destacam a estratégia da AWS de expor suas capacidades avançadas e abrangentes de maneira governada e unificada, para que seja rápido construir, testar e consumir cargas de trabalho de ML e IA. A AWS foi pioneira no termo Zero-ETL, e agora se tornou um padrão na indústria. É emocionante ver que o Zero-ETL foi além dos bancos de dados e entrou em aplicativos. Com controle de governança e suporte para dados estruturados e não estruturados, os cientistas de dados agora podem facilmente construir aplicações de ML,” disse o analista da indústria Sanjeev Mohan à VentureBeat.

Novo SageMaker já está disponível

O novo SageMaker está disponível para clientes da AWS a partir de hoje. No entanto, o Unified Studio ainda está na fase de pré-visualização. A AWS não compartilhou um cronograma específico, mas observou que espera que o studio se torne geralmente disponível em breve.

Empresas como Roche e Natwast Group estarão entre os primeiros usuários das novas capacidades, com o último prevendo que o Unified Studio resultará em uma redução de 50% no tempo necessário para seus usuários de dados acessarem análises e capacidades de IA. A Roche, por sua vez, espera uma redução de 40% no tempo de processamento de dados com o SageMaker Lakehouse.

AWS re:Invent acontece de 2 a 6 de dezembro de 2024.