Databricks e Noma Enfrentam o Pesadelo de Inferência em IA dos CISOs

Participe das nossas newsletters diárias e semanais para receber as últimas atualizações e conteúdo exclusivo sobre cobertura de IA líder na indústria. Saiba mais

Os CISOs sabem exatamente onde seu pesadelo com IA se desenrola mais rapidamente. É na inferência, a fase vulnerável em que modelos ativos encontram dados do mundo real, deixando as empresas expostas a injeções de prompt, vazamentos de dados e jailbreaks de modelo.

A Databricks Ventures e a Noma Security estão enfrentando essas ameaças na fase de inferência de frente. Apoiado por uma nova rodada de financiamento Série A de $32 milhões liderada pela Ballistic Ventures e Glilot Capital, com forte suporte da Databricks Ventures, a parceria visa abordar as lacunas críticas de segurança que têm dificultado as implantações de IA nas empresas.

“A principal razão pela qual as empresas hesitam em implantar IA em larga escala é a segurança,” disse Niv Braun, CEO da Noma Security, em uma entrevista exclusiva ao VentureBeat. “Com a Databricks, estamos incorporando análises de ameaças em tempo real, proteções avançadas na camada de inferência e red teaming proativo diretamente nos fluxos de trabalho das empresas. Nossa abordagem conjunta permite que as organizações acelerem suas ambições em IA de forma segura e confiante finalmente,” disse Braun.

A segurança da inferência de IA exige análises em tempo real e defesa em tempo de execução, conforme descobriu a Gartner.

A segurança cibernética tradicional prioriza defesas de perímetro, deixando as vulnerabilidades de inferência de IA perigosamente negligenciadas. Andrew Ferguson, Vice-Presidente da Databricks Ventures, destacou essa lacuna crítica de segurança em uma entrevista exclusiva ao VentureBeat, enfatizando a urgência dos clientes em relação à segurança da camada de inferência. “Nossos clientes indicaram claramente que garantir a inferência de IA em tempo real é crucial, e a Noma oferece exclusivamente essa capacidade,” disse Ferguson. “A Noma aborda diretamente a lacuna de segurança da inferência com monitoramento contínuo e controles de execução precisos.”

Braun ampliou essa necessidade crítica. “Construímos nossa proteção em tempo de execução especificamente para interações de IA cada vez mais complexas,” explicou Braun. “As análises de ameaças em tempo real na fase de inferência garantem que as empresas mantenham defesas robustas em tempo de execução, minimizando a exposição de dados não autorizados e a manipulação adversarial do modelo.”

A análise recente da Gartner confirma que a demanda das empresas por capacidades avançadas de Gestão de Confiança, Risco e Segurança em IA (TRiSM) está aumentando. A Gartner prevê que, até 2026, mais de 80% dos incidentes não autorizados de IA resultarão de uso interno, em vez de ameaças externas, reforçando a urgência por governança integrada e segurança em tempo real para a IA.

A estrutura de IA TRiSM da Gartner ilustra as camadas de segurança abrangentes essenciais para gerenciar efetivamente o risco de IA nas empresas. (Fonte: Gartner)

A abordagem proativa de red teaming da Noma visa garantir a integridade da IA desde o início.

A abordagem proativa de red teaming da Noma é estrategicamente central na identificação de vulnerabilidades muito antes que os modelos de IA cheguem à produção, informou Braun ao VentureBeat. Ao simular ataques adversariais sofisticados durante os testes de pré-produção, a Noma expõe e trata riscos precocemente, aumentando significativamente a robustez da proteção em tempo de execução.

Durante sua entrevista com o VentureBeat, Braun detalhou o valor estratégico do red teaming proativo: “O red teaming é essencial. Descobrimos proativamente as vulnerabilidades na pré-produção, garantindo a integridade da IA desde o primeiro dia.”

“Reduzir o tempo até a produção sem comprometer a segurança requer evitar superengenharia. Projetamos metodologias de teste que informam diretamente as proteções em tempo de execução, ajudando as empresas a avançar de forma segura e eficiente, do teste até a implantação”, aconselhou Braun.

Braun detalhou ainda mais a complexidade das interações modernas de IA e a profundidade necessária nas metodologias de red teaming proativas. Ele enfatizou que esse processo deve evoluir junto com os modelos de IA cada vez mais sofisticados, especialmente os do tipo generativo: “Nossa proteção em tempo de execução foi especificamente construída para lidar com interações de IA cada vez mais complexas,” explicou Braun. “Cada detector que usamos integra múltiplas camadas de segurança, incluindo modelos avançados de PNL e capacidades de modelagem de linguagem, garantindo que ofereçamos segurança abrangente em cada passo da inferência.”

Os exercícios da red team não apenas validam os modelos, mas também fortalecem a confiança das empresas em implantar sistemas avançados de IA de forma segura em larga escala, alinhando-se diretamente com as expectativas de líderes de Segurança de Informação (CISOs) das empresas.

Como a Databricks e a Noma bloqueiam ameaças críticas à inferência de IA.

Proteger a inferência de IA contra ameaças emergentes se tornou uma prioridade máxima para os CISOs à medida que as empresas escalonam suas pipelines de modelos de IA. “A principal razão pela qual as empresas hesitam em implantar IA em larga escala é a segurança,” enfatizou Braun. Ferguson ecoou essa urgência, observando: “Nossos clientes indicaram claramente que garantir a inferência de IA em tempo real é crucial, e a Noma entrega exclusivamente essa necessidade.”

Juntas, a Databricks e a Noma oferecem proteção integrada em tempo real contra ameaças sofisticadas, incluindo injeção de prompt, vazamentos de dados e jailbreaks de modelo, enquanto se alinham de perto com padrões como as diretrizes DASF 2.0 da Databricks e OWASP para governança e conformidade robustas.

A tabela abaixo resume as principais ameaças de inferência de IA e como a parceria Databricks-Noma as mitiga:

Vector de Ameaça	Descrição	Impacto Potencial	Mitigação Noma-Databricks
Injeção de Prompt	Entradas maliciosas estão substituindo instruções do modelo.	Exposição de dados não autorizados e geração de conteúdo prejudicial.	Escaneamento de prompts com detectores em múltiplas camadas (Noma); Validação de entrada via DASF 2.0 (Databricks).
Vazamento de Dados Sensíveis	Exposição acidental de dados confidenciais.	Quebras de conformidade, perda de propriedade intelectual.	Detecção e mascaramento de dados sensíveis em tempo real (Noma); Governança e criptografia do Unity Catalog (Databricks).
Jailbreaking de Modelo	Superação de mecanismos de segurança embutidos em modelos de IA.	Geração de saídas inapropriadas ou maliciosas.	Detecção e aplicação de medidas contra jailbreak em tempo de execução (Noma); Governança de modelos MLflow (Databricks).
Exploração de Ferramentas de Agente	Uso indevido de funcionalidades de agentes de IA integrados.	Acesso não autorizado ao sistema e elevação de privilégios.	Monitoramento em tempo real das interações do agente (Noma); Ambientes de implantação controlados (Databricks).
Poisoning de Memória de Agente	Inserção de dados falsos na memória persistente do agente.	Comprometimento da tomada de decisão, desinformação.	Verificações de integridade AI-SPM e segurança de memória (Noma); Versionamento de dados Delta Lake (Databricks).
Injeção Indireta de Prompt	Embebendo instruções maliciosas em entradas confiáveis.	Sequestro de agentes, execução não autorizada de tarefas.	Escaneamento em tempo real de entradas para padrões maliciosos (Noma); Pipelines de ingestão de dados seguros (Databricks).

Como a arquitetura Lakehouse da Databricks suporta governança e segurança em IA.

A arquitetura Lakehouse da Databricks combina as capacidades de governança estruturada de armazéns de dados tradicionais com a escalabilidade de lagos de dados, centralizando análises, aprendizado de máquina e cargas de trabalho de IA dentro de um único ambiente governado.

Ao embutir a governança diretamente no ciclo de vida dos dados, a arquitetura Lakehouse aborda riscos de conformidade e segurança, especialmente durante as etapas de inferência e execução, alinhando-se de perto com estruturas da indústria, como OWASP e MITRE ATLAS.

Durante nossa entrevista, Braun destacou a conformidade da plataforma com as exigências regulatórias rigorosas que ele está vendo nos ciclos de vendas e com clientes existentes. “Mapeamos automaticamente nossos controles de segurança em frameworks amplamente adotados como OWASP e MITRE ATLAS. Isso permite que nossos clientes cumpram com confiança regulamentações críticas, como o Regulamento de IA da UE e a ISO 42001. A governança não é apenas uma questão de checar caixas. Trata-se de embutir transparência e conformidade diretamente nos fluxos de trabalho operacionais.”

A Databricks Lakehouse integra governança e análises para gerenciar com segurança as cargas de trabalho de IA. (Fonte: Gartner)

Como a Databricks e a Noma planejam garantir a segurança da IA nas empresas em larga escala.

A adoção de IA nas empresas está acelerando, mas à medida que as implantações se expandem, também aumentam os riscos de segurança, especialmente na fase de inferência de modelos.

A parceria entre a Databricks e a Noma Security aborda isso diretamente, fornecendo governança integrada e detecção de ameaças em tempo real, com foco na segurança dos fluxos de trabalho de IA desde o desenvolvimento até a produção.

Ferguson explicou claramente a lógica por trás dessa abordagem combinada: “A IA nas empresas exige segurança abrangente em todas as etapas, especialmente em tempo de execução. Nossa parceria com a Noma integra análises de ameaças proativas diretamente nas operações de IA, oferecendo às empresas a proteção de segurança de que precisam para escalar suas implantações de IA com confiança.”

Diariamente, insights sobre casos de uso nos negócios com o VB Daily

Se você quer impressionar seu chefe, o VB Daily tem o que você precisa. Oferecemos o que há de mais recente sobre o que as empresas estão fazendo com IA generativa, desde mudanças regulatórias até implantações práticas, para que você possa compartilhar insights para um ROI máximo.

Leia nossa Política de Privacidade

Obrigado por se inscrever. Confira mais newsletters do VB aqui.

Ocorreu um erro.

---