A Noma está desenvolvendo ferramentas para identificar problemas de segurança em aplicativos de IA.

As empresas estão preocupadas que sua pressa em adotar IA as tornou mais vulneráveis a ameaças cibernéticas. De acordo com uma recente pesquisa com mais de 350 líderes de TI, mais da metade dos executivos entrevistados afirmaram que a complexidade das aplicações de IA enfraqueceu a postura de segurança cibernética de suas organizações. Mais de dois quintos dos executivos acreditam que suas equipes de segurança carecem das habilidades necessárias para proteger suas aplicações e cargas de trabalho de IA, segundo outra pesquisa.

A demanda por soluções para proteger aplicativos de IA gerou uma nova leva de startups. A HiddenLayer e a Protect AI, por exemplo, focam em defender sistemas de IA contra ataques adversariais, enquanto a Cranium fornece visibilidade aos sistemas de IA em nível de aplicação.

Uma nova empresa que está emergindo do anonimato hoje, Noma Security, diz fazer tudo isso e mais, afirma o cofundador e CEO Niv Braun. A startup está desenvolvendo ferramentas para identificar pipelines de dados e códigos vulneráveis em ambientes de ciência de dados, além de ameaças como ataques de injeção de prompt.

Braun lançou a Noma com Alon Tron após deixar a empresa de automação de experiência do cliente Verint, onde percebeu um “ponto cego significativo” para as equipes de segurança no ciclo de vida de dados e IA.

“As ferramentas existentes são projetadas para o ciclo de vida de software tradicional,” disse Braun. “No entanto, o ciclo de vida de dados e IA é inerentemente diferente. Envolve processos de P&D distintos, depende de tecnologias diferentes e enfrenta vulnerabilidades técnicas únicas dentro dos modelos de IA.”

A Noma é projetada para ajudar a identificar e corrigir desconfigurações nos componentes usados para desenvolver e executar aplicações de IA. Por exemplo, a plataforma escaneia por dados “sensíveis” em conjuntos de dados de treinamento de modelos, como textos contendo informações pessoalmente identificáveis.

Braun argumenta que as empresas podem estar melhor preparadas para lidar com ameaças se puderem consolidar as funções de segurança de aplicativos de IA em um único painel que pode ser implantado em ambientes baseados em nuvem e auto-hospedados.

“Muitas soluções de segurança de função única estão inundando o mercado, tentando capitalizar a empolgação em torno da IA,” disse ele. “Ao ajudar as empresas a entender sua pegada de aplicações de IA e oferecendo controles de governança, a Noma não está apenas ajudando as organizações a minimizar e mitigar riscos, mas também proporcionando a confiança necessária para expandir o uso da IA mais rapidamente e para partes mais valiosas do negócio.”

Fundada em 2023, a Noma já possui clientes pagantes, afirma Braun, incluindo clientes da Fortune 500 em software B2B, serviços financeiros e varejo. A startup recentemente fechou uma rodada de financiamento Série A de US$ 25 milhões, que Braun disse ter sido preterida pelos investidores; a Noma tinha recursos sobrando.

“Decidimos aceitar os [$25 milhões], mesmo com fundos substanciais ainda no banco, para acelerar nosso desenvolvimento e especialmente nossas equipes e esforços de comercialização,” disse ele, acrescentando que a Noma planeja dobrar o tamanho de sua equipe de 20 pessoas no próximo ano.

A Ballistic Ventures liderou a Série A da Noma, que eleva o capital total levantado pela empresa para US$ 32 milhões. A Noma levantou US$ 7 milhões em uma rodada de seed não divulgada, liderada pela Glilot Capital Partners, com a participação da Cyber Club London.

A TechCrunch tem um boletim informativo focado em IA! Inscreva-se aqui para recebê-lo em sua caixa de entrada toda quarta-feira.