O novo modelo de IA da Stability AI transforma fotos em cenas 3D.

A Stability AI lançou um novo modelo de IA, o Stable Virtual Camera, que a empresa afirma poder transformar imagens 2D em vídeos “imersivos” com profundidade e perspectiva realistas.

Câmeras virtuais são ferramentas frequentemente usadas na filmagem digital e na animação 3D para capturar e navegar por cenas em tempo real. Com o Stable Virtual Camera, a Stability buscou adicionar IA generativa à mistura para proporcionar maior controle e personalização, conforme declarado em um post no blog.

O Stable Virtual Camera gera “novas visões” de uma cena a partir de uma ou mais imagens (até um total de 32) nos ângulos de câmera especificados pelo usuário. O modelo pode produzir vídeos que se movem ao longo de caminhos de câmera “dinâmicos” ou presets, incluindo “Espiral”, “Dolly Zoom”, “Mover” e “Panoramizar”.

A versão atual do Stable Virtual Camera, um preview de pesquisa, pode gerar vídeos em formatos quadrado (1:1), retrato (9:16) e paisagem (16:9) com até 1.000 quadros de comprimento. A Stability alerta que o modelo pode produzir resultados de qualidade inferior em certos cenários, particularmente com imagens que apresentam humanos, animais ou “texturas dinâmicas” como água.

“Cenas altamente ambíguas, caminhos de câmera complexos que intersectam objetos ou superfícies, e objetos de formas irregulares podem causar artefatos de cintilação”, observa a Stability em seu post no blog, “especialmente quando os pontos de vista alvo diferem significativamente das imagens de entrada.”

O Stable Virtual Camera está disponível para uso em pesquisa sob uma licença não comercial. Ele pode ser baixado da plataforma de desenvolvimento de IA Hugging Face.

A Stability, a empresa que se encontra em dificuldades por trás do popular modelo de geração de imagens Stable Diffusion, levantou novos recursos no ano passado à medida que investidores, incluindo Eric Schmidt e o fundador do Napster, Sean Parker, buscavam reverter os rumos do negócio. Emad Mostaque, cofundador e ex-CEO da Stability, supostamente levou a empresa à ruína financeira, gerando demissões, o fim de uma parceria com a Canva e a preocupação dos investidores em relação às perspectivas da empresa.

Nos últimos meses, a Stability contratou um novo CEO, nomeou o diretor de “Titanic”, James Cameron, para seu conselho administrativo e lançou vários novos modelos de geração de imagens. No início de março, a empresa se uniu à fabricante de chips Arm para trazer um modelo de IA que pode gerar áudio, incluindo efeitos sonoros, para dispositivos móveis com chips Arm.