A Passarela ganha 3D com novos controles de câmera de vídeo com IA

À medida que as guerras de vídeo com IA continuam, com novos modelos de geração de vídeo realistas sendo lançados quase semanalmente, o líder inicial Runway não está abrindo mão de suas capacidades.

Na verdade, a startup com sede na cidade de Nova York — financiada em mais de $100M por empresas como Google e Nvidia, entre outras — está implementando até novos recursos que a ajudam a se destacar. Hoje, por exemplo, lançou um poderoso novo conjunto de controles avançados de câmera de IA para seu modelo de geração de vídeo Gen-3 Alpha Turbo.

Agora, quando os usuários geram um novo vídeo a partir de prompts de texto, imagens enviadas ou seus próprios vídeos, eles também podem controlar como os efeitos e cenas gerados pela IA se desenrolam de maneira muito mais granular do que com um “jogo de dados” aleatório.

https://twitter.com/runwayml/status/1852363185916932182?44

Pelo contrário, como o Runway mostra em uma sequência de vídeos de exemplo enviados para sua conta no X, o usuário pode realmente aproximar e afastar a cena e os sujeitos, preservando até as formas e ambientes gerados pela IA, colocando-os e seus espectadores em um mundo totalmente realizado, aparentemente 3D — como se estivessem em um verdadeiro set de filmagem ou em locação.

Como escreveu o CEO do Runway, Crisóbal Valenzuela, no X: “Quem disse 3D?”

Esse é um grande avanço em capacidades. Embora outros geradores de vídeo de IA e o próprio Runway já oferecessem controles de câmera anteriormente, eles eram relativamente rudes e a maneira como geravam um novo vídeo resultante muitas vezes parecia aleatória e limitada — tentar mover a câmera para cima, para baixo ou ao redor de um sujeito poderia, às vezes, deformá-lo ou torná-lo 2D ou resultar em deformaçôes estranhas e falhas.

O que você pode fazer com os novos Controles Avançados de Câmera do Gen-3 Alpha Turbo do Runway

Os Controles Avançados de Câmera incluem opções para definir tanto a direção quanto a intensidade dos movimentos, proporcionando aos usuários capacidades sutis para moldar seus projetos visuais. Entre os destaques, os criadores podem usar movimentos horizontais para arquear suavemente ao redor dos sujeitos ou explorar locações de diferentes ângulos, aumentando a sensação de imersão e perspectiva.

Para aqueles que buscam experimentar dinâmicas de movimento, o conjunto de ferramentas permite a combinação de vários movimentos de câmera com variações de velocidade.

Esse recurso é particularmente útil para gerar loops ou transições visualmente envolventes, oferecendo maior potencial criativo. Os usuários também podem realizar aproximações dramáticas, navegando mais fundo nas cenas com um toque cinematográfico, ou executar rápidos afastamentos para introduzir novo contexto, mudando o foco narrativo e proporcionando ao público uma nova perspectiva.

A atualização também inclui opções para movimentos lentos, que permitem que a câmera deslize suavemente pelas cenas. Isso proporciona uma experiência de visualização controlada e intencional, ideal para enfatizar detalhes ou criar suspense. A integração dessas opções diversas pelo Runway visa transformar a maneira como os usuários pensam sobre o trabalho com câmeras digitais, permitindo transições suaves e uma composição de cena aprimorada.

Essas capacidades já estão disponíveis para criadores que utilizam o modelo Gen-3 Alpha Turbo. Para explorar a gama completa de recursos de Controles de Câmera Avançados, os usuários podem visitar a plataforma do Runway em runwayml.com.

Embora ainda não tenhamos experimentado o novo modelo Gen-3 Alpha Turbo do Runway, os vídeos que mostram suas capacidades indicam um nível muito mais alto de precisão no controle e devem ajudar cineastas de IA — incluindo aqueles de grandes estúdios de Hollywood, como a Lionsgate, com a qual o Runway recentemente firmou parceria — a realizar cenas de qualidade cinematográfica mais rapidamente, de forma acessível e contínua do que nunca.

Questionado pelo VentureBeat por Direct Message no X se o Runway havia desenvolvido um modelo de geração de cena em 3D — algo atualmente sendo perseguido por outros rivais da China e dos EUA, como o Midjourney — Valenzuela respondeu: “modelos de mundo :-).”

O Runway mencionou pela primeira vez que estava construindo modelos de IA projetados para simular o mundo físico em dezembro de 2023, há quase um ano, quando o cofundador e diretor de tecnologia (CTO), Anastasis Germanidis, postou no site do Runway sobre o conceito, afirmando:

“Um modelo de mundo é um sistema de IA que constrói uma representação interna de um ambiente e a utiliza para simular eventos futuros dentro desse ambiente. A pesquisa em modelos de mundo até agora foi focada em configurações muito limitadas e controladas, seja em mundos simulados de brinquedo (como os dos videogames) ou em contextos restritos (como o desenvolvimento de modelos de mundo para condução). O objetivo dos modelos de mundo gerais será representar e simular uma ampla gama de situações e interações, como aquelas encontradas no mundo real.“

Como evidenciado nos novos controles de câmera revelados hoje, o Runway está bem avançado em sua jornada para construir tais modelos e implantá-los para os usuários.