Nvidia ajuda a lançar plataforma de IA para ensinar Língua de Sinais Americana

A Nvidia revelou uma nova plataforma de IA para ensinar as pessoas a usar a Língua de Sinais Americana (ASL) e ajudar a reduzir lacunas de comunicação.

A plataforma Signs está criando um conjunto de dados validado para aprendizes de línguas de sinais e desenvolvedores de aplicativos que utilizam IA baseada em ASL.

Curiosamente, a Língua de Sinais Americana é a terceira língua mais prevalente nos Estados Unidos —
mas há uma quantidade muito menor de ferramentas de IA desenvolvidas com dados de ASL em comparação com as línguas mais comuns do país, como inglês e espanhol.

A Nvidia, a Sociedade Americana para Crianças Surdas e a agência criativa Hello Monday estão trabalhando para fechar essa lacuna com o Signs, uma plataforma web interativa destinada a apoiar o aprendizado de ASL e o desenvolvimento de aplicativos de IA acessíveis.

Os aprendizes de linguagem de sinais podem acessar a biblioteca validada de sinais em ASL da plataforma para expandir seu vocabulário com a ajuda de um avatar 3D que demonstra os sinais — e usar uma ferramenta de IA que analisa imagens de webcam para receber feedback em tempo real sobre sua sinalização. Signatários de qualquer nível de habilidade podem contribuir assinando palavras específicas para ajudar a construir um conjunto de dados de vídeo de código aberto para ASL.

O conjunto de dados — que a Nvidia pretende expandir para 400.000 clipes de vídeo representando 1.000 palavras sinalizadas — está sendo validado por usuários fluentes em ASL e intérpretes para garantir a precisão de cada sinal, resultando em um dicionário visual e ferramenta de ensino de alta qualidade.

“A maioria das crianças surdas nasce de pais ouvintes. Oferecer ferramentas acessíveis como o Signs para que os membros da família comecem a aprender ASL desde cedo permite que eles abram um canal de comunicação eficaz com crianças tão jovens quanto seis a oito meses,” afirmou Cheri Dowling, diretora executiva da Sociedade Americana para Crianças Surdas, em um comunicado. “E sabendo que professores profissionais de ASL validaram todo o vocabulário da plataforma, os usuários podem ter confiança no que estão aprendendo.”

As equipes da Nvidia planejam usar esse conjunto de dados para desenvolver ainda mais aplicativos de IA que eliminem barreiras de comunicação entre as comunidades surdas e ouvintes. Os dados devem estar disponíveis ao público como um recurso para construir tecnologias acessíveis, incluindo agentes de IA, aplicativos digitais humanos e ferramentas de videoconferência. Eles também podem ser usados para aprimorar o Signs e permitir que plataformas de ASL em todo o ecossistema ofereçam suporte e feedback em tempo real, impulsionados por IA.

Seja iniciante ou especialista, voluntários podem gravar a si mesmos sinalizando para contribuir com o conjunto de dados de ASL.

Apoio à educação em ASL e exploração de nuances linguísticas

Durante a fase de coleta de dados, o Signs já oferece uma plataforma poderosa para a aquisição da linguagem ASL, proporcionando oportunidades para os indivíduos aprenderem e praticarem um conjunto inicial de 100 sinais para que possam se comunicar mais efetivamente com amigos ou familiares que utilizam ASL.

“A plataforma de aprendizado Signs poderia ajudar as famílias de crianças surdas a rapidamente buscar uma palavra específica e ver como fazer o sinal correspondente. É uma ferramenta que pode apoiar seu uso diário de ASL fora de uma aula formal,” disse Dowling. “Vejo tanto crianças quanto pais explorando isso — e acho que eles poderiam brincar juntos.”

Enquanto o Signs atualmente se concentra em movimentos das mãos e posições dos dedos para cada sinal, a ASL também incorpora expressões faciais e movimentos da cabeça para transmitir significado. A equipe por trás do Signs está explorando como esses sinais não manuais podem ser rastreados e integrados em versões futuras da plataforma.

Eles também estão investigando como outras nuances, como variações regionais e gírias, podem ser representadas no Signs para enriquecer seu banco de dados de ASL — e trabalhando com pesquisadores do Centro de Acessibilidade e Pesquisa em Inclusão da Rochester Institute of Technology para avaliar e melhorar ainda mais a experiência do usuário da plataforma Signs para usuários surdos e com deficiência auditiva.

“Melhorar a acessibilidade do ASL é um esforço contínuo,” disse Anders Jessen, parceiro fundador da Hello Monday/DEPT, que construiu a plataforma web Signs e anteriormente trabalhou com a Sociedade Americana para Crianças Surdas no Fingerspelling.xyz, uma aplicação que ensinava os usuários o alfabeto ASL. “O Signs pode atender à necessidade de ferramentas avançadas de IA que ajudam a transcender barreiras de comunicação entre as comunidades surdas e ouvintes.”

O conjunto de dados por trás do Signs está programado para ser lançado ainda este ano.

Comece a aprender ou contribuir com o Signs em signs-ai.com, e saiba mais sobre as iniciativas de IA confiáveis da Nvidia. Os participantes da Nvidia GTC, uma conferência global de IA que ocorrerá de 17 a 21 de março em San Jose, poderão participar do Signs ao vivo no evento. Veja o aviso sobre informações do produto de software.