Uma nova patente registrada pela Meta apresenta tecnologia que pode levar a uma sincronização labial e animação facial mais realistas para videogames e aplicativos de RV. A criação de NPCs e avatares de jogadores com esses movimentos faciais mais realistas abre as portas para jogos e experiências mais realistas, envolventes e imersivos, inclusive em jogos de RV .
Mesmo que os gráficos tenham avançado nos videogames ao longo das décadas, permitindo a criação de personagens quase fotorrealistas nos últimos anos, retratar falas e expressões faciais realistas para esses personagens continuou a ser um desafio para os desenvolvedores. Os cérebros dos jogadores estão acostumados a ver e ler os rostos de outras pessoas, então mesmo a melhor animação facial em um personagem de videogame pode facilmente cruzar o território do vale misterioso , levando os personagens a parecerem “fora” ou até mesmo perturbadores. A patente da Meta pode permitir a geração de sincronização labial realista e expressões faciais em tempo real, economizando tempo para os desenvolvedores e aumentando a imersão dos jogadores.
A patente detalha uma variedade de métodos para traduzir a fala de um usuário em sincronização labial realista e animação facial, dando aos desenvolvedores flexibilidade em como eles escolhem o uso do sistema. Um método descrito na patente envolve o uso de um conjunto de dados de gravações de áudio e vídeo de várias pessoas enquanto leem 50 frases foneticamente balanceadas diferentes, com o sistema rastreando suas expressões faciais à medida que lêem cada uma. Ao rastrear como os rostos e bocas dos indivíduos se movem à medida que lêem cada frase, o sistema pode extrair esses movimentos e misturá-los para animar realisticamente um personagem, incluindo até mesmo movimentos sutis, como piscar e levantar as sobrancelhas.
Com os próximos fones de ouvido VR, como o Meta Quest Pro e o Pico Neo 4 Pro, incluindo rastreamento de rosto e olho integrado, é uma das outras possibilidades descritas na patente que os fãs de jogos de VR e experiências sociais podem achar mais interessantes. Além de ser capaz de gerar animação facial e sincronização labial com base em um conjunto de dados existente, a patente também descreve como o sistema poderia fazer a mesma coisa usando câmeras integradas a um headset VR. Esse recurso pode permitir que os usuários de VR tenham avatares que imitam com precisão suas próprias expressões faciais, proporcionando uma experiência mais realista e imersiva em jogos multiplayer e experiências sociais de VR, como o VR Chat.
Desde o motor Source da Valve, que usava um sistema de animação que modelava os movimentos faciais para cada fonema (os sons individuais que compõem as palavras) do diálogo, até o uso da tecnologia MotionScan pela Team Bondi para capturar as performances dos atores de LA Noire usando um sistema de 32 câmeras de alta definição, criar rostos realistas para jogos sempre pareceu fora de alcance. A patente da Meta pode indicar um grande salto tecnológico nessa busca e pode ajudar a inaugurar uma nova era de animação facial realista e de alta qualidade em jogos e experiências de RV.