Meta 申請新專利,可在游戲和 VR 應用中實現更逼真的口型同步

                                                                                  2022-09-29 17:15:26   來源:新浪VR

                                                                                    近日,Meta 申請的一項新專利展示了一項技術,該技術可以為電子游戲和 VR 應用帶來更逼真的嘴唇同步和面部動畫。通過這些更逼真的面部動作創建 NPC 和玩家虛擬化身,為更逼真、引人入勝和沉浸式的游戲和體驗打開了大門。

                                                                                    盡管幾十年來圖形在電子游戲中取得了進步,近年來允許創建近乎逼真的虛擬角色,但為這些角色描繪逼真的語音和面部表情仍然是開發人員面臨的挑戰。游戲玩家的大腦習慣于看到和閱讀其他人的臉,因此即使是電子游戲角色上最好的面部動畫也很容易陷入恐怖谷效應,導致角色看起來“不對勁”,甚至完全令人不安。Meta 的專利可以即時生成逼真的嘴唇同步和面部表情,為開發人員節省時間,并提高玩家的沉浸感。

                                                                                    該專利詳細介紹了將用戶語音轉換為逼真的嘴唇同步和面部動畫的各種方法,使開發人員能夠靈活地選擇使用該系統。該專利中概述的一種方法涉及使用多個人的音頻和視頻記錄的數據集,因為他們閱讀了 50 個不同的語音平衡句子,系統在閱讀每個句子時會跟蹤他們的面部表情。通過跟蹤個人在閱讀每句話時臉部和嘴部的動作,系統可以從這些動作中提取信息,并將它們混合在一起,以逼真地為角色制作動畫,甚至包括眨眼和揚眉等微妙的動作。

                                                                                    除了能夠基于現有數據集生成面部動畫和嘴唇同步外,該專利還描述了該系統如何使用集成到 VR 頭顯中的攝像頭做同樣的事情。此功能可以讓 VR 用戶擁有準確模仿自己面部表情的虛擬化身,從而在多人游戲和 VR Chat 等社交 VR 體驗中提供更加沉浸式的體驗。

                                                                                    從 Valve 的 Source 引擎使用動畫系統來模擬對話的每個音素(構成單詞的單個聲音)建立面部動作模型,到 Bandi 團隊使用 MotionScan 技術通過 32 個高清攝像機系統捕捉《黑色海岸》演員的表演,開發者們始終在努力為游戲創造真實的面孔。Meta 的專利可能預示著這一探索中的巨大技術飛躍,并可能有助于在游戲和 VR 體驗中開創一個高質量、逼真的面部動畫的新時代。

                                                                                  新浪聲明:新浪網登載此文出于傳遞更多信息之目的,并不意味著贊同其觀點或證實其描述。

                                                                                  微博

                                                                                  HOT RECOMMEND

                                                                                  關于新浪VR | 論壇社區

                                                                                  Copyright © 1996-2015 SINA Corporation, All Rights Reserved 京ICP證000007  京網文【2017】10231-1157號

                                                                                  北京幻世新科網絡科技有限公司 版權所有

                                                                                  1区1区3区4区产品乱码不卡