最初于 2023 年 3 月 23 日發(fā)布預(yù)覽版，并更新了最終版本的詳細(xì)信息。

Epic Games 發(fā)布了MetaHuman Animator，這是其 MetaHuman 框架備受期待的面部動(dòng)畫和表演捕捉工具集。

該系統(tǒng)簡(jiǎn)化了將演員的面部表演從 iPhone 或頭盔式攝像機(jī)拍攝的鏡頭傳輸?shù)教摶靡鎯?nèi)實(shí)時(shí)元人類角色的過(guò)程。

Epic 聲稱它將“制作 AAA 游戲開發(fā)商和好萊塢電影制作人所需的面部動(dòng)畫質(zhì)量，同時(shí)可供獨(dú)立工作室甚至愛好者使用”。

該工具集是在今年早些時(shí)候的GDC 2023上 Epic Games 的 State of Unreal 主題演講期間宣布的，現(xiàn)在可以在其適用于 Unreal Engine 的免費(fèi) MetaHuman 插件的最新版本中使用。

Epic Games 用于為游戲和動(dòng)畫創(chuàng)建下一代數(shù)字人類的框架的一部分
MetaHuman Animator 是 Epic Games MetaHuman 框架的最新部分，用于創(chuàng)建用于游戲和實(shí)時(shí)應(yīng)用程序的下一代 3D 角色，而且越來(lái)越多，在離線動(dòng)畫中。

第一部分是基于云的角色創(chuàng)建工具M(jìn)etaHuman Creator，它使用戶能夠通過(guò)定制預(yù)設(shè)的3D角色來(lái)設(shè)計(jì)逼真的數(shù)字人類，已于2021年發(fā)布搶先體驗(yàn)版。

用戶可以通過(guò)混合預(yù)設(shè)來(lái)生成新角色，然后手動(dòng)調(diào)整臉部比例，并定制現(xiàn)成的發(fā)型和服裝。

第二部分是虛幻引擎的 MetaHuman 插件，于去年發(fā)布，可以創(chuàng)建與其他 DCC 應(yīng)用程序中創(chuàng)建的 3D 掃描或面部模型相匹配的 MetaHumans。

?

?
生成與演員的視頻片段相匹配的元人類角色
元人類角色具有面部裝備，因此它們已經(jīng)支持面部動(dòng)作捕捉，但要從具有不同面部比例的演員的視頻片段中傳輸該動(dòng)作需要手動(dòng)處理。

MetaHuman Animator 旨在簡(jiǎn)化重定向過(guò)程：Epic Games 將這一工作流程稱為“Footage to MetaHuman”。

與 Mesh to MetaHuman 一樣，它會(huì)生成與源數(shù)據(jù)匹配的 MetaHuman：在本例中，是演員的視頻片段以及支持深度數(shù)據(jù)——稍后會(huì)詳細(xì)介紹。

?

?
“牙齒姿勢(shì)”：MetaHuman Animator 工具集用來(lái)生成與演員視頻片段中的演員面部比例相匹配的 MetaHuman 角色的標(biāo)準(zhǔn)參考框架之一。

?
從演員臉部的一到四個(gè)參考幀開始工作
該過(guò)程首先將鏡頭引入虛幻引擎，并識(shí)別 MetaHuman 插件可以執(zhí)行求解的關(guān)鍵參考幀。

在使用專業(yè)相機(jī)拍攝的鏡頭中，只需要一個(gè)幀：演員的正面視圖，具有中性的面部表情。

對(duì)于 iPhone 鏡頭，Epic 建議還識(shí)別演員臉部的左右視圖，以提高解算質(zhì)量。

顯示演員裸露牙齒的進(jìn)一步參考系提高了口腔動(dòng)畫的質(zhì)量。

然后，MetaHuman 插件解析素材，使模板網(wǎng)格（MetaHuman 頭部）與數(shù)據(jù)一致。用戶可以在 3D 頭和源圖像之間擦拭以檢查解決方案。

然后，模板網(wǎng)格用于生成可用于動(dòng)畫的資源。

處理在云端完成——這是工作流程中唯一不在本地運(yùn)行的部分——生成的 MetaHuman 通過(guò) Epic 的Quixel Bridge 插件下載到虛幻引擎。

從視頻中提取面部動(dòng)作并將其應(yīng)用到 MetaHuman
結(jié)果是根據(jù)演員面部比例校準(zhǔn)的 MetaHuman 裝備。

然后，MetaHuman 插件可以從該演員的視頻片段中提取面部動(dòng)作并將其傳輸?shù)?3D 角色，用戶可以在視口中預(yù)覽結(jié)果。

然后可以將動(dòng)畫作為關(guān)卡序列或動(dòng)畫序列導(dǎo)出到虛幻引擎。

導(dǎo)出為動(dòng)畫序列可以將面部動(dòng)畫無(wú)縫傳輸?shù)狡渌祟?，這意味著演員的表演可用于驅(qū)動(dòng)任何超人類角色。

工作流程的其他好處
該過(guò)程生成的控制曲線“語(yǔ)義正確”，即其結(jié)構(gòu)與人類動(dòng)畫師創(chuàng)建的控制曲線相同，從而使動(dòng)畫更易于編輯。

MetaHuman Animator 還支持時(shí)間碼，可以將面部動(dòng)畫與全身動(dòng)作捕捉同步；并可以使用面部錄音中的音頻來(lái)生成舌頭動(dòng)畫。

?

可與從 iPhone 到專業(yè)頭盔式攝像頭的任何設(shè)備配合使用，
MetaHuman Animator 還設(shè)計(jì)用于與全系列面部攝像頭系統(tǒng)配合使用。

對(duì)于獨(dú)立藝術(shù)家來(lái)說(shuō)，這包括使用 Epic 的免費(fèi) Live Link Face 應(yīng)用程序從 iPhone 流式傳輸?shù)乃夭摹?/p>

Live Live Face 1.3 與 MetaHuman Animator 一起發(fā)布，更新了該應(yīng)用程序，使其能夠捕獲原始視頻片段和所需的隨附深度數(shù)據(jù)，后者通過(guò) iPhone 的 TrueDepth 相機(jī)進(jìn)行。

較大的工作室可以使用標(biāo)準(zhǔn)的頭盔式攝像機(jī)：MetaHuman Animator 可與“任何專業(yè)垂直立體 HMC 捕捉解決方案”配合使用，包括來(lái)自 ILM 的Technoprops部門的解決方案。

價(jià)格、發(fā)布日期和系統(tǒng)要求
MetaHuman Animator 工具集是 Epic Games 免費(fèi) MetaHuman 插件的一部分。該插件與 Unreal Engine 5.0+ 兼容，但要使用 MetaHuman Animator 需要 Unreal Engine 5.2+。

Live Link Face 可免費(fèi)用于 iOS 16.0 及更高版本。要將其與 MetaHuman Animator 一起使用，您需要該插件的 1.3+ 版本和 iPhone 12 或更高版本。

MetaHuman Creator 現(xiàn)已推出搶先體驗(yàn)版。它在云端運(yùn)行，兼容 Chrome、Edge、Firefox 和 Safari 瀏覽器，在 Windows 或 macOS 上運(yùn)行。它可以免費(fèi)與虛幻引擎一起使用。

虛幻引擎編輯器的使用本身是免費(fèi)的，渲染非交互式內(nèi)容也是免費(fèi)的。對(duì)于游戲開發(fā)商來(lái)說(shuō)，在產(chǎn)品生命周期內(nèi)賺取的前 100 萬(wàn)美元之外，Epic 會(huì)收取總收入的 5%。