在剛剛結(jié)束的“SPARK 2022”騰訊游戲發(fā)布會上，騰訊高級副總裁馬曉軼Steven的高保真數(shù)字人亮相，其背后的制作團(tuán)隊(duì)是NExT Studios。從2017年高保真實(shí)時(shí)數(shù)字人Siren開始，NExT先后制作了Matt AI、小諍、外來人員WL.S等角色，持續(xù)探索數(shù)字人制作領(lǐng)域。

此次數(shù)字人Steven的制作，NExT首次實(shí)現(xiàn)了影視級全流程跑通，也是努力突破“虛實(shí)結(jié)合”3D高保真制作挑戰(zhàn)的又一次技術(shù)力檢驗(yàn)。

高保真數(shù)字人被稱為“數(shù)字技術(shù)皇冠上的明珠”，要“以假亂真”一個(gè)既有的人，需要大量的技術(shù)能力和極其注重細(xì)節(jié)的糾偏能力。在制作過程中不斷對比數(shù)字人和真人的差異并調(diào)試，使之在任何燈光環(huán)境下都感受不出異樣，這個(gè)環(huán)節(jié)叫做LookDev。它是一種理念，一種檢驗(yàn)數(shù)字人仿真度的可量化標(biāo)準(zhǔn)，是制作中不可或缺的環(huán)節(jié)。

“像與不像其實(shí)是非常主觀的判斷，我們要確保數(shù)字人和本人是一模一樣的，必須把所有的變量都固化到具體的數(shù)值。比如皮膚的材質(zhì)和顏色、眼球的結(jié)構(gòu)、睫毛的材質(zhì)都會影響呈現(xiàn)，燈光的亮度、方向，以及一系列的白平衡等參數(shù)也是變量。我們技術(shù)團(tuán)隊(duì)需要做的，就是反推出我們還不確定的變量，用數(shù)值性的方法定義角色。”數(shù)字人Steven項(xiàng)目制作人劉奇申說道，“LookDev是一個(gè)不斷匹配的過程，希望確保最終制作出來的成果和原始的人物是分毫不差的?！?/p>

LookDev是一把“金尺子”。從最開始的掃描、實(shí)拍、再到后期的制作、渲染，每一個(gè)環(huán)節(jié)，制作團(tuán)隊(duì)都會把這把拿尺子出來“量一量”，實(shí)時(shí)糾偏，確保團(tuán)隊(duì)成員一直照著共同的標(biāo)準(zhǔn)制作。

建模，是制作數(shù)字人的第一步，通常由隸屬工作室的Photogrammetry Lab（照相建模實(shí)驗(yàn)室）擔(dān)此重任。由于疫情封閉，幾經(jīng)周轉(zhuǎn)只能借用到精度、數(shù)量、調(diào)校、采集環(huán)境都稍遜的另一個(gè)照相掃描室進(jìn)行Steven的全身掃描，將數(shù)據(jù)傳輸給上海的制作團(tuán)隊(duì)完成模型制作。

數(shù)字人皮膚的制作是一項(xiàng)復(fù)雜的工程，真實(shí)的人類皮膚通常有油脂層、脂肪層等，光線照射在皮膚后，會進(jìn)行慢反射、鏡面反射、透視等。有些光線被血液和油脂吸收，有些則被油脂反射，稱為“次表面反射”。

“我們在做虛擬人皮膚材質(zhì)的時(shí)候，必須同時(shí)把這幾層結(jié)構(gòu)都考慮進(jìn)來?！睌?shù)字人Steven項(xiàng)目技術(shù)負(fù)責(zé)人李靜翔說，“一個(gè)人的皮膚本身有毛孔和汗毛，除此之外我們還有一層絨毛，有點(diǎn)像桃子上的毛。一般離得非常近或是有側(cè)面光打過來時(shí)，絨毛會比較明顯。我們在數(shù)字人臉上也做了一層非常短、半透明的絨毛。當(dāng)數(shù)字人做任何表情的時(shí)候，這些絨毛需要跟著臉部一起運(yùn)動，否則容易出現(xiàn)穿插的問題?！?/p>

如果人物樣貌已很真實(shí)，但服飾衣著粗糙，也會讓人第一眼就有明顯的假人觀感。所以在制作數(shù)字人Steven整套衣服和鞋子時(shí)，制作團(tuán)隊(duì)采購了實(shí)物服裝，完全按照真實(shí)比例，在MD（Marvelous Designer）中打板還原并建模。

以數(shù)字西裝為例，模型師不僅還原出衣服形態(tài)，而且進(jìn)行了更精確的“毫米級”制作，讓其更具真實(shí)質(zhì)感。比如為了盡可能寫實(shí)西裝的筆挺質(zhì)感，還原真實(shí)動作下的褶皺布料狀態(tài)，角色特效師參考了大量布料動態(tài)視頻，根據(jù)經(jīng)驗(yàn)設(shè)置拉伸、彎曲屬性進(jìn)行布料解算，在保持西裝狀態(tài)的同時(shí)盡量接近真實(shí)褶皺的狀態(tài)，提升了數(shù)字人實(shí)時(shí)動畫的品質(zhì)和藝術(shù)表現(xiàn)力。

數(shù)字人模型做好后，就需要“動起來”。之前往往通過真實(shí)照片和數(shù)字人靜幀對比來制作表情，但靜態(tài)對比容易忽略一些表情的“動勢”——人的表情不是單一的一幀，而是呈現(xiàn)這個(gè)表情前后的一臉串微表情集合。所以制作團(tuán)隊(duì)根據(jù)FACS（Facial Action Coding System 面部表情編碼系統(tǒng)），把如張嘴、閉眼等極限表情時(shí)肌肉的發(fā)力、拉伸通過動態(tài)形式還原出來，在之后動捕驅(qū)動的環(huán)節(jié)，能夠較好地還原Steven的表情個(gè)性。

通過NExT自研的xFaceBuilder?數(shù)字角色制作管線，制作團(tuán)隊(duì)完成了700余個(gè)表情制作。開發(fā)同事把骨骼的運(yùn)動方式和算法完成，像黑盒一樣封裝起來，動畫師完成最終的表情動畫。xFaceBuilder?極其高效便捷地簡化了制作流程，此時(shí)的動畫師就像一名司機(jī)，開發(fā)團(tuán)隊(duì)提供的控制面板就是他的“方向盤”。不需要知道汽車如何具體運(yùn)轉(zhuǎn)，也不需要知道方向盤和油門控制的底層原理，只需要踩油門和剎車，掌握方向盤，他就可以把這輛車開到想去的地方。

發(fā)布會上，高保真數(shù)字人Steven會進(jìn)行一段對話，需要驅(qū)動數(shù)字人模型“能說會道”。驅(qū)動模型的方式通常有手動驅(qū)動、動捕驅(qū)動，或者語音驅(qū)動等。人說話時(shí)臉部、嘴部、眼部肌肉都會配合輕微運(yùn)動，手工驅(qū)動是由動畫師按幀調(diào)整，雖然精準(zhǔn)但耗費(fèi)大量人力；動捕驅(qū)動的聯(lián)動性較好，缺點(diǎn)是不精準(zhǔn)；語音驅(qū)動可在較短時(shí)間內(nèi)進(jìn)行大量制作，適合對動畫精度要求不高且數(shù)量大的項(xiàng)目。

鑒于整體制作要求較高但時(shí)間有限，技術(shù)團(tuán)隊(duì)最后選取了手工驅(qū)動和動捕驅(qū)動相結(jié)合的驅(qū)動方案。Steven本人因疫情原因無法參與實(shí)地動捕，提供了一段手機(jī)拍攝的視頻，加載進(jìn)動捕軟件里，用動捕方案驅(qū)動，動畫師再在此基礎(chǔ)上做手工驅(qū)動補(bǔ)充。這樣在精準(zhǔn)表現(xiàn)單個(gè)微表情的前提下，更大程度地保證了表情的聯(lián)動性。

能夠把一個(gè)數(shù)字人做得像真人，用當(dāng)下的技術(shù)可能已經(jīng)不難了，但是“像一個(gè)真人”和“像某人本人”，從形似到神似的跨越才是最難的。

通常數(shù)字電影里的CG人物比較“風(fēng)格化”而不是“擬真化”，防止觀眾落入“恐怖谷效應(yīng)”。比如《速度與激情7》里保羅兄弟動捕換臉、《雙子殺手》里年輕版威爾?·?史密斯的制作等，這些AI換臉技術(shù)相對成熟。但是NExT此次制作數(shù)字人Steven放棄了換臉“捷徑”，而是實(shí)打?qū)嵉?D制作，相當(dāng)挑戰(zhàn)團(tuán)隊(duì)極限技術(shù)能力。

技術(shù)團(tuán)隊(duì)對Steven的日常表情和動作細(xì)節(jié)做了大量研究，以海量的照片和視頻為基礎(chǔ)，無論是個(gè)人特征或者代表性的小動作、微表情，都抓取下來運(yùn)用到制作細(xì)節(jié)中，讓數(shù)字人“從形似到神似的跨越”有更多助力。

另一個(gè)難點(diǎn)是“虛實(shí)結(jié)合”的制作方式——視頻背景是真實(shí)場景，需要把數(shù)字人Steven嵌入到環(huán)境中，再把整體色調(diào)和氣氛全部恢復(fù)到當(dāng)時(shí)的實(shí)拍環(huán)境中，讓人看不出是環(huán)境外嵌入的虛擬人物，而是融合在環(huán)境中的人物。

燈光渲染首先需要獲取最基礎(chǔ)的HDRI環(huán)境參數(shù)，通過手動打光的方式還原燈光環(huán)境，并校正修飾光照在角色上的照明效果，以達(dá)到更理想的狀態(tài)。

NExT技術(shù)團(tuán)隊(duì)按照影視級別的標(biāo)準(zhǔn)，花費(fèi)近半年時(shí)間完成了高保真數(shù)字人Steven的制作。說到技術(shù)團(tuán)隊(duì)的人員構(gòu)成，也算是挺有趣的組合，一半來自影視行業(yè)，一半來自游戲行業(yè)，由此也能一窺近年持續(xù)發(fā)酵的影游“共生融合”關(guān)系。

影視行業(yè)的專業(yè)流程、高品質(zhì)標(biāo)準(zhǔn)，慢慢進(jìn)入游戲行業(yè)，賦能游戲開發(fā)的高效性和系統(tǒng)性。游戲行業(yè)的技術(shù)也在反哺影視，例如虛擬拍攝可以幫助影視行業(yè)大批量、相對低成本地生產(chǎn)內(nèi)容，其“實(shí)時(shí)性”的特質(zhì)讓導(dǎo)演在現(xiàn)場可以第一時(shí)間所見即所得，充分發(fā)揮自己的創(chuàng)造性。越來越多的經(jīng)驗(yàn)和技術(shù)在影視和游戲之間共享，試想如果游戲引擎渲染的畫面質(zhì)量能進(jìn)一步提高，愈來愈趨近影視級品質(zhì)，性價(jià)比的優(yōu)勢愈來愈凸顯時(shí)，有無可能真正替代傳統(tǒng)影視呢？

數(shù)字人的應(yīng)用場景不光是影視和游戲，醫(yī)療、政務(wù)、金融、教育等領(lǐng)域都在持續(xù)探索發(fā)展。未來AI、5G、云計(jì)算、大數(shù)據(jù)、人工智能等技術(shù)深度融合，科技水平和算力有更大突破，線上可能有我們的數(shù)字孿生，也可能有外形和意識構(gòu)成均無限趨近于真人的“有血有肉”的虛擬朋友，與你私密地交談，分擔(dān)憂愁共享快樂。在制作數(shù)字人的當(dāng)下，能依稀看見未來發(fā)生變化的輪廓。未來世界的虛實(shí)共生的樣態(tài)，可能已經(jīng)在慢慢到來。