wuhu專訪

還記得在wuhu平臺(tái)發(fā)布了大量3D數(shù)字內(nèi)容技術(shù)成果的原力數(shù)字科技嗎？它帶著最新成果又來(lái)啦！

不久前，原力在面部表情變形技術(shù)上取得了重大突破?。∷麄冏灾餮邪l(fā)了一套幫助藝術(shù)家快速自動(dòng)生成面部表情變形mesh的工具——“3D數(shù)字人面部表情生成器”，以此節(jié)省藝術(shù)家的雕刻制作時(shí)間，提高藝術(shù)家制作的效能。并且原力也決定將此技術(shù)對(duì)行業(yè)的公司開(kāi)放合作使用。

3D角色面部動(dòng)畫(huà)作為動(dòng)畫(huà)電影的關(guān)鍵部分，在動(dòng)畫(huà)電影制作中有著非常重要的作用。

特別是人物角色的面部表情，面部表情的自然生動(dòng)完全取決于建模師的經(jīng)驗(yàn)，為了得到自然生動(dòng)的變形效果，一個(gè)數(shù)字角色頭部的表情變形雕刻常?；ㄙM(fèi)大量時(shí)間。

而原力自主研發(fā)的這套“3D數(shù)字人面部表情生成器”，讓藝術(shù)家在拿到一個(gè)沒(méi)有變形的原始頭部模型后可以自動(dòng)生成對(duì)應(yīng)表情的變形mesh，快速、大量地處理角色面部的變形制作，而且效果十分逼真，生成后只需要少量微調(diào)即可使用。

表情生成器完美還原變形效果

說(shuō)到這里，大家是不是對(duì)這個(gè)“黑科技”感到非常好奇？是不是有更多精彩細(xì)節(jié)想知道？別急，接下來(lái)就為你一一解答！！

為了滿足大家的求知欲，wuhu有幸請(qǐng)來(lái)了原力數(shù)字科技團(tuán)隊(duì)做客，讓我們來(lái)聆聽(tīng)他們分享原力數(shù)字科技制造“3D數(shù)字人面部表情生成器”的原理和用途，以及背后的諸多精彩細(xì)節(jié)吧～相信你會(huì)收獲更多！

wuhu專訪

第401期

采編 | Ava

01

wuhu：首先歡迎原力團(tuán)隊(duì)能夠來(lái)到wuhu專訪做客，了解到原力最近又出了黑科技，自主研發(fā)了一套幫助藝術(shù)家快速自動(dòng)生成面部表情變形mesh的工具--“3D數(shù)字人面部表情生成器”，是什么樣的契機(jī)讓團(tuán)隊(duì)開(kāi)始有研發(fā)這個(gè)工具的想法的呢？

原力：產(chǎn)生研發(fā)這個(gè)工具的想法是來(lái)自生產(chǎn)過(guò)程中遇到的重復(fù)工作和效率較低的情況，現(xiàn)在生成數(shù)字人的傳統(tǒng)流程基本是藝術(shù)家手工雕刻，對(duì)數(shù)字人的頭部mesh做出幾十甚至上百個(gè)變形，然后再給每個(gè)shape分別修型，這樣制作一個(gè)效果逼真的面部變形通常需要1-2周的時(shí)間，如果是做超寫(xiě)實(shí)數(shù)字人，時(shí)間還要更久。

3D數(shù)字人面部表情生成器操作過(guò)程

所以我們就想，如果能用機(jī)器、用工具去替代這個(gè)過(guò)程，批量生成3D數(shù)字人面部變形的shape，那對(duì)生產(chǎn)效率會(huì)是多大的提升？于是就有了這個(gè)“3D數(shù)字人面部表情生成器”，通過(guò)輸入高質(zhì)量的數(shù)據(jù)來(lái)源和深度學(xué)習(xí)技術(shù)，幫助藝術(shù)家一鍵生成不同數(shù)量的高質(zhì)量面部變形shape，藝術(shù)家只需要在生成好的shape上進(jìn)一步微調(diào)即可，節(jié)省了大量中間繁瑣的步驟，可以將更多精力用在提升藝術(shù)制作效果上。

3D數(shù)字人面部表情生成器生成效果

02

wuhu：請(qǐng)具體結(jié)合團(tuán)隊(duì)創(chuàng)作以及測(cè)試過(guò)的一些作品或者項(xiàng)目，詳細(xì)介紹一下這款“3D數(shù)字人面部表情生成器”在創(chuàng)作中給藝術(shù)家?guī)?lái)的便利主要體現(xiàn)在哪些方面。

原力：它是一個(gè)輔助提升效率的工具，最大的便利就是能夠?qū)⑺囆g(shù)家從繁瑣的手動(dòng)雕刻變形工作中解脫出來(lái)，節(jié)省時(shí)間和精力成本。

3D數(shù)字人面部表情生成器生成速度

通常情況下，如果我們要從一個(gè)沒(méi)有表情的mesh去雕出多個(gè)mesh，藝術(shù)家需要一個(gè)一個(gè)手動(dòng)去雕刻和變形，但是，用“3D數(shù)字人面部表情生成器”可以直接一鍵生成任意數(shù)量的面部變形，藝術(shù)家需要做的只是在這個(gè)變形生成完了以后，手調(diào)一部分細(xì)節(jié)，相比于傳統(tǒng)流程，在時(shí)間上可以縮短到原來(lái)的一半，甚至四分之一。

3D數(shù)字人面部表情生成器生成效果

03

wuhu：根據(jù)原力團(tuán)隊(duì)所述，研發(fā)這款工具的初衷是為了提高藝術(shù)家的工作效率，但是如果出現(xiàn)了藝術(shù)家對(duì)于生成的變形細(xì)節(jié)不滿意而需要再進(jìn)行長(zhǎng)時(shí)間調(diào)整的情況，這會(huì)不會(huì)反而降低了藝術(shù)家的工作效率呢？為了避免這種情況的出現(xiàn)，團(tuán)隊(duì)會(huì)對(duì)這款工具進(jìn)行哪些優(yōu)化？

原力：我們這個(gè)工具能夠保證生成的大形是非常準(zhǔn)確的，但是到變形的細(xì)節(jié)，肯定還是取決于藝術(shù)家對(duì)這個(gè)變形的要求和理解。生成數(shù)據(jù)的準(zhǔn)確程度取決于深度學(xué)習(xí)訓(xùn)練的數(shù)據(jù)來(lái)源質(zhì)量。“3D數(shù)字人面部表情生成器”使用了深度學(xué)習(xí)的技術(shù)，如果輸入的數(shù)據(jù)中面部變形比較一致，也就是數(shù)據(jù)分布比較一致，深度學(xué)習(xí)之后生成的效果一定是比較好的，不會(huì)需要長(zhǎng)時(shí)間調(diào)整。

3D數(shù)字人面部表情生成器生成效果

但是如果給到的數(shù)據(jù)來(lái)源不夠好，生成器學(xué)到的東西比較亂，那么生成的效果肯定會(huì)大打折扣，所以我們建議多整合高質(zhì)量數(shù)據(jù)來(lái)源去喂它，這樣生成的效果也會(huì)更好。

表情生成器完美還原變形效果

04

wuhu：“3D數(shù)字人面部表情生成器”的學(xué)習(xí)過(guò)程是否需要依賴于某一時(shí)間的事物和人類指定的抽象標(biāo)簽進(jìn)行識(shí)別？它的視覺(jué)統(tǒng)計(jì)模型是否可能存在不足的情況？如果要確保該工具能夠輸入足夠數(shù)量的數(shù)據(jù)進(jìn)而分析，是不是必須一直對(duì)該工具進(jìn)行優(yōu)化？這樣會(huì)不會(huì)增加建模師的工作難度呢？

原力：其實(shí)還是上面那個(gè)回答，主要是取決于數(shù)據(jù)來(lái)源。比如，給生成器輸入我們公司之前推出過(guò)的“AIGC千人掃描數(shù)據(jù)包”作為數(shù)據(jù)來(lái)源，因?yàn)檫@1000個(gè)頭基本代表了我們能見(jiàn)到的大部分亞洲人頭型，而且里面每一個(gè)頭我們都分別采集了它的無(wú)表情數(shù)據(jù)和對(duì)應(yīng)的變形表情數(shù)據(jù)，數(shù)據(jù)一致且完整，那么這個(gè)神經(jīng)網(wǎng)絡(luò)模型工具學(xué)到的數(shù)據(jù)就是最真實(shí)的數(shù)據(jù)，符合人的面部變形的底層邏輯，最后出來(lái)的結(jié)果一定是比較好的。

AIGC-超寫(xiě)實(shí)千人掃描數(shù)據(jù)包部分已綁定模型展示

在這1000個(gè)頭已經(jīng)代表了大部分亞洲人頭型和它的變形方法的情況下，訓(xùn)練出來(lái)的模型本身已經(jīng)涵蓋了這個(gè)學(xué)習(xí)任務(wù)的數(shù)據(jù)空間，后續(xù)也并不需要再不斷地輸入更多數(shù)據(jù)進(jìn)行分析優(yōu)化。當(dāng)然啦，我們也可以給到一些帶有特點(diǎn)的數(shù)據(jù)在這個(gè)通用模型上進(jìn)行風(fēng)格化訓(xùn)練，這個(gè)也是我們以后這個(gè)工具的一些后續(xù)研發(fā)方向。

表情生成器完美還原變形效果

05

wuhu：了解到原力非常認(rèn)可這款“3D數(shù)字人面部表情生成器”，認(rèn)為此工具可以省去藝術(shù)家大量的繁瑣的雕刻步驟，極大地提升表情建模師的工作效率，讓藝術(shù)家更加聚焦在提升3D角色面部表情的藝術(shù)質(zhì)量上。但據(jù)了解，大多數(shù)藝術(shù)家對(duì)此類AI工具仍持觀望和謹(jǐn)慎態(tài)度，在該工具的推廣過(guò)程中，團(tuán)隊(duì)有遇到過(guò)什么困難或者阻力嗎？是怎么解決的？

原力：我們一貫秉持的觀點(diǎn)是，技術(shù)只是輔助藝術(shù)家創(chuàng)作的工具，它不是、也不可能取代藝術(shù)家的存在，就像一個(gè)木雕藝術(shù)家做一個(gè)木雕藝術(shù)品，用打磨機(jī)肯定比人工打磨快，但是不可能說(shuō)打磨機(jī)能取代木雕藝術(shù)家，對(duì)吧？

3D數(shù)字人面部表情生成器操作過(guò)程

“3D數(shù)字人面部表情生成器”不同于一般的AIGC工具，從原理上講它不是神經(jīng)網(wǎng)絡(luò)生成模型，它只是把過(guò)往的數(shù)據(jù)拿過(guò)來(lái)學(xué)習(xí)，然后在過(guò)往的經(jīng)驗(yàn)基礎(chǔ)上，把那些重復(fù)性的工作用代碼代替生成，讓藝術(shù)家可以把更多的時(shí)間和精力集中在藝術(shù)效果的表達(dá)提升上。

表情生成器完美還原變形效果

06

wuhu：請(qǐng)談?wù)劥斯ぞ叩牡讓釉?。另外，現(xiàn)在很多藝術(shù)家都在擔(dān)心自己的創(chuàng)作成果被AI肆意學(xué)習(xí)使用，為了保護(hù)人類的藝術(shù)創(chuàng)造能力，作為工具研發(fā)者的原力會(huì)采取一些什么樣的措施呢？

原力：此工具的底層原理是：將過(guò)往所有項(xiàng)目中3D數(shù)字人的頭部中立臉mesh(Neutral mesh)以及對(duì)應(yīng)帶表情的mesh(Deformed mesh)數(shù)據(jù)提取出來(lái)，使用深度學(xué)習(xí)模型學(xué)習(xí)每個(gè)3D模型中立臉mesh到對(duì)應(yīng)的變形mesh的變形關(guān)系。神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)學(xué)習(xí)大量數(shù)據(jù)， 從而產(chǎn)生一個(gè)根據(jù)3D頭部中立mesh自動(dòng)生成變形表情mesh的表情生成器。

3D數(shù)字人面部表情生成器生成效果

這是一些表情的效果圖：頭部mesh的精度頂點(diǎn)個(gè)數(shù)為10304， 左邊第一個(gè)mesh是Neutral中立臉，中間是原始數(shù)據(jù)，最右邊是網(wǎng)絡(luò)預(yù)測(cè)的結(jié)果。可以看到網(wǎng)絡(luò)預(yù)測(cè)的結(jié)果跟原始需要學(xué)習(xí)的數(shù)據(jù)還是比較接近的。使用此工具，我們可以從左邊的mesh直接生成右邊的表情。

表情生成器完美還原變形效果

當(dāng)然，我們始終認(rèn)為，技術(shù)的研發(fā)是為了提升藝術(shù)家制作的效率，而不是為了完全取代藝術(shù)家，也不太可能完全取代藝術(shù)家。

07

wuhu：每一項(xiàng)新興技術(shù)剛開(kāi)始時(shí)都會(huì)產(chǎn)生諸多問(wèn)題，所以一時(shí)難以被社會(huì)接納，需要經(jīng)歷一段適應(yīng)期，等社會(huì)的思想逐漸與技術(shù)切合后，技術(shù)才能發(fā)揮其最大效能，推動(dòng)社會(huì)進(jìn)步，我們可以稱這段適應(yīng)期為社會(huì)的“短時(shí)反應(yīng)”。相信原力團(tuán)隊(duì)已經(jīng)做好了充分的準(zhǔn)備來(lái)應(yīng)對(duì)這一“短時(shí)反應(yīng)”吧，能否與我們分享一下呢？

原力：有了這套系統(tǒng)，藝術(shù)家拿到一個(gè)沒(méi)有變形的原始頭部模型時(shí)，就可以自動(dòng)生成對(duì)應(yīng)表情的變形mesh。大大提高工作效率，這個(gè)工具的關(guān)鍵意義就在于能夠快速大量處理角色面部的變形制作。?原來(lái)需要可能幾天的制作時(shí)間，現(xiàn)在使用這個(gè)工具只需要幾個(gè)小時(shí)就可以全部完成。

原力參制《漫威復(fù)仇者聯(lián)盟》

08

wuhu：原力在未來(lái)是否還有其他的工具研發(fā)計(jì)劃？可以簡(jiǎn)單透露一下嗎？

原力：目前內(nèi)部研發(fā)的工具暫時(shí)還不方便透露，有很多東西仍在原型驗(yàn)證階段，后續(xù)我們會(huì)進(jìn)行正式的發(fā)布與解說(shuō)。

“3D數(shù)字人面部表情生成器”這項(xiàng)技術(shù)將對(duì)行業(yè)開(kāi)放合作使用，具體請(qǐng)聯(lián)系官方郵箱：??dev@of3d.com?

期待在不久的將來(lái)

“3D數(shù)字人面部表情生成器”

能給藝術(shù)創(chuàng)造行業(yè)帶來(lái)質(zhì)的飛躍??！

讓我們拭目以待！

· END ·