2019年，NExT Studios 和AI Lab的三位同學(xué)帶領(lǐng)Matt AI，亮相SIGGRAPH Asia 2019 Real-Time Live!舞臺(tái)，完成了一次精彩的演繹。兩年后，NExT再次登上SIGGRAPH Asia 2021技術(shù)論文（Technical Papers）的舞臺(tái)，分享與「浙江大學(xué) CAD&CG國(guó)家重點(diǎn)實(shí)驗(yàn)室」金小剛教授團(tuán)隊(duì)合作項(xiàng)目《高精度眼瞼幾何重建》的研究成果——EyelashNet: A Dataset and A Baseline Method for Eyelash Matting。

EyelashNet所提出的睫毛采集與摳圖技術(shù)，在高質(zhì)量的個(gè)性化數(shù)字人臉構(gòu)建中發(fā)揮著重要的作用。睫毛雖然細(xì)小，但在人眼區(qū)域，即使是細(xì)微的失真也很容易被觀察到，這會(huì)直接影響參數(shù)化人臉的高保真程度，暴露出不可忽略的缺陷。本文將介紹數(shù)字人臉重建時(shí)，以往處理睫毛時(shí)遇到的困難，以及EyelashNet技術(shù)如何突破技術(shù)壁壘，取得成功。

高質(zhì)量的個(gè)性化數(shù)字人臉具有廣泛的應(yīng)用，如虛擬主播、虛擬偶像、游戲、虛擬現(xiàn)實(shí)、電影等。為了創(chuàng)建一個(gè)高保真的人臉，并對(duì)其進(jìn)行動(dòng)畫(huà)控制，我們通常需要借助于掃描設(shè)備和圖形處理軟件，來(lái)重建一個(gè)三維參數(shù)化的人臉模型。其中，睫毛的重建是一個(gè)不小的挑戰(zhàn)。如下圖所示，重建的睫毛幾何形狀（圖1）在三維參數(shù)化人臉重建（圖2）的過(guò)程中擬合眼瞼時(shí)，往往會(huì)引入噪聲，使睫毛及其眼皮區(qū)域產(chǎn)生缺陷。因此，我們通常需要移除睫毛，然后再進(jìn)行人臉重建，以消除睫毛的負(fù)面影響。但移除睫毛并修復(fù)眼瞼幾何是一件非常困難的事情，即使是專(zhuān)業(yè)美工，也需花費(fèi)約5個(gè)小時(shí)。

EyelashNet包含一個(gè)大規(guī)模睫毛摳圖數(shù)據(jù)集和一個(gè)睫毛摳圖模型。其中，睫毛摳圖數(shù)據(jù)集通過(guò)巧妙設(shè)計(jì)的基于熒光標(biāo)記的軟硬件采集系統(tǒng)來(lái)獲??；而睫毛摳圖模型則通過(guò)大規(guī)模睫毛摳圖數(shù)據(jù)集和深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練得到。在基于多視角的三維人臉重建中，采用EyelashNet，我們可摳取多視角圖像中的睫毛來(lái)消除睫毛幾何對(duì)人臉其它區(qū)域的干擾，從而提升人臉參數(shù)化模型在眼瞼區(qū)域的重建質(zhì)量。EyelashNet可極大地節(jié)省動(dòng)畫(huà)師手工修復(fù)眼部幾何所用的時(shí)間，顯著提升了個(gè)性化人臉重建的質(zhì)量和效率。

EyelashNet誕生前，通常有兩種辦法進(jìn)行睫毛修復(fù)。

• 模型擬合：在移除睫毛幾何的過(guò)程中，我們通常直接在帶有噪聲和瑕疵的模型上進(jìn)行手工修復(fù)。美工通常需要考慮兩方面的性能：一是修復(fù)后的人臉模型幾何要相對(duì)準(zhǔn)確；二是修復(fù)后的模型在人臉動(dòng)畫(huà)表現(xiàn)上必須自然。這對(duì)美工的“手藝”有較高要求，且需對(duì)模型進(jìn)行反復(fù)的修改與擬合，整個(gè)修復(fù)過(guò)程非常費(fèi)時(shí)費(fèi)力。該方法極大地限制了人臉重建的效率。

• 睫毛摳圖：當(dāng)前基于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法可用于睫毛摳圖，但由于缺乏睫毛數(shù)據(jù)庫(kù)，使得即使是當(dāng)前最先進(jìn)的摳圖算法也無(wú)法獲得令人滿(mǎn)意的結(jié)果。由于睫毛細(xì)微且結(jié)構(gòu)復(fù)雜，其位置一直在動(dòng)態(tài)變化，并且睫毛與眼皮緊密相連。這些特點(diǎn)使得當(dāng)前的摳圖數(shù)據(jù)庫(kù)構(gòu)建方法（例如通過(guò)設(shè)置特殊背景來(lái)突出前景的藍(lán)幕摳圖方法）無(wú)法用于睫毛摳圖數(shù)據(jù)的生成。除此之外，睫毛與眼球的顏色通常非常相近，這使得即使是專(zhuān)業(yè)人員也難以通過(guò)人工標(biāo)注來(lái)?yè)溉〗廾?。雖然可通過(guò)渲染虛擬人像的方法來(lái)合成睫毛數(shù)據(jù)集，但由于渲染出來(lái)的圖像不是真實(shí)的而無(wú)法表現(xiàn)現(xiàn)實(shí)的各種復(fù)雜場(chǎng)景，因此基于渲染數(shù)據(jù)集訓(xùn)練的摳圖網(wǎng)絡(luò)無(wú)法較好地估計(jì)真實(shí)情況下的睫毛蒙版（alpha matte）。

為突破上述挑戰(zhàn)，我們力圖研發(fā)一個(gè)高質(zhì)量的睫毛摳圖數(shù)據(jù)獲取方法，并訓(xùn)練一個(gè)基于深度學(xué)習(xí)的睫毛摳圖模型。最終，EyelashNet誕生了！

EyelashNet是國(guó)際上第一個(gè)大規(guī)模、多視角、高質(zhì)量的睫毛摳圖數(shù)據(jù)集，這使得訓(xùn)練一個(gè)基于深度學(xué)習(xí)的睫毛摳圖網(wǎng)絡(luò)成為可能。我們提出了一個(gè)基于深度學(xué)習(xí)的睫毛摳圖基線(xiàn)方法：在EyelashNet數(shù)據(jù)集上訓(xùn)練后，該模型能夠準(zhǔn)確地估計(jì)出多視角、不同膚色、年齡、性別的肖像圖像中的睫毛蒙版。例如，它可以從輸入的肖像圖(圖4)中自動(dòng)估算出高質(zhì)量的睫毛蒙版(圖5)，其中左/右眼的睫毛蒙版顯示在綠/紅框中。

用新方法，在基于多視角的三維人臉重建中，我們通過(guò)摳取多視角圖像中的睫毛，來(lái)達(dá)到移除睫毛幾何的目的(圖6)，從而顯著提升參數(shù)化模型眼瞼區(qū)域的重建質(zhì)量。與前人的方法相比，睫毛摳圖有助于我們重建更好的眼部幾何(圖7)（為完整起見(jiàn)，我們?cè)谧钕路降膱D中展示了完全渲染好的人臉）。

睫毛蒙版使我們能夠在基于多視角立體三維人臉重建過(guò)程中消除睫毛的干擾，從而極大地節(jié)省動(dòng)畫(huà)師手工修復(fù)眼部幾何所用的時(shí)間，顯著提升個(gè)性化人臉重建的質(zhì)量和效率。

我們的睫毛摳圖數(shù)據(jù)生成方法包含兩個(gè)階段：采集階段與推理階段。在采集階段，我們研發(fā)了一個(gè)基于熒光標(biāo)記的采集系統(tǒng)來(lái)采集睫毛數(shù)據(jù)。我們的系統(tǒng)包含15臺(tái)單反相機(jī)（用來(lái)拍攝志愿者在多視角下的睫毛圖像（圖12所示））、3臺(tái)UVA閃光燈、頭部定位及固定裝置。

采集步驟：

• 在志愿者睫毛上均勻地涂上隱形熒光劑。隱形熒光劑在可見(jiàn)光下是無(wú)色的，僅在UVA燈下才會(huì)被激活并顯色。

• 精確控制志愿者的頭部，使其左眼/右眼落在所有相機(jī)的聚焦區(qū)域，并保持頭部不動(dòng)。

• 把相機(jī)設(shè)置為快速連拍模式進(jìn)行拍攝。在連拍過(guò)程中，UVA閃光燈先打開(kāi)后關(guān)閉，從而快速拍攝志愿者的一對(duì)嚴(yán)格對(duì)齊、但睫毛顏色不一樣的圖像（一張帶熒光標(biāo)記的睫毛圖像，而另一張是正常狀態(tài)下的睫毛圖像）。通過(guò)這樣的設(shè)計(jì)，我們的方法巧妙地解決了睫毛位置動(dòng)態(tài)變化而導(dǎo)致睫毛難以準(zhǔn)確采集的問(wèn)題。

圖10（a）展示了我們的采集過(guò)程。值得注意的是，雖然我們嚴(yán)格控制志愿者的頭部保持不動(dòng)，但微表情是很難控制的，這會(huì)導(dǎo)致在拍攝中引入噪聲，從而嚴(yán)重降低拍攝的成對(duì)圖像的對(duì)齊質(zhì)量。我們進(jìn)一步通過(guò)FlowNet2 [4]從兩張圖像中估計(jì)出一個(gè)光流場(chǎng)，指導(dǎo)圖像形變來(lái)矯正對(duì)齊兩張圖像（如圖10（b）所示）。通過(guò)上述采集系統(tǒng)，我們可以獲取高精度的睫毛遮罩（mask）。但由于沒(méi)有真實(shí)圖像的睫毛蒙版真值，我們?nèi)詿o(wú)法獲取采集圖像的睫毛蒙版。即使有合成睫毛數(shù)據(jù)集的幫助，睫毛摳圖網(wǎng)絡(luò)性能仍然受限于合成睫毛數(shù)據(jù)集和真實(shí)采集睫毛數(shù)據(jù)集之間的數(shù)據(jù)集偏移。因此在推理階段，我們提出了一個(gè)新穎的前景蒙版推理網(wǎng)絡(luò)，并設(shè)計(jì)了一個(gè)漸進(jìn)式訓(xùn)練策略，通過(guò)減少合成睫毛數(shù)據(jù)集和真實(shí)捕獲數(shù)據(jù)集之間的數(shù)據(jù)集偏移來(lái)克服這一困難。推理步驟：

• 用具有前景蒙版真值的合成睫毛數(shù)據(jù)集（圖10（c））來(lái)預(yù)熱推理網(wǎng)絡(luò)，并利用該推理網(wǎng)絡(luò)為每一個(gè)采集的睫毛數(shù)據(jù)估計(jì)一個(gè)前景蒙版。

• 我們?nèi)斯みx擇（這是一個(gè)弱標(biāo)注過(guò)程）視覺(jué)上正確的前景蒙版結(jié)果。然后，我們將選定的正確數(shù)據(jù)添加到合成數(shù)據(jù)集中，用來(lái)訓(xùn)練新的前景蒙版推理網(wǎng)絡(luò)，并用新訓(xùn)練的網(wǎng)絡(luò)更新每一個(gè)采集的睫毛數(shù)據(jù)的前景蒙版。

• 通過(guò)重復(fù)上述選擇和訓(xùn)練過(guò)程，我們可很快得到一個(gè)令人滿(mǎn)意的結(jié)果。在我們的實(shí)驗(yàn)中，這樣一個(gè)簡(jiǎn)單的策略可以使前景蒙版推理網(wǎng)絡(luò)在兩輪訓(xùn)練后迅速適應(yīng)真實(shí)的睫毛數(shù)據(jù)。訓(xùn)練后的推理網(wǎng)絡(luò)能夠從睫毛遮罩和原始睫毛圖像中計(jì)算出高質(zhì)量的睫毛蒙版。通過(guò)上述方法，我們構(gòu)建了EyelashNet數(shù)據(jù)集。圖10第二行展示了我們的推理流程。

在我們的實(shí)驗(yàn)中，這樣一個(gè)簡(jiǎn)單的策略可以使前景蒙版推理網(wǎng)絡(luò)在兩輪訓(xùn)練后迅速適應(yīng)真實(shí)的睫毛數(shù)據(jù)。訓(xùn)練后的推理網(wǎng)絡(luò)能夠從睫毛遮罩和原始睫毛圖像中計(jì)算出高質(zhì)量的睫毛蒙版。通過(guò)上述方法，我們構(gòu)建了EyelashNet數(shù)據(jù)集。圖10第二行展示了我們的推理流程。

EyelashNet的應(yīng)用面非常廣：除了高精度人臉重建外，它還可以應(yīng)用于肖像圖像的編輯和美顏中，如睫毛變色（圖11上）和睫毛編輯（如延長(zhǎng)睫毛）（圖11下）等。

研發(fā)的采集系統(tǒng)能夠獲取高精度的睫毛摳圖數(shù)據(jù)，包含多視角、多表情、性別、年齡等變量。圖12展示了部分采集的睫毛數(shù)據(jù)庫(kù)。我們的睫毛摳圖模型能夠?qū)ε臄z的多視角照片進(jìn)行高精度的睫毛摳圖（圖13）。

左 15個(gè)視角下的睜眼睫毛摳圖數(shù)據(jù)右 正視視角下12個(gè)表情的睫毛摳圖數(shù)據(jù)

圖14 和表1分別從定性和定量上展示了我們的方法同當(dāng)前最先進(jìn)方法的比較結(jié)果。圖14從左到右分別是輸入、三分圖、Nam et al. [2]方法的結(jié)果、Li and Lu [3]方法的結(jié)果、采用渲染數(shù)據(jù)庫(kù)訓(xùn)練的摳圖模型的結(jié)果、我們的結(jié)果、睫毛蒙版真值。實(shí)驗(yàn)表明，我們的方法取得了當(dāng)前最好的睫毛摳圖結(jié)果。

更多詳細(xì)信息，點(diǎn)擊進(jìn)入項(xiàng)目主頁(yè)，一起感受“近在眉睫”的高保真?。篍yelashNet: A Dataset and A Baseline Method for Eyelash Mattingwww.cad.zju.edu.cn

浙江大學(xué)計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室成立于1992年，是國(guó)際一流的計(jì)算機(jī)圖形實(shí)驗(yàn)室，為國(guó)家“七五”計(jì)劃建設(shè)項(xiàng)目。主要從事計(jì)算機(jī)輔助設(shè)計(jì)、計(jì)算機(jī)圖形學(xué)的基礎(chǔ)理論、算法及相關(guān)應(yīng)用研究。近二十年來(lái)，實(shí)驗(yàn)室依托浙江大學(xué)計(jì)算機(jī)、數(shù)學(xué)、機(jī)械等學(xué)科，作為牽頭單位先后承擔(dān)了一批國(guó)家級(jí)重大科研項(xiàng)目和國(guó)際合作項(xiàng)目，在計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)的基礎(chǔ)研究和系統(tǒng)集成等方面取得了一批重要成果。

金小剛教授教授、博士生導(dǎo)師，來(lái)自浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院。是“十三五”國(guó)家重點(diǎn)研發(fā)計(jì)劃首席科學(xué)家，浙江大學(xué)-騰訊游戲智能圖形創(chuàng)新技術(shù)聯(lián)合實(shí)驗(yàn)室主任，浙江省虛擬現(xiàn)實(shí)產(chǎn)業(yè)聯(lián)盟理事長(zhǎng)，中國(guó)計(jì)算機(jī)學(xué)會(huì)虛擬現(xiàn)實(shí)與可視化專(zhuān)委會(huì)副主任委員，杭州錢(qián)江特聘專(zhuān)家。在ACM TOG (Proc. of Siggraph)、IEEE TVCG等國(guó)際重要學(xué)術(shù)刊物上發(fā)表論文140多篇，多次獲得國(guó)內(nèi)外重要獎(jiǎng)項(xiàng)。

注釋?zhuān)?/blockquote>

[1] EyelashNet: A Dataset and a Baseline Method for Eyelash Matting.Qinjie Xiao, Hanyuan Zhang, Zhaorui Zhang, Yiqian Wu, Luyuan Wang, Xiaogang Jin, Xinwei Jiang, Yongliang Yang, Tianjia Shao, Kun Zhou. ACM Transactions on Graphics (Proc. of Siggraph Asia'2021), 2021, 40(6): Article 217.

[2] Giljoo Nam, Chenglei Wu, Min H. Kim, and Yaser Sheikh. 2019. Strand-Accurate Multi-View Hair Capture. In IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2019, pp. 155-164.

[3] Yaoyi Li and Hongtao Lu. 2020. Natural Image Matting via Guided Contextual Attention. In The Thirty-Fourth AAAI Conference on Artificial Intelligence, AAAI 2020, pp. 11450-11457.

[4] Eddy Ilg, Nikolaus Mayer, Tonmoy Saikia, Margret Keuper, Alexey Dosovitskiy, and Thomas Brox. 2017. FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks. In 2017 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2017, pp. 1647–1655.

[5] ACM TOG: Association for Computing Machinery Transactions on Graphics;

[6] IEEE TVCG: IEEE Transactions on Visualization and Computer Graphics;

標(biāo)簽：