像你一樣 | 揭秘全球首位數(shù)字航天員小諍

距離神舟十二號載人飛船發(fā)射圓滿成功已經2個多月,我國三位航天員聶海勝、劉伯明、湯洪波在軌執(zhí)行任務時間也已過去三分之二。
這段時間,騰訊游戲NExT Studios與新華社媒體融合生產技術與系統(tǒng)國家重點實驗室共同打造的全球首位數(shù)字航天員、新華社數(shù)字記者小諍帶著我們的向往,自由探索宇宙,不僅漫游中國空間站天和核心艙、國際空間站、和平號空間站三大空間站,也見證了我國航天員們的出艙活動。

小諍究竟是一個什么樣的存在呢?
今天,新華社揭秘小諍的更多細節(jié),帶你全面走近“小諍”:
小諍的皮膚充滿細節(jié),能隨著光線的變化而變化;小諍的頭發(fā)有十萬根發(fā)絲,輕柔飄逸;小諍行動自如,有143根骨骼,其中一只手就有40個骨骼控制點;小諍也能表達情緒,她的臉有五千多個微表情驅動,能清楚表達喜怒哀樂,她的雙眼還能觀察世界,表達內心……

一切都像你一樣。
在這背后,是NExT Studios 15名研發(fā)人員的付出,基于自研的xFaceBuilder?平臺,從模特與服裝等基本素材的掃描、重建,身體、頭發(fā)、服裝、配飾等的精細建模,到人臉綁定、動畫,團隊耗時共3個月時間,最終利用NExT自研動畫生產管線xMoCap?,通過動作捕捉技術給小諍賦予了生命。新華社團隊設計了整體形象、場景表現(xiàn),并通過人工智能,賦予小諍聲音、智慧,還會讓小諍上知天文、下知地理。
讓我們通過幾個數(shù)字,來管窺小諍的誕生之路。
1位
在角色制作中,NExT? Studios數(shù)字人團隊根據(jù)小諍的角色定位,找到一位五官氣質接近的模特,并利用自建的Photogrammetry Lab(照相建模室)對她做了完整的表情掃描,從而得以最高品質地還原真人的細節(jié)及材質特征。與前幾代高保真數(shù)字人Siren(塞壬)/Matt不同的是,小諍是造型師和角色藝術家進行了二次美型設計的超寫實數(shù)字人,既有著如真人般的皮膚、頭發(fā)、眼睛,也有著完美無瑕、獨一無二的外貌。

標準環(huán)境下定妝圖

航天服單獨掃描
在整個人臉建模過程中,NExT 團隊基于此前積累多年的實時高保真數(shù)字人技術,利用自研的xFaceBuilder?高質量人臉制作管線,通過大量算法優(yōu)化提升了角色人臉制作效率。
8,192 x 8,192
小諍的面部細節(jié)來自真人模特的掃描數(shù)據(jù),8,192 x?8,192的高精度材質貼圖,配合面部肌肉運動制作的動態(tài)貼圖,讓小諍的皮膚色彩能夠在表情、光線變化時實時發(fā)生變化;為了增強角色真實感,更模擬了皮膚的透光與次表面反射效果,制作了精細的面部汗毛。

5000個
為了支持小諍豐富的面部表情系統(tǒng),NExT 技術團隊先對模特各種表情進行掃描拍攝,建模師再局部調整刻畫細膩表情,最終形成5,000多個Blendshape的表情數(shù)據(jù)庫。換句話說,小諍擁有5000多種不一樣的微表情!

Blendshape表情數(shù)據(jù)庫
10萬
10萬根發(fā)絲,是小諍的真實發(fā)量。為了模擬真實,NExT 技術團隊請了專業(yè)的發(fā)型師在模特頭發(fā)上模擬了真實發(fā)型效果,并通過掃描建模導入專業(yè)發(fā)型制作工具Xgen。全部頭發(fā)作為曲線緩存導入UE,既可以接入Groom實現(xiàn)實時動態(tài)效果,也可以采用離線結算實現(xiàn)影視級動態(tài)。

頭發(fā)建模圖

143根
143根骨骼,則是小諍行動自如的緣由。小諍的一只手便有40根骨骼控制變形。NExT 技術團隊通過服裝的動態(tài)表現(xiàn)使用離線解算實現(xiàn)動態(tài)效果,配合NExT自研的Poseblend插件制作Blendshapes修型 ,實現(xiàn)影視級動態(tài)效果。同時,NExT 技術團隊通過基于3A級標準的動捕動畫生產管線工具——xMoCap?生產管線,通過動作捕捉技術將生命賦予給數(shù)字航天員。
這些努力,讓小諍最終實現(xiàn)了“像你一樣”。
在這些技術基礎上,小諍的聲音、語言、表情、動作都能被人工智能所驅動。通過人工智能和場景運用,小諍也可以不斷成長,走進任何場景。作為國內首個進入多場景運營的數(shù)字人,她正在面向載人航天工程、行星探測工程等中國航天重大項目開展新聞報道,并將以多種形式開展航天科普傳播等工作,成為連接中國航天精神和年輕一代人群的橋梁。

小諍的誕生,讓實時高保真數(shù)字人技術不再局限于實驗或設想,這是將前沿游戲技術跨界應用在航天科普上的一次重要實踐,是拓展游戲作為“超級數(shù)字場景”的全新嘗試,也讓我們看到游戲技術擴散到社會、造福于更多領域的可能性。
隨著計算機圖形技術、人工智能技術愈發(fā)成熟,實時高保真數(shù)字人也將在更多細分領域發(fā)揮自身的技術優(yōu)勢,突破真人的物理局限,完成更多有價值的歷史使命。我們期待未來能有更多跨行業(yè)的融合創(chuàng)新,為航天科普、傳統(tǒng)文化承載等社會議題探索新的數(shù)字化解決方案。

