Meta的Codec?Avatars?Lab團(tuán)隊(duì)開發(fā)了一種實(shí)時(shí)3D頭像合成方法，"可重照明高斯編解碼頭像"。該技術(shù)致力于創(chuàng)造高保真度、可在真實(shí)時(shí)間內(nèi)重新照明的頭部頭像。其核心在于使用3D高斯幾何模型捕捉動(dòng)態(tài)面部序列中的細(xì)節(jié)，如頭發(fā)絲和毛孔，并結(jié)合了可學(xué)習(xí)的輻射傳輸和球面高斯以實(shí)現(xiàn)高效的實(shí)時(shí)重新照明。這一方法在保持實(shí)時(shí)性能的同時(shí)，超越了現(xiàn)有方法。

論文：https://arxiv.org/pdf/2312.03704.pdf

Readpaper：https://readpaper.com/paper/4830342777413828609

項(xiàng)目：https://shunsukesaito.github.io/rgca/

技術(shù)核心

"可重照明高斯編解碼頭像"采用基于3D高斯的幾何模型，有效捕捉了頭部動(dòng)態(tài)序列中的細(xì)微結(jié)構(gòu)。這種方法特別適用于捕捉人類頭部各種材質(zhì)（如眼睛、皮膚、頭發(fā)）的細(xì)節(jié)，并通過一個(gè)新穎的可重照明外觀模型實(shí)現(xiàn)。這個(gè)模型結(jié)合了可學(xué)習(xí)的輻射傳輸和球面高斯，能在保持全局照明感知的同時(shí)實(shí)現(xiàn)實(shí)時(shí)重新照明。

實(shí)時(shí)性能

研究團(tuán)隊(duì)展示了在消費(fèi)級VR頭盔上實(shí)時(shí)重照明頭像的能力，證明了該技術(shù)在效率和保真度上的優(yōu)勢。這意味著可以在各種光照條件下，實(shí)時(shí)生成高保真的虛擬頭像。

控制和應(yīng)用

該模型支持表情、凝視、視角和照明的分離控制，使得用戶可以在虛擬現(xiàn)實(shí)中從任何視角渲染頭像，并進(jìn)行交互式的點(diǎn)光源控制和自然光照重照明。此外，該技術(shù)還支持從頭部安裝攝像機(jī)實(shí)時(shí)視頻流動(dòng)態(tài)驅(qū)動(dòng)頭像的動(dòng)畫。

觀點(diǎn)

學(xué)術(shù)上，沒想到這么快就可以做到如此逼真的實(shí)時(shí)渲染。我突然發(fā)現(xiàn)我即使是每天都跟著看新的論文和demo，都還是跟不上。。年初的時(shí)候想過3D會(huì)迎來大發(fā)展，但是沒想到不用2,3年，年末就已經(jīng)可以做到這么逼真了。

商業(yè)上，它為虛擬現(xiàn)實(shí)、在線會(huì)議、娛樂行業(yè)等提供了革新性的應(yīng)用可能性。而且還為虛擬世界社交提供了更多的可能性。這逐漸就可以把meta的虛擬現(xiàn)實(shí)的餅給圓上了。

特邀作者：日本早稻田大學(xué)計(jì)算機(jī)系博士? 王軍杰