查看引用/信息源請點(diǎn)擊：映維網(wǎng)Nweon

團(tuán)隊(duì)提出的系統(tǒng)支持多種現(xiàn)成的3D顯示器，包括立體顯示器和光場顯示器。

（映維網(wǎng)Nweon?2023年08月16日）第一批商用視頻會(huì)議系統(tǒng)于50多年前出現(xiàn)，并允許人們能夠在看到和聽到千里之外的同事，朋友或家人。視頻會(huì)議的最終目標(biāo)是實(shí)現(xiàn)遠(yuǎn)程參與者之間的沉浸式通信，就好像大家置身在同一個(gè)物理位置一樣。

盡管3D視頻會(huì)議的最新發(fā)展已經(jīng)呈現(xiàn)出捕獲眼神交流和其他非語言線索的潛力，但現(xiàn)有系統(tǒng)需要昂貴的3D采集設(shè)置。

所以在一個(gè)名為“AI-Mediated 3D Video Conferencing”的項(xiàng)目中，英偉達(dá)，美國加利福尼亞大學(xué)圣迭戈分校，以及北卡羅來納大學(xué)教堂山分校的人員通過AI人工智能的方法實(shí)現(xiàn)了一種高保真低成本的3D遠(yuǎn)程呈現(xiàn)方法，并且提供了基于3D掃描的方法所無法提供的新功能。

另外，團(tuán)隊(duì)提出的解決方案支持多種現(xiàn)成的3D顯示器，包括立體顯示器和光場顯示器。

延伸閱讀：利用AI縮小體積，谷歌展示光場通話項(xiàng)目Project Starline新迭代

https://news.nweon.com/107599

值得一提的是，谷歌同樣有在利用AI來優(yōu)化他們的光場通話項(xiàng)目Project Starline。作為說明，Project Starline基本上是一個(gè)3D視頻聊天室，主要通過光場技術(shù)來營造一種對方仿佛真的坐在你對面一樣。這個(gè)突破性的遠(yuǎn)程通信工具結(jié)合了谷歌在硬件和軟件方面的進(jìn)步，并旨在提升朋友、家人和同事實(shí)現(xiàn)遠(yuǎn)程共在時(shí)的臨場感。

回到英偉達(dá)團(tuán)隊(duì)的“AI-Mediated 3D Video Conferencing”項(xiàng)目。如上圖所示，團(tuán)隊(duì)在SIGGRAPH大會(huì)展示了所述設(shè)置，并撰文進(jìn)行了介紹。

上圖顯示了系統(tǒng)的管道，它包括一個(gè)記錄和傳輸來自單個(gè)RGB網(wǎng)絡(luò)攝像頭的2D視頻的sender；以及一個(gè)接收2D視頻并將其提升到3D，從而為相應(yīng)3D顯示呈現(xiàn)新穎視圖的receiver。

研究人員通過one-shot方法來實(shí)時(shí)從單一的unposed圖像推斷和渲染一個(gè)真實(shí)的3D表示，并在NVIDIA RTX A5000筆記本電腦生成光場圖像。利用instant AI super-resolution技術(shù)，參與者可以馬上看到自己的3D自我影像。在實(shí)時(shí)情況下，參與者可以看到2D網(wǎng)絡(luò)攝像頭圖像提升為頭部追蹤的立體3D視圖。

除了使用網(wǎng)絡(luò)攝像頭圖片外，用戶同時(shí)可以選擇通過2D Avatar生成器模塊來生成并自定義由用戶驅(qū)動(dòng)的2D Avatar。

在3D提升方面，研究人員提出了一種基于Vision?Transformer的全新編碼器，以將2D輸入轉(zhuǎn)換為有效的三平面隱式3D表示。給定用戶的單個(gè)RGB圖像，所述方法可以自動(dòng)創(chuàng)建用戶的正面3D表示，并通過體三維繪制從新視點(diǎn)進(jìn)行有效的渲染。

三平面編碼器完全基于預(yù)訓(xùn)練的EG3D生成的合成數(shù)據(jù)進(jìn)行訓(xùn)練。3D提升模塊采用生成先驗(yàn)，以確保生成的視圖是多視圖一致和照片真實(shí)感新視圖，并且能夠在沒有個(gè)人特定訓(xùn)練的情況下以one shot泛化到任何人。

至于眼神交流，團(tuán)隊(duì)使用最先進(jìn)的神經(jīng)方法來合成給定用戶圖片的重定向眼睛注視，然后將經(jīng)過注視校正的2D圖像提升為3D圖像，從而實(shí)現(xiàn)眼神交流，如上圖所示。

團(tuán)隊(duì)提出的系統(tǒng)支持多種現(xiàn)成的3D顯示器，包括針對單人的立體顯示器或針對多人的光場顯示器。

上圖顯示了使用來自Dimenco的32英寸3D立體顯示器。它使用眼動(dòng)追蹤和透鏡來顯示用戶眼睛位置的立體圖像對。a是設(shè)置概覽；b和c顯示了系統(tǒng)能夠以正確的視角記錄參與者的交叉融合立體對。d和e表明，給定單一的RGB圖像，所述方法可以生成照片真實(shí)感的遠(yuǎn)程呈現(xiàn)給出一個(gè)單一的RGB圖像。

另外，研究人員通過一個(gè)32英寸的Looking Glass顯示器測試了AI系統(tǒng)。其中，多人可以同時(shí)在光場顯示屏看到一個(gè)真實(shí)大小的說話人頭。這種光場顯示器為普通路人和排隊(duì)等待演示的人員提供了一目了然的技術(shù)演示。

然后，排隊(duì)輪候的人員可以嘗試位于不同展位的立體顯示器，并可以體驗(yàn)多路人工智能介導(dǎo)的3D視頻會(huì)議電話。

延伸閱讀：AI-Mediated 3D Video Conferencing

https://paper.nweon.com/14658
延伸閱讀：Live 3D Portrait: Real-Time Radiance Fields for Single-Image Portrait View Synthesis

https://paper.nweon.com/14660

需要注意的是，團(tuán)隊(duì)使用NVIDIA TensorRT優(yōu)化了編碼器的性能，并在NVIDIA A6000 Ada Generation GPU進(jìn)行實(shí)時(shí)推理。系統(tǒng)管道端到端的運(yùn)行時(shí)間不到100毫秒，包括捕獲、流式傳輸和渲染。

---
原文鏈接：https://news.nweon.com/111608