查看引用/信息源請點擊：映維網(wǎng)

一個神經(jīng)網(wǎng)絡(luò)參數(shù)化的平面到多平面波傳播模型

（映維網(wǎng)?2022年01月10日）增強(qiáng)現(xiàn)實和虛擬現(xiàn)實系統(tǒng)能夠帶來前所未有的沉浸式用戶體驗，但當(dāng)前AR/VR平臺的光引擎在峰值亮度、功率效率、設(shè)備形狀參數(shù)、對感知重要焦點線索的支持、以及校正用戶視覺像差能力等方面都受到不同程度的限制。所以，學(xué)界和業(yè)界正在積極探索各種解決方案。

對于由斯坦福大學(xué)博士后研究院Yifan Peng和電子工程副教授戈登·韋茨坦（Gordon Wetzstein）等人組成的團(tuán)隊而言，其相信全息近眼顯示器有望解決上述的一系列問題。

繼在SIGGRAPH 2020發(fā)表了一份名為《Neural Holography》的研究論文后，他們又在今年的大會介紹了最新的研究成果：《Neural 3D holography: learning accurate wave propagation models for 3D holographic virtual and augmented reality displays》。

延伸閱讀：斯坦福大學(xué)在Siggraph演示最先進(jìn)AR/VR全息顯示技術(shù)

簡單來說，《Neural Holography》主要介紹了一個能夠以1080p分辨率實時生成全彩高質(zhì)量全息圖的CGH算法。《Neural 3D holography: learning accurate wave propagation models for 3D holographic virtual and augmented reality displays》則提出了一個神經(jīng)網(wǎng)絡(luò)參數(shù)化的平面到多平面波傳播模型，其能夠縮小物理和模擬之間的差距，并實現(xiàn)高質(zhì)量的3D計算機(jī)生成全息圖。

全息近眼顯示器通常是利用單個空間光調(diào)制器（SLM）來合成3D強(qiáng)度分布，并通過明亮且節(jié)能的激光器產(chǎn)生相干照明。全息術(shù)的基本原理在70多年前就已經(jīng)發(fā)展起來，但高質(zhì)量的全息圖一直以來都是通過光記錄技術(shù)實現(xiàn)。以高效利用SLM來生成高質(zhì)量數(shù)字全息圖的主要挑戰(zhàn)是用于計算機(jī)生成全息（CGH）的算法。傳統(tǒng)的CGH算法依賴于模擬的波傳播模型，但由于無法充分代表近眼顯示器的物理光學(xué)，所以可實現(xiàn)的質(zhì)量存在嚴(yán)重的限制。

斯坦福大學(xué)團(tuán)隊希望充分挖掘新興全息近眼顯示在合成高質(zhì)量3D全息圖方面的潛力，而實現(xiàn)這一目標(biāo)所需的關(guān)鍵技術(shù)是一個精確且可微的平面到多平面正向波傳播模型。其中，所述模型能夠充分模擬顯示器的物理光學(xué)，并實現(xiàn)高質(zhì)量的3D計算機(jī)生成全息圖。

如上圖所示，基于VR和AR顯示原型的廣泛實驗證明了所述方法的有效性。在與一系列的方法進(jìn)行對比時，團(tuán)隊提出的方法（ADMM-CNNpropCNN）能夠?qū)崿F(xiàn)優(yōu)異的圖像質(zhì)量。

1. 基于3D神經(jīng)網(wǎng)絡(luò)的波傳播模型

研究人員選擇了菲涅耳全息圖配置，其中準(zhǔn)直相干激光束入射到僅相位SLM，以每像素方式延遲源場Usrc的相位。任何CGH算法的任務(wù)都是為目標(biāo)2D或3D強(qiáng)度分布確定最佳SLM相位模式∈ R M×N，即全息圖。模擬復(fù)波從一個平面?zhèn)鞑サ搅硪粋€平面（例如SLM到目標(biāo)平面）的流行模型是角譜法（ASM）。

團(tuán)隊結(jié)合經(jīng)典角譜方法（ASM）與卷積神經(jīng)網(wǎng)絡(luò)（CNN），并使用了隨機(jī)梯度下降（SGD）變量，從而提出了一種名為SGDASM的函數(shù)來計算二維或多平面三維全息圖。

諸如ASM的分析模型非常適合模擬。然而，它們通常不能很好地表示物理光學(xué)系統(tǒng)的真實波傳播算符。如光學(xué)像差、SLM的相位非線性、雜散光或SLM的有限衍射效率等微小缺陷都使得ASM難以開箱即用，校準(zhǔn)所有可能的缺陷源是一項繁瑣或不可能的任務(wù)。

為了克服所述挑戰(zhàn)，學(xué)界早前提出了二維平面波傳播的神經(jīng)網(wǎng)絡(luò)參數(shù)化模型，將CNN應(yīng)用到強(qiáng)度以執(zhí)行從理想預(yù)測圖像到捕獲圖像的圖像到圖像的轉(zhuǎn)換。但相關(guān)方法在各自正向模型的精度或其梯度，又或是兩者都受到限制。

現(xiàn)有的方法都不能自然地擴(kuò)展到3D。所以，斯坦福大學(xué)的研究人員提出了一種結(jié)合先前方法優(yōu)點，同時能夠自然有效地將它們擴(kuò)展到三維多平面環(huán)境的全新波傳播模型。他們將能夠與所述模型結(jié)合使用，并能夠促進(jìn)RGBD目標(biāo)圖像復(fù)波場平滑度的近端梯度解算器的方法稱為ADMM-CNNpropCNN。

上圖是團(tuán)隊提出的3D波傳播模型和RGBD監(jiān)控策略的說明。SLM顯示的相位模式由CNN處理。由此產(chǎn)生的復(fù)波場使用常規(guī)ASM波傳播算子傳播到所有目標(biāo)平面。每個目標(biāo)平面的波場由較小的CNN再次處理。損失函數(shù)約束目標(biāo)平面的遮罩振幅，以匹配遮罩目標(biāo)RGB圖像，其中每個目標(biāo)平面的二值遮罩都是根據(jù)目標(biāo)深度貼圖計算。

為了訓(xùn)練CNN參數(shù)化模型，團(tuán)隊使用攝像頭捕捉了多對SLM相位圖以及由此產(chǎn)生的單平面或多平面強(qiáng)度。他們沒有使用隨機(jī)相位，而是使用傳統(tǒng)的CGH算法生成相位模式池。具體來說，對于8個目標(biāo)平面中的每一個，其使用DPAC算法生成100個相位模式，使用SGD從數(shù)據(jù)集的隨機(jī)圖像生成1000個相位模式。對于SGD優(yōu)化的相位，研究人員同時隨機(jī)化迭代次數(shù)，并使用隨機(jī)相位值初始化相位模式。因此，訓(xùn)練數(shù)據(jù)總共包括8800個相位模式和相應(yīng)的捕獲強(qiáng)度圖像。

他們?nèi)缓笫褂肞ytork中的ADAM解算器優(yōu)化模型參，并為三個顏色通道中的每一個分別優(yōu)化一個模型。

一經(jīng)訓(xùn)練，團(tuán)隊可以使用波傳播模型計算二維或多平面三維目標(biāo)圖像的相位模式，方法是使用fCNNpropCNN求解方程，而不是使用SGD求解fASM，因為后者是一種種迭代方法，需要幾十秒或幾分鐘才能完成，所以并非實時。

當(dāng)與3D多平面全息顯示模式一起使用時，最簡單的方法是使用目標(biāo)場景的渲染焦點堆棧同時約束所有平面。但由于幾個原因，這種方法并不理想。第一，它需要渲染目標(biāo)場景的焦點堆棧，這在計算成本方面非常昂貴。第二，使用焦點疊加對系統(tǒng)進(jìn)行監(jiān)控會限制系統(tǒng)。第三，它要求對系統(tǒng)的散焦模糊進(jìn)行顯式建模，以便渲染焦點堆棧。這不是小事，因為如果要確保這種散焦模糊感知正確，你必須追蹤用戶的瞳孔直徑，亦即需要額外的系統(tǒng)復(fù)雜性。如果要模擬全息顯示自然支持的散焦模糊，就必須考慮SLM的空間-帶寬積。另外，相干波場的物理散焦行為并不直觀，與我們在自然環(huán)境中通?？吹降姆窍喔晒獠煌?/p>

為了緩解所述挑戰(zhàn)，研究團(tuán)隊提出了一種計算效率高的方法：只需要目標(biāo)場景的RGBD圖像，而不是多平面體或焦點堆棧。深度圖可用于所有計算機(jī)生成內(nèi)容，并且可以使用稱為單目深度估計的計算機(jī)視覺技術(shù)對攝影內(nèi)容進(jìn)行近似。使用RGBD圖像進(jìn)行多平面全息術(shù)并非新鮮事，只需要將深度貼圖的值量化到最近的全息顯示平面。所以，所有目標(biāo)平面j上的每個像素位置僅對其中一個目標(biāo)深度平面進(jìn)行約束–最接近該位置對應(yīng)深度值的一個。

2. 實驗對比

圖4顯示了實驗捕獲的若干測試圖像。團(tuán)隊比較了一系列不同方法獲得的結(jié)果：

如圖所示，團(tuán)隊的模型提供了最佳的對比度、清晰度、無斑點瑕疵和整體圖像質(zhì)量。

圖5是多平面3D場景的實驗捕獲結(jié)果，每個場景分別聚焦在近距離、中間距離和遠(yuǎn)距離。同樣，團(tuán)隊的模型提供了最佳的對焦和離焦圖像質(zhì)量，散斑顯著減少。

3. 總結(jié)討論

總的來說，團(tuán)隊提出了一種全新的全息近眼顯示波傳播模型。模型由神經(jīng)網(wǎng)絡(luò)參數(shù)化，并使用攝像頭反饋從物理光學(xué)系統(tǒng)捕獲的圖像進(jìn)行自動訓(xùn)練。所述模型在二維平面到平面設(shè)置方面明顯優(yōu)于相關(guān)技術(shù)，并實現(xiàn)了高質(zhì)量的三維計算機(jī)生成全息圖。

另外，團(tuán)隊證明了我們模型的3D變體可以直接使用RGBD目標(biāo)圖像進(jìn)行監(jiān)督。為了約束三維全息圖的離焦行為（不受RGBD圖像的直接約束），團(tuán)隊提出了一種聚焦時波場相位分量的正則化策略，以及有效實施這種正則化的優(yōu)化器。對VR和AR原型顯示器的廣泛實驗評估證明了方法的有效性優(yōu)于現(xiàn)有方法。

當(dāng)然，團(tuán)隊同時承認(rèn)了研究的局限性。例如，他們主要是開發(fā)準(zhǔn)確高效的神經(jīng)網(wǎng)絡(luò)（全息近眼顯示的參數(shù)化波傳播模型），而不是實時全息圖像合成。另外，原型使用了最先進(jìn)的純相位SLM，但遺憾的是，所述SLM只能為光學(xué)系統(tǒng)提供非常有限的功能。實際上，這意味著全息近眼顯示器的視窗很小。

對于未來，團(tuán)隊將嘗試?yán)^續(xù)優(yōu)化研究，并嘗試解決一系列的局限。

相關(guān)論文：Neural 3D holography: learning accurate wave propagation models for 3D holographic virtual and augmented reality displays

具體而言，論文的貢獻(xiàn)如下：

-提出了一個用于全息近眼顯示中波傳播的可微分?jǐn)z像頭校準(zhǔn)模型。所述模型比以前的2D設(shè)置更準(zhǔn)確地表示物理光學(xué)。

• 開發(fā)了一種3D多平面CGH優(yōu)化策略，可顯著減少離焦區(qū)域的散斑。所述策略對聚焦區(qū)域的相位設(shè)置分段平滑約束，并使用近端梯度解算器對其進(jìn)行優(yōu)化

• 使用虛擬現(xiàn)實和增強(qiáng)現(xiàn)實顯示原型評估我們的方法，并展示了迄今為止最高質(zhì)量的2D和3D全息顯示結(jié)果。

---
原文鏈接：https://news.nweon.com/93372