作者：小檸檬 | 來源：3DCV

在公眾號(hào)「3DCV」后臺(tái)，回復(fù)「原論文」可獲取論文pdf和代碼鏈接

添加微信：dddvisiona，備注：三維重建，拉你入群。文末附行業(yè)細(xì)分群

1.摘要

傳統(tǒng)的三維形狀表示方法存在離散化和內(nèi)存占用等問題，而基于深度學(xué)習(xí)的方法在恢復(fù)三維幾何結(jié)構(gòu)方面取得了顯著的進(jìn)展。然而，這些方法的離散形狀表示受到空間分辨率和內(nèi)存占用的限制。因此，本文提出了一種新的三維形狀表示方法，即射線-表面距離場(chǎng)（RayDF），通過學(xué)習(xí)射線與表面之間的距離來表示三維形狀。與現(xiàn)有的基于坐標(biāo)和射線的方法相比，RayDF具有更高的效率和更準(zhǔn)確的三維幾何重建能力。同時(shí)，本文還引入了多視角一致性優(yōu)化模塊，以提高學(xué)習(xí)到的射線-表面距離場(chǎng)在不同視角下的一致性。通過在多個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)證明，RayDF方法在三維形狀重建的準(zhǔn)確性和效率方面優(yōu)于現(xiàn)有的方法。

2.研究思路

本研究的研究思路是通過神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)三維形狀的表面距離，并保持多視角一致性。我們提出了一種稱為RayDF的方法，它包括三個(gè)關(guān)鍵組件：

• 主要的射線-表面距離網(wǎng)絡(luò)

• 輔助的雙射線可見性分類器

• 多視角一致性優(yōu)化模塊

3.貢獻(xiàn)

• 我們采用了直觀的射線-表面距離場(chǎng)來表示三維形狀，這種表示方法比現(xiàn)有的基于坐標(biāo)的表示更高效。

• 我們?cè)O(shè)計(jì)了一種新的雙射線可見性分類器，用于學(xué)習(xí)任意一對(duì)射線的空間關(guān)系，使學(xué)到的射線-表面距離場(chǎng)具有多視角幾何一致性。

• 我們?cè)诙鄠€(gè)數(shù)據(jù)集上展示了優(yōu)越的三維形狀重建準(zhǔn)確性和效率，相比于現(xiàn)有的基于坐標(biāo)和基于射線的基線方法，取得了顯著更好的結(jié)果。

4.研究問題的解決方法

通過訓(xùn)練主要的射線-表面距離網(wǎng)絡(luò)和輔助的雙射線可見性分類器，并引入多視角一致性優(yōu)化模塊來訓(xùn)練這兩個(gè)網(wǎng)絡(luò)。具體而言，我們的訓(xùn)練模塊包括兩個(gè)階段：

• 階段1：訓(xùn)練雙射線可見性分類器。關(guān)鍵是創(chuàng)建正確的數(shù)據(jù)對(duì)，將原始深度值轉(zhuǎn)換為射線-表面距離值，并生成射線對(duì)和0/1標(biāo)簽。采用標(biāo)準(zhǔn)的交叉熵?fù)p失函數(shù)來優(yōu)化雙射線可見性分類器。

• 階段2：訓(xùn)練射線-表面距離網(wǎng)絡(luò)。將所有深度圖像轉(zhuǎn)換為射線-表面距離，為特定的3D場(chǎng)景生成訓(xùn)練射線-距離對(duì)。通過采樣多視角射線并利用訓(xùn)練好的可見性分類器，優(yōu)化射線-表面距離網(wǎng)絡(luò)，使其不僅適應(yīng)已見射線的距離，還能準(zhǔn)確估計(jì)未見射線的距離，從而實(shí)現(xiàn)多視角一致性。

5.RayDF網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練過程

網(wǎng)絡(luò)結(jié)構(gòu)

RayDF模型包括主要的射線-表面距離網(wǎng)絡(luò)、輔助的雙射線可見性分類器和多視角一致性優(yōu)化模塊。

訓(xùn)練過程

第一階段是訓(xùn)練雙射線可見性分類器

首先，將所有原始深度值轉(zhuǎn)換為射線-表面距離值。對(duì)于第k張圖像中的第i條射線（像素），將其射線-表面點(diǎn)投影回剩余的（K-1）個(gè)掃描中，得到相應(yīng)的（K-1）個(gè)距離值。設(shè)置10毫米作為接近閾值，確定投影的（K-1）條射線在（K-1）個(gè)圖像中是否可見?？偣采蒏* H * W * (K-1)對(duì)射線，以及0/1標(biāo)簽。采用標(biāo)準(zhǔn)的交叉熵?fù)p失函數(shù)來優(yōu)化雙射線可見性分類器。推薦三維重建課程基于深度學(xué)習(xí)的三維重建MVSNet系列 [論文+源碼+應(yīng)用+科研]

第二階段是訓(xùn)練射線-表面距離網(wǎng)絡(luò)

首先，將所有深度圖像轉(zhuǎn)換為射線-表面距離，為特定的3D場(chǎng)景生成K * H * W個(gè)訓(xùn)練射線-距離對(duì)。然后，對(duì)于特定的訓(xùn)練射線，稱為主射線，我們?cè)谝员砻纥c(diǎn)p為球心的球中均勻采樣M條射線，稱為多視角射線。

然后，計(jì)算表面點(diǎn)p與沿著每條多視角射線的邊界球之間的距離，得到多視角距離。

接下來，建立M對(duì)射線并將它們輸入到訓(xùn)練好的可見性分類器中，推斷它們的可見性得分。

然后，將主射線和所有采樣的M條多視角射線輸入到射線-表面距離網(wǎng)絡(luò)中，估計(jì)它們的表面距離。

最后，使用多視角一致性損失函數(shù)來（公式如下）優(yōu)化射線-表面距離網(wǎng)絡(luò)，使其不僅適應(yīng)主射線的表面距離，還滿足可見的多視角射線也具有準(zhǔn)確的距離估計(jì)。

6.創(chuàng)新點(diǎn)

主要體現(xiàn)在以下幾個(gè)方面：

• 提出了一種新的神經(jīng)網(wǎng)絡(luò)模型，稱為RayDF，用于學(xué)習(xí)三維場(chǎng)景的表面距離。與傳統(tǒng)的基于點(diǎn)云或體素的方法不同，RayDF利用射線與表面的交點(diǎn)來表示場(chǎng)景的幾何形狀，從而更準(zhǔn)確地捕捉細(xì)節(jié)和形狀變化。

• 引入了多視角一致性約束，通過訓(xùn)練網(wǎng)絡(luò)來學(xué)習(xí)不同視角下的一致性信息。這種約束可以提高模型在新視角下的泛化能力，使其能夠更好地處理未見過的場(chǎng)景。

• 提出了雙射線可見性分類器，用于判斷射線是否與表面相交。這個(gè)分類器可以幫助網(wǎng)絡(luò)學(xué)習(xí)更準(zhǔn)確的表面距離，并提高模型在測(cè)試階段的性能。

• 在實(shí)驗(yàn)中，本研究在多個(gè)真實(shí)世界的三維數(shù)據(jù)集上進(jìn)行了評(píng)估，并與其他基線方法進(jìn)行了比較。

7.實(shí)驗(yàn)方法

本研究采用了兩組實(shí)驗(yàn)方法進(jìn)行評(píng)估。第一組實(shí)驗(yàn)方法是基于多視角深度圖像的三維形狀表示。在這組實(shí)驗(yàn)中，我們使用了多視角深度圖像作為輸入，通過訓(xùn)練模型來學(xué)習(xí)三維場(chǎng)景的形狀表示。我們與其他基線方法進(jìn)行了比較，包括OF、DeepSDF、NDF、NeuS、DS-NeRF、LFN和PRIF。通過對(duì)六個(gè)ScanNet數(shù)據(jù)集場(chǎng)景的評(píng)估，我們發(fā)現(xiàn)我們的方法在ADE指標(biāo)上表現(xiàn)明顯優(yōu)于其他方法，展示了我們方法在顯式表面恢復(fù)方面的明顯優(yōu)勢(shì)。第二組實(shí)驗(yàn)方法是基于多視角RGB圖像和深度圖像的三維形狀和外觀表示。在這組實(shí)驗(yàn)中，我們使用了多視角RGB圖像和深度圖像作為輸入，通過訓(xùn)練模型來學(xué)習(xí)三維場(chǎng)景的形狀和外觀表示。我們與NeuS、DS-NeRF、LFN和PRIF等基線方法進(jìn)行了比較。通過對(duì)DM-SR數(shù)據(jù)集的評(píng)估，我們發(fā)現(xiàn)我們的方法在ADE指標(biāo)上再次超越了所有基線方法，展示了我們方法在形狀恢復(fù)方面的優(yōu)勢(shì)。同時(shí)，我們的方法在PSNR、SSIM和LPIPS等指標(biāo)上也取得了可比較的性能。

8.結(jié)論

本文的研究旨在提出一種稱為RayDF的方法，用于準(zhǔn)確地表示三維形狀。該方法基于射線-表面距離場(chǎng)的概念，通過訓(xùn)練一個(gè)主要的射線-表面距離網(wǎng)絡(luò)和一個(gè)輔助的雙射線可見性分類器，以及一個(gè)多視角一致性優(yōu)化模塊來實(shí)現(xiàn)。主要網(wǎng)絡(luò)直接將射線作為輸入，并推斷射線起點(diǎn)與其在表面上的擊中點(diǎn)之間的距離。輔助網(wǎng)絡(luò)則以一對(duì)射線作為輸入，并預(yù)測(cè)它們的相互可見性。通過訓(xùn)練輔助網(wǎng)絡(luò)，可以有效地利用學(xué)到的雙射線可見性來訓(xùn)練主網(wǎng)絡(luò)，從而使學(xué)到的射線-表面距離在任何已見或未見的視角下保持多視角一致性。研究結(jié)果表明，相比于現(xiàn)有的基于坐標(biāo)的表示方法，RayDF方法在效率上具有優(yōu)勢(shì)，而相比于現(xiàn)有的基于射線的方法，RayDF方法在學(xué)習(xí)準(zhǔn)確的三維幾何形狀方面表現(xiàn)出色。在多個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)證明了RayDF方法在三維形狀重建的準(zhǔn)確性和效率方面的優(yōu)越性。