作者：小張Tt | 來(lái)源：3DCV

在公眾號(hào)「3DCV」后臺(tái)，回復(fù)「原論文」可獲取論文pdf和代碼鏈接

添加微信：dddvisiona，備注：三維重建，拉你入群。文末附行業(yè)細(xì)分群

本文介紹了一種新穎的基于網(wǎng)格的NeRF（神經(jīng)輻射場(chǎng)）模型，命名為F2NeRF（Fast-Free-NeRF），用于新視角合成。該模型能夠處理任意輸入的相機(jī)軌跡，并且只需要幾分鐘進(jìn)行訓(xùn)練?，F(xiàn)有的快速網(wǎng)格化NeRF訓(xùn)練框架，如Instant-NGP、Plenoxels、DVGO或TensoRF，主要設(shè)計(jì)用于有界場(chǎng)景，并依賴于空間扭曲來(lái)處理無(wú)界場(chǎng)景。已有的兩種廣泛使用的空間扭曲方法僅設(shè)計(jì)用于前向軌跡或360°對(duì)象中心軌跡，但無(wú)法處理任意軌跡。本文深入研究了空間扭曲處理無(wú)界場(chǎng)景的機(jī)制。根據(jù)作者的分析，作者進(jìn)一步提出了一種新穎的空間扭曲方法，稱為透視扭曲（perspective warping），允許在基于網(wǎng)格的NeRF框架中處理任意軌跡。大量實(shí)驗(yàn)證明，F(xiàn)2-NeRF能夠使用相同的透視扭曲方法在兩個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集和作者收集的新的自由軌跡數(shù)據(jù)集上渲染出高質(zhì)量的圖像。

讀者理解：

本文提出很有創(chuàng)新性和實(shí)用性。本文提出了一種基于網(wǎng)格的NeRF模型，叫做F2-NeRF，可以用任意的相機(jī)軌跡來(lái)合成新的視角，而且訓(xùn)練時(shí)間只需要幾分鐘。它還提出了一種新的空間變形方法，叫做透視變形，可以處理無(wú)界的場(chǎng)景。它在兩個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集和一個(gè)自己收集的自由軌跡數(shù)據(jù)集上進(jìn)行了大量的實(shí)驗(yàn)，證明了它的效果和效率。它的主要貢獻(xiàn)有：

• F2-NeRF模型：它是一個(gè)基于網(wǎng)格的NeRF模型，可以用任意的相機(jī)軌跡來(lái)合成新的視角，而且訓(xùn)練時(shí)間只需要幾分鐘。它利用了一種高效的采樣策略和一種梯度縮放的技巧，提高了渲染質(zhì)量和速度。

• 透視變形方法：它是一種新的空間變形方法，可以處理無(wú)界的場(chǎng)景。它根據(jù)相機(jī)的位置和方向，將網(wǎng)格沿著視線方向進(jìn)行拉伸或壓縮，使得網(wǎng)格能夠覆蓋更多的場(chǎng)景空間，避免了空洞和失真的問(wèn)題。

• 自由軌跡數(shù)據(jù)集：它是一個(gè)自己收集的自由軌跡數(shù)據(jù)集，包含了不同的場(chǎng)景和相機(jī)運(yùn)動(dòng)。它用于測(cè)試F2-NeRF模型在任意軌跡下的表現(xiàn)，以及和其他基于網(wǎng)格的NeRF模型的比較。

1 引言

本文介紹了F2-NeRF，這是第一個(gè)能夠在大型無(wú)界場(chǎng)景中適應(yīng)自由相機(jī)軌跡的快速NeRF訓(xùn)練方法。在現(xiàn)有基于網(wǎng)格的方法的基礎(chǔ)上，F(xiàn)2NeRF采用透視扭曲的通用空間扭曲方案，允許處理任意相機(jī)軌跡。透視扭曲通過(guò)將3D點(diǎn)的投影的2D坐標(biāo)映射到緊湊的3D子空間，是對(duì)現(xiàn)有NDC扭曲和反球體扭曲的泛化。為了在基于網(wǎng)格的NeRF框架中實(shí)現(xiàn)透視扭曲，文中提出了一種自適應(yīng)的空間細(xì)分算法，以有效地利用粗網(wǎng)格和細(xì)網(wǎng)格來(lái)表示背景和前景區(qū)域。大量實(shí)驗(yàn)證明，F(xiàn)2-NeRF在無(wú)界前向、無(wú)界360°對(duì)象中心和新的無(wú)界自由軌跡數(shù)據(jù)集上使用相同的透視扭曲渲染出高質(zhì)量的圖像，且在自由軌跡數(shù)據(jù)集上的性能優(yōu)于基線基于網(wǎng)格的NeRF方法，且僅需約12分鐘的2080Ti GPU訓(xùn)練時(shí)間。在這里推薦工坊課程基于深度學(xué)習(xí)的三維重建MVSNet系列論文+源碼+應(yīng)用+科研

2 相關(guān)工作

本文涉及新視角合成（NVS）和神經(jīng)場(chǎng)景表示領(lǐng)域的相關(guān)工作。在NVS方面，研究主要集中在利用光圖和光場(chǎng)函數(shù)直接插值輸入圖像，以及通過(guò)3D重建提高合成圖像質(zhì)量。F2-NeRF致力于通過(guò)神經(jīng)表示解決NVS任務(wù)。在神經(jīng)場(chǎng)景表示方面，以NeRF為代表的方法被廣泛用于新視角合成、重新照明、場(chǎng)景泛化、形狀表示和多視圖重建等任務(wù)。F2-NeRF采用了細(xì)分場(chǎng)景和混合神經(jīng)場(chǎng)景表示以實(shí)現(xiàn)快速訓(xùn)練和高質(zhì)量渲染。此外，本文還討論了基于網(wǎng)格的NeRF訓(xùn)練方法，指出了空間扭曲的問(wèn)題，并提出了透視扭曲來(lái)處理任意相機(jī)軌跡。最后，指出F2-NeRF適用于小規(guī)模場(chǎng)景，有望成為大規(guī)模NeRF中的重要組成部分。

3 方法

本文提出了一種名為F2-NeRF的方法，旨在解決在未界定場(chǎng)景中進(jìn)行新視角合成任務(wù)的問(wèn)題。以下是本文采用的主要方法：

• 空間扭曲函數(shù) F(x)：為了在無(wú)界場(chǎng)景中構(gòu)建基于網(wǎng)格的神經(jīng)表示，引入了空間扭曲函數(shù) F(x)，將無(wú)界空間映射到有界區(qū)域。透過(guò)透視扭曲，該方法能夠?qū)⑾鄼C(jī)射線上采樣的點(diǎn)映射到扭曲空間。

• 透視扭曲函數(shù)構(gòu)建（Perspective Warping）：通過(guò)對(duì)透視扭曲函數(shù)的詳細(xì)構(gòu)建，作者通過(guò)引入問(wèn)題1，使用了主成分分析（PCA）方法，構(gòu)建了一個(gè)近似的合適的三維透視扭曲函數(shù) F(x)。該函數(shù)將原始三維空間映射到一個(gè)以原點(diǎn)為中心的扭曲空間，提供了一種有效的場(chǎng)景表示。

• 空間細(xì)分：為了在透視扭曲中有效應(yīng)用 F(x)，引入了自適應(yīng)的空間細(xì)分策略。使用八叉樹數(shù)據(jù)結(jié)構(gòu)，將空間劃分為不同的區(qū)域，使得每個(gè)區(qū)域都有一個(gè)相應(yīng)的透視扭曲函數(shù)。這樣，相同區(qū)域內(nèi)的可見(jiàn)相機(jī)相同，而不同區(qū)域則具有不同的可見(jiàn)相機(jī)。

• 場(chǎng)景表示：為了避免參數(shù)數(shù)量過(guò)多，作者采用了一種基于哈希網(wǎng)格的方法，使用多個(gè)哈希函數(shù)在扭曲空間上建立了表示。這種方法有效地減少了參數(shù)數(shù)量，同時(shí)能夠處理不同區(qū)域的場(chǎng)景表示。

• 透視采樣和渲染：使用透視扭曲函數(shù)提供的指導(dǎo)，進(jìn)行了透視采樣，通過(guò)體積渲染框架生成像素顏色。在渲染階段，采樣的密度和顏色從多分辨率哈希網(wǎng)格中獲取。

• 訓(xùn)練過(guò)程：文中定義了訓(xùn)練損失，包括顏色重建損失、視差損失和總變差損失。這些損失用于訓(xùn)練模型，使其能夠準(zhǔn)確地重建顏色、限制視差，并在相鄰八叉樹節(jié)點(diǎn)之間保持一致的密度和顏色。

總體而言，F(xiàn)2-NeRF方法通過(guò)引入透視扭曲函數(shù)和自適應(yīng)的空間細(xì)分策略，以及基于哈希網(wǎng)格的場(chǎng)景表示方法，有效地解決了在未界定場(chǎng)景中進(jìn)行新視角合成的問(wèn)題。

4 實(shí)驗(yàn)

本研究旨在解決未界定場(chǎng)景下的新視角合成任務(wù)，使用了一種名為F2-NeRF的方法進(jìn)行實(shí)驗(yàn)評(píng)估。主要內(nèi)容包括：

• 實(shí)驗(yàn)設(shè)置：使用三個(gè)數(shù)據(jù)集進(jìn)行評(píng)估：自采集的自由軌跡數(shù)據(jù)集、LLFF數(shù)據(jù)集和NeRF-360-V2數(shù)據(jù)集。采用PSNR、SSIM和LPIPSVGG三個(gè)指標(biāo)進(jìn)行評(píng)估。比較了F2-NeRF與現(xiàn)有快速NeRF訓(xùn)練方法以及其他基線模型的性能。

• 比較研究：在自由數(shù)據(jù)集上，F(xiàn)2-NeRF在渲染質(zhì)量上表現(xiàn)最優(yōu)。定性比較顯示，DVGO和Plenoxels的合成圖像模糊不清，而Instant-NGP的結(jié)果雖然銳利但場(chǎng)景空間組織不平衡。相比之下，F(xiàn)2-NeRF利用透視扭曲和自適應(yīng)空間細(xì)分充分發(fā)揮了表示能力，生成了更好的渲染質(zhì)量。

• 消融研究：在“pillar”數(shù)據(jù)上進(jìn)行了消融研究。使用多分辨率哈希網(wǎng)格作為場(chǎng)景表示，變換扭曲函數(shù)和采樣策略進(jìn)行實(shí)驗(yàn)。結(jié)果表明，使用透視扭曲和透視采樣的模型性能最佳，顯示出透視扭曲在自由軌跡數(shù)據(jù)集上的有效性。

研究表明，F(xiàn)2-NeRF方法在自由軌跡下具有良好的渲染質(zhì)量，在透視扭曲和空間細(xì)分策略上取得了顯著效果，為未界定場(chǎng)景下的新視角合成任務(wù)提供了新的有效解決方案。

5 總結(jié)

在未界定場(chǎng)景的新視角合成任務(wù)中，先前的NeRF方法主要依賴于NDC扭曲或逆球面扭曲來(lái)處理前向相機(jī)軌跡或360度對(duì)象中心軌跡。本文對(duì)空間扭曲函數(shù)進(jìn)行了深入分析，并提出了一種新穎的透視扭曲方法，能夠處理任意輸入相機(jī)軌跡。基于透視扭曲，作者在基于網(wǎng)格的NeRF框架中開發(fā)了一種新的F2-NeRF方法。大量實(shí)驗(yàn)證明，所提出的F2-NeRF能夠在僅需數(shù)分鐘的訓(xùn)練時(shí)間內(nèi)渲染出高質(zhì)量的圖像，且適用于任意軌跡。