神經(jīng)輻射場NeRF三維重建入門
神經(jīng)三維形狀表示? ? 最近的工作研究了通過優(yōu)化將
坐標(biāo)映射到有符號距離函數(shù)(15,32)或occupancy fields(11,27)的深層網(wǎng)絡(luò),將連續(xù)3D形狀隱式表示為level sets。然而,這些模型受限于要獲取真值三維幾何體,這些幾何體通常是從ShapeNet等合成三維形狀數(shù)據(jù)集獲得的。隨后的工作通過制定可微分的渲染函數(shù)放松了對真值3D形狀的要求,該函數(shù)允許僅使用2D圖像優(yōu)化神經(jīng)隱式形狀表示。Niemeyer等人[29]將曲面表示為3D occupancy fields,并使用數(shù)值方法找到每條光線的曲面交點,然后使用隱式微分計算精確導(dǎo)數(shù)。每個光線相交位置都作為神經(jīng)3D紋理場的輸入,該紋理場預(yù)測該點的漫反射顏色。Sitzmann等人[42]使用了一種不太直接的神經(jīng)3D表示法,只需在每個連續(xù)3D坐標(biāo)處輸出一個特征向量和RGB顏色,并提出了一種可微分的渲染函數(shù),該函數(shù)由沿每條射線行進(jìn)的遞歸神經(jīng)網(wǎng)絡(luò)組成,以確定曲面的位置。
雖然這些技術(shù)可能表示復(fù)雜和高分辨率的幾何體,但迄今為止,它們僅限于幾何復(fù)雜度較低的簡單形狀,導(dǎo)致渲染過平滑。我們表明,優(yōu)化網(wǎng)絡(luò)以編碼5D輻射場(具有2D視圖相關(guān)的外觀的3D體積,3D volumes with 2D view-dependent appearance)的替代策略可以表示更高分辨率的幾何體和外觀,以渲染復(fù)雜場景的照片級真實感新視圖。