本文主要介紹了神經(jīng)渲染和3D形狀重建領(lǐng)域的相關(guān)工作。早期的神經(jīng)渲染技術(shù)通過將3D信號(hào)投射到2D圖像平面，并訓(xùn)練2D卷積神經(jīng)網(wǎng)絡(luò)將投射信號(hào)映射到最終輸出圖像來進(jìn)行渲染。然而，這種方法沒有對3D空間進(jìn)行顯式的物理建模，導(dǎo)致在合成新視角時(shí)性能瓶頸。最近的基于體素渲染的方法通過在隱式神經(jīng)函數(shù)中存儲(chǔ)場景的密度和輻射值來解決這個(gè)問題，并實(shí)現(xiàn)了合成新視角。然而，這些方法在進(jìn)行體素采樣時(shí)需評(píng)估隱式函數(shù)數(shù)千次，導(dǎo)致訓(xùn)練和推理效率低下。為了加速NeRFs，研究人員提出了許多方法，如使用代理場景結(jié)構(gòu)或表面信息來降低空白區(qū)域樣本數(shù)量，或通過與高效數(shù)據(jù)結(jié)構(gòu)的結(jié)合來改善推理和訓(xùn)練速度。然而，這些方法缺乏明確的表面約束，可能導(dǎo)致視角變化下視圖合成的魯棒性不足，同時(shí)在現(xiàn)代圖形渲染流程和場景編輯方面存在難題。在戶外場景中，一些研究人員嘗試將NeRF擴(kuò)展到戶外，但仍然依賴昂貴的體素采樣，浪費(fèi)了大量計(jì)算資源。在3D形狀重建方面，經(jīng)典的流程通常是通過結(jié)構(gòu)運(yùn)動(dòng)估計(jì)相機(jī)位姿，然后利用多視圖立體恢復(fù)深度。隱式場方法通常更加魯棒，但從表示中提取網(wǎng)格需要昂貴的等值面提取步驟。之前的一些工作嘗試使用可變形網(wǎng)格進(jìn)行形狀重建和渲染，但這些技術(shù)對實(shí)際嘈雜的數(shù)據(jù)敏感且通常局限于對象級(jí)的形狀優(yōu)化。

為了有效地參數(shù)化大規(guī)模城市輻射場，作者提出了可變形神經(jīng)網(wǎng)格基元（DNMP）。DNMP是經(jīng)典網(wǎng)格表示的神經(jīng)變種，它兼具基于光柵化的高效渲染和強(qiáng)大的神經(jīng)表示能力。DNMP能夠以一種富有表現(xiàn)力和緊湊的方式建模局部三維空間的幾何和輻射信息，而整個(gè)輻射場由一系列DNMP層次性地構(gòu)成。

本節(jié)介紹了可變形神經(jīng)網(wǎng)格基元（DNMP），用于參數(shù)化整個(gè)場景，并且利用神經(jīng)特征的輻射表示能力。DNMP包含了一組可變形的網(wǎng)格頂點(diǎn)和可學(xué)習(xí)的頂點(diǎn)輻射特征。為了限制形狀優(yōu)化的自由度，使用自編碼器對原始形狀進(jìn)行參數(shù)化。形狀編碼器將不同形狀網(wǎng)格的幾何信息編碼為緊湊的潛碼，形狀解碼器將潛碼解碼為DNMP的頂點(diǎn)。編碼后的輻射信息通過光柵化快速獲取，從而提高了輻射場的視角一致性。

本節(jié)介紹了基于DNMP的場景表示方法。通過為場景中的每個(gè)體素分配一個(gè)DNMP來表征其幾何和輻射信息。通過優(yōu)化潛碼，利用估計(jì)的深度圖和預(yù)訓(xùn)練的形狀解碼器，作者可以獲得幾何形狀的優(yōu)化結(jié)果。為了應(yīng)對室外環(huán)境中的缺失部分，作者使用分層表示方法，并通過對不同層級(jí)的體素進(jìn)行初始化和優(yōu)化來處理缺失區(qū)域。

本節(jié)主要介紹了輻射建模和視圖合成的過程。通過柵格化和輻射特征插值，作者收集與像素渲染相關(guān)的特征。利用視圖依賴因子和輻射特征，通過神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測，得到渲染點(diǎn)的輻射值和不透明度。通過混合不同層級(jí)的渲染結(jié)果，作者可以更好地保留紋理細(xì)節(jié)。在訓(xùn)練中，作者利用相機(jī)圖像來監(jiān)督輻射特征學(xué)習(xí)。然而，對于非結(jié)構(gòu)化區(qū)域，作者采用了Mip-NeRF方法來處理。整體而言，該方法能夠較好地處理場景渲染并保留紋理細(xì)節(jié)。

本研究提出了一種基于深度網(wǎng)絡(luò)和點(diǎn)云的新穎視圖合成方法。在實(shí)驗(yàn)中，作者使用了兩個(gè)城市數(shù)據(jù)集（KITTI-360和Waymo Open Dataset）進(jìn)行評(píng)估。評(píng)估指標(biāo)包括峰值信噪比（PSNR）、結(jié)構(gòu)相似性指數(shù)（SSIM）和學(xué)習(xí)感知圖像塊相似性（LPIPS）。通過消融實(shí)驗(yàn)，作者驗(yàn)證了所提出方法的有效性。此外，作者還與其他基線方法進(jìn)行了比較，并展示了所提出方法的競爭性能。作者還分析了方法的效率，并證明了其相對較高的效率。最后，作者展示了方法在場景編輯方面的應(yīng)用。這里也推薦「3D視覺工坊」新課程《徹底搞透視覺三維重建：原理剖析、代碼講解、及優(yōu)化改進(jìn)》。

本研究提出了一種基于Deformable Neural Mesh Primitives (DNMPs)的新穎神經(jīng)場景表示方法，用于城市視圖合成。該方法結(jié)合了經(jīng)典網(wǎng)格的高效性和神經(jīng)特征的表示能力。整個(gè)場景被分割成體素，并為每個(gè)體素分配一個(gè)DNMP來參數(shù)化局部區(qū)域的幾何和輻輝。通過從緊湊的潛置空間解碼DNMP的形狀，對形狀優(yōu)化的自由度進(jìn)行約束。將輻射特征關(guān)聯(lián)到DNMP的每個(gè)網(wǎng)格頂點(diǎn)中進(jìn)行編碼。針對兩個(gè)公共戶外數(shù)據(jù)集進(jìn)行了大量實(shí)驗(yàn)，驗(yàn)證了所提出組件的有效性，并展示了所提出方法的最先進(jìn)性能。此外，由于基于網(wǎng)格的緊湊和高效的表示，與之前的方法相比，作者我們實(shí)現(xiàn)了更快的推理速度和更低的峰值內(nèi)存消耗。然而，盡管作者實(shí)現(xiàn)了卓越的渲染質(zhì)量和資源效率，但當(dāng)前版本的框架仍基于靜態(tài)場景的假設(shè)。未來，作者計(jì)劃將我們的方法擴(kuò)展到處理移動(dòng)物體，以適用于更普遍的應(yīng)用場景。

標(biāo)簽：