神經(jīng)輻射場(chǎng)（NeRF）作為一種先進(jìn)的計(jì)算機(jī)圖形學(xué)技術(shù)，能夠生成高質(zhì)量的三維重建模型，在計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺(jué)、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域都有著廣泛的應(yīng)用前景，因此，自2020年驚艷亮相后，神經(jīng)輻射場(chǎng)也成為了人工智能領(lǐng)域的熱門(mén)研究方向。

這種熱門(mén)自然也體現(xiàn)在論文上，近年各大頂會(huì)中神經(jīng)輻射場(chǎng)相關(guān)的論文數(shù)量增長(zhǎng)迅速，CVPR 2021年發(fā)表了不到10篇NeRF論文，到了2022年就有超過(guò)50篇關(guān)于該主題的論文，所以學(xué)姐建議有想法發(fā)頂會(huì)的同學(xué)抓緊時(shí)間。

為了幫大家快速找到idea發(fā)出paper，學(xué)姐這次精選了17篇神經(jīng)輻射場(chǎng)（NeRF）相關(guān)的高分論文，論文成果也都簡(jiǎn)單分享給大家啦，不過(guò)還是建議同學(xué)們精讀原文哦。

需要論文以及源代碼的同學(xué)看這里??????

掃碼添加小享，回復(fù)“神經(jīng)輻射場(chǎng)”

免費(fèi)獲取全部論文+源代碼合集

1.Neural Radiance Fields: Past, Present, and Future

標(biāo)題：神經(jīng)輻射場(chǎng):過(guò)去、現(xiàn)在和未來(lái)

內(nèi)容：本文作為一份教程，從數(shù)學(xué)、幾何、計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)的基礎(chǔ)開(kāi)始，介紹這些學(xué)科交叉領(lǐng)域中隱式表示所面臨的挑戰(zhàn)。文中概述了渲染、隱式學(xué)習(xí)和NeRF的歷史，NeRF研究的發(fā)展，以及NeRF在當(dāng)今世界的潛在應(yīng)用和影響。論文按數(shù)據(jù)集、目標(biāo)函數(shù)、應(yīng)用和評(píng)估指標(biāo)對(duì)NeRF相關(guān)研究進(jìn)行分類。

2.SPIn-NeRF: Multiview Segmentation and Perceptual Inpainting with Neural Radiance Fields

標(biāo)題：SPIn-NeRF:使用神經(jīng)輻射場(chǎng)進(jìn)行多視圖分割和感知補(bǔ)全

內(nèi)容：神經(jīng)輻射場(chǎng)(NeRF)已成為新視圖合成的流行方法，但直觀編輯NeRF場(chǎng)景仍是一個(gè)挑戰(zhàn)。本文目標(biāo)是從3D場(chǎng)景中移除不需要的物體，使替換區(qū)域視覺(jué)連貫。作者首先快速獲得目標(biāo)物體的3D分割掩碼。然后利用該掩碼，提出一種基于感知優(yōu)化的方法，利用2D圖像補(bǔ)全器的信息進(jìn)行3D補(bǔ)全，同時(shí)確保多視角一致。作者還構(gòu)建了包含真實(shí)復(fù)雜場(chǎng)景的3D補(bǔ)全評(píng)估數(shù)據(jù)集。實(shí)驗(yàn)表明，本文方法取得了最先進(jìn)的3D補(bǔ)全性能。

3.NoPe-NeRF: Optimising Neural Radiance Field with No Pose Prior

標(biāo)題：NoPe-NeRF: 在沒(méi)有姿態(tài)先驗(yàn)的條件下優(yōu)化神經(jīng)輻射場(chǎng)

內(nèi)容：最近的研究進(jìn)展表明，在正向場(chǎng)景中可以聯(lián)合優(yōu)化NeRF和相機(jī)姿態(tài)。然而，當(dāng)相機(jī)劇烈運(yùn)動(dòng)時(shí)，這些方法仍面臨困難。作者通過(guò)結(jié)合無(wú)畸變的單目深度先驗(yàn)來(lái)解決這個(gè)難題。這些先驗(yàn)是通過(guò)在訓(xùn)練過(guò)程中校正尺度和偏移參數(shù)生成的，可以用它們約束連續(xù)幀之間的相對(duì)姿態(tài)。作者提出了新穎的損失函數(shù)來(lái)實(shí)現(xiàn)這種約束。在實(shí)際室內(nèi)外場(chǎng)景上的實(shí)驗(yàn)表明，作者的方法可以處理復(fù)雜的相機(jī)運(yùn)動(dòng)軌跡，并在新視圖渲染質(zhì)量和姿態(tài)估計(jì)精度方面優(yōu)于現(xiàn)有方法。

4.Cross-Ray Neural Radiance Fields for Novel-view Synthesisfrom Unconstrained mage Collections （ICCV 2023 oral）

標(biāo)題：使用交叉射線神經(jīng)輻射場(chǎng)從非約束圖像集合中進(jìn)行新視圖合成

內(nèi)容：神經(jīng)輻射場(chǎng)(NeRF)通過(guò)對(duì)每個(gè)像素采樣一條射線進(jìn)行渲染，能夠從靜態(tài)場(chǎng)景圖像中合成高質(zhì)量新視圖。但是從非約束圖像集合中恢復(fù)NeRF面臨兩個(gè)挑戰(zhàn)：1)不同拍攝時(shí)段的圖像外觀變化；2)圖像中存在遮擋物體。傳統(tǒng)NeRF通過(guò)單條射線合成顏色，而人類通過(guò)全局信息感知場(chǎng)景。為此，本文提出交叉射線NeRF，通過(guò)多個(gè)射線的交互信息合成無(wú)遮擋新視圖。具體來(lái)說(shuō)，利用新穎的交叉射線特征表示多條射線，通過(guò)射線特征的全局統(tǒng)計(jì)信息恢復(fù)圖像外觀，同時(shí)設(shè)計(jì)遮擋處理模塊濾除遮擋物體。

5.Efficient Region-Aware Neural Radiance Fields for High-Fidelity Talking Portrait Synthesis

標(biāo)題：高保真說(shuō)話肖像合成的高效區(qū)域感知神經(jīng)輻射場(chǎng)

內(nèi)容：本文提出條件神經(jīng)輻射場(chǎng)框架ER-NeRF用于說(shuō)話肖像合成。主要特點(diǎn)是：1)引入基于區(qū)域注意力的機(jī)制,聚焦在面部關(guān)鍵區(qū)域,提高動(dòng)態(tài)頭部重建的準(zhǔn)確性；2)提出自適應(yīng)姿勢(shì)編碼，優(yōu)化頭部和軀干的分離；3)可以實(shí)現(xiàn)實(shí)時(shí)渲染和高保真合成效果。相比已有方法，該框架可以更高效生成唇形同步的高質(zhì)量說(shuō)話肖像。

6.NeRF:Neural Radiance Field in 3DVision, Introduction and Review

標(biāo)題：NeRF: 3D視覺(jué)中的神經(jīng)輻射場(chǎng)，介紹與綜述

內(nèi)容：本文綜述近兩年發(fā)表的神經(jīng)輻射場(chǎng)(NeRF)論文。NeRF作為新視角合成和3D重建方法，在計(jì)算機(jī)視覺(jué)領(lǐng)域廣為關(guān)注。作者從架構(gòu)和應(yīng)用兩個(gè)維度分類整理NeRF論文，介紹NeRF的基本理論，比較關(guān)鍵NeRF模型的性能，希望為研究人員提供有價(jià)值參考，并激發(fā)未來(lái)研究方向。本綜述全面概述NeRF的發(fā)展歷程、應(yīng)用和前沿進(jìn)展。

7.Interactive NeRF Geometry Editing with Shape Priors

標(biāo)題：帶有形狀先驗(yàn)的交互式NeRF幾何編輯

內(nèi)容：本文提出了一種NeRF幾何編輯方法，首先從NeRF中提取三角網(wǎng)格表示的幾何結(jié)構(gòu)。該網(wǎng)格可以通過(guò)任意3D建模工具進(jìn)行修改(我們使用ARAP網(wǎng)格變形)。然后將網(wǎng)格變形擴(kuò)展到形狀周?chē)捏w積變形，在變形的NeRF和原始NeRF之間建立射線查詢的映射。通過(guò)為NeRF形狀生成框架抽象提供直觀界面，可以將基本的形狀編輯機(jī)制擴(kuò)展到更強(qiáng)大和更有意義的編輯手柄。通過(guò)附加語(yǔ)義標(biāo)簽，我們甚至可以識(shí)別和組合不同對(duì)象的部分。

8.DiffusionNeRF: Regularizing Neural Radiance Fields with Denoising Diffusion Models

標(biāo)題：DiffusionNeRF:用去噪擴(kuò)散模型正則化神經(jīng)輻射場(chǎng)

內(nèi)容：在良好條件下，神經(jīng)輻射場(chǎng)(NeRF)在新視角合成任務(wù)中表現(xiàn)出了令人印象深刻的結(jié)果。NeRF通過(guò)最小化訓(xùn)練視角和場(chǎng)景可微渲染之間的照度差異來(lái)學(xué)習(xí)場(chǎng)景的顏色和密度場(chǎng)。一旦從足夠多的視角訓(xùn)練完成，NeRF可以從任意相機(jī)位置生成新視角。然而，場(chǎng)景幾何和顏色場(chǎng)是高度欠約束的，這可能導(dǎo)致偽影，尤其是在用少量輸入視角進(jìn)行訓(xùn)練時(shí)。為了緩解這個(gè)問(wèn)題，作者使用去噪擴(kuò)散模型(DDM)學(xué)習(xí)場(chǎng)景幾何和顏色的先驗(yàn)知識(shí)。DDM在合成Hypersim數(shù)據(jù)集的RGBD補(bǔ)丁上進(jìn)行訓(xùn)練，可以用于預(yù)測(cè)顏色和深度補(bǔ)丁的聯(lián)合概率分布的對(duì)數(shù)的梯度。

9.SC-NeRF: Self-Correcting Neural Radiance Field with Sparse Views

標(biāo)題：SC-NeRF: 用稀疏視角自我修正的神經(jīng)輻射場(chǎng)

內(nèi)容：論文基于多頭注意力機(jī)制提出了幾何修正模塊和外觀修正模塊。對(duì)渲染的深度進(jìn)行歸一化，并將其與光照方向組合作為注意力機(jī)制中的查詢。該網(wǎng)絡(luò)有效地糾正了戶外場(chǎng)景中的不同場(chǎng)景結(jié)構(gòu)和幾何特征，從對(duì)象級(jí)很好地泛化到未見(jiàn)的戶外場(chǎng)景。此外，作者使用外觀修正模塊來(lái)糾正外觀特征，防止由于視點(diǎn)變化導(dǎo)致的渲染偽影，如空白邊框和殘影。通過(guò)組合這些模塊，該方法成功解決了戶外場(chǎng)景泛化的挑戰(zhàn)，生成高質(zhì)量的渲染結(jié)果。

掃碼添加小享，回復(fù)“神經(jīng)輻射場(chǎng)”

免費(fèi)獲取全部論文+源代碼合集

10.ViP-NeRF: Visibility Prior for Sparse Input Neural Radiance Fields

標(biāo)題：ViP-NeRF: 神經(jīng)輻射場(chǎng)稀疏輸入的可見(jiàn)先驗(yàn)

內(nèi)容：最近通過(guò)提供從預(yù)訓(xùn)練網(wǎng)絡(luò)估計(jì)的稠密深度作為監(jiān)督，對(duì)稀疏輸入NeRF進(jìn)行了正則化，以實(shí)現(xiàn)優(yōu)于稀疏深度約束的性能改進(jìn)。然而，作者發(fā)現(xiàn)這種深度先驗(yàn)由于泛化問(wèn)題可能不準(zhǔn)確。相反，作者推測(cè)不同輸入視圖中的像素可見(jiàn)性可以更可靠地估計(jì)，以提供稠密的監(jiān)督。在這方面，作者通過(guò)使用平面掃描體積計(jì)算可見(jiàn)性先驗(yàn)，不需要任何預(yù)訓(xùn)練。通過(guò)使用可見(jiàn)性先驗(yàn)正則化NeRF訓(xùn)練，作者成功地用少量輸入視圖訓(xùn)練NeRF。作者重新表述NeRF，也直接輸出3D點(diǎn)從給定視點(diǎn)的可見(jiàn)性，以降低使用可見(jiàn)性約束的訓(xùn)練時(shí)間。

11.SparseNeRF: Distilling Depth Ranking for Few-shot Novel View Synthesis

標(biāo)題：SparseNeRF: 為少樣本新視圖合成提煉深度排名

內(nèi)容：論文提出了一種新的稀疏視圖NeRF(SparseNeRF)框架，利用來(lái)自真實(shí)世界不準(zhǔn)確觀測(cè)的深度先驗(yàn)。粗糙的深度觀測(cè)要么來(lái)自預(yù)訓(xùn)練的深度模型，要么來(lái)自消費(fèi)級(jí)深度傳感器的粗糙深度圖。由于粗糙深度圖不嚴(yán)格按比例縮放到真值深度圖，作者為NeRF提出了一種簡(jiǎn)單有效的約束——局部深度排序方法，使NeRF的期望深度排序與局部補(bǔ)丁中的粗糙深度圖一致。為了保持NeRF估計(jì)深度的空間連續(xù)性，作者進(jìn)一步提出空間連續(xù)約束，以鼓勵(lì)NeRF的期望深度連續(xù)性與粗糙深度圖的一致性。

12.SHERF：Generalizable Human NeRF from a Single Image

標(biāo)題：SHERF：從單張圖像通用人體NeRF

內(nèi)容：在本文中，作者提出了SHERF，第一個(gè)從單個(gè)輸入圖像中恢復(fù)可編輯3D人體的通用人體NeRF模型。SHERF提取和編碼規(guī)范空間中的3D人體表示，實(shí)現(xiàn)自由視角和姿勢(shì)的渲染和動(dòng)畫(huà)。為實(shí)現(xiàn)高保真的新視角和姿勢(shì)合成，編碼的3D人體表示既要捕捉全局外觀，也要捕捉局部細(xì)粒度紋理。為此，作者提出了一組感知3D的分層特征，包括全局特征、點(diǎn)級(jí)特征和像素對(duì)齊特征，以促進(jìn)信息豐富的編碼。全局特征增強(qiáng)了從單個(gè)輸入圖像中提取的信息，并補(bǔ)充了從局部2D觀察中缺失的信息。

13.Tensor4D : Efficient Neural 4D Decomposition for High-fidelity Dynamic Reconstruction and Rendering

標(biāo)題：Tensor4D : 高保真動(dòng)態(tài)重建和渲染的有效神經(jīng)4D分解

內(nèi)容：論文提出了Tensor4D，一種高效且有效的動(dòng)態(tài)場(chǎng)景建模方法。該解決方案的關(guān)鍵是一種高效的4D張量分解方法，這樣動(dòng)態(tài)場(chǎng)景可以直接表示為一個(gè)4D時(shí)空張量。為了解決隨之而來(lái)的內(nèi)存問(wèn)題，作者通過(guò)首先將其投影到三個(gè)時(shí)間感知體積，然后九個(gè)緊湊的特征平面來(lái)分層分解4D張量。通過(guò)這種方式，時(shí)空信息可以以緊湊和內(nèi)存高效的方式同時(shí)捕獲。在將Tensor4D應(yīng)用于動(dòng)態(tài)場(chǎng)景重建和渲染時(shí)，作者進(jìn)一步將4D場(chǎng)按照不同的尺度進(jìn)行分解，這樣結(jié)構(gòu)運(yùn)動(dòng)和動(dòng)態(tài)細(xì)節(jié)變化可以從粗到細(xì)地學(xué)習(xí)。

14.Reference-guided Controllable Inpainting of Neural Radiance Fields

標(biāo)題：引用指導(dǎo)的可控神經(jīng)輻射場(chǎng)填充

內(nèi)容：作者使用單目深度估計(jì)器將填充的視圖反向投影到正確的3D位置。然后，通過(guò)一種新穎的渲染技術(shù)，雙邊求解器可以在非參考視圖中構(gòu)建視角依賴的效果，使填充區(qū)域從任何視角看起來(lái)都一致。對(duì)于單個(gè)參考視圖無(wú)法監(jiān)督的非參考遮擋區(qū)域，作者設(shè)計(jì)了一種基于圖像填充的方法來(lái)指導(dǎo)幾何形狀和外觀。

15.Removing Objects From Neural Radiance Fields

標(biāo)題：從神經(jīng)輻射場(chǎng)中移除對(duì)象

內(nèi)容：論文提出了一個(gè)框架，可以從RGBD序列創(chuàng)建的NeRF表示中刪除對(duì)象。該NeRF填充方法利用了最近的2D圖像填充工作，并由用戶提供的遮罩進(jìn)行指導(dǎo)。作者的算法由基于置信度的視角選擇過(guò)程支撐。它選擇哪些單獨(dú)的2D填充圖像用于NeRF的創(chuàng)建，以使最終的填充NeRF在3D上一致。

16.DE-NeRF: DEcoupled Neural Radiance Fields for View-Consistent Appearance Editing and High-Frequency Environmental Relighting

標(biāo)題：DE-NeRF:用于視角一致的外觀編輯和高頻環(huán)境重照明的解耦神經(jīng)輻射場(chǎng)

內(nèi)容：論文提出了DE-NeRF，它使用混合照明表示來(lái)解耦場(chǎng)景中的視角無(wú)關(guān)的外觀和視角相關(guān)的外觀。具體來(lái)說(shuō)，作者首先訓(xùn)練一個(gè)簽名距離函數(shù)來(lái)重建輸入場(chǎng)景的顯式網(wǎng)格。然后，一個(gè)解耦的NeRF通過(guò)在其頂點(diǎn)上定義表示幾何和視角無(wú)關(guān)外觀的可學(xué)習(xí)解耦特征，來(lái)學(xué)習(xí)將視角無(wú)關(guān)的外觀附加到重建的網(wǎng)格上。對(duì)于照明，作者用一個(gè)顯式的可學(xué)習(xí)環(huán)境貼圖和一個(gè)隱式的照明網(wǎng)絡(luò)來(lái)近似它，以支持低頻和高頻的重新照明。通過(guò)修改視角無(wú)關(guān)的外觀，渲染的結(jié)果在不同的視點(diǎn)之間是一致的。

17.Blended-NeRF: Zero-Shot Object Generation and Blending in Existing Neural Radiance Fields

標(biāo)題：Blended-NeRF: 在現(xiàn)有神經(jīng)輻射場(chǎng)中進(jìn)行零樣本對(duì)象生成和混合

內(nèi)容：論文提出了Blended-NeRF，這是一個(gè)穩(wěn)健且靈活的框架，可以基于文本提示和3D ROI框來(lái)編輯現(xiàn)有NeRF場(chǎng)景中的特定感興趣區(qū)域。該方法利用預(yù)訓(xùn)練的語(yǔ)言-圖像模型來(lái)驅(qū)動(dòng)合成朝向用戶提供的文本提示，以及在現(xiàn)有NeRF場(chǎng)景上初始化的3D MLP模型來(lái)生成物體并將其混合到原始場(chǎng)景中的指定區(qū)域。作者通過(guò)在輸入場(chǎng)景中定位3D ROI框來(lái)實(shí)現(xiàn)局部編輯，并使用新穎的體素混合技術(shù)將ROI內(nèi)合成的內(nèi)容與現(xiàn)有場(chǎng)景進(jìn)行混合。為了獲得自然的視角一致的結(jié)果，作者利用現(xiàn)有和新穎的幾何先驗(yàn)知識(shí)和3D增強(qiáng)來(lái)提高最終結(jié)果的視覺(jué)保真度。

掃碼添加小享，回復(fù)“神經(jīng)輻射場(chǎng)”

免費(fèi)獲取全部論文+源代碼合集