作者：泡椒味的口香糖 ?| 來源：計(jì)算機(jī)視覺工坊

在公眾號(hào)「計(jì)算機(jī)視覺工坊」后臺(tái)，回復(fù)「原論文」可獲取論文pdf和代碼鏈接。

添加微信：dddvisiona，備注：SLAM，拉你入群。文末附行業(yè)細(xì)分群。

0. 筆者個(gè)人體會(huì)

NeRF結(jié)合SLAM是這兩年新興的方向，衍生出了很多工作。目前來看SLAM結(jié)合NeRF有兩個(gè)方向，一個(gè)是SLAM為NeRF訓(xùn)練提供位姿，然后建立稠密細(xì)膩的三維場(chǎng)景，一個(gè)是在NeRF里建立各種損失函數(shù)反過來優(yōu)化pose和depth。那么NeRF結(jié)合SLAM都有哪些典型工作呢，本文將為大家做一個(gè)簡(jiǎn)單梳理。希望能夠?yàn)橄胍腴TNeRF SLAM的小伙伴提供一點(diǎn)研究思考。

受于篇幅限制，本文不會(huì)過多介紹文章細(xì)節(jié)。將所有相關(guān)文章劃分為僅優(yōu)化NeRF、僅優(yōu)化位姿、位姿和NeRF聯(lián)合優(yōu)化、物體級(jí)NeRF SLAM、雷達(dá)NeRF SLAM這五類。同時(shí)為避免生硬的翻譯原文，本文針對(duì)每篇文章的介紹將以四個(gè)問題來進(jìn)行，分別是這篇文章希望解決什么問題？核心思想是什么？具體如何實(shí)現(xiàn)？有什么效果？當(dāng)然筆者水平有限，如果有理解不當(dāng)?shù)牡胤綒g迎各位讀者批評(píng)指正~

1. 目錄

受于篇幅限制，先放一個(gè)目錄列舉本文都介紹了哪些方案。

僅優(yōu)化NeRF

0、NeRF

1、Point-NeRF

2、NeRF-SLAM

僅優(yōu)化位姿

3、iNeRF

4、NeRF-Loc

5、NeRF-VINS（未開源）

位姿和NeRF聯(lián)合優(yōu)化

6、iMAP

7、BARF

8、NeRF--

9、NICE-SLAM

10、Vox-Fusion

11、NoPe-NeRF

12、RoDynRF

13、DIM-SLAM

14、Orbeez-SLAM

15、GO-SLAM

16、NICER-SLAM（未開源）

17、Co-SLAM

物體級(jí)NeRF SLAM

18、RO-MAP

19、vMAP

LiDAR NeRF SLAM

20、LiDAR-NeRF

21、IR-MCL

22、NeRF-LOAM

23、LONER

2. 僅優(yōu)化NeRF

0、NeRF

標(biāo)題：NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

作者：Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren Ng

機(jī)構(gòu)：加州大學(xué)伯克利分校、谷歌研究院、加州大學(xué)圣地亞哥分校

來源：ECCV 2020 oral

原文鏈接：https://arxiv.org/abs/2003.08934

代碼鏈接：https://github.com/bmild/nerf

官方主頁：https://www.matthewtancik.com/nerf

NeRF的開山之作，在很多領(lǐng)域掀起了一股浪潮。具體原理就不做介紹了，放在這里表示尊敬。

1、Point-NeRF

標(biāo)題：Point-NeRF: Point-based Neural Radiance Fields

作者：Qiangeng Xu, Zexiang Xu, Julien Philip, Sai Bi, Zhixin Shu, Kalyan Sunkavalli, Ulrich Neumann

機(jī)構(gòu)：南加州大學(xué)、Adobe

來源：CVPR 2022

原文鏈接：https://arxiv.org/abs/2201.08845

代碼鏈接：https://github.com/Xharlie/pointnerf

官方主頁：https://xharlie.github.io/projects/project_sites/pointnerf/

這篇文章不算是NeRF SLAM的工作，但是為特征點(diǎn)法SLAM和NeRF結(jié)合提供了一個(gè)思路。

這篇文章希望解決什么問題？

傳統(tǒng)的NeRF渲染太慢了，因?yàn)橐驧LP把整個(gè)圖像的一切都渲染出來。

核心思想是什么？

MVS方法重建速度快，因此可以結(jié)合MVS和NeRF，使用點(diǎn)云來渲染NeRF，實(shí)現(xiàn)30倍的加速。

具體如何實(shí)現(xiàn)？

Point-NeRF首先利用基于體素代價(jià)的3D CNN來生成每個(gè)視角的深度圖，并使用2D CNN來提取圖像特征。在聚合深度圖后，得到一個(gè)基于點(diǎn)的輻射場(chǎng)，每個(gè)點(diǎn)包含空間位置、置信度和圖像特征。為了合成新視圖，只在神經(jīng)點(diǎn)云附近進(jìn)行可微射線積分和計(jì)算陰影。在每個(gè)陰影位置，聚集K個(gè)神經(jīng)點(diǎn)鄰域的特征，并計(jì)算輻射率和體密度。整個(gè)過程可以端到端訓(xùn)練。

效果如何？

定量對(duì)比，主要還是訓(xùn)練速度上的提升，從10個(gè)小時(shí)降低到了2分鐘。但是NVIDIA的Instant NPG訓(xùn)練已經(jīng)降低到了5s，很多NeRF SLAM也都是使用Instant NPG作為NeRF部分。

定性對(duì)比，也還是訓(xùn)練速度上的提升。

2、NeRF-SLAM

標(biāo)題：NeRF-SLAM: Real-Time Dense Monocular SLAM with Neural Radiance Fields

作者：Antoni Rosinol, John J. Leonard, Luca Carlone

機(jī)構(gòu)：麻省理工學(xué)院

原文鏈接：https://arxiv.org/abs/2210.13641

代碼鏈接：https://github.com/ToniRV/NeRF-SLAM

NeRF-SLAM實(shí)際是DROID-SLAM+probabilistic volumetric fusion+Instant NGP三個(gè)方案的組合，主要?jiǎng)?chuàng)新在于引入了深度和位姿的不確定性。

這篇文章希望解決什么問題？

單目稠密SLAM也好，直接進(jìn)行單目深度估計(jì)也好，得到的深度圖很多數(shù)值是不能用的，也很自然的不能用于三角化等應(yīng)用。如果這些低質(zhì)量深度值也拿來當(dāng)Ground Truth訓(xùn)練NeRF的話，效果肯定不如深度真值。

核心思想是什么？

利用單目稠密SLAM監(jiān)督NeRF的訓(xùn)練，單目稠密SLAM提供稠密深度圖、相機(jī)位姿、以及相應(yīng)的不確定性。之后利用這些信息進(jìn)行深度邊緣協(xié)方差加權(quán)的稠密深度損失訓(xùn)練。

具體怎么做呢？

NeRF-SLAM的輸入是連續(xù)的單目序列，利用ConvGRU（具體原理參考RAFT）估計(jì)稠密光流和光流權(quán)重，之后就是一個(gè)稠密BA問題估計(jì)位姿和深度，并將系統(tǒng)方程線性化為近似相機(jī)/深度箭頭塊狀的稀疏Hseeian矩陣。這里還用到了一個(gè)trick，使用舒爾補(bǔ)對(duì)海森矩陣降維成只與位姿有關(guān)，再使用Cholesky求解這個(gè)線性最小二乘問題，求解完T以后就可以帶回去求解D。

繼續(xù)計(jì)算位姿和深度圖的邊緣協(xié)方差。Hseeian矩陣在最大似然問題中可近似為信息矩陣，而協(xié)方差矩陣是信息矩陣的逆，這樣就可以很容易得到兩個(gè)協(xié)方差。。

最后把圖像、位姿、深度圖、位姿不確定性、深度不確定性全部饋送給Instant NGP進(jìn)行NeRF的訓(xùn)練。

有什么效果？

運(yùn)行設(shè)備是2080Ti，所需顯存為11G，F(xiàn)PS為12幀。建圖的定性效果很不錯(cuò)。

定量對(duì)比結(jié)果，還對(duì)比了有無深度真值對(duì)NICE-SLAM的影響。

本身就是用DROID-SLAM估計(jì)的位姿去優(yōu)化NeRF，沒有反過來優(yōu)化位姿，所以也就沒有軌跡精度的對(duì)比。

總結(jié)：使用SLAM去為NeRF訓(xùn)練提供位姿是一種很容易想到的思路，這方面最經(jīng)典的文章就是NeRF-SLAM，但更多的文章還是希望將位姿和NeRF放到一起優(yōu)化。這里也推薦「3D視覺工坊」新課程《徹底搞懂視覺-慣性SLAM：VINS-Fusion原理精講與源碼剖析》。

3. 使用NeRF優(yōu)化位姿

3、iNeRF

標(biāo)題：INeRF: Inverting Neural Radiance Fields for Pose Estimation

作者：Lin Yen-Chen, Pete Florence, Jonathan T. Barron, Alberto Rodriguez, Phillip Isola, Tsung-Yi Lin

機(jī)構(gòu)：谷歌研究麻、省理工學(xué)院

來源：IROS 2021

原文鏈接：https://arxiv.org/abs/2012.05877

代碼鏈接：https://github.com/salykovaa/inerf

官方主頁：https://yenchenlin.me/inerf/

這篇文章希望解決什么問題？

使用NeRF來反過來優(yōu)化位姿。

核心思想是什么？

固定場(chǎng)景生成RGB圖，計(jì)算光度誤差反過來回傳梯度。

具體如何實(shí)現(xiàn)？

前面和傳統(tǒng)的NeRF一樣，只不過后面渲染圖像和真實(shí)圖像的光度誤差反過來又優(yōu)化位姿。

效果如何？

中間的圖是iNeRF位姿估計(jì)過程中的估計(jì)姿態(tài)(灰色)和地面真實(shí)姿態(tài)(綠色)的軌跡，有一定的位姿優(yōu)化效果。

位姿估計(jì)對(duì)比了SuperGlue，證明是有效果的，但肯定比不上完整的SLAM系統(tǒng)。

而且iNeRF需要場(chǎng)景已知，所以很難說對(duì)SLAM有什么幫助。

4、NeRF-Loc

標(biāo)題：NeRF-Loc: Visual Localization with Conditional Neural Radiance Field

作者：Jianlin Liu, Qiang Nie, Yong Liu, Chengjie Wang

機(jī)構(gòu)：騰訊

來源：ICRA 2023

原文鏈接：https://arxiv.org/abs/2304.07979

代碼鏈接：https://github.com/JenningsL/nerf-loc

這篇文章是筆者第一次看到NeRF模型和圖像直接匹配進(jìn)行定位的文章。

這篇文章希望解決什么問題？

基于幾何的重定位方法精度低。

核心思想是什么？

利用學(xué)習(xí)到的條件NeRF三維模型，計(jì)算3D描述子，直接與圖像匹配，實(shí)現(xiàn)由粗到精的視覺定位。

具體如何實(shí)現(xiàn)？

整個(gè)Pipeline里場(chǎng)景表示為可泛化NeRF，從3D場(chǎng)景中隨機(jī)采樣點(diǎn)，并將3D點(diǎn)饋送到NeRF模型中以生成3D描述子。然后直接根據(jù)3D和2D描述符來匹配，由PnP解算相機(jī)位姿。

為了保持泛化性，條件NeRF是建立在一個(gè)支持集上，支持集由幾幅給定的參考圖像和深度圖組成。模型不僅在多個(gè)場(chǎng)景的聯(lián)合訓(xùn)練學(xué)習(xí)了一般匹配，還在每個(gè)場(chǎng)景優(yōu)化過程中以殘差的方式記憶了基于坐標(biāo)的場(chǎng)景。

論文中條件NeRF模型的架構(gòu)，通過新視圖合成和3D-2D匹配來共享任意三維位置的特征生成器。

為了解決訓(xùn)練支持圖像和查詢圖像之間的外觀變化，還提出了一個(gè)外觀自適應(yīng)層，在匹配之前查詢圖像和三維模型之間的圖像風(fēng)格對(duì)齊。

效果如何？

先說時(shí)間，提供10個(gè)支持圖像，定位1幀需要在Nvidia V100 GPU上花費(fèi)250ms。然后是一個(gè)定位精度的對(duì)比。

位姿估計(jì)和渲染結(jié)果的定性可視化。

5、NeRF-VINS

標(biāo)題：NeRF-VINS: A Real-time Neural Radiance Field Map-based Visual-Inertial Navigation System

作者：Saimouli Katragadda, Woosik Lee, Yuxiang Peng, Patrick Geneva, Chuchu Chen, Chao Guo, Mingyang Li, Guoquan Huang

機(jī)構(gòu)：特拉華大學(xué)

來源：ICRA 2023

原文鏈接：https://arxiv.org/abs/2304.07979

這項(xiàng)工作是OpenVINS的擴(kuò)展，首先離線訓(xùn)練NeRF，然后基于NeRF地圖進(jìn)行定位和導(dǎo)航。

這篇文章希望解決什么問題？

基于關(guān)鍵幀進(jìn)行定位的策略，由于FOV較小效果比較差。

核心思想是什么？

充分利用NeRF新視角合成的能力，處理有限視角和回環(huán)問題，實(shí)現(xiàn)基于NeRF地圖的定位和導(dǎo)航規(guī)劃。同時(shí)要求整個(gè)系統(tǒng)可以在嵌入式設(shè)備上運(yùn)行。

具體如何實(shí)現(xiàn)？

其實(shí)思路很簡(jiǎn)單，就是合成當(dāng)前圖像的臨近視角圖像，用這兩幅圖像進(jìn)行匹配和定位，特征提取使用的是SuperPoint。整篇論文其實(shí)更像一個(gè)工程問題，為了在嵌入式設(shè)備上落地，用了大量的TRT、CUDA等技巧，生成圖像的時(shí)候?yàn)榱藢?shí)時(shí)運(yùn)行也降低了分辨率。這里也推薦「3D視覺工坊」新課程《徹底搞懂視覺-慣性SLAM：VINS-Fusion原理精講與源碼剖析》。

定性對(duì)比實(shí)驗(yàn)，主要驗(yàn)證在已知地圖進(jìn)行定位的圖像檢索能力，對(duì)比方案包括傳統(tǒng)的DBoW方法和深度學(xué)習(xí)NetVLAD方法?？梢园l(fā)現(xiàn)NeRF-VINS產(chǎn)生了更多的精確匹配。

ATE的對(duì)比，對(duì)比了基于地圖的方法和VINS方法。

總結(jié)：使用NeRF反過來優(yōu)化pose也是一個(gè)很簡(jiǎn)單的思路，但如果只是設(shè)計(jì)損失函數(shù)再梯度回傳的話，定位精度很難和傳統(tǒng)SLAM比。

3D視覺細(xì)分群成立啦！

目前工坊已經(jīng)建立了3D視覺方向多個(gè)社群，包括SLAM、工業(yè)3D視覺、自動(dòng)駕駛方向。
細(xì)分群包括：
[工業(yè)方向]三維點(diǎn)云、結(jié)構(gòu)光、機(jī)械臂、缺陷檢測(cè)、三維測(cè)量、TOF、相機(jī)標(biāo)定、綜合群；
[SLAM方向]多傳感器融合、ORB-SLAM、激光SLAM、機(jī)器人導(dǎo)航、RTK|GPS|UWB等傳感器交流群、SLAM綜合討論群；
[自動(dòng)駕駛方向]深度估計(jì)、Transformer、毫米波|激光雷達(dá)|視覺攝像頭傳感器討論群、多傳感器標(biāo)定、自動(dòng)駕駛綜合群等。
[三維重建方向]NeRF、colmap、OpenMVS、MVSNet等。
[無人機(jī)方向]四旋翼建模、無人機(jī)飛控等。
除了這些，還有求職、硬件選型、視覺產(chǎn)品落地等交流群。
大家可以添加小助理微信: dddvisiona，備注：加群+方向+學(xué)校|公司, 小助理會(huì)拉你入群