RAL 2023開源 | 第一個(gè)基于NeRF的實(shí)時(shí)LiDAR SLAM！
作者：泡椒味的口香糖 ?| 來源：3D視覺工坊
在公眾號(hào)「3D視覺工坊」后臺(tái)，回復(fù)「原論文」可獲取論文pdf和代碼鏈接。
添加微信：dddvisiona，備注：SLAM，拉你入群。文末附行業(yè)細(xì)分群。
NeRF結(jié)合SLAM是這兩年很新興的方向，但是也非常難。一方面是NeRF本身訓(xùn)練慢渲染慢很難達(dá)到實(shí)時(shí)，另一方面是現(xiàn)在大多NeRF SLAM的定位精度很難和傳統(tǒng)SLAM相比，還有一些對運(yùn)行GPU要求高、落地難等等的問題。而且由于NeRF本身更偏向于室內(nèi)場景，所以很多NeRF SLAM都沒辦法做室外。前段時(shí)間開源的NeRF-LOAM算是開了先河，感興趣的小伙伴可以關(guān)注一下。這里也推薦「3D視覺工坊」新課程《（第二期）徹底搞懂基于LOAM框架的3D激光SLAM：源碼剖析到算法優(yōu)化》。
但是NeRF SLAM這個(gè)方向是很有希望的，相信所有問題在未來都可以被解決。今天筆者將帶領(lǐng)讀者閱讀RAL 2023開源的工作LONER，宣稱是第一個(gè)基于NeRF的實(shí)時(shí)純雷達(dá)SLAM，而且定位精度和建圖質(zhì)量都很高。
注意，這篇文章并沒有對比NeRF-LOAM，主要是因?yàn)檫@篇文章投稿的時(shí)候NeRF-LOAM還沒有開源。
先來看看LONER的建圖效果，右上角是Mesh地圖，紅色是軌跡，其他圖像是新視點(diǎn)合成的深度圖。LONER在訓(xùn)練NeRF以后，可以將NeRF地圖離線渲染為Mesh和深度圖。整個(gè)建圖和深度渲染的效果還是很好的。
感覺這項(xiàng)工作最大的意義在于可以在室外實(shí)時(shí)運(yùn)行，而且代碼開源。感興趣的小伙伴可以跟蹤一下github，下面我們來看具體的論文信息。
本文提出了LONER，第一個(gè)使用神經(jīng)隱式場景表示的實(shí)時(shí)激光雷達(dá)SLAM算法。現(xiàn)有的激光雷達(dá)隱式建圖方法在大規(guī)模重建中顯示出有希望的結(jié)果，但要么需要地面真實(shí)姿態(tài)，要么比實(shí)時(shí)運(yùn)行慢。相比之下，LONER使用激光雷達(dá)數(shù)據(jù)訓(xùn)練MLP實(shí)時(shí)估計(jì)密集地圖，同時(shí)估計(jì)傳感器的軌跡。為了實(shí)現(xiàn)實(shí)時(shí)性能，本文提出了一種新的信息論損失函數(shù)，該函數(shù)考慮了在整個(gè)在線訓(xùn)練中地圖的不同區(qū)域可能被學(xué)習(xí)到不同程度的事實(shí)。該方法在兩個(gè)開源數(shù)據(jù)集上進(jìn)行了定性和定量評估。該評估表明，與深度監(jiān)督神經(jīng)隱式框架中使用的其他損失函數(shù)相比，所提出的損失函數(shù)收斂更快，并且導(dǎo)致更精確的幾何重建。最后，本文表明，LONER估計(jì)軌跡與最先進(jìn)的激光雷達(dá)SLAM方法相比具有競爭力，同時(shí)也產(chǎn)生了與使用地面真實(shí)姿態(tài)的現(xiàn)有實(shí)時(shí)隱式映射方法相比具有競爭力的密集地圖。
LONER是一個(gè)純LiDAR算法，也沒有使用IMU。雷達(dá)掃描首先降采樣（將為5 Hz），然后用ICP跟蹤，并從場景幾何中分割出天空。對于建圖線程，是使用當(dāng)前關(guān)鍵幀和隨機(jī)選擇的過去關(guān)鍵幀來更新，并維護(hù)一個(gè)滑窗來優(yōu)化。跟蹤和建圖兩個(gè)線程并行運(yùn)行，但是建圖線程的幀率較低，并準(zhǔn)備關(guān)鍵幀用來訓(xùn)練NeRF。最后使用作者專門設(shè)計(jì)的損失函數(shù)來更新位姿和MLP權(quán)重，生成的隱式地圖可以離線渲染為各種格式，比如深度圖和Mesh。
作者在跟蹤線程里直接使用了Point-to-Plane ICP算法來估計(jì)位姿，并在mapping線程里優(yōu)化，沒有使用MLP估計(jì)位姿，主要還是為了降低計(jì)算量達(dá)到實(shí)時(shí)。運(yùn)動(dòng)補(bǔ)償還使用了恒速模型假設(shè)。
NeRF渲染這一塊，就是用傳統(tǒng)的分層特征編碼渲染體密度，體渲染過程和NeRF一樣。
損失函數(shù)這里作者使用的trick比較多，包括一個(gè)JS損失、一個(gè)深度損失、還有一個(gè)sky損失。
JS損失是在LOS損失（參考Urban radiance fields這篇文章）上改的，LOS損失給每條射線的余量都是一樣的，并且在整個(gè)訓(xùn)練中呈指數(shù)衰減。JS損失的公式和LOS一樣，但是基于JS散度給每條射線設(shè)置了加權(quán)余量，來提高訓(xùn)練收斂和重建精度。
再來看看這么做的具體數(shù)學(xué)機(jī)理，LOS損失迫使學(xué)習(xí)區(qū)域預(yù)測更高的方差來破壞學(xué)習(xí)信息。相反，所提出的JS損失根據(jù)目標(biāo)分布和預(yù)測樣本分布之間的相似性來設(shè)置每條射線的動(dòng)態(tài)余量?。JS損失可以為未觀察到的區(qū)域中的光線設(shè)置較高的余量來改善收斂，并為已學(xué)習(xí)區(qū)域中的光線設(shè)置較低的余量以改進(jìn)已學(xué)習(xí)的幾何圖形。所以JS損失要優(yōu)于LOS損失。
深度損失沒啥可說的，就是計(jì)算渲染深度和LiDAR深度之間的L2損失。最后還有一個(gè)sky損失，是為了應(yīng)對室外NeRF的無邊界問題，主要思想是強(qiáng)制指向天空的光線權(quán)重為零。具體做法是將每次掃描轉(zhuǎn)換為深度圖像，過一次擴(kuò)張和腐蝕過濾，抑制空點(diǎn)。
最后，可以將生成的NeRF離線渲染為Mesh，注意這一部分不在online訓(xùn)練里。具體的轉(zhuǎn)換過程是，在關(guān)鍵幀位置設(shè)定虛擬雷達(dá)，然后沿著LiDAR射線計(jì)算權(quán)重，將權(quán)重存儲(chǔ)到3D網(wǎng)格中。如果多個(gè)權(quán)重落在同一個(gè)網(wǎng)格單元，就保留最大值。
對比的Baseline包含兩部分，一個(gè)是跟NICE-SLAM和Lego-LOAM對比精度，一個(gè)是借用CLONeR和URF的損失函數(shù)來驗(yàn)證它自己損失的有效性。使用的數(shù)據(jù)集包括Fusion Portable和Newer College兩個(gè)，兩個(gè)數(shù)據(jù)集都沒有什么動(dòng)態(tài)對象。實(shí)驗(yàn)設(shè)備是AMD Ryzen 5950X CPU和一塊NVidia A6000 GPU。
首先是一個(gè)跟NICE-SLAM和Lego-LOAM的精度對比，LONER的精度明顯優(yōu)于LeGO-LOAM，這個(gè)還挺驚訝的，因?yàn)楸旧鞮ONER沒有為SLAM設(shè)計(jì)什么特殊的模塊。而NICE-SLAM的精度明顯比其他兩個(gè)低，還容易跟丟，這也很容易理解，因?yàn)镹ICE-SLAM本身就是為室內(nèi)場景設(shè)計(jì)的。這個(gè)實(shí)驗(yàn)也證明了LONER自身的損失函數(shù)是有效的。
然后是一個(gè)地圖重建性能的定量評估，包括準(zhǔn)確性(估計(jì)地圖中每個(gè)點(diǎn)到真值中每個(gè)點(diǎn)的平均距離)和完整性(真值地圖中每個(gè)點(diǎn)到估計(jì)地圖中每個(gè)點(diǎn)的平均距離)。LONER效果也很不錯(cuò)。
對于建圖的定性評估，LONER可以恢復(fù)更精細(xì)的細(xì)節(jié)并生成鬼影更少的地圖。
損失函數(shù)收斂速度的對比，評估單次掃描進(jìn)行訓(xùn)練時(shí)每個(gè)函數(shù)的收斂性。使用CARLA模擬器，計(jì)算渲染深度圖像的均方誤差。結(jié)果表明JS損失比其他損失收斂得快。這里也推薦「3D視覺工坊」新課程《（第二期）徹底搞懂基于LOAM框架的3D激光SLAM：源碼剖析到算法優(yōu)化》。
兩個(gè)消融實(shí)驗(yàn)，分別對比SLAM和損失函數(shù)的組合對性能的影響。具體指標(biāo)是比較渲染深度與激光雷達(dá)深度來評估L1深度損失，這一點(diǎn)和NeRF框架中常用的L1深度很像。
最后就是大家很關(guān)心的運(yùn)行速度，作者報(bào)告的是每次跟蹤平均需要14ms，每個(gè)關(guān)鍵幀分配50次迭代，每3秒添加一個(gè)關(guān)鍵幀。執(zhí)行50次迭代的平均時(shí)間是2.79秒，每次迭代大約56毫秒。因此，地圖以大約18Hz的頻率更新，并且系統(tǒng)在每個(gè)關(guān)鍵幀分配的3秒內(nèi)完成處理一個(gè)關(guān)鍵幀，整體上看是達(dá)到了實(shí)時(shí)。
LONER發(fā)表并開源在RAL 2023上，宣傳是第一個(gè)基于NeRF的實(shí)時(shí)純雷達(dá)SLAM。但看完這篇文章總感覺缺點(diǎn)什么，感覺作者沒有講清楚LONER為什么達(dá)到了實(shí)時(shí)，pipeline里用的NeRF似乎就是最經(jīng)典的NeRF架構(gòu)。實(shí)時(shí)是因?yàn)長iDAR SLAM的框架設(shè)計(jì)簡單？還是因?yàn)閾p失函數(shù)的設(shè)計(jì)導(dǎo)致收斂速度非?？?？這個(gè)歡迎大家一起討論。
