Arxiv鏈接：https://arxiv.org/abs/2304.09793

Github 鏈接：https://github.com/kun150kun/ESLAM-survey

本文投稿作者：黃堃平 | 文章來(lái)源：微信公眾號(hào)「3D視覺(jué)工坊」

視覺(jué)SLAM (vSLAM)是指移動(dòng)機(jī)器人通過(guò)相機(jī)感知外部世界并估計(jì)機(jī)器人的位姿和重建周?chē)h(huán)境的三維地圖。vSLAM在各種應(yīng)用中扮演著不可或缺的角色，包括自動(dòng)駕駛，機(jī)器人導(dǎo)航和增強(qiáng)現(xiàn)實(shí)。例如，在機(jī)器人導(dǎo)航里，vSLAM能夠提供環(huán)境信息和機(jī)器人的位置來(lái)幫助它到達(dá)指定的地點(diǎn)。vSLAM通常利用傳統(tǒng)的RGB相機(jī)獲取圖片信息。然而傳統(tǒng)的相機(jī)局限于低動(dòng)態(tài)感光范圍和運(yùn)動(dòng)中產(chǎn)生的動(dòng)態(tài)模糊，而無(wú)法在復(fù)雜的場(chǎng)景下得到精準(zhǔn)的位姿估計(jì)和三維重建結(jié)果。近年來(lái)，基于一種新的仿生相機(jī)，即事件相機(jī)，相應(yīng)的vSLAM算法被相繼提出。該類(lèi)方法利用事件相機(jī)的高幀率、高動(dòng)態(tài)感光范圍、低能耗、低延遲等特性在一些復(fù)雜的場(chǎng)景下也能得到了非常優(yōu)異的結(jié)果。

本綜述綜合性地概述了基于事件相機(jī)的vSLAM研究進(jìn)展，同時(shí)也包含了事件相機(jī)的工作原理和事件數(shù)據(jù)的預(yù)處理和表征形式。我們將主流的算法分為四大類(lèi)，即特征法、直接法 、運(yùn)動(dòng)補(bǔ)償法和基于深度學(xué)習(xí)的方法。在每個(gè)類(lèi)別中，我們對(duì)相應(yīng)的算法框架、突出貢獻(xiàn)、優(yōu)勢(shì)和局限性都進(jìn)行了充分的論述。另外，本文還整合了包含事件相機(jī)及多模態(tài)的諸多vSLAM的數(shù)據(jù)集，并在典型的數(shù)據(jù)集上對(duì)具有代表性的方法進(jìn)行了系統(tǒng)的結(jié)果評(píng)估，也同時(shí)討論了不同方法各自適用的場(chǎng)景。最后，我們討論了目前基于事件相機(jī)的vSLAM存在的挑戰(zhàn)以及未來(lái)可能的研究方向。

本綜述總結(jié)的方法細(xì)節(jié)、數(shù)據(jù)集、實(shí)驗(yàn)與評(píng)估的結(jié)果都已在線公開(kāi)并會(huì)保持更新，詳情請(qǐng)見(jiàn)鏈接https://github.com/kun150kun/ESLAM-survey。

一、事件相機(jī)vSLAM介紹

vSLAM能夠通過(guò)視覺(jué)傳感器來(lái)獲取環(huán)境信息，以達(dá)到估計(jì)機(jī)器人位姿和周?chē)h(huán)境三維重建的目的。但是傳統(tǒng)的視覺(jué)傳感器受限于它的硬件而導(dǎo)致的低動(dòng)態(tài)感光范圍和運(yùn)動(dòng)中產(chǎn)生的動(dòng)態(tài)模糊，在一些復(fù)雜的場(chǎng)景下無(wú)法得到良好的結(jié)果，例如高速運(yùn)動(dòng)中的或者復(fù)雜的光照條件下的場(chǎng)景。

近年來(lái)，事件相機(jī)受到了研究者們的關(guān)注。由于事件相機(jī)的高幀率、低延遲和高動(dòng)態(tài)感光范圍，使得基于事件相機(jī)的vSLAM 能夠勝任一些復(fù)雜的場(chǎng)景，尤其是高速運(yùn)動(dòng)和復(fù)雜光照下的場(chǎng)景。但是，事件相機(jī)產(chǎn)生的事件數(shù)據(jù)和傳統(tǒng)相機(jī)產(chǎn)生的圖像完全不同。如圖1(a, b)所示，事件相機(jī)通過(guò)記錄了每個(gè)像素點(diǎn)的光度變化而產(chǎn)生時(shí)間連續(xù)性的、異步的、稀疏的和不規(guī)則的數(shù)據(jù)。因此傳統(tǒng)的vSLAM算法不能直接運(yùn)用在事件數(shù)據(jù)上。同時(shí)，每個(gè)事件傳遞的信息極少，且極易受到硬件噪聲的影響。此外，事件相機(jī)引入了更加復(fù)雜的多視圖幾何關(guān)系。所以，我們需要一個(gè)新的框架來(lái)處理事件數(shù)據(jù)來(lái)實(shí)現(xiàn)vSLAM。

為了能讓基于事件相機(jī)的vSLAM在事件數(shù)據(jù)上實(shí)現(xiàn)位姿估計(jì)和三維重建，研究者設(shè)計(jì)出了多種多樣針對(duì)事件相機(jī)的數(shù)據(jù)關(guān)聯(lián)、位姿估計(jì)和三維重建的解決方案。我們將主流的算法分類(lèi)為四種類(lèi)別，分別為特征法、直接法、運(yùn)動(dòng)補(bǔ)償法和基于深度學(xué)習(xí)的方法。特征法通過(guò)在事件數(shù)據(jù)中提取并跟蹤特征點(diǎn)實(shí)現(xiàn)vSLAM；而直接法隱式關(guān)聯(lián)事件數(shù)據(jù)一次實(shí)現(xiàn)vSLAM；運(yùn)動(dòng)補(bǔ)償法通過(guò)消除投影在圖像平面上的事件表征所產(chǎn)生的動(dòng)態(tài)模糊來(lái)估計(jì)相機(jī)的運(yùn)動(dòng)；基于深度學(xué)習(xí)的方法利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)端到端的預(yù)測(cè)位姿和三維圖。本文對(duì)相關(guān)的研究算法做了詳盡的介紹，并對(duì)一些具有代表性的方法進(jìn)行了結(jié)果評(píng)估。

二、具體研究進(jìn)展及討論

為了處理事件相機(jī)產(chǎn)生的異步的、不規(guī)則的事件數(shù)據(jù)，研究者利用濾波器和脈沖神經(jīng)網(wǎng)絡(luò)來(lái)單獨(dú)處理每一個(gè)原始的事件數(shù)據(jù)，但是這些方法通常需要大量的運(yùn)算。另一方面，研究者提出將一組連續(xù)的事件數(shù)據(jù)轉(zhuǎn)化成同步的事件表征形式，例如二維事件幀、時(shí)間平面和voxel grid，來(lái)平衡延遲和運(yùn)算量。更多詳情可見(jiàn)文章第三章。

主流的vSLAM算法通常包括三個(gè)主要的步驟：數(shù)據(jù)關(guān)聯(lián)、位姿估計(jì)和三維重建。它們對(duì)相同三維點(diǎn)在不同二維圖像平面上的像素點(diǎn)構(gòu)建關(guān)聯(lián)，通過(guò)多視角的幾何學(xué)進(jìn)行位姿估計(jì)和三維重建?；谑录鄼C(jī)的vSLAM也遵循了這一范式。

1. 特征法通常從事件數(shù)據(jù)中提取并跟蹤特征來(lái)構(gòu)建數(shù)據(jù)關(guān)聯(lián)，例如原始的點(diǎn)和線特征。利用特征和顯式的特征關(guān)聯(lián)，特征法能夠估計(jì)每個(gè)特征點(diǎn)對(duì)應(yīng)的相機(jī)位姿和三維點(diǎn)。特征法十分依賴于特征提取和算法的表現(xiàn)，而由于事件數(shù)據(jù)中的噪聲和運(yùn)動(dòng)變化的特性，現(xiàn)有的基于事件相機(jī)的特征提取算法還不夠成熟，使得特征法的效果相對(duì)比較差。VIO方法通過(guò)結(jié)合慣性數(shù)據(jù)提高特征法的魯棒性并取得了較好的性能。更多詳情可見(jiàn)文章第四章。

2. 直接法分為兩類(lèi)：(a) 事件-圖像對(duì)齊法利用光度變化和絕對(duì)光度的關(guān)系來(lái)建立每個(gè)事件和參照光度圖像的像素點(diǎn)，(b) 事件表征對(duì)齊法利用了事件數(shù)據(jù)中的空間-時(shí)間的關(guān)系對(duì)齊兩幀事件表征。由于事件一般產(chǎn)生于高圖像梯度的區(qū)域，這一先驗(yàn)可以幫助直接法篩選像素點(diǎn)。同時(shí)，事件相機(jī)的高幀率特性保證了兩幀之間的相對(duì)位姿較小，從而保證了直接法能夠得到最優(yōu)解。更多詳情可見(jiàn)文章第五章。

3. 長(zhǎng)時(shí)間跨度的事件幀通常會(huì)產(chǎn)生動(dòng)態(tài)模糊，而運(yùn)動(dòng)補(bǔ)償法旨在優(yōu)化事件數(shù)據(jù)的對(duì)齊銳化事件幀來(lái)估計(jì)相機(jī)的運(yùn)動(dòng)。這種方法能夠保留長(zhǎng)期的邊緣模型，提高相機(jī)位姿估計(jì)的魯棒性，同時(shí)它們能夠運(yùn)動(dòng)到事件數(shù)據(jù)中的時(shí)間戳。但是，運(yùn)動(dòng)補(bǔ)償法有可能產(chǎn)生事件塌縮的現(xiàn)象，即所有事件對(duì)齊到一個(gè)點(diǎn)或者一條線上，而得到不準(zhǔn)確的相機(jī)位姿。更多詳情可見(jiàn)文章第六章。

4. 基于深度學(xué)習(xí)的方法通常將事件數(shù)據(jù)轉(zhuǎn)換成二維的事件表征或者三維的voxel grid，采用神經(jīng)網(wǎng)絡(luò)提取特征來(lái)預(yù)測(cè)位姿和重建三維圖。(a) 無(wú)監(jiān)督學(xué)習(xí)法利用事件的光流作為訓(xùn)練信號(hào)來(lái)估計(jì)位姿和深度。(b) 監(jiān)督學(xué)習(xí)法直接利用位姿和深度真 值來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，從而直接預(yù)測(cè)位姿和深度。神經(jīng)網(wǎng)絡(luò)能夠提取事件相機(jī)的非線性特征并處理事件噪聲和異常。但是，深度學(xué)習(xí)方法需要大量的訓(xùn)練數(shù)據(jù)，并且其泛用性較差。另外，脈沖神經(jīng)網(wǎng)絡(luò)能夠直接處理異步的、規(guī)則的事件數(shù)據(jù)，但是這項(xiàng)技術(shù)還不夠成熟，它的脈沖消失問(wèn)題和訓(xùn)練問(wèn)題有待解決。更多詳情可見(jiàn)文章第七章。

三、實(shí)驗(yàn)對(duì)比

我們首先詳細(xì)介紹了常用的基于事件相機(jī)的vSLAM數(shù)據(jù)集以及近幾年最新的相關(guān)數(shù)據(jù)集。它們提供了事件相機(jī)在不同場(chǎng)景、不同光照條件下的事件數(shù)據(jù)以及相機(jī)的位姿和深度圖。另外，我們?cè)敿?xì)介紹了位姿和深度估計(jì)的評(píng)價(jià)標(biāo)準(zhǔn)。我們分別在相機(jī)位姿和深度估計(jì)兩個(gè)子任務(wù)上對(duì)具有代表性的算法進(jìn)行了詳盡的比較。我們?cè)谙嗤脑O(shè)定下以公正的評(píng)測(cè)目前的基于事件相機(jī)的vSLAM方法與傳統(tǒng)相機(jī)的方法。相關(guān)指標(biāo)結(jié)果如圖4，5所示。最后，我們討論了四種主流方法的適用場(chǎng)景。

四、挑戰(zhàn)與展望

在這一節(jié)，我們討論了基于事件相機(jī)的vSLAM面臨的主要挑戰(zhàn)和未來(lái)的研究方向。我們?cè)谶@里做一個(gè)簡(jiǎn)要的討論。更多詳情可見(jiàn)文章第九章。

1. 理論研究

理論分析能夠提供基于事件相機(jī)的vSLAM方法泛用性和驗(yàn)證性提供理論保證。近幾年，傳統(tǒng)的vSLAM發(fā)展了許多理論研究，然而基于事件相機(jī)的vSLAM缺乏相應(yīng)的理論研究。如何將傳統(tǒng)的vSLAM的理論研究擴(kuò)展到事件相機(jī)上或者建立新的理論體系是一個(gè)值得研究的未來(lái)方向。

歡迎關(guān)注「3D視覺(jué)工坊」，加群/文章投稿/課程主講，請(qǐng)加微信：dddvisiona，添加時(shí)請(qǐng)備注：加群/投稿/主講申請(qǐng)

1. 提高惡劣環(huán)境下的魯棒性

即將事件相機(jī)在高動(dòng)態(tài)感光范圍的環(huán)境下有巨大的優(yōu)勢(shì)，但是一些惡劣環(huán)境下的場(chǎng)景依舊會(huì)提高事件數(shù)據(jù)的噪聲，降低基于事件相機(jī)的vSLAM方法的準(zhǔn)確率，例如，夜晚場(chǎng)景和極端天氣狀況。如何提高vSLAM方法在惡劣環(huán)境下的魯棒性保有精確的位姿估計(jì)和三維重建是一個(gè)充滿潛力的研究方向。

1. 全局優(yōu)化

由于不準(zhǔn)確的數(shù)據(jù)關(guān)聯(lián)和傳感器的噪聲，基于事件相機(jī)的vSLAM算法會(huì)累積偏移誤差，導(dǎo)致在長(zhǎng)時(shí)間的相機(jī)運(yùn)動(dòng)下產(chǎn)生更大的誤差，而偏離實(shí)際的位置。額外的全局優(yōu)化有望消除累積的便宜誤差，例如，全局地圖優(yōu)化和位姿圖優(yōu)化。

1. 多模態(tài)的基于事件相機(jī)的vSLAM

將基于事件相機(jī)的vSLAM方法與多模態(tài)領(lǐng)域進(jìn)行融合可以進(jìn)一步提高算法的魯棒性。例如，慣性傳感器能夠提供慣性數(shù)據(jù)防止相機(jī)跟蹤丟失。事件-圖像對(duì)齊直接法利用光度變化和絕對(duì)廣度的關(guān)系對(duì)齊事件和圖像上的像素點(diǎn)。未來(lái)可以進(jìn)一步探究不同傳感器和事件相機(jī)之間互補(bǔ)的特性來(lái)得到更精確、魯棒的vSLAM方法。

五、總結(jié)

我們提供了一份基于事件相機(jī)的vSLAM領(lǐng)域的綜述，涵蓋了事件相機(jī)的工具原理、事件預(yù)處理的表征形式、四種主要的vSLAM方法，公開(kāi)的評(píng)估結(jié)果以及未來(lái)的研究方向。事件相機(jī)能夠提高vSLAM算法在高速運(yùn)動(dòng)和高動(dòng)態(tài)感光范圍場(chǎng)景下的魯棒性。為了能夠利用事件相機(jī)的優(yōu)勢(shì)并運(yùn)用到vSLAM上，未來(lái)還需要我們更好地處理異步的、稀疏的事件數(shù)據(jù)。我們將長(zhǎng)期維護(hù)一個(gè)開(kāi)放的github倉(cāng)庫(kù)來(lái)定期更新最新的工作進(jìn)展和數(shù)據(jù)集 ( https://github.com/kun150kun/ESLAM-survey )。