最近本人在看一些事件相機(jī)的論文和研究。下面將看的基礎(chǔ)內(nèi)容整理一下，先是一些基本的event camera原理和發(fā)展的介紹，后面介紹算法。歡迎討論！

1. DVS 的一些介紹

模擬生物視網(wǎng)膜特性的仿生相機(jī)——事件相機(jī)DVS（Dynamic Vision Sensor），該相機(jī)具有更寬的動(dòng)態(tài)范圍，輸出較傳統(tǒng)相機(jī)而言更稀疏、更快。一種快匹配自適應(yīng)光流算法和完全通過(guò)FPGA完成的基于DVS相機(jī)的硬件實(shí)現(xiàn)與其功耗和計(jì)算速度方面的優(yōu)勢(shì)，最后介紹了該項(xiàng)研究在自動(dòng)駕駛領(lǐng)域的廣闊應(yīng)用前景。

2. 基于事件的視覺(jué)傳感器發(fā)展現(xiàn)狀與趨勢(shì)

目前被廣泛應(yīng)用的事件相機(jī)可大致分成3類(lèi)：動(dòng)態(tài)視覺(jué)傳感器（DVS）、基于異步時(shí)間的圖像傳感器（ATIS）、動(dòng)態(tài)主動(dòng)像素視覺(jué)傳感器（DAVIS，Dynamic and Active Pixel Vision Sensor）。DVS是最基本的也是最先發(fā)展的一種事件相機(jī)。ATIS像素結(jié)構(gòu)分成兩個(gè)部分（A和Ｂ），包含兩個(gè)感光器，能夠在提供事件信息的同時(shí)還能提供一定灰度信息的需求。DAVIS相機(jī)將DVS相機(jī)和傳統(tǒng)的有源像素傳感器（APS）相機(jī)結(jié)合起來(lái)，能夠同時(shí)輸出場(chǎng)景事件和灰度信息。

3. 事件相機(jī)的動(dòng)態(tài)范圍：

事件相機(jī)具有高動(dòng)態(tài)范圍，相對(duì)于傳統(tǒng)相機(jī)一般只有70dB，事件相機(jī)能夠達(dá)到140dB或更高。

信噪比

Signal to Noise Ratio (SNR)，描述傳感器所產(chǎn)生的信號(hào)與噪聲的強(qiáng)度，計(jì)算方法是看計(jì)算電壓還是功率。對(duì)于電壓信噪比計(jì)算，公式為：SNR=10*log(S/N)。其中l(wèi)og為log10，單位是dB。如果噪聲是2mV，電壓是3V，則信噪比是31.7dB。

log(3000/2)=3.17

對(duì)于圖像計(jì)算來(lái)說(shuō)，一般找一個(gè)“精準(zhǔn)的”相機(jī)拍攝一個(gè)基準(zhǔn)，再和需要計(jì)算的圖像進(jìn)行比較。但基準(zhǔn)一般難找，另一種常用的方式是，多次拍攝同一個(gè)信號(hào)后“求平均值和標(biāo)準(zhǔn)差的比值”。

然而140dB并不是指“信噪比”，但確實(shí)和信噪比有關(guān)。

動(dòng)態(tài)范圍DR

動(dòng)態(tài)范圍，Dynamic Range (DR)，指“傳感器能夠分辨的最強(qiáng)的信號(hào)和最弱的信號(hào)的比值”，計(jì)算公式是20log(S/N)。比如說(shuō)某個(gè)電壓傳感器最高能夠測(cè)到3V，最小能夠測(cè)量2mv，則DR是63.4dB。

那么DR和SNR有什么關(guān)系么？有關(guān)系，SNR和DR的下限有關(guān)。如果SNR較差，意味著噪聲相對(duì)較強(qiáng)，則DR的下界會(huì)高，導(dǎo)致DR較小。但SNR和DR的上界無(wú)關(guān)，DR的上界可以理解為“飽和”的情況。事件相機(jī)所說(shuō)的140dB指的是這個(gè)“動(dòng)態(tài)范圍”。

結(jié)論

140dB指的是動(dòng)態(tài)范圍DR，而不是信噪比SNR；

若想真正達(dá)到“高動(dòng)態(tài)范圍HDR”，必然會(huì)有大量的噪聲。廠商基本上沒(méi)有說(shuō)在動(dòng)態(tài)范圍內(nèi)某個(gè)值時(shí)噪聲怎么樣?？梢赃@樣理解140dB：“我能夠看到很多，但不一定看得清”；

實(shí)際使用時(shí)，應(yīng)該結(jié)合具體任務(wù)，判斷特定場(chǎng)景/參數(shù)/算法下，能夠檢測(cè)的動(dòng)態(tài)范圍。

Source: 事件相機(jī)的“140dB”指的到底是什么？

4. 新型相機(jī)DVS/Event-based camera的發(fā)展及應(yīng)用

神經(jīng)擬態(tài)視覺(jué)傳感器使用基于事件驅(qū)動(dòng)的方式來(lái)捕捉場(chǎng)景中的動(dòng)態(tài)變化。與傳統(tǒng)相機(jī)不同，神經(jīng)擬態(tài)視覺(jué)傳感器沒(méi)有 “幀” 的概念。當(dāng)現(xiàn)實(shí)場(chǎng)景中發(fā)生變化時(shí)，神經(jīng)擬態(tài)視覺(jué)傳感器會(huì)產(chǎn)生一些像素級(jí)的輸出（即事件），一個(gè)事件具體包括（t, x, y, p），這里的 x, y 為事件在2D空間的像素坐標(biāo)，t為事件的時(shí)間戳，p為事件的極性。事件的極性代表場(chǎng)景的亮度變化: 上升（positive） or 下降 (negative)。神經(jīng)擬態(tài)視覺(jué)傳感器對(duì)數(shù)據(jù)存儲(chǔ)和計(jì)算資源的需求非常小，并且其具有非常低的延遲，可以達(dá)到微秒級(jí)?。?！傳統(tǒng)相機(jī)在固定頻率下產(chǎn)生一系列幀圖片，其關(guān)鍵問(wèn)題是在相鄰倆幀之間會(huì)丟失掉很多關(guān)鍵信息，并且傳統(tǒng)相機(jī)在內(nèi)存，能量損耗以及延遲方面需求過(guò)大，這直接導(dǎo)致了很多算法的實(shí)時(shí)性非常低。以深度學(xué)習(xí)為例，為了實(shí)現(xiàn)目標(biāo)檢測(cè)等環(huán)境感知任務(wù)，不得不利用昂貴的硬件（GPUs）平臺(tái)為其提供算力支撐。所以神經(jīng)擬態(tài)視覺(jué)傳感器的研究還是有一定前景的。

工作原理分析

事件相機(jī)的工作原理是對(duì)于每個(gè)像素的光照對(duì)數(shù)的變化，根據(jù)每個(gè)像素的變化，若當(dāng)前像素的亮度信息變化超過(guò)閾值C且為增大，則記為on，若為減小，則記為off事件。對(duì)于圖中的位置信息設(shè) X = ( x , y ) T X=(x,y)^TX=(x,y)?

T

? ,其中X XX為2維向量，事件可以抽象為3D的函數(shù)E = l o g I ( X , t ) E=logI(X,t)E=logI(X,t) ，或者4D函數(shù) E = l o g I ( X , t , p ) E=log I(X,t,p)E=logI(X,t,p) 其中 p = 1 p=1p=1 表示ON 信號(hào)，p = ? 1 p=?1p=?1 表示OFF信號(hào)，p pp代表事件的極性（Polarity）。

事件輸出Demo

應(yīng)用點(diǎn)

特征跟蹤、SLAM、捕獵機(jī)器人，包括物聯(lián)網(wǎng)（超低功耗監(jiān)控和智慧城市）、自動(dòng)駕駛（車(chē)輛測(cè)距、SLAM和乘員監(jiān)控）、機(jī)器人技術(shù)（場(chǎng)景理解與定位）、工業(yè)視覺(jué)（過(guò)程監(jiān)控和基礎(chǔ)設(shè)施檢測(cè)）等。

參考文獻(xiàn)：https://www.sohu.com/a/300758196_100007727

傳統(tǒng)相機(jī)的缺點(diǎn)

幀率低、運(yùn)動(dòng)模糊、動(dòng)態(tài)范圍低。

傳統(tǒng)相機(jī)，無(wú)論是CMOS傳感器，還是CCD傳感器，亦或是RGBD相機(jī)，都有一個(gè)參數(shù)：幀率。它們是以恒定的頻率拍攝獲取圖像。這樣，即使幀率能夠達(dá)到1KHz，那也具有1ms的延時(shí)。所以傳統(tǒng)相機(jī)存在一定的延遲問(wèn)題。

除此之外，傳統(tǒng)相機(jī)需要通過(guò)一定時(shí)間的曝光，使感光器件積累一定的光子，那么在曝光時(shí)間之內(nèi)如果物體在高速運(yùn)動(dòng)，則會(huì)產(chǎn)生模糊，這也是傳統(tǒng)相機(jī)的一個(gè)問(wèn)題。

另外，傳統(tǒng)相機(jī)的動(dòng)態(tài)范圍較低，具體表現(xiàn)為在光線極差或者亮度極高時(shí)，相機(jī)獲取的信息有限。

以上三點(diǎn)，是由于相機(jī)自身硬件的限制，即使高性能相機(jī)能夠一定程度減小這些問(wèn)題，但由于相機(jī)原理，這些問(wèn)題無(wú)法避免。這些問(wèn)題極大地限制了一些應(yīng)用場(chǎng)景。而事件相機(jī)完全不存在這些問(wèn)題。

這意味著有大量的冗余信息和大量不必要的計(jì)算需要，導(dǎo)致大的帶寬。

事件相機(jī)的優(yōu)點(diǎn)

低延遲、高動(dòng)態(tài)范圍、數(shù)據(jù)量小、極低功耗。

由于事件相機(jī)的成像原理，我們可以發(fā)現(xiàn)只要亮度一有變化就會(huì)輸出，且僅輸出變化的數(shù)據(jù)占用了很小的帶寬，同時(shí)由于事件相機(jī)更擅長(zhǎng)捕捉亮度變化，所以在較暗和強(qiáng)光場(chǎng)景下也能輸出有效數(shù)據(jù)。事件相機(jī)具有低延遲(<??????)、高動(dòng)態(tài)范圍(??????????)、極低功耗(??????)等特性。

相較于傳統(tǒng)相機(jī)，事件相機(jī)是基于神經(jīng)形態(tài)視覺(jué)，其基本理念是受生物系統(tǒng)工作方式的啟發(fā)，檢測(cè)場(chǎng)景動(dòng)態(tài)的變化，而不是連續(xù)分析整個(gè)場(chǎng)景。這意味著讓單個(gè)像素決定它們是否看到了相關(guān)的東西。與固定頻率的系統(tǒng)采集相比，這種基于事件的方法可以節(jié)省大量的功耗，并減少延遲。

Mobile robot systems need to quickly understand rapid motion in dynamic environments, e.g., Forests, Kitchens, Roads.

However, current sensor based-solutions are not suited for the energy and computational needs of micro mobile robot systems. Like active sensors: IR Depth Camera, LIDAR, Radar. Whereas, DVS has low latency sensing and energy consumption are attractive for mobile robot collision avoidance.

5. 事件相機(jī)在無(wú)人駕駛中的應(yīng)用

Event-based Camera in Autonomous Driving

在自動(dòng)駕駛發(fā)展的歷程中，視覺(jué)算法的應(yīng)用已經(jīng)成為不可或缺的一部分。但當(dāng)前的視覺(jué)算法仍然存在著一些局限性：一方面，相機(jī)容易受到光線明暗突變、逆光等影響；另一方面，相機(jī)在運(yùn)行時(shí)，產(chǎn)生的數(shù)據(jù)量非常大，因而對(duì)算力的要求特別高。

如今，市場(chǎng)上出現(xiàn)一種新型相機(jī)傳感器，或可以有效解決上述這些痛點(diǎn)，那就是事件相機(jī)。事件相機(jī)具備極快的響應(yīng)速度、減少無(wú)效信息、帶寬小、降低算力和功耗、高動(dòng)態(tài)范圍等優(yōu)勢(shì)可以幫助自動(dòng)駕駛車(chē)輛降低信息處理的復(fù)雜度、提高車(chē)輛的行駛安全，并能夠在極亮或者極暗環(huán)境下正常工作。事件相機(jī)是相比于傳統(tǒng)的幀相機(jī)而言的：幀相機(jī)是以固定幀率輸出一幀一幀的圖片，并最終組成視頻流；而事件相機(jī)只記錄亮度變化的像素點(diǎn)。

高動(dòng)態(tài)范圍

通俗點(diǎn)說(shuō)，高動(dòng)態(tài)范圍指的是相機(jī)在極端光強(qiáng)變化下也能保持圖像的清晰度。幀相機(jī)的動(dòng)態(tài)范圍通常只能達(dá)到60dB，而事件相機(jī)的動(dòng)態(tài)范圍能達(dá)到120dB，甚至?xí)摺８邉?dòng)態(tài)范圍可以幫助事件相機(jī)在光線極暗、曝光過(guò)度、光線突變等情況下，依然能夠保持有效的工作，為自動(dòng)駕駛增添了一份安全冗余。

工作原理：當(dāng)對(duì)應(yīng)像素坐標(biāo)點(diǎn)的光強(qiáng)變化量超過(guò)了預(yù)先設(shè)定的閾值時(shí)，事件相機(jī)就會(huì)以微秒級(jí)分辨率標(biāo)記時(shí)間戳，并輸出異步事件流。所有像素是異步的，不是同步的輸出。

與傳統(tǒng)相機(jī)的差異

感光機(jī)制不同

讀出機(jī)制不同：幀相機(jī)的讀出電路是行列掃描的方式，是一種矩陣數(shù)據(jù)整體讀出的形式，在像素坐標(biāo)軸上記錄像素點(diǎn)的RGB信息；而事件相機(jī)是通過(guò)AER的編碼方式，僅將事件以時(shí)間戳和坐標(biāo)的數(shù)據(jù)形式，按照事件產(chǎn)生的先后順序異步傳出。

電路設(shè)計(jì)不同

產(chǎn)品類(lèi)型

DVS（動(dòng)態(tài)視覺(jué)傳感器）

優(yōu)勢(shì)：電路設(shè)計(jì)簡(jiǎn)單，像素面積小。

挑戰(zhàn)：純事件數(shù)據(jù)的可視化程度較低，無(wú)法提供精細(xì)化的圖像。

ATIS（基于異步時(shí)間的圖像傳感器）

優(yōu)勢(shì)：能提供灰度信息，功耗相對(duì)DAVIS較低。在啟動(dòng)后，由于直接發(fā)放了一次脈沖，可以直接獲取到相機(jī)前方的所有灰度信息，然后根據(jù)運(yùn)動(dòng)區(qū)域內(nèi)，將在產(chǎn)生的脈沖信號(hào)上不斷更新相應(yīng)灰度信息。

挑戰(zhàn)：不適用在環(huán)境亮度變化不頻繁的場(chǎng)景。比如在高速運(yùn)動(dòng)場(chǎng)景下，由于光強(qiáng)測(cè)量結(jié)果是在脈沖信號(hào)產(chǎn)生后的一段時(shí)間內(nèi)的平均光強(qiáng)，所以存在事件與灰度信息重構(gòu)更新不匹配的情況。

DAVIS（動(dòng)態(tài)和有源像素視覺(jué)傳感器）

優(yōu)勢(shì)：DAVIS與ATIS一樣，也可以提供灰度信息；同時(shí)，DAVIS由于共用一個(gè)感光器，像素面積相對(duì)ATIS更小。

挑戰(zhàn)：APS電路的采樣速度遠(yuǎn)不如DVS電路，導(dǎo)致二者無(wú)法做到精準(zhǔn)同步。再者，APS電路在高速場(chǎng)景下存在拖影現(xiàn)象。

產(chǎn)業(yè)鏈中的不同之處主要是在圖像傳感器芯片、算法軟件，比如更適合事件相機(jī)的芯片是類(lèi)腦芯片、更適合的算法則是脈沖神經(jīng)網(wǎng)絡(luò)。

下圖給出各類(lèi)事件相機(jī)的對(duì)比。

技術(shù)層面的挑戰(zhàn)

（1）無(wú)法識(shí)別具體目標(biāo)物

幀相機(jī)輸出的是幀圖像，并且已擁有了成熟的應(yīng)用和標(biāo)定數(shù)據(jù)庫(kù)；而事件相機(jī)只能給出比較原始的數(shù)據(jù)信息，比如目標(biāo)物的外部輪廓，并且也沒(méi)有一個(gè)自己獨(dú)立的數(shù)據(jù)庫(kù)來(lái)匹配這些輪廓信息。

（2）缺少適合的芯片和算法

當(dāng)前事件相機(jī)使用的是原來(lái)幀相機(jī)的一整套架構(gòu)體系（比如所使用的芯片類(lèi)型、算法模型等），但基于幀圖像的架構(gòu)并不能完全處理好事件流，而現(xiàn)有的大部分事件相機(jī)產(chǎn)品只是做了簡(jiǎn)單的架構(gòu)平移。第一，較適合事件相機(jī)的芯片將會(huì)是類(lèi)腦芯片。第二，較適合事件相機(jī)的算法為脈沖神經(jīng)網(wǎng)絡(luò)。

工程層面挑戰(zhàn)

（1）閾值設(shè)定難度高

閾值大小的設(shè)定是決定事件相機(jī)是否能在自動(dòng)駕駛中用好的關(guān)鍵一步，這需要大量場(chǎng)景數(shù)據(jù)的積累、算法的優(yōu)化、設(shè)備運(yùn)行時(shí)動(dòng)態(tài)地調(diào)整閾值。

（2）數(shù)據(jù)處理效率低

（3） 與其它傳感器融合的挑戰(zhàn)

由于事件相機(jī)無(wú)法單獨(dú)提供深層次的數(shù)據(jù)，比如測(cè)距、測(cè)速、表面具體顏色等，只能獲取到物體的輪廓，所以單純地使用一個(gè)事件相機(jī)是無(wú)法給到自動(dòng)駕駛車(chē)輛足夠的冗余安全，與其他傳感器的融合才是更好的感知方案。在與其它傳感器融合時(shí)，需要把事件流與其它傳感器的信號(hào)進(jìn)行同步匹配。

以事件相機(jī)與激光雷達(dá)的融合為例，事件相機(jī)與激光雷達(dá)都有幀的概念，激光雷達(dá)也是以某一恒定幀率發(fā)射點(diǎn)云。若想要把這兩個(gè)傳感器同步起來(lái)，就需要做到兩個(gè)方面：一方面，時(shí)間戳的一一對(duì)應(yīng)；另一方面，需要在做好標(biāo)定的基礎(chǔ)上，將事件相機(jī)的像素點(diǎn)云映射到激光雷達(dá)的點(diǎn)云上。

6. 相關(guān)資源/論文

1. CVPR 2021 Workshop on Event-based Vision

2. Event-based Vision Resources

3. 國(guó)內(nèi)事件相機(jī)研究團(tuán)隊(duì)

4. 一文談?wù)勈录鄼C(jī)在自動(dòng)駕駛領(lǐng)域的應(yīng)用前景

中文論文資料：

基于事件相機(jī)的連續(xù)光流估計(jì)

基于事件相機(jī)的合成孔徑成像

基于事件相機(jī)的定位與建圖算法: 綜述

基于事件相機(jī)的機(jī)器人感知與控制綜述