干貨 | LIDAR、ToF相機、雙目相機如何科學選擇？
全網(wǎng)最詳細的ORB-SLAM2精講：原理推導+逐行代碼分析！
本文提綱
傳感器參數(shù)及定義
LIDAR & ToF 相機 & 雙目相機介紹
工作原理
優(yōu)缺點
采樣數(shù)據(jù)比較
測試及極端情況測試
三維成像技術(shù)原理和應(yīng)用想必大家在之前的文章中了解過啦，今天想給大家比較一下LIDAR、ToF 相機以及雙目相機，并且還有一些直觀的測試數(shù)據(jù)來展示各自的優(yōu)缺點，是騾子是馬拉出來溜溜！
傳感器參數(shù)及定義
如何評判傳感器的好壞呢？這是有統(tǒng)一的標準的，劃分為性能參數(shù)和非性能參數(shù)。下面分別介紹一下。
性能參數(shù)
先說一下性能參數(shù)，這個大家比較關(guān)心，主要有以下幾個方面：
視場角（Field of view）：傳感器可感知的角度，包括垂直視場角和水平視場角
密度（Density） ：在兩個采樣點之間的角度步長（angular step size）
? ? ? 一般縱向橫向密度有所不同，一般在整個系統(tǒng)中視場角越大，密度就會越小
分辨率（Resolution）：視場角和密度的乘積
距離精確度（Depth accuracy）：距離精確度能夠反映測量距離和實際距離的偏差 （要與分辨率區(qū)分），它是傳感器的一個重要參數(shù)。分辨率很高的傳感器可以分辨細節(jié)特征，即使距離有一些偏差。傳感器可以有高的分辨率但距離精確度一般
分辨率（Depth resolution）：沿著測量坐標軸下的可測量距離
最大最小探測距離（Minimum and maximum range）：傳感器的可感知距離
? ? ? 與材料、環(huán)境光亮度、反射率有關(guān)
幀率（Frame Rate）：每秒的幀數(shù)
? ? ? 反映獲取數(shù)據(jù)的速度
非性能參數(shù)
不要小看非性能參數(shù)，它也會限制在實際中的應(yīng)用。
尺寸 重量 功率
成本
封裝
? ? ? 使傳感器隔絕外界灰塵，防水濺以及水浸入
通信接口
? ? ? 一般有以太網(wǎng)、USB、法爾接口、CAN總線、串口
? ? ? 物理接口一般使用以太網(wǎng)
同步
? ? ? 硬件、軟件（廣播觸發(fā)、網(wǎng)路定時）、無同步
軟件接口
還有一些其他的參數(shù) 例如溫度、健康報告、慣性測量單元、通用輸入輸出等
終端使用對權(quán)重的影響
在不同的應(yīng)用場景下我們要知道什么是最重要的參數(shù)，例如室內(nèi)地面機器人需要檢測障礙物，避免碰撞，這時垂直視場角最重要。下面表格中展示了一些應(yīng)用場景下重要的參數(shù)，橘色是重要的，黃色是相對重要的。
舉幾個例子：
地圖測繪---可測量最大距離
強調(diào)安全性的系統(tǒng)---幀率，因為需要及時獲取三維數(shù)據(jù)進行判斷
UAV（Unmanned Aerial Vehicle）---重量
UGV（Unmanned Ground Vehicle）---垂直視場角、最小探測距離
LIDAR
原理
LIDAR工作原理是發(fā)射激光到物體表面，然后接收物體的反射光信號，比較與初始激光的不同從而計算出距離。單束LIDAR利用旋轉(zhuǎn)鏡等機械部件可在兩個方向上機械轉(zhuǎn)向掃描。如下圖所示
也有無掃描部件的固態(tài)LIDAR的研究，但目前還不能商業(yè)化，現(xiàn)在主要是用單點或者機械掃描小數(shù)目的點。
優(yōu)點有：
探測距離遠，探測范圍在10m到2km之間，距離主要取決于激光的能量和脈沖持續(xù)時間
有固定的誤差模型，誤差在厘米級別 ? ?
水平視場角通常很寬，是因為有旋轉(zhuǎn)鏡或者可旋轉(zhuǎn)的發(fā)射器和探測器
Velodyne公司的LIDAR（左圖）水平視場角是363°，但垂直視場角很小，Carnegie Robotics SL（右圖）有270度球面視場角
垂直視場角可以很大，這取決于機械部件和激光光束的安置
缺點有：
成本高，目前低成本的LIDAR仍未出現(xiàn)，目前LIDAR發(fā)展趨勢是低成本、小型化、固態(tài)化
密度非對稱且掃描到的點數(shù)有限
發(fā)射光束受環(huán)境干擾，相對被動成像技術(shù)來說更易受雨雪天氣影響 ? ?
有移動部件，含有不平整的窗口，給封裝帶來困難
掃描耗時，無法即刻獲取數(shù)據(jù)，且需要后期處理來補償機械部件導致的運動模糊誤差
ToF相機
ToF相機采用的是連續(xù)波調(diào)制，比較物體返回信號和發(fā)射信號的相位差可得距離信息，可實現(xiàn)像素級別測量。
zamb是最大可測量距離，根據(jù)公式可知小的頻率有更大探測距離。如下圖所示
一般來說光探測器分辨率較低，測量距離有限，可增大光的發(fā)射功率來增大發(fā)射距離，
一般常用正弦波信號，但是正弦波相位每隔2π就會重復，這意味著接收信號有重疊，影響測量準確性，
所以可以采用多個調(diào)制頻率，真實距離就是多個調(diào)制頻率共同測到的值，但這會導致追蹤反射信號時間變長，從而增加了信噪比，并且在相機或物體運動的情況下造成運動漂移。
當然ToF相機也有很多優(yōu)點：
場景紋理豐富與否不影響測量
具有即時的垂直水平視場角
距離誤差是線性的
對于運動的障礙物產(chǎn)生的陰影較窄
無移動部件
缺點有：
相比于雙目分辨率更低，
積分時間長會增加信噪比，若相機或被測物體運動則產(chǎn)生運動模糊
受多路徑光線返回的影響深度數(shù)據(jù)畸變
環(huán)境光過強影響反射信號的探測
視場角一般小于60度
輸出的是點云數(shù)據(jù)并非圖像
雙目立體視覺相機
雙目原理與ToF完全不同，雙目成像類似于人的雙眼，通過左右相機的拍攝圖像的差異（視差）來確定距離，這種差異與物體的遠近距離成反比，就像你會覺得距離近的物體會移動的更多，無限遠的物體幾乎不動一樣。
提前標定可以得到畸變參數(shù)和相機基線距離、焦距等參數(shù)，那么我們就可以利用視差來計算出物體的距離，這就是對應(yīng)點匹配。因此對應(yīng)點匹配的準確度是深度信息準確度的關(guān)鍵。
目前有許多方案來解決對應(yīng)點匹配問題，比較新的方法是神經(jīng)網(wǎng)絡(luò)，但它還不是一種非常穩(wěn)健高效的方案。
另一個需要強調(diào)的是相機有視差搜索范圍（disparity search range），如果不指定視差搜索范圍，許多算法的性能會下降。大的視差搜索范圍意味著相機能夠看清更近的物體，但是計算量增大，將使得相機幀率下降。
與其他相機相比，雙目優(yōu)點有：
無移動部件，僅由兩張二維照片獲得深度信息，分辨率和采樣密度沒有限制，如果想增加分辨率，雖然會使得算法計算量增加，校正過程也變得繁瑣，但并不存在物理性限制
可以很靈活的選擇視場角和基線，垂直視場角可以很大，調(diào)節(jié)范圍在10到230度
RGB圖像信息與深度信息同時可以從雙目相機中獲得，而配有RGB攝像頭的ToF相機還需要兩種數(shù)據(jù)的融合。
但是，雙目也存在一些缺點：
雙目的準確性受表面紋理影響，成像非常依賴物體表面的紋理，所以雙目適用于紋理豐富的場景，或者采用主動成像的方法——用帶有圖案的結(jié)構(gòu)光投影，通過反射回來的變形圖案來來解決對應(yīng)點匹配的問題。雙目相機在測繪和安保領(lǐng)域有重要作用，因為在這些工作場景紋理信息很豐富。
兩個相機視野中的障礙物有所不同，因此會產(chǎn)生重影
由于雙目基于三角法原理，因此隨著距離的增加，誤差是非線性的，這比LIDAR的線性誤差還要糟糕，需要在后期算法處理中進行建模補償從而提高準確性，不過這也和雙目相機沒有探測的最大距離限制有關(guān)
三維采樣數(shù)據(jù)比較
該數(shù)據(jù)來自來自the DARPA Robotics Challenge
在機器人走樓梯的場景下，分別利用DARPA的掃描型LIDAR和MIT SL雙目傳感器的三維數(shù)據(jù)進行機器人的足跡規(guī)劃來爬樓梯。在視頻正常播放速度下，SL能夠讓機器人移動的很快，并且沒有碰到障礙物，但是掃描型LIDAR必須要隨時間加速數(shù)據(jù)，但視場角很寬廣，能夠看到整個場景，而SL只能看到一部分。
接下來是在人靠近棋盤并拿起棋子的場景下，對LIDAR、ToF相機、雙目相機進行測試。
LIDAR
視場角較寬；但捕捉并且確認人類困難；水平和垂直方向的密度不均勻；
返回像素混疊（mixed-pixel returns），LIDAR接收到桌子部分返回的信號和地板返回的信號但無法分辨它們，于是給出了一個錯誤的中間值
可以看到這個數(shù)據(jù)實時性更好，但點云稀疏。LIDAR掃描速率越快，實時性就會好，但數(shù)據(jù)點會比較稀疏，反之想要得到細節(jié)更豐富的場景掃描速率就會慢。
總而言之，得益于它的測量距離長并且視場角寬廣，LIDAR適用于汽車、飛機等高速交通工具和需要高轉(zhuǎn)向速率的系統(tǒng)。
ToF相機
低成本相機：
低分辨率、低幀率；視場角窄；棋子不可見；
手電筒效應(yīng)，采用紅外線發(fā)射器，可以看到照亮了近距離的物體，但背景非常暗；
二分之一的地板消失；存在mid-air returns
工業(yè)相機：
高分辨率、高幀率；近距離物體失真；有物體遮擋的墻面彎曲；
由于多路徑信號返回導致地板失真；混合像素返回（mixed-pixel returns）
總體來看，ToF相機適合室內(nèi)環(huán)境的使用，例如對近距離物體的掃描和手勢識別。
雙目相機
視場角寬，高幀率；數(shù)據(jù)密度高，可看清棋盤上的棋子；能輸出與場景匹配的顏色圖像；
由于鏡面反射導致出現(xiàn)地面以下的數(shù)據(jù)點；棋子在墻上有影子導致墻面部分圖像失真
總的來說，雙目相機適用于環(huán)境光充足的戶外環(huán)境，或者用于不能夠主動投射光的軍事應(yīng)用。
3D傳感器測試
對于ToF和雙目傳感器來說，它們小巧便攜，且成本低廉，在室內(nèi)環(huán)境里優(yōu)勢格外突出。
接下來我們會定量地測試這些傳感器性能表現(xiàn)，比較它們的不同，并展示一些極端情況下的性能結(jié)果。
ToF&雙目室內(nèi)場景比較
?這個場景是室內(nèi)的玄關(guān)，可以看到地面和墻面較低的部分，還包括一些地面上的物品，如滅火器和急救箱。
兩個相機拍攝的圖是俯視方向，來自同一角度。
雙目視場角比較寬，對距離稍微遠一些的墻面和地面上的物品也可以看到，細節(jié)和距離遠遠超過ToF相機，但是墻面有缺失，且墻面上的紋理沒有還原出來。
ToF相機能夠接收到比較強的近距離反射信號，所以對近距離的墻面還原度很好，但是遠距離信號弱，在加上噪聲的影響導致無法識別。
這兩幅圖拍攝方向都是在探測器之上，并向下傾斜一些。
我們可以看到，雙目水平垂直視場角都很寬闊，無論近距離遠距離物體都能探測到，對場景細節(jié)的重現(xiàn)很豐富。
而ToF相機在對沒有紋理的墻壁更能準確成像，但對遠距離的場景無法成像。
極端情況測試
在少數(shù)特殊情況下，傳感器性能可能會出現(xiàn)下降，例如在駕駛這樣的安全性要求極高場景下，即使是小概率極端情況也會造成嚴重的后果，因此我們也要關(guān)注這些情況下的性能。
?
這個場景里有瓷磚地板、玻璃等特殊材質(zhì)，ToF相機接收到的可能是多次折射后的光線，會有散射畸變，因此圖里會出現(xiàn)墻壁彎曲和地板凹陷。
? ? ? ?
在50m的隧道里釋放煙霧，用3D激光器和雙目相機進行測試，右圖是激光器和雙目的彩色點云數(shù)據(jù)俯視圖，雙目相機成像類似人眼，因此在煙霧中準確性會下降，但仍然能夠分辨出物體。而激光在煙霧中傳播距離大大降低，性能急劇下降。
雙目采用的二維RGB相機會有過曝光現(xiàn)象，當強光直接射進鏡頭導致反射和散射，出現(xiàn)光暈，從而丟失一些數(shù)據(jù)，但不會影響其他區(qū)域數(shù)據(jù)的采集的準確性。
不同的材料測試
室內(nèi)環(huán)境中物品雜亂，那這些不同材質(zhì)的物品會對性能有影響嗎？so我們采集36個室內(nèi)環(huán)境常見的材料對LIDAR、ToF相機、雙目相機分別在環(huán)境光和鹵素紅外線強照明兩種條件下進行測試。
A廠家LIDAR測試圖
LIDAR對于環(huán)境光照明和紅外線照明具有相似的性能表現(xiàn)，但LIDAR存在一個奇怪的現(xiàn)象，如圖中藍色方框里，會有一個向相機靠近的2.5cm的偏移。
B廠家LIDAR測試圖
B廠家比A廠家LIDAR噪聲在環(huán)境光下多50%，在紅外線強照明下多40%。經(jīng)比較A廠家的LIDAR性能更好，看來不同廠家的產(chǎn)品差距還是挺大的。
雙目相機測試圖
?
雙目相機基線距為7cm，可以看到對于紋理較少的黃銅、鏡子等的成像噪聲很多，這也證實了雙目確實不適合紋理較少的場景。
總結(jié)
人無完人，當然也沒有任何場景都適用的超能三維傳感器，它們都會有限制條件和極端情況，所以不能直接照搬別人的方案，其他人用了這個傳感器有不錯的效果，不意味著在你的應(yīng)用場景下會有同樣好的效果，畢竟如人飲水冷暖自知呀。
如何找到你心中的完美3D傳感器呢？那就得知道哪些是和應(yīng)用相關(guān)的重要的性能參數(shù)和非性能參數(shù)，要了解在應(yīng)用中會出現(xiàn)哪些極端情況，比較這些傳感器在極端情況下工作狀況如何，有時候可能需要犧牲一兩個特性參數(shù)去優(yōu)化最重要的那個參數(shù)。
在此提供一些資源供大家參考：
Carnegie Robotics
https://carnegierobotics.com/evs/
https://carnegierobotics.com/support/
一些公司&產(chǎn)品列表
全網(wǎng)最詳細的ORB-SLAM2精講：原理推導+逐行代碼分析！
