本文作者嘗試解決“自動(dòng)駕駛場(chǎng)景下數(shù)百米的遠(yuǎn)程深度估計(jì)”這個(gè)自動(dòng)駕駛技術(shù)中尚未被大量探索的問(wèn)題，并以相機(jī)角度代替改進(jìn)激光雷達(dá)。實(shí)驗(yàn)結(jié)果結(jié)果顯示，本文的算法估計(jì)出來(lái)的深度能夠達(dá)到3%的相對(duì)誤差，遠(yuǎn)超其他算法。

本文原創(chuàng)首發(fā)自極市平臺(tái)公眾號(hào)，請(qǐng)獲得授權(quán)后轉(zhuǎn)載。

arxiv鏈接：https://arxiv.org/abs/2004.03048
project主頁(yè)：https://kai-46.github.io/DepthSensing/
slides：https://kai-46.github.io/DepthSensing/my_files/slides.pdf
video：https://youtu.be/QXI5JQZ2JE0

深度感知技術(shù)是自動(dòng)駕駛技術(shù)的一個(gè)重要模塊，當(dāng)前的解決方案主要分為主動(dòng)式的激光雷達(dá)和被動(dòng)式的立體相機(jī)兩種。這兩種方案的優(yōu)缺點(diǎn)已被眾多科技媒體、學(xué)術(shù)文章等廣為討論，在此不做贅述。在這個(gè)工作中，作者嘗試解決“自動(dòng)駕駛場(chǎng)景下數(shù)百米的遠(yuǎn)程深度估計(jì)”這個(gè)尚未被大量探索的問(wèn)題。

細(xì)看當(dāng)前研究者常用的Kitti、Waymo等自動(dòng)駕駛數(shù)據(jù)集，不難發(fā)現(xiàn)，它們的深度數(shù)據(jù)均由車(chē)載激光雷達(dá)采集，最大量程只有80米左右。80米左右的量程或許可以滿足低速無(wú)人駕駛的應(yīng)用場(chǎng)景，但是對(duì)于無(wú)人駕駛卡車(chē)在高速公路行駛這類(lèi)的場(chǎng)景顯得有點(diǎn)不足，原因在于，如果我們假設(shè)卡車(chē)車(chē)速是80 km/h，行駛80米的距離其實(shí)只需要3.6秒的時(shí)間，這對(duì)于無(wú)人駕駛技術(shù)的安全性構(gòu)成了挑戰(zhàn)。誠(chéng)然目前市面上的一些高端激光雷達(dá)聲稱(chēng)能夠達(dá)到300米的有效測(cè)量距離，但其價(jià)格、功耗、遠(yuǎn)處物體的點(diǎn)云很稀疏等問(wèn)題均不可規(guī)避。另一方面，現(xiàn)有的立體相機(jī)方案由于相機(jī)焦距不夠大而看不清遠(yuǎn)處物體，進(jìn)而也不能達(dá)到遠(yuǎn)程深度估計(jì)的要求。

作為計(jì)算機(jī)視覺(jué)研究者，作者決定從相機(jī)角度著手解決這個(gè)問(wèn)題，而非改進(jìn)激光雷達(dá)。首當(dāng)其沖的一個(gè)問(wèn)題是：為了看清遠(yuǎn)處物體，長(zhǎng)焦鏡頭不可或缺，但是這種增大立體相機(jī)焦距的方法是否能直接解決問(wèn)題了呢？答案是否定的。經(jīng)過(guò)分析可以發(fā)現(xiàn)，這里面的一個(gè)難點(diǎn)在于：立體相機(jī)的最大baseline受限于車(chē)輛的寬度（通常在2米左右）。

對(duì)于300米遠(yuǎn)的3D點(diǎn)而言，2米的baseline可謂是超級(jí)小，小到這個(gè)3D點(diǎn)到左、右相機(jī)中心的兩條光線的夾角（triangulation angle）只有0.382度。如下圖所示，極小的triangulation angle帶來(lái)的后果是深度估計(jì)的精度對(duì)于相機(jī)姿態(tài)中的微小變化異常敏感：如果姿態(tài)中有0.1度的誤差，那么估計(jì)的深度值的相對(duì)誤差就達(dá)到了不可接受的26.2%左右，這意味著在300米深度處會(huì)產(chǎn)生大約78.6米的絕對(duì)誤差。

在無(wú)人駕駛車(chē)輛行駛過(guò)程中，相機(jī)姿態(tài)當(dāng)中的微小變化幾乎是難以避免的。對(duì)相機(jī)姿態(tài)要求的這種高精度也已遠(yuǎn)超IMU、Gimbal等硬件所能達(dá)到的精度。那么使用Structure-from-Motion （以下簡(jiǎn)稱(chēng)SfM）這種算法是否可以直接從圖片中恢復(fù)高精度相機(jī)姿態(tài)呢？很不幸的是，答案也是否定的，這是因?yàn)镾fM算法所求解的優(yōu)化問(wèn)題在遠(yuǎn)程深度估計(jì)問(wèn)題下存在ambiguity，簡(jiǎn)單來(lái)說(shuō)，就是解不是唯一的。早年的文章把這種現(xiàn)象成為bas-relief ambiguity，如下圖的仿真實(shí)驗(yàn)所示，SfM恢復(fù)的相機(jī)姿態(tài)相對(duì)于真實(shí)值有0.207度的誤差，同時(shí)恢復(fù)的3D點(diǎn)的位置（紅色）嚴(yán)重偏離了它們真實(shí)的位置（藍(lán)色）。

為此，作者提出了一個(gè)如下圖所示的由三個(gè)長(zhǎng)焦相機(jī)構(gòu)成的新相機(jī)系統(tǒng)（兩個(gè)放在車(chē)頭，一個(gè)放在車(chē)尾），以及配套的深度估計(jì)算法。本文的解決方案繞過(guò)了對(duì)高精度相機(jī)姿態(tài)的要求，只需要知道三個(gè)相機(jī)的焦距，以及相機(jī)之間的距離。算法以三個(gè)相機(jī)同一時(shí)刻捕捉到的圖片作為輸入，輸出left相機(jī)圖片對(duì)應(yīng)的深度圖。整個(gè)系統(tǒng)流程圖如下圖所示。

簡(jiǎn)單來(lái)說(shuō)，本文的算法流程是先對(duì)左右相機(jī)的圖片做uncalibrated pseudo-rectification，這一個(gè)過(guò)程不依賴(lài)于相機(jī)姿態(tài)，只需要圖片之間的sparse feature matches即可實(shí)現(xiàn)；然后用標(biāo)準(zhǔn)的stereo matching算法去估計(jì)disparity；分析表明這個(gè)估計(jì)的disparity相對(duì)于真實(shí)的disparity存在一個(gè)未知的全局偏移。算法的最后一步是利用left相機(jī)和back相機(jī)之間的近大遠(yuǎn)小現(xiàn)象來(lái)估計(jì)這個(gè)未知的全局偏移，并將修正后的disparity轉(zhuǎn)化為深度。

具體點(diǎn)來(lái)說(shuō)，第一步中的uncalibrated pseudo-rectification基于的原理是當(dāng)相機(jī)焦距很大時(shí)，相機(jī)的透視投影效應(yīng)會(huì)變?nèi)?，退化成弱正交投影，本文的分析顯示在這種情形下，我們可以直接通過(guò)圖片之間的sparse feature matches求接出兩個(gè)仿射變換來(lái)達(dá)到對(duì)圖片的pseudo-rectification；這種pseudo-rectification具有不依賴(lài)相機(jī)姿態(tài)的優(yōu)點(diǎn)，但是會(huì)帶來(lái)第二步估計(jì)的disparity中存在未知的全局偏移這一后果；為了去除這個(gè)全局偏移，本質(zhì)上我們需要知道至少一個(gè)3D點(diǎn)的絕對(duì)深度值（同時(shí)這個(gè)3D點(diǎn)在第二步估計(jì)的disparity也要合理），在本文的方法中，這一目標(biāo)是通過(guò)利用前后相機(jī)之間的近大遠(yuǎn)小現(xiàn)象實(shí)現(xiàn)的，即：兩個(gè)具有同一深度的3D點(diǎn)，它們投影到后面相機(jī)中的像素之間距離要比投影到前面相機(jī)中的像素之間距離來(lái)得小，并且從距離之間的比例可以反推出3D點(diǎn)的深度。（具體的算法細(xì)節(jié)可以參考論文）

作者在仿真數(shù)據(jù)集和采集的現(xiàn)實(shí)數(shù)據(jù)集驗(yàn)證了算法。對(duì)于仿真數(shù)據(jù)集上，本文限制相機(jī)系統(tǒng)的baseline/depth ratio在2/300左右（對(duì)應(yīng)車(chē)寬2米，物體在300米這樣的現(xiàn)實(shí)設(shè)定），同時(shí)對(duì)相機(jī)姿態(tài)做隨機(jī)的小擾動(dòng)。結(jié)果顯示，本文的算法估計(jì)出來(lái)的深度能夠達(dá)到3%的相對(duì)誤差，遠(yuǎn)超其他算法?。

由于這個(gè)問(wèn)題的現(xiàn)實(shí)數(shù)據(jù)采集難度很高，本文做了資源允許情況下的最大力度驗(yàn)證。本文把一個(gè)配備了長(zhǎng)焦鏡頭和三腳架的相機(jī)依次放到相機(jī)系統(tǒng)示意圖中的三個(gè)位置，并且用激光測(cè)距儀測(cè)量了left相機(jī)中心點(diǎn)的深度作為真實(shí)值。實(shí)驗(yàn)結(jié)果顯示，本文的方法得到的深度（300.8米）跟激光測(cè)距儀測(cè)量的值（320米）吻合得很好（如下圖2所示），并且我們的方法輸出的是深度圖，而非激光測(cè)距儀給出的單點(diǎn)深度。

綜上所述，在這個(gè)工作中，作者對(duì)于無(wú)人駕駛場(chǎng)景下的遠(yuǎn)距離（300米左右）深度估計(jì)做了一些探索，并提出了一個(gè)基于相機(jī)的解決方案。因?yàn)楸疚姆椒ɑ谙鄼C(jī)，所以具有成本小、功耗低的特點(diǎn)（note：作者驗(yàn)證原型系統(tǒng)時(shí)使用的易用型消費(fèi)者相機(jī)Nikon P1000成本并不低，實(shí)際應(yīng)用中使用工業(yè)相機(jī)和鏡頭來(lái)搭建這個(gè)系統(tǒng)的話可以大幅降低成本，同時(shí)相機(jī)尺寸也可以縮小很多）。匹配本文提出的深度估計(jì)算法，整個(gè)系統(tǒng)的完整參數(shù)（包括完整的相機(jī)內(nèi)參和外參）并不需要提前全部calibrate好，同時(shí)該套系統(tǒng)對(duì)于車(chē)輛系統(tǒng)過(guò)程中的相機(jī)姿態(tài)顫動(dòng)更加魯棒。

由于資源的限制，本文并未能在真實(shí)的自動(dòng)駕駛場(chǎng)景上驗(yàn)證本文提出的原型系統(tǒng)，是一個(gè)遺憾；無(wú)人駕駛場(chǎng)景下的遠(yuǎn)距離深度估計(jì)問(wèn)題也欠缺公開(kāi)的大規(guī)模數(shù)據(jù)集來(lái)供深度學(xué)習(xí)研究者使用。這些都是未來(lái)可以研究探索的方向。

作者介紹

張凱，Cornell二年級(jí)博士生，博士導(dǎo)師Noah Snavely，本科畢業(yè)于清華大學(xué)，主要研究領(lǐng)域：3D vision。