原文鏈接：https://mp.weixin.qq.com/s/8dtgAeGKMXHIk-pMbD9eZg

論文閱讀：SST-Calib: Simultaneous Spatial-Temporal Parameter Calibration between LIDAR and Camera(ITSC 2022)

(注：ITSC為智能交通領(lǐng)域盛會(huì))

Motivation

對(duì)于大多數(shù)Visual和lidar融合算法而言，外參標(biāo)定會(huì)極大地影響性能。具體而言，傳感器融合算法需要非常精確的傳感器之間的外參標(biāo)定以及時(shí)間同步。所以一個(gè)能夠聯(lián)合估計(jì)visual-lidar外參矯正的幾何和時(shí)間參數(shù)得算法是非常有價(jià)值的。另外，考慮到當(dāng)車輛經(jīng)歷振動(dòng)或碰撞時(shí)，手動(dòng)校準(zhǔn)的外參就會(huì)失效。因此自動(dòng)外參標(biāo)定功能的具備也是非常重要的。最近興起的基于學(xué)習(xí)預(yù)測(cè)傳感器外參的方法通常是數(shù)據(jù)驅(qū)動(dòng)的，需要預(yù)先標(biāo)記的數(shù)據(jù)作為監(jiān)督來(lái)進(jìn)行預(yù)測(cè)，然而真值校準(zhǔn)數(shù)據(jù)是難以獲得的，并且這些基于學(xué)習(xí)的工作都沒(méi)有提到應(yīng)用在其他數(shù)據(jù)集的泛化能力，因此一個(gè)基于不同傳感器的語(yǔ)義輸入進(jìn)行回歸預(yù)測(cè)外參的方法可以一定程度上緩解這個(gè)問(wèn)題。最后，目前很多數(shù)據(jù)集包括傳感器融合方法都忽視了時(shí)間標(biāo)定的問(wèn)題，傳感器融合的方法大多基于同步時(shí)間假設(shè)，但是這個(gè)假設(shè)很難完全成立，所以動(dòng)態(tài)校準(zhǔn)傳感器之間的時(shí)間延遲是非常有必要的。

Contribution

1. 針對(duì)lidar和visual融合，提出了一種聯(lián)合時(shí)空校準(zhǔn)算法。

2. 設(shè)計(jì)了雙向損失函數(shù)以在幾何參數(shù)回歸中獲得更穩(wěn)健的性能。

3. 將時(shí)間外參與visual odometry相結(jié)合以估計(jì)傳感器之間的時(shí)間延遲。

Content

1. 系統(tǒng)概述

校正流程如下圖。校準(zhǔn)包括用于空間外參初始標(biāo)定的靜態(tài)空間參數(shù)校準(zhǔn)模塊和用于雙參數(shù)估計(jì)的聯(lián)合時(shí)空參數(shù)校準(zhǔn)模塊。

算法的輸入包括一個(gè)lidar點(diǎn)云掃描幀

和兩個(gè)連續(xù)的RGB圖像

，算法的目標(biāo)是估計(jì)出6dof的外參和

與

之間的時(shí)間延遲。大致做法是先通過(guò)任意的語(yǔ)義分割方法分割點(diǎn)云和圖像出各自的語(yǔ)義mask

與

。然后通過(guò)外參標(biāo)定初值

和相機(jī)已知的內(nèi)參

，將lidar點(diǎn)云投影到相機(jī)圖像平面上，同時(shí)通過(guò)從點(diǎn)到像素和從像素到點(diǎn)執(zhí)行最近鄰搜索，并且計(jì)算它們的歐式距離用作之后優(yōu)化的代價(jià)函數(shù)。首先，優(yōu)化迭代（靜態(tài)空間外參標(biāo)定）將在本車速度約為0的幀上進(jìn)行，從而可以得到

，并且把這用作之后的聯(lián)合時(shí)空校準(zhǔn)的初值和正則化參考項(xiàng)。然后，在動(dòng)態(tài)場(chǎng)景中，通過(guò)visual odometry估計(jì)相鄰幀的時(shí)間信息以及運(yùn)動(dòng)速度信息。在沒(méi)有外力作用的條件下，與之間的平移可以定義為

，然后通過(guò)細(xì)優(yōu)化計(jì)算出和

。2.語(yǔ)義分割理論上講，本篇文章可以用任何語(yǔ)義分割網(wǎng)絡(luò)，作者采用的語(yǔ)義分割網(wǎng)絡(luò)分別是SqueezeSegV3(點(diǎn)云)與SDC-net(圖像)，另外考慮到城市環(huán)境的特征，只采用了車輛類作為mask的輸出，最終可以得到mask輸出

與

。3.點(diǎn)云投影將歸屬于每個(gè)點(diǎn)云mask的點(diǎn)投影到相機(jī)圖像上：

4.雙向損失定義

為投影后在相機(jī)fov范圍內(nèi)的激光點(diǎn)集，對(duì)于每個(gè)激光投影點(diǎn)，

是離他最近的屬于同一個(gè)類別的像素點(diǎn)，所以，單向（激光點(diǎn)-像素點(diǎn)）語(yǔ)義對(duì)齊損失在幀k上可以定義為：

該損失的計(jì)算過(guò)程如下圖。

但是當(dāng)外參的初值與ground truth明顯不同時(shí)，最近鄰匹配不一定能帶來(lái)合適的匹配結(jié)果，所以一些重要像素的信息可能會(huì)被丟棄。因此，單向損失函數(shù)存在陷入局部最小值的問(wèn)題。為了避免這個(gè)問(wèn)題，雙向損失函數(shù)被作為改進(jìn)提出，具體過(guò)程如下圖：

雙向損失函數(shù)實(shí)際上就是基于單向損失函數(shù)添加了像素點(diǎn)-激光點(diǎn)的損失，像素點(diǎn)-激光點(diǎn)損失定義如下：

從而最終的雙向損失函數(shù)在第l次迭代中可以表示為：

其中，為正則化項(xiàng)，為迭代次數(shù)l所對(duì)應(yīng)的權(quán)重，當(dāng)越小的時(shí)候，代表越偏向于將激光點(diǎn)投影到圖像平面，反之就意味著偏向于將visual mask投影到點(diǎn)云簇，從而可以通過(guò)的調(diào)整使得損失避免陷入局部最小值，最終經(jīng)過(guò)雙向優(yōu)化，可以生成一個(gè)更好的靜態(tài)外參標(biāo)定值：

5.聯(lián)合時(shí)空校準(zhǔn)在聯(lián)合時(shí)空校準(zhǔn)之前，通過(guò)visual odometry提取連續(xù)兩幀

之間的運(yùn)動(dòng)速度，本篇論文所用的VO是基于稀疏光流進(jìn)行FAST點(diǎn)跟蹤然后用5點(diǎn)法RANSAC進(jìn)行本征矩陣估計(jì)。在車輛運(yùn)動(dòng)的情況下，基于靜態(tài)外參的點(diǎn)云投影很難與相機(jī)圖像對(duì)準(zhǔn)，因此為了補(bǔ)償時(shí)間延遲，將投影矩陣修改如下：

其中，

與

分別是激光投影點(diǎn)通過(guò)與補(bǔ)償在相機(jī)坐標(biāo)系的坐標(biāo)，然后修改雙向損失函數(shù)，使得其可以同時(shí)估計(jì)空間與時(shí)間標(biāo)定參數(shù)，修改后的雙向損失函數(shù)如下：

其中，是正則化項(xiàng)，目的是使外參估計(jì)更接近初值，與是分別用于平移和旋轉(zhuǎn)的正則化系數(shù)6.實(shí)驗(yàn)
采用的KITTI 00序列，對(duì)于靜態(tài)矯正，應(yīng)用

在前20次的迭代，應(yīng)用在接下來(lái)的30次迭代，應(yīng)用

在最后·10次迭代，也就是說(shuō)優(yōu)化共有60次迭代次數(shù)。對(duì)于聯(lián)合時(shí)空優(yōu)化，迭代次數(shù)設(shè)置為20次，應(yīng)用

，正則化項(xiàng)

和

采用四元數(shù)角度差(QAD)和歐拉角度差(AEAD)來(lái)評(píng)測(cè)旋轉(zhuǎn)誤差

采用平均平移誤差(ATD)來(lái)評(píng)測(cè)平移誤差

1）驗(yàn)證聯(lián)合時(shí)空標(biāo)定采用異步數(shù)據(jù)，算法估計(jì)的時(shí)延為103.4 ms，與真值相僅相差3.4 ms。外參標(biāo)定精度記錄入下表，和baseline比也表現(xiàn)出了顯著的優(yōu)勢(shì)。

2）魯棒性驗(yàn)證(加入噪聲后的校準(zhǔn))給外參平移加入分布在

的噪聲，給外參旋轉(zhuǎn)加入

和

的噪聲，加入后的性能和baseline比，在不需要預(yù)處理的情況下達(dá)到了更好的精度。

類似的，給時(shí)延也加入噪聲，進(jìn)一步證明了系統(tǒng)的魯棒性

3）消融實(shí)驗(yàn)驗(yàn)證了文中所提出的雙向損失函數(shù)的有效性

Conclusion

這篇文章提出了一種在線聯(lián)合時(shí)空校準(zhǔn)的lidar-visual算法。設(shè)計(jì)了一個(gè)雙向語(yǔ)義損失h函數(shù)，結(jié)合了來(lái)自VO的時(shí)延估計(jì)，同時(shí)估計(jì)外參和時(shí)延。在KITTI數(shù)據(jù)集上證明了它的有效性和魯棒性，是個(gè)不錯(cuò)的外參標(biāo)定工作。

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪文。

獨(dú)家重磅課程官網(wǎng)：cvlife.net

全國(guó)最大的機(jī)器人SLAM開發(fā)者社區(qū)

技術(shù)交流群

—? ?版權(quán)聲明? —

本公眾號(hào)原創(chuàng)內(nèi)容版權(quán)屬計(jì)算機(jī)視覺(jué)life所有；從公開渠道收集、整理及授權(quán)轉(zhuǎn)載的非原創(chuàng)文字、圖片和音視頻資料，版權(quán)屬原作者。如果侵權(quán)，請(qǐng)聯(lián)系我們，會(huì)及時(shí)刪除。