丟掉標(biāo)定板！用線特征也能完成魯棒的激光雷達(dá)和相機(jī)外參標(biāo)定！
為了解決外參逐漸漂移的問題，提出了一種基于線的方法，可以在真實(shí)場景中實(shí)現(xiàn)激光雷達(dá)和相機(jī)的自動(dòng)在線外參標(biāo)定。首先，從點(diǎn)云和圖像中提取和過濾線特征。然后，利用自適應(yīng)優(yōu)化方法提供精確的外部參數(shù)。然后在KITTI基準(zhǔn)上用地面真值對其進(jìn)行了評估。實(shí)驗(yàn)驗(yàn)證了標(biāo)定方法的準(zhǔn)確性。在數(shù)百幀的在線實(shí)驗(yàn)中，本文提出的方法自動(dòng)校正了誤標(biāo)定誤差，達(dá)到了0.2度的精度，驗(yàn)證了它在各種場景下的適用性。
作者：K.Fire ?| 來源：3D視覺工坊
在公眾號「3D視覺工坊」后臺(tái)，回復(fù)「原論文」即可獲取論文pdf。
添加微信：dddvisiona，備注：自動(dòng)駕駛，拉你入群。文末附行業(yè)細(xì)分群。
本文提出的目的：
傳統(tǒng)的手動(dòng)校準(zhǔn)方法需要專門設(shè)計(jì)對象，如標(biāo)定板或手動(dòng)選擇點(diǎn)，這導(dǎo)致校準(zhǔn)過程繁瑣。
長時(shí)間的運(yùn)行和不同的載荷會(huì)導(dǎo)致外部參數(shù)的輕微漂移和累計(jì)誤差，因此需要自動(dòng)在線標(biāo)定對其進(jìn)行調(diào)整。
本文主要貢獻(xiàn)：
提出了一種能在線自動(dòng)估計(jì)六自由度(6-DOF)參數(shù)的外參標(biāo)定方法。該方法利用一般的直線特征減少了傳感器之間的漂移誤差，不需要人工選擇點(diǎn)和特殊目標(biāo)，因此能夠適用于任何給定的場景。
提出了一種點(diǎn)云線提取方法，利用點(diǎn)云處理方法過濾噪聲數(shù)據(jù)，準(zhǔn)確提取線特征。
引入自適應(yīng)優(yōu)化方法和結(jié)果置信度估計(jì)方法，實(shí)現(xiàn)了向正確方向優(yōu)化和高效計(jì)算標(biāo)定結(jié)果。這里也推薦「3D視覺工坊」新課程《如何學(xué)習(xí)相機(jī)模型與標(biāo)定？（代碼+實(shí)戰(zhàn)）》。
提出的方法分為三個(gè)步驟：
在圖像和點(diǎn)云的特征提取之前進(jìn)行一系列的預(yù)處理
從圖像和點(diǎn)云中提取線特征，通過特征濾波進(jìn)行細(xì)化
最后，通過對初始外部參數(shù)添加小擾動(dòng)，將點(diǎn)云線特征投影到像素幀上，并對每個(gè)擾動(dòng)的得分進(jìn)行計(jì)算和優(yōu)化
本文的算法框架如下：
激光雷達(dá)與相機(jī)的外參標(biāo)定問題在于確定兩者之間正確的變換矩陣。將問題定義為求旋轉(zhuǎn)角向量θ=(θx;θy;θz)，平移向量t=(tx,ty,tz)；點(diǎn)云記為，圖像記為，表示點(diǎn)I和像素ij在第t幀的值。通過將LiDAR點(diǎn)投影到圖像上計(jì)算成本分?jǐn)?shù)，目標(biāo)函數(shù)定義為:
其中每個(gè)LiDAR點(diǎn)分別迭代水平特征和垂直特征。系數(shù)α對水平和垂直線特征賦予不同的權(quán)重。本文將α賦值為0.65，以增強(qiáng)對水平誤差的約束。另外，w是滑動(dòng)窗口的大小?？紤]之前的w幀，計(jì)算第t幀的分?jǐn)?shù)。
通俗的說就是：將激光雷達(dá)點(diǎn)檢測到的水平線特征和豎直線特征分別通過轉(zhuǎn)換矩陣T，變換到相機(jī)坐標(biāo)系中，然后投影到圖像上，然后通過一個(gè)在圖像上的滑動(dòng)窗口計(jì)算得分。
在圖像處理中，首先將RGB圖像轉(zhuǎn)換為灰度圖像；然后通過[1]中的線特征提取算法進(jìn)行線特征提??；然后對灰度圖像進(jìn)行距離變換。
下圖展示了這個(gè)過程。
圖(b)中的白色邊緣和圖(c)中的白色線條分別代表聚類的邊緣特征和線特征。如圖(b)所示，應(yīng)用距離變換模型后，聚類后的邊緣特征更加無序。相反，圖(c)中的線特征組織得更好，產(chǎn)生的灰度變化更小。它可以允許更大的搜索步長，從而防止優(yōu)化過程進(jìn)入局部解決方案。
白色像素表示提取的特征，灰度變化表示到邊緣或線特征的距離。像素越白，越接近這些線特征的中心
在激光雷達(dá)處理中，其原理是利用距離不連續(xù)性來獲得更多的邊線特征。為了實(shí)現(xiàn)這一目標(biāo)，采用局部映射的方法，將三幀點(diǎn)云合并為一幀，使一幀能呈現(xiàn)更多的點(diǎn)。具體來說，利用NDT方法計(jì)算當(dāng)前幀和前兩幀之間的變換矩陣。
在單幀和三合一幀中提取的邊界線點(diǎn)對比如下圖所示。圖(a)顯示了通過將三幀點(diǎn)云轉(zhuǎn)換為一幀點(diǎn)云得到的更密集的點(diǎn)云，與圖(b)中的另一幀點(diǎn)云相比，可以顯示更多的點(diǎn)。這可以提高提取性能，特別是在應(yīng)用低光束激光雷達(dá)時(shí)。
然后將更密集的點(diǎn)云轉(zhuǎn)換成圖像，每個(gè)像素存儲(chǔ)對應(yīng)雷達(dá)點(diǎn)的距離信息。通過比較當(dāng)前點(diǎn)與相鄰點(diǎn)之間的距離，消除離相鄰點(diǎn)太遠(yuǎn)的離群點(diǎn)，提取出更精確的線特征。需要注意的是，本文考慮了多個(gè)激光束之間的距離信息。這使得可以提取水平特征，從而使用線特征最小化水平和垂直誤差。水平線特征和垂直線特征分別存儲(chǔ)在兩個(gè)不同的點(diǎn)云中。在此設(shè)置中，忽略了很少出現(xiàn)的平面相交線特征，有利于提高計(jì)算效率。
在上面的處理之后，得到了無序的線特征。下面采用兩步過濾方法來消除異常值。
第一步：由于點(diǎn)云已經(jīng)轉(zhuǎn)換成圖像形式，因此設(shè)計(jì)了一個(gè)卷積核來過濾掉距離所有八個(gè)相鄰點(diǎn)超過一定閾值的點(diǎn)。這種過濾方法可以去除所有的異常點(diǎn)以及與地面對應(yīng)的點(diǎn)。剩余的特征可以被識別為線特征。
過濾前后的線特征如下圖所示。
第二步：使用聚類算法去除相鄰點(diǎn)很少的線特征，剔除短于8像素的線特征。
以上兩個(gè)過濾步驟可以提供更有條理的點(diǎn)云線特征，保證后續(xù)步驟的優(yōu)化效果更好
在優(yōu)化之前，已經(jīng)將LiDAR線特征提取到圖像上，并計(jì)算投影到灰色區(qū)域的LiDAR點(diǎn)的比例。
為了準(zhǔn)確地找到解，采用了兩個(gè)搜索步驟。
首先，為了防止搜索陷入局部解，采用圖像線特征寬、灰度變化小、步長相對較大的粗糙搜索，可以快速發(fā)現(xiàn)可能包含最佳解的區(qū)域。
然后，應(yīng)用更細(xì)的圖像線特征和更大的灰度變化，以及更小的步長，以獲得更精確的校準(zhǔn)結(jié)果。
當(dāng)激光雷達(dá)點(diǎn)投射到灰色區(qū)域的比例超過一定閾值時(shí)，就會(huì)發(fā)生這兩步大小和灰度變化之間的切換。
為了提高計(jì)算效率，提出了一種自適應(yīng)優(yōu)化方法，使優(yōu)化向著正確的方向進(jìn)行。
將當(dāng)前像素得分與相鄰的728個(gè)得分進(jìn)行比較。在此過程中，如果搜索程序發(fā)現(xiàn)得分較高的參數(shù)，則停止當(dāng)前搜索過程，并在得分較高的位置開始新的搜索過程。此外，當(dāng)達(dá)到設(shè)定的迭代次數(shù)或找到最佳分?jǐn)?shù)時(shí)，該搜索過程將停止，從而可以提高計(jì)算效率。另外，還使用滑動(dòng)窗口來設(shè)置優(yōu)化過程中需要考慮的幀。在本文中，為了防止從錯(cuò)誤的方向進(jìn)行優(yōu)化搜索或陷入局部最優(yōu)解，使用了三幀。因此，最終優(yōu)化的外部參數(shù)應(yīng)該在滑動(dòng)窗口的所有幀中都超過其他參數(shù)。
在KITTI數(shù)據(jù)集的不同場景下進(jìn)行了兩次實(shí)驗(yàn)。
圖(a)和(b)給出了實(shí)驗(yàn)一的結(jié)果，圖(c)和(d)給出了實(shí)驗(yàn)二的結(jié)果。在這兩個(gè)實(shí)驗(yàn)中，在X、Y、Z軸上增加了1度的旋轉(zhuǎn)偏置，并對地面真值參數(shù)增加了0.05米的變換偏置。然后，每10幀添加0.5度的旋轉(zhuǎn)偏差。需要指出的是，1度旋轉(zhuǎn)偏置是正還是負(fù)是隨機(jī)的。實(shí)驗(yàn)將標(biāo)定誤差與地面真實(shí)值進(jìn)行了比較。此外，還測試了檢測誤校準(zhǔn)的能力和糾正偏差的速度。
在不計(jì)算人為誤差的情況下，橫搖、俯仰、偏航的最大誤差始終在0.5度以內(nèi)。由于激光雷達(dá)具有較高的水平分辨率，偏航的校準(zhǔn)結(jié)果最為精確。盡管激光雷達(dá)在垂直方向上的分辨率要低得多，并且該方向上的3D特征呈現(xiàn)頻率較低，但由于采用了自適應(yīng)優(yōu)化算法，并且該方向的權(quán)重較高，因此所提出方法仍然可以達(dá)到較高的精度。總體而言，在所有維度上的平均旋轉(zhuǎn)誤差為0.12度，低于大多數(shù)離線校準(zhǔn)技術(shù)。
在上圖(a)和(b)中，黑色箭頭1、2、3和4指向添加偏差的框架。對于箭頭1和3提出的方法立即糾正了偏差，而沒有顯示置信度下降，而對于黑色箭頭2和4，紅色部分在兩幀內(nèi)變?yōu)榫G色(圖(a))，這意味著偏差在兩幀內(nèi)得到了糾正。實(shí)驗(yàn)二也出現(xiàn)了同樣的情況(圖(c)和(d))。這里也推薦「3D視覺工坊」新課程《如何學(xué)習(xí)相機(jī)模型與標(biāo)定？（代碼+實(shí)戰(zhàn)）》。
在KITTI數(shù)據(jù)集上更多場景下的整體校準(zhǔn)結(jié)果如下圖所示，說明本文方法適用于不同場景。
本文提出了一種在線自動(dòng)標(biāo)定激光雷達(dá)和相機(jī)外部參數(shù)的方法。與以前的自動(dòng)化方法不同，這種新的校準(zhǔn)方法不需要在場景中放置標(biāo)記。作者證明了點(diǎn)云和圖像的線特征是校正校準(zhǔn)偏差的魯棒特征。人為添加的偏置可以在一到兩幀內(nèi)得到糾正，比其他方法更快。此外，文中還說明了當(dāng)前校準(zhǔn)結(jié)果的置信度可以計(jì)算，并進(jìn)一步用于提高計(jì)算效率和精度。
未來的工作希望評估提取的線特征的準(zhǔn)確性，以減少特征較少的場景中的校準(zhǔn)偏差。利用蒙特卡羅方法可以提供初始參數(shù)。
[1]R. G. Von Gioi, J. Jakubowicz, J.-M. Morel, and G. Randall, “Lsd: a line segment detector,” Image Processing On Line, vol. 2, pp. 35–55, 2012.
