自動環(huán)繞相機校準(zhǔn)方法在自動駕駛汽車道路場景中的應(yīng)用
作者：小張Tt?|?來源：3D視覺工坊，在公眾號后臺，回復(fù)「原論文」獲取論文
本文介紹了一種用于道路場景中魯棒的自動多攝像頭校準(zhǔn)和修正的方法。該方法利用了從粗糙到精細(xì)的隨機搜索策略，可以解決初始外部參數(shù)的較大擾動，并彌補了非線性優(yōu)化方法陷入局部最優(yōu)值的缺陷。通過在實際和模擬環(huán)境中進(jìn)行的定量和定性實驗，結(jié)果表明所提出的方法可以實現(xiàn)準(zhǔn)確性和魯棒性的性能。
本文提出了一種基于光度誤差的道路場景下全景相機外部參數(shù)校準(zhǔn)的全自動無目標(biāo)方法。該方法使用了從粗糙到精細(xì)的隨機搜索策略，可以適應(yīng)較大的初始外部參數(shù)誤差，同時避免了在非線性優(yōu)化方法中陷入最優(yōu)局部值的問題。在模擬和真實數(shù)據(jù)集上，該方法表現(xiàn)出有希望的性能。
作者的貢獻(xiàn)有三個方面:
提出了一種全自動、無目標(biāo)的方法，基于道路場景下鳥瞰視圖中重疊區(qū)域的光度誤差來進(jìn)行全景相機外部參數(shù)校準(zhǔn)。
使用了從粗糙到精細(xì)的隨機搜索策略，可以適應(yīng)較大的初始外部參數(shù)誤差。同時，避免了在非線性優(yōu)化方法中陷入最優(yōu)局部值的問題。
所提出的方法在作者的模擬和真實數(shù)據(jù)集上表現(xiàn)出有希望的性能；同時，基于分析，作者開發(fā)了一款實用的校準(zhǔn)軟件，并在GitHub上開源，以造福社區(qū)。
車道線基于的方法依賴于捕捉到兩條平行車道線，而基于里程計的方法將校準(zhǔn)問題納入到視覺里程計或完整SLAM系統(tǒng)的優(yōu)化中?；诠舛鹊姆椒ú捎弥苯訄D像對齊的方法，利用局部亮度來確定優(yōu)化步驟。這些方法都存在一些局限性和缺點，例如強依賴平行車道線的方法對SVS情況不適用，而基于里程計的方法需要大量時間和計算資源?；诠舛鹊姆椒m能在稀疏紋理場景下表現(xiàn)出更好的魯棒性，但仍然基于非線性優(yōu)化方法，不能解決較大的干擾。因此，需要進(jìn)一步研究基于SVS的在線校準(zhǔn)方法，以克服上述方法的局限性并提高校準(zhǔn)的魯棒性和效率。
本節(jié)介紹了作者方法的細(xì)節(jié)，包括紋理關(guān)鍵點提取、優(yōu)化損失和從粗到細(xì)的解決方案。
本節(jié)將討論如何生成BEV圖像、提取紋理、將紋理像素投射回原始點云，并優(yōu)化損失函數(shù)。
投射模型 本節(jié)介紹了如何基于相機投影模型生成BEV圖像，并從中提取紋理，然后將紋理像素投影回原始點云，并使用損失優(yōu)化方法。投影模型利用相機的姿態(tài)和內(nèi)參矩陣，將地面坐標(biāo)系的點投影到相機圖像平面上。然后，將BEV圖像的坐標(biāo)反投影回相機坐標(biāo)系，以獲得原始相機圖像上點的坐標(biāo)。最后，通過對映射關(guān)系的應(yīng)用，可以得到每個相機視角的BEV圖像。
2）紋理點提取
本節(jié)介紹了紋理點提取的方法。根據(jù)相鄰相機的公共視野，利用多視角幾何先驗知識和初始校準(zhǔn)參數(shù)，將一個相機的BEV紋理像素投影回另一個相機的圖像，并通過計算光度損失對其進(jìn)行優(yōu)化，使得兩個相機的BEV紋理位置重疊。在公共視野區(qū)域，通過計算像素的光度梯度，并與閾值進(jìn)行比較，可以提取紋理像素點。此外，如果相鄰相機具有不同的曝光條件，需要進(jìn)行處理。
3）計算光度損失
本節(jié)介紹了如何計算光度損失。首先，將相機的BEV紋理像素點投影到相機的圖像上，得到對應(yīng)的像素點，并計算這兩個相機視圖之間的光度損失。光度損失衡量了相機的BEV圖像和相機圖像之間的差異。通過將方程展開，可以得到光度損失的計算公式。
通過結(jié)合位姿和相機投影方程將公式進(jìn)一步展開。
本文介紹了一種旨在生成無縫車輛環(huán)視圖像的校準(zhǔn)方法。首先利用前視攝像頭通過消失點和水平線校準(zhǔn)相機到車體的外參。然后通過遞歸優(yōu)化相鄰攝像頭的光度損失來優(yōu)化所有其他攝像頭的外參。由于光度損失優(yōu)化的圖像對齊問題是非凸優(yōu)化問題，很難通過凸優(yōu)化技術(shù)進(jìn)行優(yōu)化，因此需要提供合理而穩(wěn)健的初始外參估計。為此，本文采用了粗到精的隨機搜索策略，通過在當(dāng)前最優(yōu)參數(shù)周圍隨機搜索參數(shù)空間來優(yōu)化光度損失。該策略類似于非線性優(yōu)化中的梯度下降方法，但可以避免陷入局部最優(yōu)值。在每個階段的隨機搜索中，通過計算光度損失來評估當(dāng)前姿態(tài)的效果，并根據(jù)評估結(jié)果更新最優(yōu)姿態(tài)。通過多輪隨機搜索，可以得到相對最優(yōu)的姿態(tài)，從而生成具有較小光度損失的車輛環(huán)視圖像。
本文的實驗部分分為真實實驗和模擬實驗兩個部分。真實實驗在作者的無人駕駛車輛測試平臺上進(jìn)行，而模擬實驗基于Carla引擎進(jìn)行。這樣的設(shè)計使得作者能夠在真實環(huán)境和虛擬環(huán)境下對所提出的方法進(jìn)行全面的測試和評估。
本文的實驗部分介紹了機器配置和數(shù)據(jù)集的設(shè)置。作者的算法在Ubuntu操作系統(tǒng)上執(zhí)行，使用了特定配置的處理器。實驗使用了Carla模擬數(shù)據(jù)和真實世界的魚眼攝像頭數(shù)據(jù)。為了去除自車占據(jù)的區(qū)域，作者使用了ROI對BEV圖進(jìn)行濾波處理。這樣的實驗設(shè)置可以幫助作者評估和驗證算法的性能和效果。
作者的方法通過校準(zhǔn)內(nèi)參和外參參數(shù)，將四個相機投影到BEV中，以更好地可視化性能。圖5展示了針孔相機的結(jié)果，而圖6和圖7則展示了魚眼相機校準(zhǔn)前后的結(jié)果。
本研究通過與現(xiàn)有工作進(jìn)行比較，證明了作者的校準(zhǔn)方法在環(huán)景視圖系統(tǒng)在線外參校正問題上具有較高的精度。在初始誤差超過0.3°后，有些的方法無法繼續(xù)校準(zhǔn)，而作者的方法仍然能夠獲得更好的結(jié)果。作者的校準(zhǔn)算法能夠?qū)⒊跏颊`差控制在3°范圍內(nèi)。
本研究中，作者通過采用分級粗到細(xì)的隨機搜索方法來解決了環(huán)景視圖相機的在線校準(zhǔn)問題，并克服了傳統(tǒng)特征或直接方法的一些局限性。作者的方法在處理失真和非線性優(yōu)化問題時表現(xiàn)良好，并且能夠有效處理較大的初始誤差。未來的研究方向包括優(yōu)化算法的實時性能，并在紋理不明顯的環(huán)境中進(jìn)一步提升算法性能。
目前工坊已經(jīng)建立了3D視覺方向多個社群，包括SLAM、工業(yè)3D視覺、自動駕駛方向，細(xì)分群包括：[工業(yè)方向]三維點云、結(jié)構(gòu)光、機械臂、缺陷檢測、三維測量、TOF、相機標(biāo)定、綜合群；[SLAM方向]多傳感器融合、ORB-SLAM、激光SLAM、機器人導(dǎo)航、RTK|GPS|UWB等傳感器交流群、SLAM綜合討論群；[自動駕駛方向]深度估計、Transformer、毫米波|激光雷達(dá)|視覺攝像頭傳感器討論群、多傳感器標(biāo)定、自動駕駛綜合群等。[三維重建方向]NeRF、colmap、OpenMVS等。除了這些，還有求職、硬件選型、視覺產(chǎn)品落地等交流群。大家可以添加小助理微信:?dddvisiona，備注：加群+方向+學(xué)校|公司, 小助理會拉你入群。
