摘要：

在自動(dòng)駕駛、機(jī)器人、AR/VR領(lǐng)域，越來(lái)越多的方案開始采用多相機(jī)、多激光雷達(dá)的配置來(lái)達(dá)到多傳感器融合的目的。多模態(tài)傳感器標(biāo)定是這些系統(tǒng)正常運(yùn)行的前提，但是目前的多模態(tài)傳感器標(biāo)定方案仍然很麻煩，需要大量的人工介入，不適合部署到產(chǎn)線上。本文提出一種多相機(jī)、多雷達(dá)系統(tǒng)的外參標(biāo)定方案，只需要采集一幀數(shù)據(jù)即可完成標(biāo)定。我們?cè)O(shè)計(jì)并建立一種全景基礎(chǔ)設(shè)施，相機(jī)和激光雷達(dá)只需要一幀數(shù)據(jù)就能在這個(gè)基礎(chǔ)設(shè)施中完成定位。我們?cè)谌N不同傳感器配置的設(shè)備上進(jìn)行實(shí)驗(yàn)，驗(yàn)證了我們提出的方法在極大的提高效率的同時(shí)可以保證標(biāo)定精度。

作者：Bin|微信公眾號(hào)：3D視覺工坊

注1：文末附有【視覺SLAM、激光SLAM】交流群加入方式

3D視覺精品課程推薦：

注2：自動(dòng)駕駛系統(tǒng)課程：https://mp.weixin.qq.com/s/0-mb6M6HvKU3Uau0a4taTw

注3：視覺SLAM(vins-fusion)：https://mp.weixin.qq.com/s/L3YkFH7JSAhM4rDam7mdWg

注4：三維重建系統(tǒng)課程：https://mp.weixin.qq.com/s/9gtdrloSWR2kJlYk5CnWIQ

注5：三維點(diǎn)云系統(tǒng)課程：https://mp.weixin.qq.com/s/uJ34xjWjAFCzDDduoo0ixA

注6：激光SLAM系統(tǒng)教程：https://mp.weixin.qq.com/s/lfA-xwPNvR3-laemEGBAqQ

注7：結(jié)構(gòu)光系統(tǒng)教程：https://mp.weixin.qq.com/s/WLyu

論文標(biāo)題：Single-Shot is Enough: Panoramic Infrastructure Based Calibration of Multiple Cameras and 3D LiDARs

作者：Chuan Fang, Shuai Ding, Zilong Dong, Honghua Li, Siyu Zhu, Ping Tan

論文地址：https://arxiv.org/abs/2103.12941

論文即將開源的代碼地址：https://github.com/alibaba

圖1 文中標(biāo)定所用的全景基礎(chǔ)設(shè)施

主要貢獻(xiàn)：

1.本文提出一種全景基礎(chǔ)設(shè)施，這種基礎(chǔ)設(shè)施可以保證所有傳感器在同一個(gè)參考坐標(biāo)系中定位，從而克服了沒有共視區(qū)域的傳感器之間標(biāo)定困難的問(wèn)題；2.本文使用隨機(jī)分布的無(wú)特征基準(zhǔn)Marker點(diǎn)來(lái)布置全景基礎(chǔ)設(shè)施，同時(shí)基礎(chǔ)設(shè)施中需要存在互相垂直的若干平面，這些特性幫助傳感器可以在這個(gè)基礎(chǔ)設(shè)施中魯棒的定位；3.本文的方法是一個(gè)多傳感器標(biāo)定的統(tǒng)一方法，可以完成相機(jī)-相機(jī)外參標(biāo)定、雷達(dá)-雷達(dá)外參標(biāo)定、相機(jī)-雷達(dá)外參標(biāo)定，并且具有可擴(kuò)展性。

理論：

圖2 基于全景基礎(chǔ)設(shè)施的多傳感器標(biāo)定框架圖1 的基礎(chǔ)設(shè)施場(chǎng)景重建采用的是標(biāo)準(zhǔn)增量雙目SfM Pipline方法來(lái)獲得全景基礎(chǔ)設(shè)施的稀疏點(diǎn)云，這種稀疏重建作為后續(xù)標(biāo)定過(guò)程的標(biāo)定參考。作者只需對(duì)傳感器數(shù)據(jù)(包括多個(gè)攝像機(jī)和Lidar)進(jìn)行一次掃描，即可進(jìn)行基于定位的標(biāo)定。具體來(lái)說(shuō)，通過(guò)視覺匹配無(wú)特征基準(zhǔn)標(biāo)記點(diǎn)，將攝像機(jī)的位姿定位在稀疏地圖中，然后進(jìn)行多攝像機(jī)聯(lián)合優(yōu)化。同樣，作者根據(jù)相同的稀疏重建方法，通過(guò)線和點(diǎn)等幾何特征定位激光雷達(dá)的姿態(tài)。最后，可以從任意兩個(gè)傳感器對(duì)應(yīng)的剛體相對(duì)于標(biāo)定基準(zhǔn)的變換得到它們之間的相對(duì)位姿。上述整個(gè)流程如圖2所示。

對(duì)于相機(jī)定位，作者選擇圓形標(biāo)記點(diǎn)作為無(wú)特征基準(zhǔn)標(biāo)記點(diǎn)，因?yàn)閳A形標(biāo)記點(diǎn)的中心檢測(cè)被普遍認(rèn)為具有較高的準(zhǔn)確性。為了重建全景基礎(chǔ)設(shè)施，作者提出了一種基于無(wú)特征基準(zhǔn)標(biāo)記的標(biāo)準(zhǔn)增量雙目SfM Pipline方法，該P(yáng)ipline方法由以下三個(gè)步驟組成:立體幀跟蹤、局部映射和全局優(yōu)化。

立體幀跟蹤：

為了獲得立體幀，作者平穩(wěn)地移動(dòng)雙目攝像機(jī)，以統(tǒng)一的模式捕捉720度范圍的房間場(chǎng)景，并利用立體SfM方法檢測(cè)雙目左右?guī)臒o(wú)特征圓心。給定雙目相機(jī)的內(nèi)參外參，作者通過(guò)標(biāo)準(zhǔn)的極線搜索得到雙目相機(jī)左右?guī)奶卣髌ヅ潢P(guān)系。一旦建立了左右?guī)g的特征對(duì)應(yīng)關(guān)系，就可以對(duì)對(duì)應(yīng)的稀疏三維點(diǎn)進(jìn)行三角剖分。為了建立連續(xù)立體幀間稀疏三維點(diǎn)的對(duì)應(yīng)關(guān)系，作者提出了以下基于三角形的匹配算法：

局部映射：

在每一次立體幀跟蹤操作之后，作者提出一個(gè)閉環(huán)檢測(cè)，以獲得當(dāng)前和以前的立體幀之間更魯棒的三維對(duì)應(yīng)關(guān)系。所提出的閉環(huán)檢測(cè)策略是將當(dāng)前立體幀的稀疏點(diǎn)按時(shí)間序列投影到遠(yuǎn)離當(dāng)前立體幀的其他立體幀上。然后，提取與當(dāng)前立體幀共視稀疏點(diǎn)最多的立體幀，通過(guò)執(zhí)行算法得到其匹配對(duì)應(yīng)關(guān)系。

全局優(yōu)化：

由于增量重建的結(jié)果受到累積錯(cuò)誤的影響，因此采用Bundle Adjustment（BA）優(yōu)化，同時(shí)細(xì)化攝像機(jī)的所有位姿和稀疏點(diǎn)。在全局優(yōu)化之前，作者將距離小于2cm的稀疏點(diǎn)合并為一個(gè)，然后通過(guò)全局BA最小化以下重投影誤差函數(shù):

一旦全景基礎(chǔ)設(shè)施的稀疏地圖可用，作者便可以在單次拍攝中精確定位預(yù)校準(zhǔn)相機(jī)。首先，標(biāo)定基礎(chǔ)設(shè)施中各攝像機(jī)的定位提供了多攝像機(jī)之間的初始外部條件，然后利用多攝像機(jī)的幾何約束，采用迭代Levenberg-Marquardt (LM)算法進(jìn)一步細(xì)化外部參數(shù)。由于標(biāo)定參考中的基準(zhǔn)標(biāo)記物無(wú)特征，傳統(tǒng)的視覺定位方法無(wú)法估計(jì)待標(biāo)定攝像機(jī)的姿態(tài)，所以作者采用了基于三角形的PnP結(jié)合RANSAC算法獲得局部的相機(jī)姿態(tài)，該方法類似于基于三角形的在立體幀跟蹤中引入三維點(diǎn)匹配方法，可以克服圖像和三維稀疏點(diǎn)都缺乏顯著的紋理特征的問(wèn)題。

為了進(jìn)一步優(yōu)化輸入激光雷達(dá)掃描的位姿，作者通過(guò)平面擬合對(duì)全景基礎(chǔ)設(shè)施進(jìn)行密集稀疏重建，并在激光雷達(dá)掃描和密集參考重建之間執(zhí)行迭代最近點(diǎn)(ICP)優(yōu)化算法。實(shí)驗(yàn)：作者選擇CCTag作為實(shí)驗(yàn)中使用的無(wú)特征基準(zhǔn)標(biāo)記，在A4紙上印上340多個(gè)沒有身份信息的CCTag，隨意貼在地板和四壁上。各主要階段的計(jì)算時(shí)間為每臺(tái)相機(jī)的平均定位時(shí)間為3.797秒，激光雷達(dá)定位成本為0.855秒，其中省略了人工干預(yù)時(shí)間。

圖3 實(shí)驗(yàn)中采用了四種類型的裝置SfM重建精度：

相機(jī)與相機(jī)的標(biāo)定精度：

相機(jī)與激光雷達(dá)的標(biāo)定精度：

激光雷達(dá)與激光雷達(dá)的標(biāo)定精度：

多傳感器的標(biāo)定精度：

在移動(dòng)機(jī)器人上的標(biāo)定精度：

總結(jié)在本文中，作者提出一種基于全景基礎(chǔ)設(shè)施的多傳感器標(biāo)定解決方案，不需要專業(yè)知識(shí)并涉及很少的操作，適應(yīng)多相機(jī)和激光雷達(dá)的各種配置。作者使用的參考環(huán)境是精心設(shè)計(jì)的，以便攝像機(jī)或激光雷達(dá)可以穩(wěn)健地定位，從中可以導(dǎo)出傳感器的相對(duì)變換。作者還提出了一種經(jīng)濟(jì)的方法來(lái)重建基礎(chǔ)設(shè)施，使用低端立體相機(jī)，其精度可與昂貴的專業(yè)3D掃描儀媲美。備注：作者也是我們「3D視覺從入門到精通」特邀嘉賓：一個(gè)超干貨的3D視覺學(xué)習(xí)社區(qū)

原創(chuàng)征稿

初衷 3D視覺工坊是基于優(yōu)質(zhì)原創(chuàng)文章的自媒體平臺(tái)，創(chuàng)始人和合伙人致力于發(fā)布3D視覺領(lǐng)域最干貨的文章，然而少數(shù)人的力量畢竟有限，知識(shí)盲區(qū)和領(lǐng)域漏洞依然存在。為了能夠更好地展示領(lǐng)域知識(shí)，現(xiàn)向全體粉絲以及閱讀者征稿，如果您的文章是3D視覺、CV&深度學(xué)習(xí)、SLAM、三維重建、點(diǎn)云后處理、自動(dòng)駕駛、三維測(cè)量、VR/AR、3D人臉識(shí)別、醫(yī)療影像、缺陷檢測(cè)、行人重識(shí)別、目標(biāo)跟蹤、視覺產(chǎn)品落地、硬件選型、求職分享等方向，歡迎砸稿過(guò)來(lái)~文章內(nèi)容可以為paper reading、資源總結(jié)、項(xiàng)目實(shí)戰(zhàn)總結(jié)等形式，公眾號(hào)將會(huì)對(duì)每一個(gè)投稿者提供相應(yīng)的稿費(fèi)，我們支持知識(shí)有價(jià)！

投稿方式

郵箱：vision3d@yeah.net 或者添加小助理微信：CV_LAB，另請(qǐng)注明原創(chuàng)投稿。

微信交流群：

歡迎加入「3D視覺工坊」交流群，方向涉及3D視覺、計(jì)算機(jī)視覺、深度學(xué)習(xí)、vSLAM、激光SLAM、立體視覺、自動(dòng)駕駛、點(diǎn)云處理、三維重建、多視圖幾何、結(jié)構(gòu)光、多傳感器融合、VR/AR、學(xué)術(shù)交流、求職交流等。工坊致力于干貨輸出，為3D領(lǐng)域貢獻(xiàn)自己的力量！歡迎大家一起交流成長(zhǎng)~

添加小助手微信：CV_LAB，備注學(xué)校/公司+姓名+研究方向即可加入工坊一起學(xué)習(xí)進(jìn)步。