散文網(wǎng) » 生活 »日常 » 最全技術(shù)棧！視覺/激光/多傳感器融合SLAM+三維重建+相機(jī)標(biāo)定！

最全技術(shù)棧！視覺/激光/多傳感器融合SLAM+三維重建+相機(jī)標(biāo)定！

2021-10-04 09:46 作者:計(jì)算機(jī)視覺life 0人讀過 | 我要投稿

原文鏈接：最全技術(shù)棧！視覺/激光/多傳感器融合SLAM+三維重建+相機(jī)標(biāo)定！

https://mp.weixin.qq.com/s/FhYbQib6zsBcRnO_0mjsUg

背景介紹

今年自動(dòng)駕駛領(lǐng)域非?；馃?，發(fā)生了一輪又一輪的融資，圖森未來在美股上市，被稱為“全球自動(dòng)駕駛第一股”。大疆創(chuàng)新正式推出旗下智能駕駛業(yè)務(wù)品牌“大疆車載”，向汽車企業(yè)提供自動(dòng)駕駛解決方案。華為和北汽合作極狐汽車實(shí)現(xiàn)上海城區(qū)通勤無干預(yù)自動(dòng)駕駛。。。

在增強(qiáng)現(xiàn)實(shí)（AR）領(lǐng)域，Facebook表示要從社交網(wǎng)絡(luò)公司轉(zhuǎn)變成元宇宙公司，字節(jié)跳動(dòng)重金收購AR/VR頭顯公司Pico，騰訊、阿里也紛紛入場(chǎng)，AR領(lǐng)域即將迎來新的春天。。。

在機(jī)器人領(lǐng)域，掃地機(jī)器人公司石頭科技上市，物流機(jī)器人極智嘉在籌備IPO，清潔機(jī)器人公司高仙完成B+輪1億美元融資。。。

在自動(dòng)駕駛、無人機(jī)、增強(qiáng)現(xiàn)實(shí)、機(jī)器人導(dǎo)航等領(lǐng)域的技術(shù)棧中，即時(shí)定位和建圖（SLAM）是其中的核心技術(shù)之一。SLAM中所涉及到的傳感器有相機(jī)、激光雷達(dá)、IMU、GPS、輪速計(jì)等，面對(duì)不同的平臺(tái)和傳感器配置，如何選擇適合自己的技術(shù)方案呢？

相機(jī)標(biāo)定技術(shù)框架

相機(jī)標(biāo)定系統(tǒng)教程：?jiǎn)文?魚眼/雙目/陣列相機(jī)標(biāo)定：原理與實(shí)戰(zhàn)

相機(jī)標(biāo)定是指借助專用的標(biāo)志物（如棋盤格）來估計(jì)相機(jī)的圖像傳感器參數(shù)（內(nèi)參、外參）和鏡頭參數(shù)（畸變系數(shù)）。
它是一種計(jì)算相機(jī)二維圖像和三維世界相對(duì)映射關(guān)系的一種方法。標(biāo)定相機(jī)過程涉及相機(jī)成像模型、多視圖幾何、非線性優(yōu)化等知識(shí)。
相機(jī)標(biāo)定是三維視覺的基礎(chǔ)。

毫不夸張的說，相機(jī)標(biāo)定是一切三維視覺的基礎(chǔ)。它廣泛應(yīng)用于雙目視覺、手眼機(jī)械臂、機(jī)器人定位建圖、圖像拼接、三維重建等場(chǎng)景。

大綱如下所示：

視覺SLAM基礎(chǔ)

ORB-SLAM2是視覺SLAM中特征點(diǎn)法的開源代表作，是學(xué)習(xí)SLAM必學(xué)的第一個(gè)開源算法。同時(shí)支持單目、雙目、RGBD相機(jī)，涵蓋視覺SLAM領(lǐng)域核心算法，包括地圖初始化、實(shí)時(shí)跟蹤、局部建圖、回環(huán)檢測(cè)、BA優(yōu)化，工程技巧等。

ORB-SLAM2 在汽車上應(yīng)用

ORB-SLAM2 用于室內(nèi)三維重建

ORB-SLAM2詳細(xì)注釋的代碼持續(xù)更新，網(wǎng)址：

https://github.com/electech6/ORB_SLAM2_detailed_comments

ORB-SLAM2系統(tǒng)學(xué)習(xí)教程：視覺SLAM必學(xué)基礎(chǔ)：ORB-SLAM2源碼詳解

大綱

（掃描進(jìn)詳情頁看高清圖）

視覺慣性SLAM技術(shù)

ORB-SLAM3是在ORB-SLAM2的基礎(chǔ)上開發(fā)的視覺慣性SLAM技術(shù)，于2020年7月發(fā)布。它在定位精度和效果上幾乎碾壓了同類的開源算法，受到極大關(guān)注。

它有如下特點(diǎn)：

1、第一個(gè)可以運(yùn)行視覺、視覺慣性和多地圖，支持單目、雙目和RGB-D相機(jī)，且支持針孔和魚眼鏡頭模型的SLAM系統(tǒng)。

2、該算法可以在不同大小，室內(nèi)和室外環(huán)境中魯棒、實(shí)時(shí)的運(yùn)行，精度上相比于以前的方法提升了2~5倍。

3、多地圖系統(tǒng)可以讓系統(tǒng)在視覺信息缺乏的場(chǎng)景下長時(shí)間運(yùn)行。比如當(dāng)跟蹤丟失的時(shí)候，它會(huì)重新建立新的地圖，并在重新訪問之前的地圖時(shí)，無縫地與之前的地圖合并。

4、實(shí)驗(yàn)結(jié)果證明，雙目慣性模式下，該算法在無人機(jī)數(shù)據(jù)集EuRoC上可以達(dá)到平均3.6cm的定位精度，在手持設(shè)備快速移動(dòng)的室內(nèi)數(shù)據(jù)集TUM-VI上達(dá)到了9mm的定位精度。

非常魯棒！滑滑梯從黑管子中穿過！

從室內(nèi)到室外，絲滑閉環(huán)

全網(wǎng)最詳細(xì)ORB-SLAM3代碼注釋地址：

https://github.com/electech6/ORB_SLAM3_detailed_comments

ORB-SLAM3系統(tǒng)教程：VIO滅霸：ORB-SLAM3超全解析！

基于LiDAR的多傳感器融合技術(shù)

多傳感器融合SLAM是自動(dòng)駕駛、智能機(jī)器人中的核心技術(shù)。目前工業(yè)界用的主流多傳感器融合SLAM框架包括LOAM/A-LOAM、LeGO-LOAM、LIO-SAM等。

LOAM是Ji Zhang早期開源的多線LiDAR SLAM算法。該代碼可讀性很差，作者后來將其閉源。
A-LOAM是港科大秦通博士（VINS-Mono一作）在LOAM原有代碼基礎(chǔ)上，使用Ceres-solver和Eigen庫對(duì)其進(jìn)行重構(gòu)和優(yōu)化，在保持原有算法原理的基礎(chǔ)上，使其可讀性大大增加，作為入門多線激光slam最好選擇。
LeGO-LOAM 是Tixiao Shan在原有LOAM基礎(chǔ)上，做了一些改進(jìn)包括:1、對(duì)前端里程計(jì)的前量化改造，提取地面點(diǎn)更適配水平安裝的LiDAR; 2、使用SLAM中的Keyframe概念以及回環(huán)檢測(cè)位姿圖優(yōu)化的方式對(duì)后端進(jìn)行重構(gòu)。

LIO-SAM 是Tixiao Shan在LeGO-LOAM的擴(kuò)展，添加了IMU預(yù)積分因子和GPS因子：前端使用緊耦合的IMU融合方式，替代原有的幀間里程計(jì)，使得前端更輕量；后端沿用LeGO-LOAM，在此基礎(chǔ)上融入了GPS觀測(cè)。同時(shí)前端后端相互耦合，提高系統(tǒng)精度。

多傳感器融合SLAM系統(tǒng)教程：重磅來襲！基于LiDAR的多傳感器融合SLAM 系列教程：LOAM、LeGO-LOAM、LIO-SAM

視覺幾何三維重建技術(shù)

幾何三維重建系統(tǒng)教程：視覺幾何三維重建教程（第2期）：稠密重建，曲面重建，點(diǎn)云融合，紋理貼圖

三維重建是指用相機(jī)拍攝真實(shí)世界的物體、場(chǎng)景，并通過計(jì)算機(jī)視覺技術(shù)進(jìn)行處理，從而得到物體的三維模型。英文術(shù)語：3D Reconstruction。
涉及的主要技術(shù)有：多視圖立體幾何、深度圖估計(jì)、點(diǎn)云處理、網(wǎng)格重建和優(yōu)化、紋理貼圖、馬爾科夫隨機(jī)場(chǎng)、圖割等。
是增強(qiáng)現(xiàn)實(shí)（AR）、混合現(xiàn)實(shí)（MR）、機(jī)器人導(dǎo)航、自動(dòng)駕駛等領(lǐng)域的核心技術(shù)之一。

三維重建結(jié)果

本文列舉幾個(gè)典型的應(yīng)用場(chǎng)景：

1、影像娛樂?？梢灾亟ㄎ矬w，得到三維模型，可以用來3D打印或用人體來驅(qū)動(dòng)做一些有趣的應(yīng)用（見開頭視頻）。

2、虛擬試衣。對(duì)人體重建后才能根據(jù)不同人體的胖瘦高矮自動(dòng)適配不同尺碼的衣服。

3、智能家居。宜家的APP，可以用來放置虛擬家具看看和自己家里的調(diào)性是否匹配，還有實(shí)際尺寸，可以看看能不能放得下，這個(gè)很實(shí)用。

4、文物重建、 AR旅游。目前大家去很多博物館或旅游景點(diǎn)其實(shí)都已經(jīng)有了類似的產(chǎn)品。比如AR游西湖之類的。很有趣的應(yīng)用！

5、自動(dòng)駕駛。構(gòu)建高精地圖，高精地圖對(duì)于自動(dòng)駕駛來說太重要了，沒有的話相當(dāng)于蒙著眼睛開車，你仔細(xì)品品。

6、大場(chǎng)景三維重建。下面是克羅地亞古城的三維點(diǎn)云地圖。當(dāng)然可以做成稠密的貼圖的話可以虛擬遨游了。

全網(wǎng)最詳細(xì)的代碼注釋地址：https://github.com/electech6/openMVS_comments

深度學(xué)習(xí)三維重建技術(shù)框架

系統(tǒng)學(xué)習(xí)教程：基于深度學(xué)習(xí)的三維重建學(xué)習(xí)路線

傳統(tǒng)的重建方法是使用光度一致性等來計(jì)算稠密的三維信息。雖然這些方法在理想的Lambertian場(chǎng)景下，精度已經(jīng)很高。但也有一些常見的局限性，例如弱紋理，高反光和重復(fù)紋理等，使得重建困難或重建的結(jié)果不完整。因此，傳統(tǒng)三維重建方法在重建的完整性等方面仍有很大的改進(jìn)空間。

近年來深度學(xué)習(xí)在三維重建上取得了很大的成功?；趯W(xué)習(xí)的方法可以引入比如鏡面先驗(yàn)和反射先驗(yàn)等全局語義信息，使匹配更加魯棒，從而解決傳統(tǒng)方法無法克服的難題。因此掌握基于深度學(xué)習(xí)的三維重建前沿算法非常重要。另外，在這個(gè)大數(shù)據(jù)時(shí)代，深度學(xué)習(xí)已經(jīng)是大家必須掌握的技能，傳統(tǒng)視覺算法已經(jīng)很難有新的突破，各個(gè)領(lǐng)域都在朝深度學(xué)習(xí)方向研究，近幾年各大視覺會(huì)議論文都是基于深度學(xué)習(xí)來實(shí)現(xiàn)三維重建，各個(gè)大廠招聘也越來越看重深度學(xué)習(xí)三維重建方法。