摘要

本文提出了一個(gè)表示高保真點(diǎn)云傳感器觀測(cè)的框架，用于實(shí)現(xiàn)高效的通信和存儲(chǔ)。該方法利用稀疏高斯過(guò)程將點(diǎn)云進(jìn)行壓縮編碼。我們的方法只使用一個(gè)模型（一個(gè)2D稀疏高斯過(guò)程）來(lái)表示自由空間和被占據(jù)空間，而不是現(xiàn)有的雙模型框架（兩個(gè)3D高斯混合模型）。我們通過(guò)提出一種基于方差的采樣技術(shù)來(lái)實(shí)現(xiàn)這一點(diǎn)，它可以有效地區(qū)分自由空間和被占據(jù)空間。這種新的表示方式需要更少的內(nèi)存占用，并且可以通過(guò)有限帶寬的通信通道進(jìn)行傳輸。該框架在仿真中被廣泛應(yīng)用，并被一個(gè)配有3D激光雷達(dá)的真實(shí)移動(dòng)機(jī)器人進(jìn)行了驗(yàn)證。與發(fā)送原始點(diǎn)云相比，我們的方法使通信速率降低了70~100倍。

來(lái)源：微信公眾號(hào)「3D視覺工坊」?

一、簡(jiǎn)介

隨著激光雷達(dá)技術(shù)的快速發(fā)展，我們現(xiàn)在可以建立具有非常高分辨率的地圖。例如，只有一個(gè)16通道的3D激光雷達(dá)的每一次全掃描可以給我們代表周圍障礙物的57600點(diǎn)，然而，使用高分辨率激光雷達(dá)的一個(gè)代價(jià)是繪制環(huán)境地圖時(shí)的計(jì)算、存儲(chǔ)和通信成本。雖然人們可以通過(guò)使用高性能的計(jì)算機(jī)系統(tǒng)來(lái)升級(jí)計(jì)算和存儲(chǔ)，但由于可用的通信帶寬較低，通信通常會(huì)成為一個(gè)瓶頸。在實(shí)踐中，低帶寬通信被認(rèn)為是許多機(jī)器人應(yīng)用的主要挑戰(zhàn)，如水下和地下環(huán)境（洞穴、隧道、礦山等）的占用測(cè)繪，在通信基礎(chǔ)設(shè)施退化的災(zāi)難場(chǎng)景中的搜索和救援任務(wù)，以及行星探索任務(wù)。低帶寬可以阻止機(jī)器人實(shí)時(shí)共享其傳感器觀測(cè)結(jié)果，如果機(jī)器人需要跟蹤或與外部控制或監(jiān)督平臺(tái)交互，則會(huì)顯著降低系統(tǒng)的響應(yīng)能力。這項(xiàng)工作解決了通過(guò)有限帶寬的通信信道共享高保真的三維點(diǎn)云問題。

圖1：系統(tǒng)概述

我們所考慮的系統(tǒng)由一個(gè)配備了激光雷達(dá)和通信設(shè)備的機(jī)器人組成，并部署在一個(gè)低帶寬的環(huán)境中。它獲得的觀測(cè)結(jié)果是建立環(huán)境占用圖的基礎(chǔ)，見圖1。我們的方法利用變分稀硫高斯過(guò)程作為一個(gè)生成模型，以一個(gè)緊湊的形式表示點(diǎn)云。這種輕量級(jí)表示通過(guò)低帶寬通信傳輸?shù)皆键c(diǎn)云重建的基地。大量的評(píng)估顯示，我們的方法減少了70~100倍的內(nèi)存以及傳輸點(diǎn)云數(shù)據(jù)所需的通信速率。

二、背景

GP 是非參數(shù)模型，由均值函數(shù) m ( x ）和協(xié)方差函數(shù)（核函數(shù)） k ( x , x ′）表示，其中 x 為 GP 輸入[27]：

考慮一個(gè)數(shù)據(jù)集

?，有 N 個(gè)實(shí)訓(xùn)輸入 x 和它們對(duì)應(yīng)的標(biāo)量輸出（觀察值）y。在使用數(shù)據(jù)集 D 代表 GP 后，任何新的查詢?

?的輸出?

?都可以使用 GP 預(yù)測(cè)來(lái)估計(jì)：

和

?是后驗(yàn)均值和協(xié)方差函數(shù)[2]。GP 預(yù)測(cè)方程依賴于超參數(shù)?

?的值，其中

?是核參數(shù)，

?是噪聲方差。一個(gè)完整 GP 的計(jì)算復(fù)雜度為

。為了降低計(jì)算復(fù)雜度，文獻(xiàn)中提出了不同的近似方法，只考慮 M 個(gè)輸入點(diǎn)來(lái)表示整個(gè)訓(xùn)練數(shù)據(jù)[27]。這些輸入點(diǎn)被稱為誘導(dǎo)點(diǎn)?

?及其對(duì)應(yīng)的底層值函數(shù) f(x）稱為誘導(dǎo)變量?

。將整個(gè)數(shù)據(jù)集替換為 m 誘導(dǎo)輸入會(huì)導(dǎo)致 SGP 的計(jì)算復(fù)雜度為

。圖西人[2]提出了一個(gè)變分學(xué)習(xí)框架聯(lián)合估計(jì)核超參數(shù)和歸納點(diǎn)。圖西人的框架通過(guò)變分后驗(yàn)分布

近似于GP

的真實(shí)后驗(yàn)。

其中

?為自由變分高斯分布。用?

散度來(lái)描述近似后驗(yàn)與真實(shí)后驗(yàn)之間的差異。最小化近似值和真實(shí)后驗(yàn)

相當(dāng)于最大化真實(shí)對(duì)數(shù)編輯似然的變分下界：

其中

是變分目標(biāo)函數(shù)，

是正則化跡項(xiàng)，Knn?是原始的?n×n?協(xié)方差矩陣，Kmm是誘導(dǎo)輸入上的?m × m?協(xié)方差矩陣，Knm是訓(xùn)練點(diǎn)和誘導(dǎo)點(diǎn)之間的?n×m交叉協(xié)方差矩陣，

。關(guān)于 VSGP 的更多細(xì)節(jié)可以在圖西人的作品中找到。

三、方法

該方法利用 VSGP 作為生成模型來(lái)編碼3D點(diǎn)云。在不同的 GP 近似方法中選擇 VSGP 的原因如下：

1）變分逼近區(qū)分了誘導(dǎo)點(diǎn) M （作為變分參數(shù)）和核超參數(shù)

2）變分目標(biāo)函數(shù)（Eq.④）中的正則化項(xiàng)

對(duì)超參數(shù)進(jìn)行正則化避免數(shù)據(jù)過(guò)擬合。

3）變分逼近提供一種從原始數(shù)據(jù)中選擇誘導(dǎo)輸入

的離散優(yōu)化方案。

4）VSGP 作為占用面生成模型

我們將測(cè)距傳感器（例如激光雷達(dá)）觀察到的占用點(diǎn)投影到傳感器原點(diǎn)周圍具有預(yù)定義半徑

的圓形表面上。有關(guān)誘導(dǎo)點(diǎn)選擇的更多信息，請(qǐng)參閱［2] 這個(gè)曲面稱為占用曲面，見圖3。在我們的方法中，傳感器觀測(cè)定義在球坐標(biāo)系中，中任何觀測(cè)點(diǎn)都由元組

描述，元組分別表示方位角、仰角和半徑值。同樣，任何點(diǎn)云數(shù)據(jù)都可以使用以下公式從笛卡爾坐標(biāo)

轉(zhuǎn)換為球坐標(biāo)

，用公式：

所有位于圓形占用曲面外（半徑

）或曲面上（半徑

）的觀測(cè)點(diǎn)均被忽略，視為自由空間。其余位于圓形曲面內(nèi)部（半徑?

?）的點(diǎn)被投影在占用曲面上，稱為被占用點(diǎn)。因此，占用面半徑作為傳感器的最大范圍。表面上的每個(gè)占用點(diǎn)由兩個(gè)屬性：方位角和仰角

，并分配了一個(gè)占用值

，它是關(guān)于點(diǎn)半徑的函數(shù)。占用面上各點(diǎn)的占用概率

由 VSGP 建模：

考慮到噪聲測(cè)量，我們?cè)谡加煤瘮?shù)

中添加白噪聲，因此觀察到的占用被描述為?

，其中服從高斯分布

。占用率曲面的最終模型是一個(gè)二維 VSGP ，其中輸入是方位角和仰角，

，相應(yīng)的輸出是預(yù)期占用率。

B.基于方差的抽樣

重構(gòu)過(guò)程通過(guò)一個(gè)與定位子側(cè)的 VSGP 配置相同核（ RQ ）和似然（高斯）的 GP 完成。基礎(chǔ) GP 接受在誘導(dǎo)點(diǎn)上訓(xùn)練。計(jì)算復(fù)雜度為?

，其中 M 為誘導(dǎo)點(diǎn)的個(gè)數(shù)，故稱其為稀疏 GP ( SGP )，將重建的占用曲面稱為 SGP 占用曲面。生成一個(gè)由激光雷達(dá)在方位角和仰角軸上具有相同分辨率的查詢點(diǎn)組成的網(wǎng)格

，從 SGP 占用面重建原始點(diǎn)云——我們將重建的點(diǎn)云稱為 SGP 點(diǎn)云。如果由于任何原因需要對(duì)點(diǎn)云進(jìn)行上采樣，則可以使用具有更高分辨率的查詢網(wǎng)格進(jìn)行重建過(guò)程。利用 SGP 占用曲面預(yù)測(cè)每個(gè)點(diǎn)的占用率

的查詢網(wǎng)格。將占用率轉(zhuǎn)換回球半徑

，還原每個(gè)點(diǎn)的三維球坐標(biāo)。與其他建模技術(shù)相比， GP 及其變體的一個(gè)優(yōu)勢(shì)是與任何查詢點(diǎn)的預(yù)測(cè)值相關(guān)的不確定性（方差）?？紤]到偵察方占用面的 VSGP 模型，與占用點(diǎn)相關(guān)的方差相比，與空閑點(diǎn)相關(guān)的方差較低。從原始占位點(diǎn)中選取誘導(dǎo)點(diǎn)集合，可以保持基底側(cè)重建 SGP 占位曲面的占位部分的低方差值。因此，使用重建 SGP 占用曲面上任意點(diǎn)的方差值

進(jìn)行預(yù)測(cè)。事實(shí)上，與占用面相關(guān)的方差在不同的觀測(cè)中是不同的，它受到觀測(cè)（占用）點(diǎn)的數(shù)量及其在占用面上分布的影響。因此，我們選擇方差閾值

作為變量，它隨著方差在占用面被占用部分和空閑部分上的分布而變化。

定義為曲面上方差均值和標(biāo)準(zhǔn)差

的線性組合，即

，其中

、

為常數(shù)。首先設(shè)置

，對(duì)這兩個(gè)常數(shù)進(jìn)行調(diào)優(yōu)，然后逐漸增大

，減小

，直到得到重建 SGP 點(diǎn)云精度最高的數(shù)值（考慮固定數(shù)量的誘導(dǎo)點(diǎn)）。

四、實(shí)驗(yàn)結(jié)果

我們根據(jù)在偵察機(jī)和基地之間傳輸傳感器觀測(cè)數(shù)據(jù)所需的內(nèi)存減少和通信速率來(lái)評(píng)估我們方法的性能。VSGP 表示僅需要 1514 個(gè)浮點(diǎn) (FP) 來(lái)表示整個(gè)點(diǎn)云（每個(gè)誘導(dǎo)點(diǎn) (3x500) 3 FP + 機(jī)器人姿勢(shì) 6 FP + 超參數(shù) 6 FP）。該值小于 GMM 方法所需的內(nèi)存，后者需要 ～ 2000 FP（每個(gè)組件 (10x200) 10 FP 分布為 6 FP 協(xié)方差 + 3 FP 均值 + 1 FP 權(quán)重）。

圖 d 表明，對(duì)于一對(duì)匹配的 GMM 和 VSGP，GMM 的采樣時(shí)間比配對(duì)的 VSGP 少。然而，VSGP 的點(diǎn)云重建過(guò)程比 GMM 方法更方便，因?yàn)?VSGP 和 GMM 采樣之間的根本區(qū)別在于：當(dāng)我們從 GMM 采樣時(shí)，我們得到一個(gè)具有隨機(jī)值?θ的樣本（來(lái)自分布）(θs, rs)，因此我們無(wú)法控制樣本在占用表面上的位置?(θs ,αs)。相反，對(duì)于 VSGP 方法，我們預(yù)測(cè)由(θs ,αs) 定義的占用表面上某個(gè)點(diǎn)的半徑值 rs。因此，我們可以控制占用表面上的點(diǎn)位置。在使用 scout-base 方案構(gòu)建隧道環(huán)境的 3D octomap 時(shí)，發(fā)送原始點(diǎn)云、GMM 編碼數(shù)據(jù)和 VSGP 編碼數(shù)據(jù)的平均通信速率分別為 1750 KB/S、25.8 KB/S 和 18.2 KB/S分別見圖 6d。通過(guò)網(wǎng)絡(luò)發(fā)送的累積數(shù)據(jù)從發(fā)送原始點(diǎn)云的 840 MB 減少到 GMM 的 12.4 MB 和 VSGP 的 8.7 MB。

總結(jié)

文我們介紹了使用 VSGP 的 3D 點(diǎn)云的輕量級(jí)表示。這種表示允許通過(guò)有限帶寬的通道有效地存儲(chǔ)和傳輸高保真觀測(cè)值?；谀M和硬件實(shí)驗(yàn)的結(jié)果，我們的方法使傳感器觀察的尺寸表示縮小了大約 70-100 倍。這種緊湊的表示可以促進(jìn)許多受通信帶寬限制的機(jī)器人應(yīng)用，例如地下和水下探索、搜索和救援任務(wù)以及行星探索。此外，我們的方法在多機(jī)器人協(xié)作的環(huán)境中也很有用，在這種情況下，許多機(jī)器人需要通過(guò)低帶寬通道共享大量信息（3D 點(diǎn)云）。

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪文。

3D視覺工坊精品課程官網(wǎng)：3dcver.com

1.面向自動(dòng)駕駛領(lǐng)域的3D點(diǎn)云目標(biāo)檢測(cè)全棧學(xué)習(xí)路線！(單模態(tài)+多模態(tài)/數(shù)據(jù)+代碼)

2.徹底搞透視覺三維重建：原理剖析、代碼講解、及優(yōu)化改進(jìn)

3.國(guó)內(nèi)首個(gè)面向工業(yè)級(jí)實(shí)戰(zhàn)的點(diǎn)云處理課程

4.激光-視覺-IMU-GPS融合SLAM算法梳理和代碼講解

5.徹底搞懂視覺-慣性SLAM：基于VINS-Fusion正式開課啦

6.徹底搞懂基于LOAM框架的3D激光SLAM: 源碼剖析到算法優(yōu)化

7.徹底剖析室內(nèi)、室外激光SLAM關(guān)鍵算法原理、代碼和實(shí)戰(zhàn)(cartographer+LOAM +LIO-SAM)

8.從零搭建一套結(jié)構(gòu)光3D重建系統(tǒng)[理論+源碼+實(shí)踐]

9.單目深度估計(jì)方法：算法梳理與代碼實(shí)現(xiàn)

10.自動(dòng)駕駛中的深度學(xué)習(xí)模型部署實(shí)戰(zhàn)

11.相機(jī)模型與標(biāo)定(單目+雙目+魚眼）

12.重磅！四旋翼飛行器：算法與實(shí)戰(zhàn)

13.ROS2從入門到精通：理論與實(shí)戰(zhàn)

14.國(guó)內(nèi)首個(gè)3D缺陷檢測(cè)教程：理論、源碼與實(shí)戰(zhàn)

15.基于Open3D的點(diǎn)云處理入門與實(shí)戰(zhàn)教程

16.透徹理解視覺ORB-SLAM3：理論基礎(chǔ)+代碼解析+算法改進(jìn)

17.不斷更新中......

重磅！粉絲學(xué)習(xí)交流群已成立

交流群主要有3D視覺、CV&深度學(xué)習(xí)、SLAM、三維重建、點(diǎn)云后處理、自動(dòng)駕駛、多傳感器融合、CV入門、三維測(cè)量、VR/AR、3D人臉識(shí)別、醫(yī)療影像、缺陷檢測(cè)、行人重識(shí)別、目標(biāo)跟蹤、視覺產(chǎn)品落地、視覺競(jìng)賽、車牌識(shí)別、硬件選型、ORB-SLAM系列源碼交流、深度估計(jì)、TOF、求職交流等方向。

添加小助理微信（dddvisiona）,一定要備注：研究方向+學(xué)校/公司+昵稱，例如：”3D視覺 + 上海交大 + 靜靜“。請(qǐng)按照格式備注，可快速通過(guò)且邀請(qǐng)進(jìn)群。??