原文鏈接：點(diǎn)云可以預(yù)測未來？波恩大學(xué)最新開源：自監(jiān)督的三維點(diǎn)云預(yù)測https://mp.weixin.qq.com/s/2Mn0f4b_odFZzu25gzLqqA

德國波恩大學(xué)StachnissLab最新工作，基于自監(jiān)督學(xué)習(xí)的未來三維點(diǎn)云預(yù)測，被CoRL2021錄用。論文及代碼都已開源！

論文標(biāo)題：Self-supervised Point Cloud Prediction Using 3D Spatio-temporal Convolutional Networks

論文作者：Benedikt Mersch， Xieyuanli Chen， Jens Behley， Cyrill Stachniss

論文鏈接：http://www.ipb.uni-bonn.de/pdfs/mersch2021corl.pdf

開源代碼：https://github.com/PRBonn/point-cloud-prediction

?視頻鏈接：點(diǎn)云可以預(yù)測未來？波恩大學(xué)最新開源：自監(jiān)督的三維點(diǎn)云預(yù)測https://mp.weixin.qq.com/s/2Mn0f4b_odFZzu25gzLqqA

隨著自動(dòng)駕駛技術(shù)的發(fā)展和對(duì)安全性能要求的提高，大多數(shù)無人車會(huì)搭載 三維激光雷達(dá)，即所謂的 LiDAR，來感知周圍的環(huán)境。LiDAR可以生成無人車周圍場景的局部三維點(diǎn)云。這些三維點(diǎn)云數(shù)據(jù)可以被廣泛用于眾多機(jī)器人和自動(dòng)駕駛?cè)蝿?wù)，例如定位、物體檢測、避障、三維重建、場景理解和軌跡預(yù)測等等。

?

“對(duì)于這些任務(wù)而言，如果能夠?qū)ξ磥淼挠^測進(jìn)行預(yù)測，將會(huì)帶來很大好處。”

?

預(yù)測傳感器未來的觀測可以幫助無人車更好地進(jìn)行下一步?jīng)Q策。例如將預(yù)測得到的未來點(diǎn)云用于路徑規(guī)劃任務(wù)就是一個(gè)有很前景的應(yīng)用，預(yù)測得到的點(diǎn)云可以很好地輔助規(guī)劃算法進(jìn)行避障和可通行區(qū)域識(shí)別等等。與傳統(tǒng)預(yù)測車輛軌跡不同的是，直接預(yù)測未來點(diǎn)云觀測不需要任何先驗(yàn)知識(shí)和復(fù)雜的前期準(zhǔn)備工作，包括對(duì)車輛進(jìn)行檢測、定位或跟蹤來預(yù)測未來場景。此外，直接對(duì)未來點(diǎn)云觀測進(jìn)行預(yù)測不會(huì)被局限于單一的車輛行為預(yù)測任務(wù)，因?yàn)榛谠键c(diǎn)云觀測可以實(shí)現(xiàn)以上提到的眾多。

?

給定過去連續(xù)多幀觀測（紅色點(diǎn)云），所提出的方法可以對(duì)未來點(diǎn)云觀測進(jìn)行預(yù)測 （藍(lán)色預(yù)測所得點(diǎn)云）

?

從機(jī)器學(xué)習(xí)的角度來看，點(diǎn)云預(yù)測也是一個(gè)非常有趣的方向，因?yàn)橐坏┎杉诉B續(xù)的數(shù)據(jù)集，在訓(xùn)練的過程中，某一時(shí)刻的未來觀測值也是已經(jīng)采集好的。這一連續(xù)時(shí)空屬性使得神經(jīng)網(wǎng)絡(luò)可以通過自監(jiān)督的方式學(xué)習(xí)對(duì)未來點(diǎn)云進(jìn)行預(yù)測。因此，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)過程中無需昂貴的人工標(biāo)記，可以在線評(píng)估網(wǎng)絡(luò)預(yù)測性能，從而很好的在未知環(huán)境中進(jìn)行使用。

?

右上角展示的是T時(shí)刻的當(dāng)前觀測，剩下五幅圖像依次展示的是接下來 五個(gè)時(shí)刻的未來點(diǎn)云。紅色顯示的是點(diǎn)云真實(shí)觀測，藍(lán)色顯示的是所提方法預(yù)測得到的點(diǎn)云觀測。

?

這篇工作實(shí)現(xiàn)了利用過去多幀LiDAR觀測對(duì)未來原始點(diǎn)云進(jìn)行預(yù)測。其使用 三維卷積神經(jīng)網(wǎng)絡(luò)來聯(lián)合編碼空間和時(shí)間信息。該方法采用一種新的基于連接范圍圖像的時(shí)空四維描述作為輸入。其可以聯(lián)合估計(jì)未來范圍圖像和對(duì)應(yīng)每個(gè)三維點(diǎn)的分?jǐn)?shù)，用以確定多個(gè)未來時(shí)間步長的三維點(diǎn)的穩(wěn)定度。該方法通過使用跳躍連 接和球形填充的水平一致性來獲取環(huán)境的結(jié)構(gòu)細(xì)節(jié)，并提供比其他基準(zhǔn)方法更準(zhǔn)確的未來點(diǎn)云預(yù)測。

?

?

?

該方法可以實(shí)現(xiàn)全尺寸（full-size）點(diǎn)云預(yù)測并且在線實(shí)時(shí)運(yùn)行。上圖所展示的是所提出的用于未來點(diǎn)云預(yù)測的神經(jīng)網(wǎng)絡(luò)結(jié)。

?

11 月 8 日至11日，第五屆Conference on Robot Learning （CoRL） 2021 在英國倫敦成功舉辦。 CoRL 是面向機(jī)器人學(xué)習(xí)研究的 single-track 會(huì)議，涵蓋機(jī)器人學(xué)、機(jī)器學(xué)習(xí)和控制等多個(gè)主題。近年來，CoRL 已經(jīng)成為了機(jī)器人學(xué)與機(jī)器學(xué)習(xí)交叉領(lǐng)域的全球頂級(jí)學(xué)術(shù)會(huì)議之一。德國波恩大學(xué)StachnissLab常年關(guān)注于機(jī)器人以及自動(dòng)駕駛領(lǐng)域。此次在CoRL2021上發(fā)表的最新工作所實(shí)現(xiàn)的功能是對(duì)激光雷達(dá)未來點(diǎn)云觀測進(jìn)行預(yù)測。

獨(dú)家重磅課程！

1、?VINS:Mono+Fusion?SLAM面試官：看你簡歷上寫精通VINS，麻煩現(xiàn)場手推一下預(yù)積分！

2、VIO課程：VIO最佳開源算法：ORB-SLAM3超全解析課程重磅升級(jí)！

3、圖像三維重建課程（第2期）：視覺幾何三維重建教程（第2期）：稠密重建，曲面重建，點(diǎn)云融合，紋理貼圖

4、重磅來襲！基于LiDAR的多傳感器融合SLAM 系列教程：LOAM、LeGO-LOAM、LIO-SAM

5、系統(tǒng)全面的相機(jī)標(biāo)定課程：單目/魚眼/雙目/陣列 相機(jī)標(biāo)定：原理與實(shí)戰(zhàn)

6、視覺SLAM必備基礎(chǔ)（第2期）：視覺SLAM必學(xué)基礎(chǔ)：ORB-SLAM2源碼詳解

7、深度學(xué)習(xí)三維重建課程：基于深度學(xué)習(xí)的三維重建學(xué)習(xí)路線

8、激光定位+建圖課程：激光SLAM框架Cartographer課程90+視頻全部上線！適合服務(wù)機(jī)器人！

鏈接：點(diǎn)云可以預(yù)測未來？波恩大學(xué)最新開源：自監(jiān)督的三維點(diǎn)云預(yù)測https://mp.weixin.qq.com/s/2Mn0f4b_odFZzu25gzLqqA

全國最棒的SLAM、三維視覺學(xué)習(xí)社區(qū)↓

鏈接：點(diǎn)云可以預(yù)測未來？波恩大學(xué)最新開源：自監(jiān)督的三維點(diǎn)云預(yù)測https://mp.weixin.qq.com/s/2Mn0f4b_odFZzu25gzLqqA

技術(shù)交流微信群

歡迎加入公眾號(hào)讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動(dòng)駕駛、計(jì)算攝影、檢測、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競賽等微信群，請(qǐng)?zhí)砑游⑿盘?hào) chichui502 或掃描下方加群，備注：”名字/昵稱+學(xué)校/公司+研究方向“。請(qǐng)按照格式備注，否則不予通過。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告，否則會(huì)請(qǐng)出群，謝謝理解~

投稿、合作也歡迎聯(lián)系：simiter@126.com

鏈接：點(diǎn)云可以預(yù)測未來？波恩大學(xué)最新開源：自監(jiān)督的三維點(diǎn)云預(yù)測https://mp.weixin.qq.com/s/2Mn0f4b_odFZzu25gzLqqA

掃描關(guān)注視頻號(hào)，看最新技術(shù)落地及開源方案視頻秀?↓

視頻號(hào)鏈接：點(diǎn)云可以預(yù)測未來？波恩大學(xué)最新開源：自監(jiān)督的三維點(diǎn)云預(yù)測https://mp.weixin.qq.com/s/2Mn0f4b_odFZzu25gzLqqA

—? ?版權(quán)聲明? —

本公眾號(hào)原創(chuàng)內(nèi)容版權(quán)屬計(jì)算機(jī)視覺life所有；從公開渠道收集、整理及授權(quán)轉(zhuǎn)載的非原創(chuàng)文字、圖片和音視頻資料，版權(quán)屬原作者。如果侵權(quán)，請(qǐng)聯(lián)系我們，會(huì)及時(shí)刪除。