以下內(nèi)容來(lái)自小六的機(jī)器人SLAM學(xué)習(xí)圈知識(shí)星球每日更新內(nèi)容

點(diǎn)擊領(lǐng)取學(xué)習(xí)資料 → 機(jī)器人SLAM學(xué)習(xí)資料大禮包

#論文# Combining HoloLens with Instant-NeRFs: Advanced Real-Time 3D Mobile Mapping

論文地址：https://arxiv.org/abs/2304.14301 ?

這項(xiàng)工作代表著基于RGB相機(jī)圖像的快速3D重建的方法邁出了一大步。利用Microsoft HoloLens 2作為多傳感器平臺(tái)，包括RGB相機(jī)和慣性測(cè)量單元，用于基于SLAM的相機(jī)姿態(tài)確定，利用從HoloLens獲得的數(shù)據(jù)實(shí)時(shí)訓(xùn)練神經(jīng)輻射場(chǎng)(NERF)作為神經(jīng)場(chǎng)景表示。HoloLens通過(guò)Wifi連接到負(fù)責(zé)訓(xùn)練和3D重建的高性能PC。數(shù)據(jù)流結(jié)束后，停止訓(xùn)練，啟動(dòng)3D重建，提取場(chǎng)景的點(diǎn)云。使用我們專門的推理算法，可以在1秒內(nèi)提取500萬(wàn)個(gè)場(chǎng)景點(diǎn)。此外，點(diǎn)云還包括每個(gè)點(diǎn)的輻射測(cè)量。我們的三維重建方法比使用NERFS的網(wǎng)格點(diǎn)采樣方法高出幾個(gè)數(shù)量級(jí)，可以被認(rèn)為是一種在移動(dòng)測(cè)繪系統(tǒng)中完全實(shí)時(shí)的三維重建方法。

這項(xiàng)工作提出了通過(guò)TCP客戶端-服務(wù)器應(yīng)用程序和幾乎同時(shí)進(jìn)行的Instant-NeRF訓(xùn)練的實(shí)時(shí)圖像和姿態(tài)流的采集管道。HoloLens充當(dāng)圖像和姿態(tài)服務(wù)器，而InstantNeRF的實(shí)現(xiàn)由客戶端應(yīng)用程序擴(kuò)展，該應(yīng)用程序接收?qǐng)D像并將其寫入GPU圖像緩沖區(qū)。在流處理過(guò)程中，我們對(duì)傳入的圖像數(shù)據(jù)進(jìn)行實(shí)時(shí)增量訓(xùn)練。此外，基于訓(xùn)練姿態(tài)的樣本射線查詢訓(xùn)練網(wǎng)絡(luò)，實(shí)現(xiàn)了場(chǎng)景的快速幾何重建。因此，當(dāng)用戶通過(guò)在感興趣的對(duì)象周圍走動(dòng)并在佩戴HoloLens時(shí)觀看它來(lái)完成數(shù)據(jù)采集時(shí)，在采集過(guò)程中已經(jīng)對(duì)神經(jīng)場(chǎng)景表示進(jìn)行了動(dòng)態(tài)訓(xùn)練，并且可以很容易地獲得稠密點(diǎn)云形式的明確場(chǎng)景表示以供檢查。

以上內(nèi)容來(lái)自小六的機(jī)器人SLAM學(xué)習(xí)圈知識(shí)星球每日更新內(nèi)容