【強推】深度學(xué)習(xí)3D點云,最新最熱門【mmdetection3D框架】詳解!最新

點云分割(熱門方向1)
分割對象,相同對象歸于一種顏色
點云補全(基礎(chǔ)條件)
缺少一部分點,補全這部分
點云生成
基于深度學(xué)習(xí)將無人機圖像做出3D點云
點云物體檢測(熱門方向2)
通過點云檢測物體。傳統(tǒng)任務(wù)能做的,點云都能做
點云配準(zhǔn)
從兩個角度拍攝的圖像,可以通過點云配準(zhǔn)合成一張圖像

點云存儲數(shù)據(jù)格式(正方向、反方向)

獲取點云數(shù)據(jù)

點云數(shù)據(jù)要解決的問題



PointNet

PointNet用到的是Max這個公式

先對每個點進行升維(例如從3維到1024維)在做max

PointNet基本架構(gòu)

劃紅線的部分為不需要的部分(后續(xù)實驗發(fā)現(xiàn)這些部分并不是必需的)

第一層的x3代表每個點都有3個特征,其余的也一個意思


PointNet問題

每一個點都是自己取特征,沒有與其他點進行一個融合
PointNet++是PointNet的升級,基本方法沒變,但對于局部關(guān)系考慮進去了


在10000個點中,先找100個中心點,再指定半徑


選取的中心點應(yīng)盡可能覆蓋到整個圖
分組
要求每個簇內(nèi)點的數(shù)量為N,如果點不夠,假設(shè)為x個點,則將簇內(nèi)離當(dāng)前中心最近的點n次,n為N-x。如果多了,則剔除掉里中心點遠的那些,知道數(shù)量保持為N
可以選擇不同半徑大小的簇,將最終不同半徑的特征拼在一起


128為中心點數(shù)量,16為簇內(nèi)點數(shù),6為特征數(shù)量
比PointNet多了個采樣和分組
1、在pytorch中強調(diào)channel first
4、8是batchsize,64是每個簇的特征,128是簇的數(shù)量

4、在512的中心點里選半徑

分類問題
d是位置信息

分割問題

不足:

改進:
MSG:選取不同的半徑,拼接在一起
MRG:當(dāng)前層特征和上一層特征拼在一起

MSG效果較好
