復(fù)旦大學(xué)發(fā)布Grad-PU：任意尺度的點(diǎn)云上采樣（附代碼）
作者：Grad-PU ?| 來源：3D視覺工坊
在公眾號(hào)「3D視覺工坊」后臺(tái)，回復(fù)「原論文」可獲取論文pdf和代碼鏈接。
添加微信：dddvisiona，備注：3D點(diǎn)云，拉你入群。文末附行業(yè)細(xì)分群。
大多數(shù)現(xiàn)有的點(diǎn)云上采樣方法大致分為三個(gè)步驟：特征提取、特征擴(kuò)展和3D坐標(biāo)預(yù)測(cè)。然而，它們通常遇到兩個(gè)關(guān)鍵問題：（1）一次性訓(xùn)練后固定的上采樣率，因?yàn)樘卣鲾U(kuò)展單元是針對(duì)每個(gè)上采樣率定制的；（2）由于難以精確預(yù)測(cè)上采樣點(diǎn)的 3D 坐標(biāo)或殘差而導(dǎo)致異常值或收縮偽影。為了解決這些問題，我們提出了一種新的精確點(diǎn)云上采樣框架，支持任意上采樣率。大量實(shí)驗(yàn)表明，我們的方法在準(zhǔn)確性、效率、魯棒性和對(duì)任意上采樣率的泛化方面顯著優(yōu)于現(xiàn)有方法，還提高了語義分類和表面重建等下游任務(wù)的性能。具體來說，我們的貢獻(xiàn)可以概括為：? 將上采樣問題分解為中點(diǎn)插值和位置細(xì)化，從而實(shí)現(xiàn)任意上采樣率。? 將細(xì)化步驟表述為點(diǎn)對(duì)點(diǎn)距離最小化過程。? 提出P2PNet 以可微分的方式估計(jì)點(diǎn)對(duì)點(diǎn)距離。
點(diǎn)云上采樣的常見做法通常包含以下三個(gè)關(guān)鍵步驟：(1)特征提?。簭牡头直媛庶c(diǎn)云中捕獲逐點(diǎn)語義特征。(2)特征擴(kuò)展：根據(jù)指定的上采樣率擴(kuò)展提取的特征。(3)坐標(biāo)預(yù)測(cè)：根據(jù)擴(kuò)展特征預(yù)測(cè)上采樣點(diǎn)的3D坐標(biāo)或殘差。然而，這個(gè)做法有兩個(gè)關(guān)鍵問題。首先，這些模型通常取決于上采樣率。為了支持不同的上采樣率，需要訓(xùn)練多個(gè)模型。其次，精確估計(jì)目標(biāo)點(diǎn)的 3D 坐標(biāo)或偏移量很困難，這會(huì)導(dǎo)致異常值或收縮偽影 。盡管最近的一些方法嘗試通過鄰近點(diǎn)的仿射組合或隱式神經(jīng)表示來處理固定上采樣率問題，但它們的性能仍然受到不準(zhǔn)確的限制。
我們提出了一種新穎的點(diǎn)云上采樣框架。經(jīng)過訓(xùn)練后，它可以以任意比率對(duì)點(diǎn)云進(jìn)行上采樣。具體來說，給定一個(gè)低分辨率點(diǎn)云 ，我們首先對(duì)其進(jìn)行插值，獲得所需數(shù)量的點(diǎn)的新點(diǎn)云 。然后，通過迭代優(yōu)化過程對(duì)插值點(diǎn)的位置進(jìn)行細(xì)化，使其盡可能接近地面實(shí)況高分辨率點(diǎn)云 ，由于推理期間無法獲得基本事實(shí)，因此這種細(xì)化是由經(jīng)過訓(xùn)練的模型指導(dǎo)的，稱為 P2PNet。
為了實(shí)現(xiàn)任意上采樣率，我們的使網(wǎng)絡(luò)學(xué)習(xí)與上采樣過程中的點(diǎn)生成脫離關(guān)系，從而我們提出了點(diǎn)上采樣的中點(diǎn)插值。給定低分辨率輸入 ，我們的插值方法經(jīng)歷以下兩個(gè)步驟。(1)中點(diǎn)生成：對(duì)于每個(gè)點(diǎn)，我們首先找到它的近鄰，然后用它的中點(diǎn)作為新的生成點(diǎn)。（2）最遠(yuǎn)點(diǎn)采樣（FPS）：為了去除重復(fù)生成的中點(diǎn)并控制其數(shù)量與所需的上采樣率 ，我們應(yīng)用 FPS 對(duì)上一步的輸出進(jìn)行下采樣。所有下采樣點(diǎn)的并集形成最終的插值結(jié)果。推薦學(xué)習(xí)「3D視覺工坊」最新課程：
[1]三維點(diǎn)云處理：算法與實(shí)戰(zhàn)匯總
[2]徹底搞懂基于Open3D的點(diǎn)云處理教程！
第二步是細(xì)化插值點(diǎn)云 PI 以恢復(fù)保真度。我們將問題表述為最小化 PI 和真實(shí)點(diǎn)云 PG 之間的差異。差異的度量我們使用點(diǎn)到點(diǎn)的距離函數(shù)，具體來說，給定一個(gè)插值點(diǎn)，距離函數(shù) 表示真實(shí)實(shí)況高分辨率點(diǎn)云 中的點(diǎn) 與其最近鄰點(diǎn)之間的歐幾里德距離。而在實(shí)踐中，顯然 在推理過程中不可用，這意味著無法計(jì)算距離函數(shù) ，因此需要 的可微近似。我們?cè)O(shè)計(jì)了一個(gè)點(diǎn)對(duì)點(diǎn)的距離網(wǎng)絡(luò)P2PNet來解決這個(gè)問題，P2PNet主要由特征提取器和距離回歸器組成
我們采用 P4Transformer中的點(diǎn) 4D 卷積，但將其簡(jiǎn)化為僅應(yīng)用于空間域，因此稱為點(diǎn) 3D 卷積（P3DConv）。P3DConv具體來說，對(duì)于每個(gè)插值點(diǎn)及其相關(guān)特征 ，我們首先搜索其 最近鄰，并計(jì)算它們之間的坐標(biāo)偏移以進(jìn)行卷積核生成。然后對(duì)插值點(diǎn) 進(jìn)行 P3DConv 如下：其中是卷積特征，是點(diǎn)的近鄰集，都表示具有相同輸出通道的基于MLP的變換，并且⊙表示Hadamard乘積。而對(duì)于我們的特征提取器的詳細(xì)結(jié)構(gòu)，給定一個(gè)插值點(diǎn)云 ，其中 N 是點(diǎn)數(shù)，MLP 首先將 投影到更高維空間 ，然后是一個(gè)堆棧具有塊內(nèi)密集連接的三個(gè)密集塊。每個(gè)密集塊由三個(gè)卷積組組成，后面是一個(gè)過渡層。在每個(gè)卷積組內(nèi)，MLP 減少特征維度，而 P3DConv 層提取局部特征。向下過渡層是另一個(gè) MLP，它減少了特征通道，從而減少了計(jì)算成本。用于特征提取的所有 MLP 共享 d 的相同輸出通道。最終，捕獲了一組多尺度局部特征。通過進(jìn)一步應(yīng)用最大池化層，獲得全局特征。Distance Regressor：距離回歸器。對(duì)于任意查詢點(diǎn)，其點(diǎn)到點(diǎn)距離F(p)是基于提取的局部特征和全局特征來估計(jì)的。為了獲得每個(gè)查詢點(diǎn)p的逐點(diǎn)局部特征，我們使用初始插值點(diǎn)云中三個(gè)最近鄰的反距離作為權(quán)重。由此，點(diǎn)到點(diǎn)距離可以估計(jì)如下：其中是全局特征，是四層MLP。損失函數(shù)為：
PU-GAN數(shù)據(jù)集：可視化結(jié)果
點(diǎn)云分類。
我們采用 CurveNet作為分類模型，并在 ModelNet40 數(shù)據(jù)集上使用相同的訓(xùn)練和測(cè)試模式。
表面重建。
我們利用 BallPivoting從 PU-GAN 數(shù)據(jù)集的 4 倍上采樣點(diǎn)云（8192 點(diǎn)）重建網(wǎng)格。
由于掃描儀捕獲的點(diǎn)云通常含有噪聲，因此有必要評(píng)估每種方法對(duì)噪聲的魯棒性。具體來說，我們首先離線生成一些隨機(jī)噪聲，該噪聲是從標(biāo)準(zhǔn)高斯分布 N (0, 1) 中采樣并乘以因子 τ ，其中 τ 表示噪聲級(jí)別。然后我們?cè)谔砑釉肼暤?PU-GAN 數(shù)據(jù)集的低分辨率點(diǎn)云上進(jìn)行測(cè)試。
我們提出了一種精確點(diǎn)云上采樣的新方法，支持訓(xùn)練一次后的任意上采樣率。對(duì)于任意的上采樣率，我們建議通過中點(diǎn)插值直接對(duì)歐幾里德空間中的點(diǎn)進(jìn)行上采樣，然后對(duì)其進(jìn)行細(xì)化，從而將點(diǎn)生成與網(wǎng)絡(luò)學(xué)習(xí)解耦。為了更精確地細(xì)化插值點(diǎn)，我們將細(xì)化視為優(yōu)化問題，然后通過最小化學(xué)習(xí)的點(diǎn)到點(diǎn)距離函數(shù)來解決它?？紤]到推理過程中無法獲得地面實(shí)況點(diǎn)云，我們構(gòu)建P2PNet以可微分的方式逼近點(diǎn)對(duì)點(diǎn)距離函數(shù)。對(duì)基準(zhǔn)和下游任務(wù)進(jìn)行廣泛的定量和定性比較表明，我們的方法優(yōu)于先前最先進(jìn)的方法，同時(shí)實(shí)現(xiàn)了最少的參數(shù)和最快的推理速度。
