面向3D開放集學(xué)習(xí)——點(diǎn)云上的語(yǔ)義新穎性檢測(cè)的基準(zhǔn)測(cè)試和理解
標(biāo)題：面向3D開放集學(xué)習(xí)——點(diǎn)云上的語(yǔ)義新穎性檢測(cè)的基準(zhǔn)測(cè)試和理解
分享日期：2023年5月24日
分享作者：海濤-多模態(tài)-slam
內(nèi)容來(lái)自：「3D視覺從入門到精通」知識(shí)星球, ?一個(gè)沉淀了5年多的3D視覺干貨社區(qū)。
Title：3DOS: Towards 3D Open Set Learning–Benchmarking and Understanding Semantic Novelty Detection on Point Clouds
作者：Antonio Alliegro? , Francesco Cappio Borlino? , Tatiana Tommasi 單位：Italian Institute of Technology, Italy
來(lái)源：NeurIPS 2022
鏈接：https://arxiv.org/abs/2301.08898
代碼：https://github.com/antoalli/3D_OS
【摘要】 近年來(lái)，3D學(xué)習(xí)領(lǐng)域在分類、檢測(cè)和分割問題上取得了重大進(jìn)展。 現(xiàn)有的絕大多數(shù)研究都集中在規(guī)范閉集條件上，忽視了現(xiàn)實(shí)世界固有的開放性。這限制了涉及安全關(guān)鍵應(yīng)用的機(jī)器人和自主系統(tǒng)的能力，這些應(yīng)用需要管理新的和未知的信號(hào)。 在這種情況下，利用3D數(shù)據(jù)可能是一種有價(jià)值的資產(chǎn)，因?yàn)樗峁┝岁P(guān)于感知對(duì)象和場(chǎng)景的幾何形狀的豐富信息。
在這篇論文中，我們首次對(duì)3D開放集學(xué)習(xí)進(jìn)行了廣泛的研究。 · 我們介紹了3DOS: 一種用于語(yǔ)義新新性檢測(cè)的新型測(cè)試平臺(tái)，它考慮了在語(yǔ)義(類別)轉(zhuǎn)換方面越來(lái)越困難的幾種設(shè)置，并涵蓋了域內(nèi)(合成到合成，真實(shí)到真實(shí))和跨域(合成到真實(shí))場(chǎng)景。 · 此外，我們研究了相關(guān)的2D開放集文獻(xiàn)，以了解其最近的改進(jìn)是否以及如何對(duì)3D數(shù)據(jù)有效。 · 我們廣泛的基準(zhǔn)在同一幅連貫的圖片中定位了幾種算法，揭示了它們的優(yōu)勢(shì)和局限性。我們的分析結(jié)果可以作為未來(lái)定制3D開放集方法的可靠立足點(diǎn)。
【Introduction】 大多數(shù)現(xiàn)有的機(jī)器學(xué)習(xí)模型都依賴于訓(xùn)練和測(cè)試數(shù)據(jù)從相同分布中抽取的假設(shè)。雖然對(duì)于實(shí)驗(yàn)室實(shí)驗(yàn)來(lái)說(shuō)是合理的，但當(dāng)模型部署在開放世界時(shí)，這個(gè)假設(shè)往往不成立，因?yàn)樵陂_放世界中，訓(xùn)練數(shù)據(jù)可能會(huì)出現(xiàn)各種分布變化。 · 例如，新的對(duì)象類別可能導(dǎo)致語(yǔ)義轉(zhuǎn)移，或者來(lái)自新領(lǐng)域的數(shù)據(jù)可能導(dǎo)致協(xié)變量轉(zhuǎn)移。這種情況可以單獨(dú)發(fā)生，也可以共同發(fā)生，與訓(xùn)練期間觀察到的測(cè)試樣本不同的測(cè)試樣本通常被表示為分布外(OOD)數(shù)據(jù)。 · 這些數(shù)據(jù)對(duì)于自動(dòng)駕駛汽車來(lái)說(shuō)可能會(huì)變得極其危險(xiǎn)，因?yàn)樵诮稚嫌龅疆惓Ｎ矬w時(shí)，自動(dòng)駕駛汽車會(huì)發(fā)生大量事故。為了避免類似的風(fēng)險(xiǎn)，建立能夠在拒絕未知類別的同時(shí)保持對(duì)已知類別封閉集的識(shí)別能力的魯棒模型是至關(guān)重要的。
對(duì)于現(xiàn)有的深度模型來(lái)說(shuō)，解決這一任務(wù)是具有挑戰(zhàn)性的: 它們卓越的閉集性能隱藏了誤校準(zhǔn)和過度自信問題。 · 換句話說(shuō)，他們的輸出分?jǐn)?shù)不能被視為預(yù)測(cè)正確性的可靠度量。這個(gè)缺點(diǎn)已經(jīng)在2D視覺中進(jìn)行了大量的討論，[41,7,57,45]作為其解決方案將使強(qiáng)大的深度模型能夠用于許多現(xiàn)實(shí)世界的任務(wù)。 · 在這種情況下，特別是對(duì)于許多安全關(guān)鍵應(yīng)用(如自動(dòng)駕駛汽車)，3D傳感是一項(xiàng)有價(jià)值的資產(chǎn)，可以提供2D圖像無(wú)法捕獲的有關(guān)被感測(cè)物體幾何形狀的詳細(xì)信息。
然而，這一領(lǐng)域的3D文獻(xiàn)仍處于起步階段，只有少數(shù)作品剛剛開始通過關(guān)注特定的子集來(lái)觸及問題的表面。 通過這項(xiàng)工作，我們將社區(qū)的注意力吸引到3D開放集學(xué)習(xí)上，這需要開發(fā)設(shè)計(jì)用于處理3D點(diǎn)云的模型，這些模型可以從一組已知類別中識(shí)別測(cè)試樣本，同時(shí)避免對(duì)未知類別的樣本進(jìn)行預(yù)測(cè)。
我們的貢獻(xiàn)是:
我們提出了3D-OS，這是3D開放集學(xué)習(xí)的第一個(gè)基準(zhǔn)，考慮了幾種難度越來(lái)越高的設(shè)置。它包括三個(gè)主要軌道: 合成、真實(shí)到真實(shí)和合成到真實(shí)。 · 第一個(gè)是為了研究現(xiàn)有Open Set方法在3D數(shù)據(jù)上的行為，另外兩個(gè)是為了模擬現(xiàn)實(shí)世界的部署條件;
通過將2D和3D的OOD檢測(cè)和開放集識(shí)別的現(xiàn)有文獻(xiàn)放在一起構(gòu)建連貫的圖像;
我們分析了這些方法的性能，以發(fā)現(xiàn)哪種方法最適合3D開放集學(xué)習(xí)。我們強(qiáng)調(diào)了它們的優(yōu)點(diǎn)和局限性，并表明通常一個(gè)簡(jiǎn)單的表示學(xué)習(xí)方法足以勝過復(fù)雜的最先進(jìn)的方法。
【3DOS Benchmark】 3D數(shù)據(jù)上的物體識(shí)別比2D樣本更具挑戰(zhàn)性，主要問題源于缺乏顏色、紋理和物體通常出現(xiàn)在圖像中的一般背景(見圖2)。 · 當(dāng)目標(biāo)是評(píng)估某個(gè)實(shí)例是否屬于已知或新的類別時(shí)，所有這些線索都提供了關(guān)鍵的證據(jù)，但沒有它們，任務(wù)就變得非常困難。 · 數(shù)據(jù)的縮放、分辨率和噪聲也會(huì)顯著影響最終的預(yù)測(cè)結(jié)果。 · 我們致力于研究3D開放集學(xué)習(xí)任務(wù)中的所有這些方面:下面我們將問題形式化，介紹幾個(gè)測(cè)試平臺(tái)并進(jìn)行廣泛的實(shí)驗(yàn)分析。
性能指標(biāo)。 我們通過利用兩個(gè)指標(biāo)來(lái)評(píng)估檢測(cè)測(cè)試數(shù)據(jù)中未知樣本的能力: AUROC和FPR95。 · 鑒于未知樣本的檢測(cè)是一個(gè)二元任務(wù)，這兩個(gè)指標(biāo)都基于真陽(yáng)性(TP)、假陽(yáng)性(FP)、真陰性(TN)和假陰性(FN)的概念。 · AUROC(越高越好)是接收機(jī)工作特性曲線下的面積。 · ROC曲線是顯示TP率(TPR)和FP率(FPR)在改變正態(tài)閾值時(shí)相互繪制的圖表。因此，AUROC是一個(gè)無(wú)閾值的度量，它可以被解釋為已知測(cè)試樣本比未知測(cè)試樣本具有更大正態(tài)性得分的概率。 · FPR95(越低越好)是TP率95%時(shí)的FP率，有時(shí)稱為FPR@TPRx, x=95%。該指標(biāo)基于正態(tài)性閾值的選擇，因此95%的陽(yáng)性樣本被預(yù)測(cè)為陽(yáng)性(TPR=TP/TP+FN)。然后利用該閾值計(jì)算假陽(yáng)性率(FPR=FP/FP+TN)。
數(shù)據(jù)集。 我們?cè)谌齻€(gè)眾所周知的3D對(duì)象數(shù)據(jù)集(ShapeNetCore， ModelNet40和ScanObjectNN)之上構(gòu)建3DOS基準(zhǔn)。 對(duì)于開放集方法，我們還通過計(jì)算其分類精度(ACC)來(lái)評(píng)估其正確分類已知數(shù)據(jù)的能力。在補(bǔ)充材料中報(bào)告了進(jìn)一步的度量。
Benchmark Tracks 3DOS包括三個(gè)主要的開放集軌道。 · Synthetic Benchmark旨在評(píng)估存在語(yǔ)義轉(zhuǎn)移的現(xiàn)有方法的性能，而更具挑戰(zhàn)性的Synth to Real Benchmark涵蓋了語(yǔ)義和領(lǐng)域轉(zhuǎn)移，分別從合成數(shù)據(jù)(Modelnet40)和真實(shí)數(shù)據(jù)(ScanObjectNN)中提取訓(xùn)練和測(cè)試樣本。 · 最后，Real to Real Benchmark代表了兩組中訓(xùn)練和測(cè)試數(shù)據(jù)以及噪聲樣本(來(lái)自ScanObjectNN)之間語(yǔ)義轉(zhuǎn)移的中間情況。
合成基準(zhǔn)。 · 對(duì)于我們的合成測(cè)試平臺(tái)，我們使用ShapeNetCore數(shù)據(jù)集，并將其分成3個(gè)不重疊(即語(yǔ)義不同)的類別集，每個(gè)類別18個(gè)。 · 我們將其命名為SN1、SN2和SN3(每組的類別列表見圖3)。 · 通過簡(jiǎn)單地依次選擇每個(gè)sn-set作為已知的類集，并將其余兩個(gè)類別集視為未知的，我們獲得了三種難度增加的場(chǎng)景。 · 在已知類集的訓(xùn)練集上訓(xùn)練Track模型，在已知和未知類集的測(cè)試上對(duì)Track模型進(jìn)行評(píng)估。
合成到真實(shí)基準(zhǔn)。 · 為了定義我們的合成到真實(shí)世界的跨域場(chǎng)景，我們使用來(lái)自ModelNet40的合成點(diǎn)云進(jìn)行訓(xùn)練，同時(shí)我們?cè)趤?lái)自ScanObjectNN的真實(shí)世界點(diǎn)云上進(jìn)行測(cè)試。 · 我們選擇采用ModelNet40(而不是ShapeNetCore)，因?yàn)樗cScanObjectNN有更好的重疊，并且之前的作品已經(jīng)在點(diǎn)云對(duì)象分類的背景下考慮了相同的跨域場(chǎng)景。 · 我們定義了三個(gè)不同的類別集: SR1、SR2和SR3，如圖4所示。前兩組由ModelNet40和ScanObjectNN的匹配類組成。第三個(gè)集合(SR3)由ScanObjectNN類組成，沒有與ModelNet40進(jìn)行一對(duì)一的映射。 · 總的來(lái)說(shuō)，我們有兩個(gè)場(chǎng)景，其中SR1或SR2被認(rèn)為是已知的，另外兩個(gè)被認(rèn)為是未知的。對(duì)于這條賽道，模型在已知類集的ModelNet40樣本上進(jìn)行訓(xùn)練，并在已知和未知類的ScanObjectNN樣本上進(jìn)行評(píng)估。
Real to Real基準(zhǔn)。 · 對(duì)于最后一個(gè)案例，我們利用了從上面描述的ScanObjectNN創(chuàng)建的相同SR類別集。 · 具體來(lái)說(shuō)，其中每一個(gè)在測(cè)試集中被用作未知類，而另外兩個(gè)被分為訓(xùn)練類和測(cè)試類，作為已知類。
【Experiments】 我們進(jìn)行實(shí)驗(yàn)分析的目的是回答一組研究問題，每個(gè)問題在下面分別針對(duì)Synthetic和Synthetic to Real基準(zhǔn)進(jìn)行單獨(dú)的段落討論。 考慮到3D點(diǎn)云文獻(xiàn)統(tǒng)計(jì)了大量的主干網(wǎng)而沒有主干網(wǎng)，我們使用兩個(gè)可靠的主干網(wǎng) :DGCNN和pointnet++進(jìn)行所有主要實(shí)驗(yàn)。
Implementation details · 除非另有說(shuō)明，我們對(duì)合成點(diǎn)云(ShapeNet和ModelNet)使用1024點(diǎn)，對(duì)真實(shí)世界點(diǎn)云(ScanObject)使用2048點(diǎn)。 · 在合成基準(zhǔn)測(cè)試中，我們通過縮放和平移變換來(lái)增強(qiáng)訓(xùn)練數(shù)據(jù)，而在合成到真實(shí)的情況下，我們也通過繞上軸隨機(jī)旋轉(zhuǎn)來(lái)增強(qiáng)它。 · 除了SubArcFace在合成集(SN1, SN2, SN3)上訓(xùn)練了500個(gè)epoch外，所有模型的batch size為64，訓(xùn)練了250個(gè)epoch。對(duì)于DGCNN實(shí)驗(yàn)，我們使用初始學(xué)習(xí)率為0.1的SGD優(yōu)化器，動(dòng)量和權(quán)重衰減分別設(shè)置為0.9和0.0001。使用PointNet++，我們使用Adam優(yōu)化器并將初始學(xué)習(xí)率設(shè)置為0.001。每個(gè)實(shí)驗(yàn)用三種不同的種子重復(fù)，我們從最后一個(gè)時(shí)代模型和平均運(yùn)行的結(jié)果。 · 我們的代碼是在PyTorch 1.9中實(shí)現(xiàn)的，實(shí)驗(yàn)運(yùn)行在具有NVIDIA V100 gpu的HPC集群上。除SupCon和ARPL方法外，所有模型都在單個(gè)GPU上進(jìn)行訓(xùn)練。為了便于再現(xiàn)，我們?cè)谘a(bǔ)充材料中提供了分析方法超參數(shù)的完整列表和討論。
OOD檢測(cè)方法在3D語(yǔ)義新穎性檢測(cè)中的表現(xiàn)如何? 在這些實(shí)驗(yàn)中，我們分析了OOD檢測(cè)和開集方法在合成基準(zhǔn)上的性能。 我們?cè)诒?中報(bào)告了結(jié)果，遵循與第3.3節(jié)相同的四組組織。
判別方法。 · 我們將MSP作為主要基線，但也包括其變體MLS。我們可以看到后者是一個(gè)強(qiáng)大的基線，因?yàn)樗ǔＥc更復(fù)雜的最先進(jìn)的方法(例如ODIN, Energy, GradNorm)相當(dāng)或更好。 · 總的來(lái)說(shuō)，該組的所有方法在AUROC和FPR95方面都改善了MSP基線結(jié)果，只有GradNorm例外。這種方法的特點(diǎn)是它依賴于在測(cè)試時(shí)從網(wǎng)絡(luò)層提取的梯度來(lái)計(jì)算正態(tài)性得分。 · 我們假設(shè)，2D(模型最初是為此而設(shè)計(jì)的)和3D網(wǎng)絡(luò)架構(gòu)之間的巨大差異可能是觀察到的不良性能的原因。ReAct在DGCNN和PointNet++主干網(wǎng)上的表現(xiàn)始終優(yōu)于所有其他主干網(wǎng)。
基于密度和重建的方法。 · VAE結(jié)果遠(yuǎn)遠(yuǎn)低于MSP基線，這是可以預(yù)料的，因?yàn)樗潜碇形ㄒ坏臒o(wú)監(jiān)督方法。應(yīng)該注意的是，它的編碼器既不匹配DGCNN也不匹配PointNet++。它由圖卷積層組成，而解碼器被啟發(fā)為FoldingNet。我們?nèi)匀辉诒?和表3中包含VAE結(jié)果，不管它的特殊性，但是我們用不同的顏色來(lái)報(bào)告它的數(shù)字。 · 另一方面，NF對(duì)主干選擇非常敏感;在DGCNN提取的語(yǔ)義豐富的嵌入上訓(xùn)練時(shí)表現(xiàn)良好，但在PointNet++的局部特征嵌入上訓(xùn)練時(shí)表現(xiàn)不佳。
與OOD生成數(shù)據(jù)的離群值暴露。 · 與MSP基線相比，我們觀察到，對(duì)于兩個(gè)主干，OE調(diào)優(yōu)在FPR95方面產(chǎn)生了輕微的改進(jìn)，而AUROC沒有顯示出增益。
基于表示和距離的方法。 · ARPL+CS方法是目前最先進(jìn)的2D開放集方法，然而結(jié)果表明，它在3D數(shù)據(jù)上的工作效果并不好，而且它很容易被更簡(jiǎn)單的余弦原型所超越。有趣的是，建立在標(biāo)準(zhǔn)交叉熵分類器上的簡(jiǎn)單CE (l2)方法在兩個(gè)主干上都獲得了令人滿意的結(jié)果，優(yōu)于所有競(jìng)爭(zhēng)方法。 · 對(duì)于ARPL+CS的考慮同樣適用于SupCon，該方法過去已成功用于2D OOD檢測(cè)。 我們認(rèn)為這是由于合成數(shù)據(jù)非常干凈，缺乏構(gòu)建良好對(duì)比嵌入所需的可變性。通過SubArcFace可以獲得更好的結(jié)果，它構(gòu)建了類似的特征嵌入，但計(jì)算成本更低，更容易收斂。 · 鑒于其最先進(jìn)的性能，對(duì)于以下分析，我們將主要關(guān)注CE (l2)，以及MSP和MLS作為基線。
改進(jìn)閉集分類對(duì)三維語(yǔ)義新穎性檢測(cè)的影響是什么? 最近的一項(xiàng)研究關(guān)注了判別方法的封閉精度與其對(duì)圖像的開放集識(shí)別性能之間的相關(guān)性。為了在3D數(shù)據(jù)上驗(yàn)證這一趨勢(shì)，我們進(jìn)行了兩組實(shí)驗(yàn)。
1、第一個(gè)分析是通過利用標(biāo)準(zhǔn)正則化技術(shù)如標(biāo)簽平滑來(lái)完成的。 · 表明，當(dāng)使用DGCNN骨干網(wǎng)時(shí)，LS對(duì)兩種骨干網(wǎng)都提供了較小的閉集精度提高，并且對(duì)AUROC和FPR95也有一定的提高。它克服了ReAct (AUROC:76.4, FPR95:74.6)的結(jié)果，但仍然比在該集合上性能最好的cos原型差。 · 使用PointNet++的優(yōu)勢(shì)僅在用于MLS和MSP的FPR95上明顯，但在用于CE的AUROC和FPR95上開放集性能均下降(l2)。第二次評(píng)估是通過改變網(wǎng)絡(luò)骨干來(lái)完成的。 2、除了已經(jīng)考慮的DGCNN和PointNet++之外，我們還嘗試了一系列不同的體系結(jié)構(gòu)。 · 具體來(lái)說(shuō)，我們測(cè)試了CurveNet、GDANet、RSCNN、pointMLP和PCT。特別是后者利用Transformer塊進(jìn)行點(diǎn)云學(xué)習(xí)，最近在3D對(duì)象分類和分割方面取得了最先進(jìn)的性能。 · 圖5(左)的結(jié)果表明，對(duì)于各種3D骨干網(wǎng)，開集性能與閉集性能并沒有嚴(yán)格的聯(lián)系。特別是，雖然RSCNN達(dá)到了最高的閉集精度結(jié)果之一，但它的MSP AUROC是最差的。
三維語(yǔ)義新穎性檢測(cè)是否受點(diǎn)云密度的影響? · 我們研究了點(diǎn)云采樣率的影響。我們用不同的點(diǎn)云大小進(jìn)行實(shí)驗(yàn):512、1024、2048和4096。對(duì)于每個(gè)實(shí)驗(yàn)，我們固定訓(xùn)練和評(píng)估的點(diǎn)數(shù)(例如512)。 · 具有較高采樣率的點(diǎn)云更加詳細(xì)，細(xì)粒度結(jié)構(gòu)以更高的計(jì)算復(fù)雜度為代價(jià)變得可見。我們?cè)趫D6(左)中展示了采樣對(duì)局部細(xì)節(jié)可見性影響的一些可視化效果，這對(duì)于已知與未知區(qū)分和閉集分類都很重要。 · 在圖6的右側(cè)，我們報(bào)告了MSP和CE (l2)的閉集和開集性能的結(jié)果。隨著采樣點(diǎn)數(shù)量的增加，閉集精度會(huì)增加，而CE (l2)的開集性能沒有相應(yīng)的增加。
Synthetic to Real Benchmark 對(duì)合成數(shù)據(jù)進(jìn)行訓(xùn)練是基本的，特別是當(dāng)給定任務(wù)只有少數(shù)真實(shí)樣本可用時(shí)。 · 這通常是3D點(diǎn)云學(xué)習(xí)的情況，ScanObjectNN是最大的公開可用的現(xiàn)實(shí)世界對(duì)象數(shù)據(jù)集之一，盡管樣本少于3k。 · 因此，我們分析了在合成數(shù)據(jù)上訓(xùn)練的模型在實(shí)際數(shù)據(jù)上測(cè)試時(shí)的表現(xiàn)。
當(dāng)對(duì)真實(shí)數(shù)據(jù)進(jìn)行測(cè)試時(shí)，OOD檢測(cè)的性能趨勢(shì)是如何變化的? · 表3提供了Synthetic to Real基準(zhǔn)測(cè)試結(jié)果的概述。在表1中，我們注意到由于訓(xùn)練(合成)和測(cè)試(真實(shí)世界)之間的域轉(zhuǎn)移而導(dǎo)致的性能普遍下降。 · 有趣的是，pointnet++主干網(wǎng)似乎比DGCNN更能適應(yīng)域轉(zhuǎn)移。例如，使用PointNet++的MSP基準(zhǔn)在AUROC方面比DGCNN基準(zhǔn)高出8.9 pp，在FPR95方面高出7.4 pp。 · 我們?cè)趫D5(中)中對(duì)合成到真實(shí)基準(zhǔn)中使用的主干的影響進(jìn)行了更全面的分析。大多數(shù)在合成基準(zhǔn)中表現(xiàn)良好的方法最終都不如簡(jiǎn)單的MSP基準(zhǔn)健壯，因此無(wú)法再優(yōu)于它。對(duì)于絕大多數(shù)的判別方法都是如此。 · 對(duì)于VAE，它進(jìn)行了類似于為合成對(duì)應(yīng)物所做的討論。NF在兩個(gè)主干網(wǎng)上的表現(xiàn)一致，在DGCNN上應(yīng)用時(shí)，AUROC比MSP明顯提高了4.6 pp，而在pointnet++上只有輕微的提高。 · 在OE+mixup的情況下，用于調(diào)整分類器模型的生成的離群值并不代表真實(shí)的測(cè)試域，因此不允許在MSP基線上進(jìn)行改進(jìn)。
基于距離的方法的結(jié)果高度依賴于所選擇的特定主干。 · 余弦原型在PN2上表現(xiàn)得特別好，但在DGCNN上表現(xiàn)得很糟糕，很可能是因?yàn)樵诤铣缮嫌?xùn)練的DGCNN原型不能代表真實(shí)世界的測(cè)試分布。 · 對(duì)于CE (l2)也可以進(jìn)行類似的考慮，以確認(rèn)PointNet++對(duì)域轉(zhuǎn)移的魯棒性。最后，SubArcFace展示了它的可靠性，因?yàn)樗谥鞲珊推骄罴训目傮w結(jié)果上都取得了很好的結(jié)果。 · 對(duì)于MSP和SubArcFace，我們研究了幾個(gè)主干網(wǎng)的影響，同時(shí)考慮了圖5中間部分的封閉集性能。該圖顯示線性增長(zhǎng)的趨勢(shì)，兩種方法結(jié)果也證實(shí)PointNet++在更復(fù)雜的網(wǎng)絡(luò)中的優(yōu)勢(shì)。
Real to Real Benchmark 為了完成我們的分析，我們?cè)赗eal to Real基準(zhǔn)上運(yùn)行了最相關(guān)的方法，結(jié)果如表4所示。 · 總的來(lái)說(shuō)，所有方法的趨勢(shì)都與從合成到實(shí)際情況中觀察到的一致。余弦原型方法已經(jīng)在PointNet++的合成到真實(shí)基準(zhǔn)測(cè)試中證明了有效性，現(xiàn)在在DGCNN和PointNet++中排名第一。 · 我們還強(qiáng)調(diào)了PointNet++比DGCNN保持了更好的性能，證實(shí)了它在處理有噪聲和損壞的真實(shí)數(shù)據(jù)時(shí)的魯棒性。 · 對(duì)于MSP和余弦原型，我們研究了幾個(gè)主干網(wǎng)的影響，同時(shí)考慮了圖5右側(cè)的封閉集性能。
【總結(jié)】 提出了3DOS，這是3D開放集學(xué)習(xí)的第一個(gè)基準(zhǔn)，它考慮了幾種設(shè)置和三種不同類型分布移位的場(chǎng)景。 · 分析表明，尖端的2D開放集方法不容易將其最先進(jìn)的性能轉(zhuǎn)移到3D數(shù)據(jù)中，簡(jiǎn)單的表示學(xué)習(xí)方法(如CE (l2)， SubArcFace和余弦原型)通常優(yōu)于它們。 · 此外，3D開放集方法的性能取決于所選擇的主干: PointNet++已被證明在處理真實(shí)世界的數(shù)據(jù)方面非常健壯，甚至跨域，優(yōu)于最近和更復(fù)雜的網(wǎng)絡(luò)。點(diǎn)密度可能是基線方法的一個(gè)問題，但對(duì)基于距離的策略(如CE)的影響最小(l2)。 · 最后，3D數(shù)據(jù)上的Open Set在處理語(yǔ)義和領(lǐng)域轉(zhuǎn)移的組合時(shí)變得極其困難。
圖7描述了所研究的三種場(chǎng)景的概述，表明從合成到真實(shí)是最具挑戰(zhàn)性的情況，其次是從真實(shí)到真實(shí)，最后是合成基準(zhǔn)。 · 這證實(shí)了合成數(shù)據(jù)和真實(shí)數(shù)據(jù)之間的領(lǐng)域轉(zhuǎn)換比語(yǔ)義轉(zhuǎn)換增加了額外的挑戰(zhàn)。 · 此外，值得注意的是，在合成基準(zhǔn)(DGCNN SubArcFace > MLS， +3.1 AUROC)中，最佳開放集方法提供的改進(jìn)在合成基準(zhǔn)(DGCNN SubArcFace > MLS， +3.1 AUROC)中非常明顯，但在合成到真實(shí)(PointNet++ Cosine Proto > MSP， + 2.6 AUROC)和真實(shí)到真實(shí)情況(PointNet++ Cosine Proto > MLP， + 0.6 AUROC)中卻有所減少，這顯然需要新的方法，并揭示了改進(jìn)的空間。
我們希望這一基準(zhǔn)將成為該領(lǐng)域未來(lái)研究的堅(jiān)實(shí)基礎(chǔ)，推動(dòng)為3D數(shù)據(jù)量身定制的開放集方法的發(fā)展，并能夠利用它們的特殊性。
關(guān)注知乎「3D視覺工坊」(https://www.zhihu.com/people/qiyong1993),及時(shí)獲取每日3D視覺行業(yè)最前沿學(xué)術(shù)研究。
添加小助理微信：dddvisiona， 備注：學(xué)校/公司+三維點(diǎn)云+ 加入「三維點(diǎn)云」(https://mp.weixin.qq.com/s/cYCcK7E46RZDa2Z2rMpLtw)技術(shù)交流群
