作者：小檸檬 | 來源：「3D視覺從入門到精通」知識星球?

在公眾號「3DCV」后臺，回復「原論文」可獲取論文pdf和代碼鏈接。

添加微信：dddvisiona，備注：三維點云，拉你入群。文末附行業(yè)細分群

為了研究自動駕駛場景中三維點云的無監(jiān)督目標檢測問題。我們提出了一種簡單而有效的方法，利用：

1. 點云密集的近距離區(qū)域的點聚類

2. 時間一致性來過濾掉噪聲的無監(jiān)督檢測

3. cnn的翻譯等方差來擴展自動標簽到長距離

4. 自我監(jiān)督來改進自己

我們的方法，OYSTER?(Object Discovery via Spatio-Temporal Refinement)，沒有對數(shù)據(jù)收集施加限制(如重復遍歷相同的位置)，能夠以零鏡頭的方式檢測對象，而無需監(jiān)督微調(diào)(即使在稀疏、遙遠的區(qū)域)，并在更多的迭代自我訓練中繼續(xù)自我提高。為了更好地衡量模型在自動駕駛場景下的性能，我們提出了一種新的以規(guī)劃為中心的基于碰撞距離的感知指標。在PandaSet和Argoverse 2 Sensor數(shù)據(jù)集上，我們證明了我們的無監(jiān)督對象檢測器顯著優(yōu)于無監(jiān)督基線，表明了自我監(jiān)督結(jié)合對象先驗可以在野外發(fā)現(xiàn)對象的前景。

方法

OYSTER的意思是通過時空優(yōu)化發(fā)現(xiàn)對象。它有兩個階段的訓練:最初的引導階段，和自我完善階段。

初始引導階段利用了近距離點云往往比較密集并且具有清晰的對象簇的事實，因此我們可以通過點聚類獲得合理的近距離邊界框種子偽標簽。由于卷積網(wǎng)絡(luò)的平移等方差特性，我們發(fā)現(xiàn)在近距標簽上訓練的CNN檢測器可以借助數(shù)據(jù)增強（例如隨機稀疏輸入的光線丟棄）以零樣本方式泛化到更遠距離。

自我改進階段利用對象軌跡的時間一致性作為自我監(jiān)督信號。我們提出了一個 Track、Refine、Retrain、Repeat框架：

• 考慮到隨時間的噪聲檢測，我們采用無監(jiān)督的離線跟蹤器來查找不同長度的物體軌跡；

• 我們丟棄短軌跡，細化長軌跡，為下一輪自訓練準備偽標簽；

• 對象軌跡在不同時間上應(yīng)該具有相同的物理對象大小，因此我們的細化過程使用軌跡級信息來更新長軌跡中的偽標簽；

• 我們在更新的偽標簽上訓練一個新的檢測器，將其輸出轉(zhuǎn)儲為新的偽標簽，進行跟蹤、細化、重新訓練和重復。

與點聚類的比較

以下是我們的無監(jiān)督目標檢測器(OYSTER) 的鳥瞰圖(BEV)輸出，該檢測器在沒有任何標簽的情況下進行訓練。我們還可視化用于初始引導的點聚類輸出，以啟動我們的自我訓練過程。請注意，模型輸出和真實標簽是與類無關(guān)的邊界框。

與最先進的比較

將我們的檢測器與之前的無監(jiān)督檢測方法MODEST的SOTA進行比較：

自訓練偽標簽的演變

我們通過鳥瞰圖（BEV）可視化自訓練偽標簽的演變，從最初的點聚類步驟到后來的自訓練迭代。

結(jié)論

我們提出了一種新方法 OYSTER，用于從LiDAR點云進行無監(jiān)督目標檢測。使用弱對象先驗（近距離點聚類）作為引導步驟，我們的方法可以訓練沒有人工注釋的對象檢測器，首先利用 CNN 的平移等方差生成遠程偽標簽，然后導出自來自對象軌跡的時間一致性的監(jiān)督信號。我們提出的自我訓練循環(huán)對于教導無監(jiān)督檢測器進行自我改進非常有效。我們在兩個真實世界數(shù)據(jù)集Pandaset和Argoverse 2 Sensor上驗證了我們的結(jié)果，我們的模型明顯優(yōu)于之前的無監(jiān)督方法。對現(xiàn)實世界的機器人感知進行自我監(jiān)督學習對人工智能來說是一個令人興奮的挑戰(zhàn)，我們的工作朝著允許機器人在沒有人類監(jiān)督的情況下理解視覺世界邁出了一步。