來源：公眾號|3D視覺工坊（系投稿）

作者：仲夏夜之星

「3D視覺工坊」技術(shù)交流群已經(jīng)成立，目前大約有12000人，方向主要涉及3D視覺、CV&深度學習、SLAM、三維重建、點云后處理、自動駕駛、CV入門、三維測量、VR/AR、3D人臉識別、醫(yī)療影像、缺陷檢測、行人重識別、目標跟蹤、視覺產(chǎn)品落地、視覺競賽、車牌識別、硬件選型、學術(shù)交流、求職交流、ORB-SLAM系列源碼交流、深度估計等。工坊致力于干貨輸出，不做搬運工，為計算機視覺領(lǐng)域貢獻自己的力量！歡迎大家一起交流成長~

添加小助手微信：CV_LAB，備注學校/公司+姓名+研究方向即可加入工坊一起學習進步。

QQ群「3D視覺研習社」，群號：574432628

論文標題：Scale-Hierarchical 3D Object Recognition in Cluttered Scenes作者：Prabin Bariya，Ko Nishino論文地址：在公眾號「3D視覺工坊」，后臺回復「三維目標識別」，即可直接下載。摘要：三維目標識別在遮擋和雜亂場景中的是一項艱巨的任務。在本文中，引入一種利用幾何尺度的可變性的方法來解決這一任務，其關(guān)鍵在于利用局部幾何結(jié)構(gòu)的尺度變化所提供的豐富判別信息來約束模型與場景點之間潛在對應的大量搜索空間，尤其是可以利用幾何尺度的變異性來計算每個內(nèi)在幾何尺度的形式特征，還有由內(nèi)在幾何尺度集合后誘導的層次結(jié)構(gòu)和局部尺度相關(guān)的三維形狀描述符的辨別力，該方法以一種由粗到細的分層方式來利用增加的信息，從而有效地篩選所有潛在通信的空間。本文在大量的真實場景上實驗評估了該方法的準確性與不同數(shù)量的部分遮擋，識別率較先進方法高，此外，盡管存在著全局尺度變化，本文也系統(tǒng)地演示了該方法能夠準確定位目標。

一 、簡介

三維目標識別旨在正確識別三維場景中的對象，通常要獲得目標的深度圖像，并估計其位置和每個對象的方向。三維場景是雜亂無章的，場景中的物體也存在相互遮擋，傳統(tǒng)的三維物體識別方法一般包括兩個階段：特征提取和匹配。在特征提取階段，具有代表性的特征從數(shù)據(jù)中選擇或計算，為了處理遮擋首選局部特征；在匹配階段，建立待識別模型特征與場景特征的對應關(guān)系。特征提取在匹配過程中扮演著重要的角色，用于表征三維表面數(shù)據(jù)和其相鄰數(shù)據(jù)的計算特征和識別能力，是任何三維物體識別系統(tǒng)精度的關(guān)鍵因素。本文提出了一個綜合框架，利用局部幾何結(jié)構(gòu)的尺度變異性所提供的豐富的判別信息，在雜亂的三維場景中識別和定位目標，并且建立了所有待識別物體的模型庫，并通過一組尺度相關(guān)的角點及其尺度不變的局部三維形狀描述符來表示每個物體和場景，本文使用一種基于解釋樹的方法進行識別，在模型庫中為每個模型構(gòu)造一棵樹。樹中的節(jié)點表示模型和場景特征之間相互關(guān)系，每個分支代表一個關(guān)于存在的假設場景中該模型的缺失和姿勢。

本文的關(guān)鍵思想是利用尺度相關(guān)特征提供的豐富鑒別力信息來在匹配階段進行輔助，并且展示了模型和場景特征在大的空間下可以有效地在基于添加的幾何尺度信息以指數(shù)的形式進行剔除，使用每個尺度相關(guān)的角的內(nèi)在尺度來限制其可能的對應只針對那些在相同的內(nèi)在尺度下被檢測到的角。不變的局部三維形狀描述符可以進一步限制高度相似角之間的對應關(guān)系。此外，本文還展示了如何利用局部幾何結(jié)構(gòu)的固有尺度層次來對基于樹的匹配施加由粗到細的層次結(jié)構(gòu)。在50個不同遮擋和雜亂水平的真實場景上進行了識別實驗，證明了該方法的有效性和準確性，還實現(xiàn)了一個97.5%的識別率與84%的遮擋，這超過了在同一廣泛的數(shù)據(jù)集上的最新報道的狀態(tài)，對于所有級別的遮擋，我們的總識別率是93.58%，此外，實驗還表明，在庫中存在不同全局尺度的對象的場景中，所提出的框架能夠?qū)崿F(xiàn)3D對象識別。

二、相關(guān)尺度的模型庫與場景

本文首先構(gòu)造了一個對象的模型庫 用一組合適的對象來識別和表示每個對象特征。為此，本文利用了3D數(shù)據(jù)中局部幾何結(jié)構(gòu)的尺度變異性，并使用了準確描繪這種尺度變異性的特征。然后為每個要識別的模型計算一個尺度相關(guān)的表示。類似地，我們用依賴于規(guī)模的表示來表示場景。

2.1、尺度不變性

距離圖像的幾何尺度-空間分析是由Novatnack和Nishino在[1]中提出的，他們計算三維表面特征的角，從而捕獲底層幾何結(jié)構(gòu)的自然尺度。這些特征連同它們的局部三維形狀描述子被用來自動對齊一組混合的范圍圖像來將多個對象進行三維重建，利用測地距離和它對應的用于尺度空間來分析離散尺度集，用標準差遞增的高斯核對深度圖像的表面法向量進行濾波，可以構(gòu)造深度圖像的幾何尺度空間。然后在每個離散尺度上使用角點檢測器和搜索角點檢測器響應的空間最大值來檢測三維幾何角點。通過在離散尺度集合中搜索角點檢測器響應的局部最大值，確定了每個幾何角點的內(nèi)在尺度。然后，通過使用指數(shù)映射對與角的比例成比例的局部表面區(qū)域內(nèi)的表面法線進行編碼，就可以在每個檢測到的角上計算出三維形狀描述符。圖1顯示了在模型庫中根據(jù)模型對象的深度圖像計算出的與比例相關(guān)的角。并給出了不同尺度下計算出的角點局部三維形狀描述符。

圖1 基于幾何尺度空間分析，紅色、黃色、綠色、綠松石色和藍色表示從最粗糙到最精細的角

2.2、模型庫

模型庫包括目標場景中感興趣的3D對象模型。為了計算每個對象的尺度相關(guān)表示，首先用一組距離圖像表示每個對象，然后從物體的三維模型的許多均勻分布的視圖中合成距離圖像。如圖2所示，選擇視圖的數(shù)量，以便在每個相鄰的視圖對之間有重疊，以便在至少一個合成范圍圖像中捕獲三維模型的所有區(qū)域。對于每一幅合成的深度圖像，可以計算若干離散尺度下的尺度相關(guān)角。為了確定用于幾何尺度空間分析的離散尺度，計算從一組離散尺度中在最粗尺度檢測到的總尺度相關(guān)角的百分比，并且選擇5個比例間隔的離散尺度，這樣檢測到的與尺度相關(guān)的角只有5%到10%來自最粗的尺度。因此，只有最顯著的幾何特征在最粗糙的尺度被檢測。本文計算一個尺度不變的局部三維形狀，最后，用模型庫中的每個對象的三維模型和一組統(tǒng)一的、與尺度相關(guān)的角點及其對應的尺度不變性局部三維形狀描述符來表示該模型庫中的每個對象。

圖2 合成了Chef模型的八個均勻分布視圖的深度圖像

2.3、場景目標

需要識別的場景是深度圖像，因此無需進行任何預處理，只需要計算與尺度相關(guān)的角點及其對應的尺度不變局部三維形狀描述符。用于構(gòu)造幾何尺度空間的尺度集的確定方法與模型尺度相同。圖3顯示了在一個帶有雜波和遮擋的場景中計算出的與尺度相關(guān)的角和它們相應的尺度不變描述符。

圖3 基于尺度空間分析，在真實深度圖像上計算尺度相關(guān)的角點和尺度不變描述符。在較粗的層次上檢測到的拐角描述符編碼拐角附近相對較大的鄰域。

三、尺度解釋樹

給定模型和場景的尺度相關(guān)表示，就使用體現(xiàn)模型和場景特征之間所有可能的對應的樹結(jié)構(gòu)來進行匹配。我們在場景中一次只搜索一個對象，使用約束解釋樹，利用與尺度相關(guān)的角提供的豐富的辨別信息。任何成功的搜索結(jié)果都可以用來從已識別和分割的場景區(qū)域中刪除場景特征，這樣這些特征就不再用于后續(xù)的任何其他對象搜索。

3.1、解釋樹

解釋樹方法[8]通過將模型基元與場景基元之間的對應表示為樹結(jié)構(gòu)中的一個節(jié)點來匹配。在樹的根，沒有通信。隨著樹的每一層的增加，一個新的模型基元被選擇，它與所有可用的場景基元在該層形成節(jié)點。樹中的每個節(jié)點都包含了一個關(guān)于場景中給定模型存在的假設，該假設由該節(jié)點及其所有父節(jié)點的通信集合構(gòu)成。樹的下降意味著對特定假設[2]的承諾水平的增加，對于復雜場景[3]，由整個解釋樹表示的所有對應的搜索空間可能呈指數(shù)大。例如，對于一個有m個原始模型和一個有n個原始場景，一個無約束樹的第一級可能有n個節(jié)點，第二級可能有n2個節(jié)點，以此類推。因此，約束和修剪樹對于保持搜索空間的可處理性變得至關(guān)重要。我們的關(guān)鍵思想是利用與尺度相關(guān)的角編碼的豐富的鑒別信息，對要添加到樹中的節(jié)點施加約束。

3.2、解釋樹的形成

3.3、假設驗證和分割

四、實驗

4.1、尺度依賴的識別

圖4 尺度依賴的方法對50個真實場景的識別率(a)遮擋和(b)雜波。沒有假陽性和假陰性發(fā)生接近100%的遮擋。本文方法在不同的遮擋和雜波量下獲得了一致的高識別率。(c)中給出了剔除rhino后的結(jié)果，以便與[4]進行直接比較，本文結(jié)果優(yōu)于[4]。

4.2、尺度不變的識別

圖5 對于(a)遮擋和(b)雜波，在包含全局縮放庫對象的真實場景和合成場景中，尺度不變方法的識別率。本文第一個展示三維尺度不變物體識別的系統(tǒng)結(jié)果。

總結(jié)

本文提出了一種三維目標自動識別方法，能夠在具有顯著雜波的場景中準確地識別出高遮擋的目標，我們的主要貢獻是利用數(shù)據(jù)中局部幾何結(jié)構(gòu)的尺度變異性，有效地限制模型和場景基元之間所有可能的對應空間。本文在50個真實場景上進行了實驗，在84%的遮擋下實現(xiàn)了97.5%的識別率，超過了目前的水平。此外，第一次系統(tǒng)地證明了本文框架也能夠在復雜場景中執(zhí)行尺度不變識別任務，在具有縮放庫對象的真實和合成場景上進行了實驗，識別率為89.29%，并且相信尺度不變識別方法有 廣泛的實際意義，因為模型庫可以用適當縮放的對象模型和縮放的對象來構(gòu)建 可以在場景中準確識別，因此希望本文工作將激發(fā)更多的興趣在比例不變的3D物體識別，因為可以看到它在真實的3D識別場景中至關(guān)重要。

參考文獻

[1] J. Novatnack and K. Nishino. Scale-Dependent/Invariant Local 3D Shape Descriptors for Fully Automatic Registration of Multiple Sets of Range Images. In European Conf. on Computer Vision. IEEE Computer Society, 2008.

[2] P. Flynn and A. Jain. Bonsai: 3D Object Recognition using Constrained Search. IEEE Trans. on Pattern Analysis and Machine Intelligence, 13(10):1066–1075, 1991

[3] W. Grimson. The Combinatorics of Object Regnition in Cluttered Environments using Constrained Search. Proc.Int’l Conf. Computer Vision, pages 218–227, 1988.

[4] A. Mian, M. Bennamoun, and R. Owens. Three-Dimensional Model-Based Object Recognition and Segmentation in Cluttered Scenes. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2006.

本文僅做學術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。