前言：

本文介紹了點云中不可忽視的一項重要屬性——幾何語義，并嘗試根據(jù)自己的理解和實踐經(jīng)驗對其進行一些歸納總結(jié)，可能有些地方有理解有誤，請大家抱著批判的態(tài)度學(xué)習(xí)。

注1：文末附【三維點云】交流群

注2：計算機視覺書籍匯總

注3：整理不易，請點贊支持！

作者：PCB_segmen | 來源：3D視覺工坊微信公眾號

正文：

關(guān)于點云的悠久歷史本文不過多描述，我們先簡單談?wù)劄槭裁袋c云的幾何語義對點云來說十分重要（無論傳統(tǒng)方法or基于學(xué)習(xí)的方法）。早期受硬件設(shè)備和技術(shù)的限制，學(xué)者們對點云問題的處理方法有一種思路是將點云轉(zhuǎn)為多張二維圖像，然后采用更為可靠的數(shù)字圖像處理方法，其本質(zhì)上其實是一種降維處理方式。然而，與2D圖像相比，大多數(shù)點云是無組織的，在這種無組織的點云中，不存在相鄰點之間的空間關(guān)系，并且無法通過行列索引數(shù)據(jù)。因此，在很多情況下，對點云的處理實際上是指利用3D坐標來處理無組織、無顏色的3D點云的方法。而幾何語義恰恰與空間坐標有著千絲萬縷的關(guān)系，這是點云本身固有的屬性。

點云處理的核心問題實際上從3D離散點和無序點中推斷幾何信息。點云的基本幾何單位是點，點聚類為簇構(gòu)成幾何語義。幾何語義分大致可以為兩類：形狀集和結(jié)構(gòu)集。如圖1所示。

圖1 幾何語義分類

在圖1中，形狀集包括像2D線（例如，2D輪廓、直線和曲線），物體表面（例如，平面，曲面）、三維體（例如，立方體和圓柱體等）和3D邊界等元素。結(jié)構(gòu)集包括像法線、曲率、超體素、凹凸性和骨架等元素。結(jié)構(gòu)集中的元素看似跟幾何沒關(guān)系卻可以歸類為幾何語義，是因為這些屬性可以看做是一種高級語義（即建立在低級語義之上，PS:所以基礎(chǔ)真的很重要），這些結(jié)構(gòu)集也可以看作是從形狀集派生出來的高級語義。

在形狀集中的元素，盡管基本上都屬于古董級別的語義，但千萬不要小瞧這些語義，它們是小身板大用途。例如，在一些檢測任務(wù)中，如LiDAR點云中的電線桿就可以利用線語義檢測，如圖2所示，像這類的文章還是很多的，處理一些簡單分類問題還是可以的。同樣是檢測任務(wù)，在自動駕駛領(lǐng)域中的道路線檢測同樣離不開這些簡單的幾何語義（PS:注意我說的是基礎(chǔ)，如果想發(fā)paper,肯定要添磚加瓦，這不是本文的重點，但基于幾何的核心不會變）。

圖2 利用線語義檢測燈柱[1]

說完線，自然會聯(lián)想到更高維度的面、體，其應(yīng)用場景也更廣，例如除了在檢測任務(wù)中的用途，這些高維度的幾何語義還可以用在三維重建中。關(guān)于目標體（PS:包括場景和單個具體目標）的重建當(dāng)下也是很熱門的一個話題，處理的數(shù)據(jù)類型分為合成數(shù)據(jù)和真實數(shù)據(jù)，真實數(shù)據(jù)由于包含很多不確定的因素，其重建難度也更大（PS:這里其實可以與后面的法線估計聯(lián)系，以后慢慢聊）。之所以可以利用幾何語義來完成一些重建任務(wù)，是因為幾何基元本身就是一種很好的可以將離散點云的模型抽象出來的方式，可以說在一定程度上簡化了任務(wù)。關(guān)于形狀集，暫且先談到這，以后針對具體的元素再仔細說道。圖3是一張以前做過的東西，其部分環(huán)節(jié)利用到了幾何語義（PS:現(xiàn)在看起來挺low的）。

圖3 部分工程實例展示

形狀語義盡管在工程中應(yīng)用中的效果不錯，但有時也是力不從心（PS:發(fā)發(fā)中文還行，SCI用這些東西確實得費些功夫）。于是有學(xué)者基于這些基礎(chǔ)語義延伸出了更高級的幾何語義，例如，用平面來估計法線，法線+圖論又可以引出超體素，這類的例子還有很多。曲率作為元老級的元素，我現(xiàn)在看到的很少，可能偶爾作為某一環(huán)節(jié)簡單用一下。

點云的法線是點云重要的幾何屬性之一，點云法線估計在曲面重建、點云渲染、點云各向異性光滑、點云特征提取上有著重要的應(yīng)用。例如，在計算機圖形學(xué)領(lǐng)域里，法向量決定著曲面與光源的強弱處理的準確度，對于曲面上每個點的光源位置，其亮度取決于該點法向量的方向，在進行光照渲染時必須依賴于可靠的法線估計才能產(chǎn)生符合人眼習(xí)慣的效果；三維掃描儀獲取的點云中不可避免的含有噪聲，如果在點云曲面重建時有著可靠的法線信息，那么曲面重建也就更加真實和精確，對噪聲也就更魯棒。最近也有學(xué)者提出了一些基于深度學(xué)習(xí)的方法，總之，法線對三維世界的真實化表達確實很重要，不正確的法線估計會給后續(xù)處理帶來很多問題，同時，法線還可以在分割和可視化上應(yīng)用，我之前接觸的大多是法線的重定向任務(wù)，具體后面再說。

超體素作為2D超像素的延伸，該方法相關(guān)理論多與圖論的知識有關(guān)，根據(jù)自己的實踐經(jīng)驗，超體素確實對分割任務(wù)的速度有著巨大提升效果，作為該方法的提出的動機之一，預(yù)分割的想法對提升算法運算速度和保持點云面片的自然屬性十分有效，關(guān)于這方面的知識多用在分割任務(wù)上，但也有人在點云配準問題上使用，醫(yī)學(xué)領(lǐng)域的文章也不少（PS:3D醫(yī)學(xué)圖像）。

凹凸性自己使用不多，之前使用時只作為一種判斷工具，處理像局部體素面片的關(guān)系之類的東西，該方法跟超體素一樣都需要一些圖論的知識。

骨架作為三維模型概括表示的一種抽象化手段，既能直觀的反應(yīng)原始模型的拓撲連接性，又能很好的表示出物體的幾何特征信息，并且將骨架作為點云模型的拓撲結(jié)構(gòu)在計算機上進行存儲時節(jié)省了大量空間，同時減少了模型的冗余信息。除此之外，在一些動畫制作和人體姿態(tài)的捕捉上也有應(yīng)用。圖4是點云模型骨架化的動態(tài)變化過程。

圖4 骨架估計動態(tài)示例

總結(jié)：

本文只涉及了部分淺顯易懂的幾何語義，論文中還提出了一些其他新的想法，感興趣的同學(xué)可以去找一找。事實上，很多點云問題的處理如果在幾何語義提取階段做的足夠好，是可以明顯提高最終的處理結(jié)果的。

未完待續(xù)……

PS:純屬個人理解，難免有錯誤，請抱著批判的態(tài)度閱讀學(xué)習(xí)。

1.H. Zheng, R. Wang and S. Xu, "Recognizing Street Lighting Poles From Mobile LiDAR Data," in IEEE Transactions on Geoscience and Remote Sensing, vol. 55, no. 1, pp. 407-420, Jan. 2017, doi: 10.1109/TGRS.2016.2607521.

備注：作者也是我們「3D視覺從入門到精通」知識星球特邀嘉賓：

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。

3D視覺工坊-三維點云交流群

已建立3D視覺工坊-三維點云微信交流群！想要進三維點云學(xué)習(xí)交流群的同學(xué)，可以直接加微信號：CV_LAB。加的時候備注一下：三維重建+學(xué)校+昵稱，即可。然后就可以拉你進群了。

強烈推薦大家關(guān)注3D視覺工坊知乎賬號和3D視覺工坊微信公眾號，可以快速了解到最新優(yōu)質(zhì)的3D視覺與SLAM論文。