作者：李城??

推薦大家關(guān)注3DCV，一個關(guān)注3D技術(shù)，更關(guān)注3D產(chǎn)業(yè)的公眾號。點擊下方卡片，關(guān)注3DCV公眾號。

關(guān)注工業(yè)3D視覺、SLAM、自動駕駛技術(shù)，更專注3D視覺產(chǎn)業(yè)的信息傳播和產(chǎn)品價值的創(chuàng)造，深度聚焦于3D視覺傳感器、SLAM產(chǎn)品，使行業(yè)產(chǎn)品快速連接消費者。

VPS 、GPS 、SLAM 的區(qū)別與聯(lián)系

首先簡單的闡述一下三者的定義：
? ?VPS全稱為Visual Positioning System，即視覺定位系統(tǒng)。手機端(移動時代）的VPS首次出現(xiàn)時間節(jié)點為2019年，這一年Google 發(fā)布了其產(chǎn)品“Google Maps AR（測試版）”，該產(chǎn)品使用 VPS（視覺定位服務(wù)）技術(shù)通過相機圖像在戶外可以實現(xiàn)任意視角的定位與定向，如下圖所示：

提到GPS(global positioning system)則是大家耳熟眾詳?shù)娜侄ㄎ幌到y(tǒng)，GPS是一種用于確定地理位置和導航的技術(shù)，它由一組衛(wèi)星、地面控制站和接收設(shè)備組成。GPS最初由美國國防部開發(fā)，于1978年正式投入使用。該技術(shù)的目的是提供一種全球性的導航系統(tǒng)，為軍事和民用用戶提供高精度的定位服務(wù)。

關(guān)于SLAM(Simultaneous Localization and Mapping)，即實時定位與構(gòu)圖技術(shù)。SLAM技術(shù)出現(xiàn)的時間節(jié)點很早，其歷史可以追溯到20世紀80年代。早期的SLAM方法主要基于濾波器，后來隨著技術(shù)不斷發(fā)展和改進，在算法框架方面，出現(xiàn)了基于因子圖的優(yōu)化方法，如圖優(yōu)化（Graph Optimization）和基于最大似然估計的非線性優(yōu)化等。而國內(nèi)SLAM技術(shù)大火 的時間節(jié)點大概為2016年左右，自動駕駛行業(yè)的興起把SLAM推向了一個新的高度。

而三者的聯(lián)系與區(qū)別如下：

(1)三個技術(shù) 都可以實現(xiàn)定位的功能

(2) VPS 和SLAM 是提供6DOF 信息，而GPS 只能提供3DOF信息

(3) VPS 相對于SLAM 和GPS而言是離散數(shù)值，VPS因為計算的復(fù)雜度無法實現(xiàn)實時的輸出

對于SLAM和VPS，在我看來這兩種技術(shù)往往是相互糾纏、相互成就的關(guān)系。首先SLAM依然是一種相對定位技術(shù)，如果長時間的跟蹤，則難免會出現(xiàn)drift問題。而VPS 這種offline+online 形式一方面可以提供準確的地理位置和姿態(tài)信息，另一方面可以當作“錨點”與SLAM系統(tǒng)耦合起來（離散的軌跡+連續(xù)的軌跡）得到更魯棒的任意視角的位姿信息。

除此之外，盡管 SLAM 算法到目前為止已經(jīng)是非常流行的技術(shù)，特別是與慣性單元的融合，但其不能獲得手機的地理定位，地理位置是指設(shè)備相對于地面參考標記（例如緯度、經(jīng)度、高度、四元數(shù)……）的位置和方向。換句話說，SLAM技術(shù)雖然回答了“where am I？”的問題，但是其不能回答我是在“哪個地方的哪”，聽起來是有點繞口，舉個簡單的例子：SLAM技術(shù)告訴我當前位置處于一個車庫下面，但是并不能提供是北京的車庫還是上海的車庫，而VPS 解決了這一個問題。

VPS 如何工作

VPS 作為AR 領(lǐng)域或者空間計算中最為核心的技術(shù)，其工作原理分為兩個部分-offline + online ,即是離線建圖和在線定位，VPS 與SLAM結(jié)合的技術(shù)-AR pipeline 如下所示：

?????注：該圖來自于商湯openxrlab

（1） 離線建圖

計算機視覺中三維重建問題的兩種主要方法是SfM（運動結(jié)構(gòu)）和SLAM。這兩種方法在算法上相似，但它們的應(yīng)用領(lǐng)域通常有所不同。SLAM最初是為了實時操作并使用攝像機的視頻流而設(shè)計的。相反，SfM類型的算法使用在不同距離和視角下獲取的圖像，然后進行后處理進行重建。所以在建圖層面不同參與者不一定需要相同的流程來構(gòu)建他們的地圖，他們需要根據(jù)自己的傳感器類型、拍攝方式等來選擇不同的算法方案。

例如，Google在其服務(wù)器上的Google Street View產(chǎn)品中已經(jīng)有了來自數(shù)據(jù)庫的360度照片，他們的設(shè)備如下圖。這些照片具有兩個特點：

（i）它們是由放置在汽車車頂上的攝像頭獲取的

（ii）它們使用GNSS進行了地理定位。這就是為什么Google可能使用了SfM類型的算法來構(gòu)建其點云的原因。使用SLAM方法會得到糟糕的結(jié)果，因為這些圖像在距離和角度上存在明顯差異。

???????????谷歌地圖采集設(shè)備

除此之外，還有被自動駕駛公司Lyft收購的 Blue Vision Labs ,他們的地圖也是通過SfM技術(shù)實現(xiàn)，他們是使用開源的三維重建框架-openMVG得到大場景地圖(當然你也可以選擇使用COLMAP去構(gòu)建離地圖），關(guān)于開源的SfM框架可以參考之前寫過的簡文：

https://www.zhihu.com/question/29885222/answer/1987558319

相反的是，在游戲開發(fā)公司Niantic，盡管與Google有密切的聯(lián)系，但是玩家直接使用智能手機進行獲取視頻圖像，所以在這種情況下，用于重建點云的算法更傾向于SLAM類型的算法。

（2） ?在線定位

首先，用戶使用智能手機攝像頭瀏覽周圍的環(huán)境，從視頻中提取出一張（或多張）圖像，然后將圖像發(fā)送到云端，與離線構(gòu)建的地圖中的圖像進行檢索、特征提取、特征匹配后得到當前圖像與3D地圖中三維點的關(guān)聯(lián)關(guān)系，最后通過PnP算法恢復(fù)當前的位置與姿態(tài)信息，整個pipeline 如下：

VPS 的商業(yè)應(yīng)用

VPS/AR 有諸多商業(yè)應(yīng)用，如營銷和廣告、零售和電子商務(wù)、實時導航和位置服務(wù)、培訓和教育、工業(yè)和制造、游戲和娛樂等等，這里我們選擇最基礎(chǔ)也是最實用的應(yīng)用-導航來簡單闡述，提到導航我們都知道高德地圖、百度地圖等都具備很智能的GPS導航功能。但是當我們使用這些APP時，有多少次問自己：“我是否朝著正確的方向前進？”，此外對于不少人而言，其實他們根本看不懂地圖，更不要說去辨別二維地圖上光標箭頭的朝向信息是否正確，而使用視覺定位系統(tǒng)（VPS），可以在地圖上疊加箭頭，使導航變得輕而易舉。

VPS 的挑戰(zhàn)

VPS 技術(shù)目前位置仍然存在很多問題與挑戰(zhàn)，從兩個方面進行闡述：

(1) 建圖層面：地圖的更新、 地圖的存儲等

(2) 定位層面：重復(fù)結(jié)構(gòu)、低紋理如下圖所示

展望

空間即入口，入口即計算。談到AR，我們往往會想起slam技術(shù)，而會忽略里面最重要的VPS技術(shù)，我堅信在未來VPS將會成為通用的定位系統(tǒng)，借用最近WWDC 2023 Apple Vision Pro 發(fā)布會上的一句話“The era of spatial computing is here”。