近年來在谷歌、Niantic等推動下，視覺定位對于AR應(yīng)用的重要性越來越明顯，尤其是在室內(nèi)導(dǎo)航場景，定位精度可超越傳統(tǒng)GPS方案。為了進一步提升視覺定位、深度視覺地圖構(gòu)建的準(zhǔn)確性，Niantic Labs在CVPR 2023期間公布了ACE方案（Accelerated Coordinate Encoding），中文直譯是加速的坐標(biāo)編碼，宣稱可實現(xiàn)更高效的視覺定位效果。

實際上，視覺重定位技術(shù)已經(jīng)存在幾十年，傳統(tǒng)的方案通過識別圖像中的關(guān)鍵點（邊角輪廓）來構(gòu)建地圖、生成基于稀疏點云的3D模型。在重定位階段，傳統(tǒng)方案根據(jù)3D點云來讀取地圖中的關(guān)鍵點，并根據(jù)相機的位置來對齊3D地圖與環(huán)境圖像。而現(xiàn)階段，機器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)在計算機視覺領(lǐng)域已經(jīng)得到廣泛應(yīng)用，神經(jīng)網(wǎng)絡(luò)常用于尋找更好的關(guān)鍵點，改進圖像與地圖的匹配結(jié)果。

優(yōu)于傳統(tǒng)DSAC*方案

此前比較常用的視覺定位方案基于DSAC*（可微樣本共識），好處是準(zhǔn)確性高，缺點是訓(xùn)練網(wǎng)絡(luò)模型需要數(shù)小時到數(shù)天。DSAC*一次只能處理一張映射圖像，而且需要大量冗余計算，因此大約需要15小時才能測繪一個場景。

這對于大多數(shù)AR應(yīng)用程序來說都是不切實際的，而且擴展成本非常高。相比之下，ACE方案只需要5分鐘就能實現(xiàn)精準(zhǔn)的視覺定位，可將網(wǎng)絡(luò)訓(xùn)練速度提高300倍，同時保證準(zhǔn)確性。

簡單來講，Niantic訓(xùn)練神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)世界的外觀，然后結(jié)合攝像頭實現(xiàn)高精度、低成本重定位。據(jù)悉，ACE relocalizer目前已經(jīng)在Lightship VPS系統(tǒng)中使用了一年多時間，已經(jīng)在全球有20萬個支持VPS重定位的區(qū)域，可很好的結(jié)合傳統(tǒng)定位技術(shù)。

主動學(xué)習(xí)地圖

與傳統(tǒng)方案不同，ACE可以更好的理解物理場景，完全使用3D地圖來取代神經(jīng)網(wǎng)絡(luò)。

逼真可信的AR依賴于高精度的定位，確定用戶設(shè)備的位置和視角，并將虛擬內(nèi)容固定在適當(dāng)?shù)奈恢茫c物理場景融合。即使用戶在幾個月后重新訪問該內(nèi)容，也能在同一位置找到它。

GPS和IMU傳感器在理想情況下精度可達幾米，但對AR來講不夠精準(zhǔn)，誤差還需要降至厘米級。ACE在幾分鐘內(nèi)即可完成地圖創(chuàng)建，重定位過程只需幾毫秒，準(zhǔn)確性也相當(dāng)高。該方案的重新定位主要分為兩個階段：

1）根據(jù)具有已知姿勢的圖像集合構(gòu)建環(huán)境的3D地圖，即映射階段；

2）將新的查詢/訪問圖像與3D地圖匹配，來確定準(zhǔn)確的位置和姿態(tài)，即重定位階段。

ACE完全用3D地圖代替神經(jīng)網(wǎng)絡(luò)，這個3D地圖與所有映射圖像一致，不需要重建點云。當(dāng)給出一個新的圖像查詢?nèi)蝿?wù)，神經(jīng)網(wǎng)絡(luò)可以準(zhǔn)確地告訴我們每個像素在場景空間中的對應(yīng)點，并通過對齊對應(yīng)關(guān)系來推斷相機姿態(tài)。

ACE使用的神經(jīng)網(wǎng)絡(luò)足夠輕量化，僅占用4MB內(nèi)存就能代表整個地圖，在單GPU上運行的速度高達40fps，在常見的智能手機上速度可達20fps。

另外，只需要5分鐘就能從包含姿態(tài)數(shù)據(jù)的RGB圖像中生成3D場景并創(chuàng)建神經(jīng)地圖，還可以通過一幀RGB圖像來估計相機姿態(tài)、重新定位。

為什么ACE速度快？

DSAC*基于場景坐標(biāo)回歸框架，是十年前提出的技術(shù)。另外，它需要兩個階段的訓(xùn)練，一次優(yōu)化一張映射圖像的場景重投影誤差：一張圖像提供了大量用于學(xué)習(xí)的像素，但具有高度的重投影誤差，損失和梯度也是如此。

相比之下，ACE只需要訓(xùn)練減少像素級插幀誤差，能同時優(yōu)化所有映射圖像的地圖，無需處理圖像損失，因此訓(xùn)練效率更高。

最終的優(yōu)化非常穩(wěn)定，Niantic指出：我們訓(xùn)練ACE的速度可以比5分鐘更快，以獲得仍然可用的結(jié)果。訓(xùn)練時間為甚至可縮短至10秒（不包括20秒的數(shù)據(jù)準(zhǔn)備）。

值得注意的是，ACE可以非常適合較大規(guī)模的戶外場景，不過內(nèi)存占用和較短的映射時間一定程度上限制其功能。因此，Niantic將較大的場景分成較小的塊，并為每個塊訓(xùn)練一個ACE模型。在重定位過程中，每個ACE模型獨立估計一個姿勢，并選擇具有最高內(nèi)點計數(shù)的一個。如果能同時使用多個GPU，訓(xùn)練ACE模型可以更快速。參考：Niantic