查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)

利用空間錨點(diǎn)來(lái)構(gòu)建AR/MR體驗(yàn)

（映維網(wǎng)?2021年11月18日）Spatial Anchors（空間錨點(diǎn)）表示存在于云中的物理點(diǎn)。對(duì)于增強(qiáng)現(xiàn)實(shí)應(yīng)用，全息圖可以附著到空間錨點(diǎn)。空間錨點(diǎn)的獨(dú)特地方在于，它能夠在云中存儲(chǔ)和持久化，并在以后由創(chuàng)建它的設(shè)備或任何其他受支持設(shè)備進(jìn)行查詢(xún)。這能夠?qū)崿F(xiàn)錨點(diǎn)的云備份和基于云的錨點(diǎn)共享。

想象一下這個(gè)場(chǎng)景：你和一個(gè)朋友在家，你們同意通過(guò)增強(qiáng)現(xiàn)實(shí)設(shè)備開(kāi)玩國(guó)際象棋，并在桌面定位全息棋盤(pán)。在設(shè)備端，兩人可以在現(xiàn)實(shí)世界中的同一位置（桌面）查看棋盤(pán)。無(wú)論在物理空間中移動(dòng)到何處，棋盤(pán)都將固定到一個(gè)點(diǎn)。你甚至可以結(jié)束會(huì)話(huà)并在第二天重新啟動(dòng)，無(wú)需再次放置錨。

對(duì)于幕后的技術(shù)原理，全息國(guó)際象棋應(yīng)用使用一個(gè)空間錨點(diǎn)來(lái)保存棋盤(pán)的位置。這包括有關(guān)環(huán)境點(diǎn)的特征信息。全息國(guó)際象棋應(yīng)用可以共享空間錨信息。然后，你朋友的HoloLens、iOS或Android設(shè)備端的應(yīng)用程序可以查詢(xún)空間錨點(diǎn)位置。一旦確定，任意多個(gè)設(shè)備的應(yīng)用程序就可以在相同的物理位置呈現(xiàn)棋盤(pán)。

在一份名為“Connecting spatial anchors for augmented reality”的專(zhuān)利中，這家公司描述了一種連接空間錨點(diǎn)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)。具體來(lái)說(shuō)，發(fā)明介紹了一種利用空間錨點(diǎn)來(lái)構(gòu)建AR/MR體驗(yàn)的技術(shù)。

專(zhuān)利描述的計(jì)算設(shè)備包括攝像頭、處理器、以及存儲(chǔ)可由處理器執(zhí)行的指令的存儲(chǔ)器。攝像頭捕獲成像第一物理世界位置的第一圖像數(shù)據(jù)，然后處理器基于第一圖像數(shù)據(jù)創(chuàng)建第一物理世界位置的第一空間表示。

接收定義第一虛擬空間錨點(diǎn)相對(duì)第一圖像數(shù)據(jù)中的成像特征的姿態(tài)的用戶(hù)輸入，追蹤用戶(hù)到第二物理世界位置的移動(dòng)，通過(guò)攝像頭捕獲成像第二物理世界位置的第二圖像數(shù)據(jù)，接收定義第二虛擬空間錨點(diǎn)相對(duì)于第二圖像數(shù)據(jù)中的成像特征的姿態(tài)的用戶(hù)輸入，并向遠(yuǎn)程計(jì)算設(shè)備發(fā)送表示第一空間表示、第一虛擬空間錨點(diǎn)的姿態(tài)、第二空間表示的數(shù)據(jù)，第二虛擬空間錨點(diǎn)的姿態(tài)，以及從用戶(hù)移動(dòng)識(shí)別的第一虛擬空間錨點(diǎn)和第二虛擬空間錨點(diǎn)之間的位置關(guān)系。

上圖是一個(gè)示例環(huán)境100，其中用戶(hù)指定的虛擬空間錨點(diǎn)可用于表示關(guān)注點(diǎn)。這種空間錨點(diǎn)可以支持開(kāi)發(fā)者構(gòu)建空間感知型AR和MR程序，并支持多種移動(dòng)設(shè)備硬件和/或操作系統(tǒng)，例如微軟HoloLens、支持ARKit的iOS設(shè)備和支持ARCore的Android設(shè)備?？臻g錨點(diǎn)允許開(kāi)發(fā)者利用增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí)平臺(tái)感知空間，指定精確的興趣點(diǎn)，并從支持的設(shè)備中調(diào)用興趣點(diǎn)。

可以看到，用戶(hù)110可以使用移動(dòng)設(shè)備112在整個(gè)環(huán)境的各種物理世界位置創(chuàng)建空間錨114A、114B、114C、114D等。例如，環(huán)境100可以是包含物理藝術(shù)品的博物館或畫(huà)廊，用戶(hù)110可以通過(guò)向特定藝術(shù)品添加空間錨點(diǎn)來(lái)提供虛擬游覽。

諸如全息圖之類(lèi)的虛擬內(nèi)容可以與空間錨點(diǎn)關(guān)聯(lián)。用戶(hù)110和其他用戶(hù)120、130和140可以通過(guò)各自的移動(dòng)設(shè)備查看所述虛擬內(nèi)容。在這個(gè)示例中，用戶(hù)110正在操作手持移動(dòng)設(shè)備，而用戶(hù)120、130和140正在佩戴頭戴式顯示器設(shè)備。

虛擬內(nèi)容可以位于空間錨點(diǎn)的位置或稍有偏移。例如，圖示為星形的任意虛擬內(nèi)容116A位于與其相關(guān)聯(lián)的空間錨點(diǎn)114A處。作為另一示例，虛擬內(nèi)容116B與相關(guān)聯(lián)的空間錨點(diǎn)114B偏移。

另外或可選地，當(dāng)在距離空間錨的閾值范圍內(nèi)，可經(jīng)由移動(dòng)設(shè)備自動(dòng)播放的音頻內(nèi)容。例如，音頻內(nèi)容可以包括提供物理對(duì)象描述的人聲，例如對(duì)于空間錨點(diǎn)114B，音頻內(nèi)容可以是“這是15世紀(jì)的花瓶”。

在一個(gè)示例中，用戶(hù)可以通過(guò)攝像頭對(duì)物理環(huán)境成像，并定義空間錨點(diǎn)相對(duì)于攝像頭捕獲的特征的位置和/或方向，從而創(chuàng)建空間錨點(diǎn)。一旦已經(jīng)定義了空間錨點(diǎn)的位置和/或方向，就可以相對(duì)于所述空間錨點(diǎn)來(lái)定義虛擬內(nèi)容的位置和/或方向。

由于空間錨點(diǎn)可以與物理環(huán)境中的特征相關(guān)聯(lián)，所以用戶(hù)在增強(qiáng)現(xiàn)實(shí)或混合現(xiàn)實(shí)環(huán)境中無(wú)法感知駐留在移動(dòng)設(shè)備攝像頭視圖之外的空間錨點(diǎn)或其虛擬內(nèi)容。

例如，工廠(chǎng)可以在應(yīng)用程序涉及的每個(gè)位置放置空間錨。移動(dòng)設(shè)備有助于引導(dǎo)工人從一個(gè)位置移動(dòng)到下一個(gè)位置。移動(dòng)設(shè)備可以聯(lián)系基于云的服務(wù)，并首先請(qǐng)求位于工人附近的空間錨點(diǎn)，然后逐步將工人引導(dǎo)到下一個(gè)位置。移動(dòng)設(shè)備可以顯示視覺(jué)指示器，指示完成任務(wù)的下一個(gè)位置的大致方向和距離。

另一個(gè)示例是，博物館為公共展示品創(chuàng)建對(duì)應(yīng)的空間錨點(diǎn)，而這一系列的錨點(diǎn)共同創(chuàng)建博物館的特定AR游覽。當(dāng)游客參觀一個(gè)公共展覽品時(shí)，他們可以在移動(dòng)設(shè)備打開(kāi)博物館的混合現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)應(yīng)用程序。然后，他們可以將手機(jī)指向周?chē)目臻g，并通過(guò)攝像頭輸入查看其他公共展覽品的大致方向和距離，從而幫助引導(dǎo)用戶(hù)走向下一個(gè)公共展覽品。

圖2是描繪用于創(chuàng)建彼此連接的空間錨點(diǎn)的示例方法流程圖。在一個(gè)示例中，方法200由計(jì)算設(shè)備或計(jì)算系統(tǒng)執(zhí)行，例如移動(dòng)設(shè)備和頭戴式設(shè)備等。在這個(gè)示例中，移動(dòng)設(shè)備由用戶(hù)操作以創(chuàng)建空間錨點(diǎn)。

在210，所述方法包括經(jīng)由移動(dòng)設(shè)備的攝像頭捕捉對(duì)第一物理世界位置成像的第一圖像數(shù)據(jù)。在示例中，攝像頭是可見(jiàn)光攝像頭（例如，RGB攝像頭）。在另一示例中，可以使用兩個(gè)或多個(gè)攝像頭來(lái)捕獲圖像數(shù)據(jù)，包括可見(jiàn)光照攝像頭和深度照攝像頭。

在212，所述方法包括基于第一圖像數(shù)據(jù)創(chuàng)建第一物理世界位置的第一空間表示。在一個(gè)示例中，第一空間表示可以采用根據(jù)圖像數(shù)據(jù)確定的稀疏點(diǎn)云形式。稀疏點(diǎn)云的點(diǎn)可以具有相對(duì)于移動(dòng)設(shè)備或其攝像頭定義的位置和/或方向值。在其他示例中，可以提供任何其他合適的圖像數(shù)據(jù)，例如由機(jī)載深度圖像傳感器捕獲的第一深度圖像數(shù)據(jù)。

在特定場(chǎng)景中，用戶(hù)可以將全息圖或其他虛擬內(nèi)容與空間錨點(diǎn)關(guān)聯(lián)。例如在216，所述方法包括接收定義第一全息圖相對(duì)于第一虛擬空間錨點(diǎn)的姿態(tài)的用戶(hù)輸入。第一虛擬全息圖的姿態(tài)可定義相對(duì)于第一虛擬空間錨點(diǎn)的六自由度位置和/或方向。

在218，所述方法包括從移動(dòng)設(shè)備向網(wǎng)絡(luò)可訪(fǎng)問(wèn)服務(wù)發(fā)送表示第一空間表示、第一虛擬空間錨點(diǎn)的姿態(tài)、第一全息圖的姿態(tài)（如果定義）和一個(gè)或多個(gè)第一全息圖和/或第一全息圖的標(biāo)識(shí)符（如果定義）的數(shù)據(jù)。網(wǎng)絡(luò)可訪(fǎng)問(wèn)服務(wù)將此數(shù)據(jù)存儲(chǔ)在關(guān)系圖中，移動(dòng)設(shè)備可通過(guò)多個(gè)會(huì)話(huà)和其他設(shè)備訪(fǎng)問(wèn)該關(guān)系圖。網(wǎng)絡(luò)可訪(fǎng)問(wèn)服務(wù)可以托管在一個(gè)或多個(gè)遠(yuǎn)程計(jì)算設(shè)備上，例如服務(wù)器系統(tǒng)。

用戶(hù)可以在物理世界中創(chuàng)建任意數(shù)量的空間錨，并且可以將任意數(shù)量的全息圖與特定空間錨點(diǎn)關(guān)聯(lián)。例如，在創(chuàng)建第一虛擬空間錨之后，用戶(hù)可以隨移動(dòng)設(shè)備移動(dòng)到第二物理世界位置以創(chuàng)建第二虛擬空間錨。

在220，所述方法包括追蹤移動(dòng)設(shè)備從第一物理世界位置到或朝向第二物理世界位置的移動(dòng)，以捕獲追蹤數(shù)據(jù)。追蹤數(shù)據(jù)描述移動(dòng)設(shè)備在六自由度空間的第一和第二物理世界位置之間的移動(dòng)。可基于從一個(gè)或多個(gè)傳感器獲得的傳感器數(shù)據(jù)來(lái)追蹤移動(dòng)設(shè)備的移動(dòng)。移動(dòng)設(shè)備可使用多個(gè)不同類(lèi)型傳感器的傳感器融合來(lái)追蹤其在位置之間的移動(dòng)。

在222，所述方法包括經(jīng)由移動(dòng)設(shè)備的照攝像頭捕捉第二物理世界位置的第二圖像數(shù)據(jù)。在224，所述方法包括基于第二圖像數(shù)據(jù)創(chuàng)建第二物理世界位置的第二空間表示。例如，第二空間表示可以采用稀疏點(diǎn)云的形式?？梢蕴峁┤魏纹渌线m的圖像數(shù)據(jù)，例如由機(jī)載深度圖像傳感器捕獲的第二深度圖像數(shù)據(jù)。

在226，所述方法包括接收定義第二空間表示內(nèi)的第二虛擬空間錨點(diǎn)的姿態(tài)的用戶(hù)輸入?？梢韵鄬?duì)于在第二圖像數(shù)據(jù)中成像的物理世界的特征來(lái)定義第二虛擬空間錨點(diǎn)的姿態(tài)。在228，所述方法包括基于第一虛擬空間錨點(diǎn)和第二虛擬空間錨點(diǎn)各自的姿態(tài)和追蹤數(shù)據(jù)來(lái)確定它們之間的空間關(guān)系。

在232，所述方法包括從移動(dòng)設(shè)備向網(wǎng)絡(luò)可訪(fǎng)問(wèn)服務(wù)發(fā)送表示第二空間表示的數(shù)據(jù)、第二虛擬空間錨的姿態(tài)、第二全息圖的姿態(tài)（如果有）、一個(gè)或多個(gè)第二全息圖和/或第二全息圖的標(biāo)識(shí)符（如果定義），追蹤數(shù)據(jù)描述移動(dòng)設(shè)備在第一和第二物理世界位置之間的移動(dòng)，以及第一和第二虛擬空間錨點(diǎn)之間的空間關(guān)系。網(wǎng)絡(luò)可訪(fǎng)問(wèn)服務(wù)將該數(shù)據(jù)存儲(chǔ)在關(guān)系圖中，其中存儲(chǔ)了表示第一空間表示、第一虛擬空間錨點(diǎn)的姿態(tài)和第一全息圖（如果有）的姿態(tài)的數(shù)據(jù)。

相關(guān)專(zhuān)利：Microsoft Patent | Connecting spatial anchors for augmented reality

名為“Connecting spatial anchors for augmented reality”的微軟專(zhuān)利申請(qǐng)最初在2021年4月提交，并在日前由美國(guó)專(zhuān)利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/91657