查看引用/信息源請點(diǎn)擊：映維網(wǎng)Nweon

移動(dòng)平臺(tái)

（映維網(wǎng)Nweon?2022年04月28日）正如微軟HoloLens的Moving Platform Mode移動(dòng)平臺(tái)模式所指，諸如汽車、船艇、飛機(jī)火車等搖晃平臺(tái)會(huì)給XR設(shè)備的圖像渲染造成影響。例如，用戶可以在火車使用XR設(shè)備。當(dāng)用戶轉(zhuǎn)動(dòng)頭部來環(huán)視四周時(shí)，系統(tǒng)可以檢測電子設(shè)備的運(yùn)動(dòng)并使用其來修改虛擬對象的顯示位置。但當(dāng)列車開始行駛時(shí)，電子設(shè)備同樣會(huì)檢測到相關(guān)運(yùn)動(dòng)，并可能錯(cuò)誤地將其解釋為相對于虛擬對象顯示位置的運(yùn)動(dòng)，并錯(cuò)誤地移動(dòng)虛擬對象的位置。

正在積極研究XR設(shè)備的蘋果同樣有考慮到所述問題。在名為“Extended reality for moving platforms”和“Inertial data management for extended reality for moving platforms”的專利申請中，團(tuán)隊(duì)就介紹了用于檢測和解釋移動(dòng)平臺(tái)運(yùn)動(dòng)的方法和系統(tǒng)。前一份專利主要介紹了整體的系統(tǒng)和方法，而后一份專利則主要介紹了相關(guān)的慣性測量數(shù)據(jù)管理。

簡單來說，電子設(shè)備可以綜合包括慣性測量數(shù)據(jù)等各種傳感器數(shù)據(jù)來確定自己位于一個(gè)正在移動(dòng)的平臺(tái)，并相應(yīng)地調(diào)整虛擬內(nèi)容的顯示，從而提供穩(wěn)定的沉浸式體驗(yàn)。

更具體來說，電子設(shè)備從自己檢測到的運(yùn)動(dòng)中減去移動(dòng)平臺(tái)的運(yùn)動(dòng)，以便系統(tǒng)可以根據(jù)電子設(shè)備本身的相對運(yùn)動(dòng)來提供精確的虛擬對象渲染。對于減去移動(dòng)平臺(tái)的運(yùn)動(dòng)，可以通過兩種方式實(shí)現(xiàn)：由諸如汽車和火車等移動(dòng)平臺(tái)本身搭載的運(yùn)動(dòng)傳感器提供相關(guān)數(shù)據(jù)；電子設(shè)備使用經(jīng)過訓(xùn)練的機(jī)器學(xué)習(xí)模型，并基于傳感器和攝像頭圖像數(shù)據(jù)來進(jìn)行判斷處理。

圖2描述了用于實(shí)現(xiàn)上述解決方案的示例架構(gòu)。在圖2的示例中，電子設(shè)備包括提供傳感器數(shù)據(jù)的傳感器129，提供圖像數(shù)據(jù)的攝像頭119，以及根據(jù)傳感器數(shù)據(jù)和圖像數(shù)據(jù)檢測運(yùn)動(dòng)的運(yùn)動(dòng)與對象檢測引擎220。

運(yùn)動(dòng)和對象檢測引擎220可以使用來自傳感器129和攝像頭119的數(shù)據(jù)來對電子設(shè)備100a的部分或全部物理設(shè)置進(jìn)行分析。運(yùn)動(dòng)和對象檢測引擎200可以檢測電子設(shè)備100a的運(yùn)動(dòng)，并檢測電子設(shè)備100a的平移運(yùn)動(dòng)和/或的旋轉(zhuǎn)運(yùn)動(dòng)。

運(yùn)動(dòng)和對象檢測引擎200可以進(jìn)一步檢測和/或識(shí)別電子設(shè)備100a所在物理設(shè)置中的一個(gè)或多個(gè)物理對象。運(yùn)動(dòng)和對象檢測引擎200可以進(jìn)一步根據(jù)相對于物理對象的位置變化而確定自己是否位于一個(gè)移動(dòng)平臺(tái)。

如圖2所示，在一個(gè)或多個(gè)實(shí)施例中，運(yùn)動(dòng)和對象檢測引擎200可以從一個(gè)或多個(gè)外部傳感器250接收傳感器數(shù)據(jù)。例如，外部傳感器250可以是作為移動(dòng)平臺(tái)一部分實(shí)現(xiàn)的運(yùn)動(dòng)和/或位置傳感器，例如作為汽車、飛機(jī)、火車、船舶或其他移動(dòng)平臺(tái)一部分實(shí)現(xiàn)的運(yùn)動(dòng)和/或位置傳感器。

如圖2所示，XR應(yīng)用202可以從運(yùn)動(dòng)和對象檢測引擎200接收環(huán)境信息，并根據(jù)環(huán)境信息將虛擬內(nèi)容錨定到特定的位置。

運(yùn)動(dòng)和對象檢測引擎200、XR應(yīng)用202和/或XR呈現(xiàn)引擎223可以基于檢測到的電子設(shè)備運(yùn)動(dòng)來確虛擬內(nèi)容的錨定位置。例如，電子設(shè)備100a（運(yùn)動(dòng)和對象檢測引擎200）可以使用傳感器129和/或攝像頭119）中的一個(gè)或多個(gè)來識(shí)別電子設(shè)備100a的設(shè)備運(yùn)動(dòng)。

在一個(gè)實(shí)施例中，可以使用移動(dòng)平臺(tái)和電子設(shè)備本身的攝像頭和/或傳感器來檢測相應(yīng)運(yùn)動(dòng)的第一component和第二component。在一個(gè)或多個(gè)實(shí)現(xiàn)中，第一component可指代移動(dòng)平臺(tái)的運(yùn)動(dòng)。其中，移動(dòng)平臺(tái)的傳感器可以直接向電子設(shè)備提供第一component/平臺(tái)運(yùn)動(dòng)，以便所提供的平臺(tái)運(yùn)動(dòng)可以從設(shè)備傳感器和/或攝像頭指示的運(yùn)動(dòng)中移除。在一個(gè)或多個(gè)實(shí)現(xiàn)中，第二component可指代用戶在移動(dòng)平臺(tái)行走或以其他方式移動(dòng)引起的運(yùn)動(dòng)。

在一個(gè)或多個(gè)其他實(shí)施例中，可以僅使用來自電子設(shè)備的攝像頭和/或傳感器的數(shù)據(jù)來檢測第一component和第二component。例如，攝像頭119和/或傳感器129捕獲的圖像和/或傳感器數(shù)據(jù)可以提供給一個(gè)或多個(gè)經(jīng)過訓(xùn)練以識(shí)別平臺(tái)特定運(yùn)動(dòng)的機(jī)器學(xué)習(xí)模型，例如從圖像和/或傳感器中識(shí)別與飛機(jī)、火車、公共汽車、汽車、船艇、高爾夫球車、自行車或其他類型平臺(tái)相對應(yīng)的振動(dòng)、速度、加速度等。

機(jī)器學(xué)習(xí)模型可以訓(xùn)練為直接輸出設(shè)備運(yùn)動(dòng)的估計(jì)第一component和第二component。例如，機(jī)器學(xué)習(xí)模型可指示設(shè)備運(yùn)動(dòng)包括指示列車運(yùn)動(dòng)的高速率運(yùn)動(dòng)，而機(jī)器學(xué)習(xí)模型的輸出可指示系統(tǒng)應(yīng)該忽略設(shè)備運(yùn)動(dòng)的高恒定速度component ，并且設(shè)備的加速計(jì)可繼續(xù)用于追蹤設(shè)備運(yùn)動(dòng)的第二component 。

電子設(shè)備100a可確定相對于移動(dòng)平臺(tái)固定的錨定位置。所確定的錨定位置可由XR應(yīng)用202和/或XR呈現(xiàn)引擎223確定和/或使用，并用于根據(jù)與第一component分離后的第二component來顯示虛擬內(nèi)容。例如，設(shè)備運(yùn)動(dòng)的第二component可用于追蹤電子設(shè)備100a相對于錨定位置的位置。然后，虛擬內(nèi)容可以錨定到相對于移動(dòng)平臺(tái)固定的錨定位置，并通過使用XR渲染引擎223渲染錨定到錨定位置的虛擬內(nèi)容。

在圖3的示例中，諸如電子設(shè)備100a的物理環(huán)境設(shè)置300包括移動(dòng)平臺(tái)304。例如，移動(dòng)平臺(tái)304可以實(shí)現(xiàn)為車輛、火車、船艇、飛機(jī)等可以移動(dòng)的平臺(tái)。在圖3的示例中，移動(dòng)平臺(tái)304在物理設(shè)置300中以相對于物理地面302的運(yùn)動(dòng)322移動(dòng)。

在圖3的示例中，虛擬對象320由電子設(shè)備100a渲染和顯示，以便在電子設(shè)備100a的用戶看來，虛擬對象320正在以與移動(dòng)平臺(tái)的運(yùn)動(dòng)322相等的運(yùn)動(dòng)322移動(dòng)，亦即呈現(xiàn)一種類似于站在靜止平臺(tái)時(shí)的穩(wěn)定體驗(yàn)。

在一個(gè)實(shí)施例中，電子設(shè)備100a可以確定自己位于移動(dòng)平臺(tái)，然后經(jīng)過一定的調(diào)整和處理而在移動(dòng)平臺(tái)304的靜止位置穩(wěn)定地顯示虛擬對象320。

電子設(shè)備100a可以追蹤并從檢測到的電子設(shè)備運(yùn)動(dòng)中減去移動(dòng)平臺(tái)的運(yùn)動(dòng)322，從而說明與移動(dòng)平臺(tái)運(yùn)動(dòng)322相等的電子設(shè)備運(yùn)動(dòng)322。

電子設(shè)備可以使用慣性測量傳感器IMU來確定電子設(shè)備正在與移動(dòng)平臺(tái)304一起移動(dòng)，電子設(shè)備100a可以使用電子設(shè)備的光學(xué)傳感器和/或深度傳感器繼續(xù)追蹤電子設(shè)備的運(yùn)動(dòng)，同時(shí)在檢測到平臺(tái)相關(guān)運(yùn)動(dòng)之后停止使用部分或全部IMU數(shù)據(jù)。

電子設(shè)備100a可以使用從移動(dòng)平臺(tái)本身接收的信息來追蹤移動(dòng)平臺(tái)304的運(yùn)動(dòng)，例如通過移動(dòng)平臺(tái)本身搭載的傳感器129。來自傳感器129的數(shù)據(jù)可包括指示平滑連續(xù)加速、減速或恒定運(yùn)動(dòng)的傳感器數(shù)據(jù)。例如，對于諸如汽車、公共汽車、火車、飛機(jī)等移動(dòng)平臺(tái)，傳感器數(shù)據(jù)可指示不同于由人類產(chǎn)生運(yùn)動(dòng)引起的運(yùn)動(dòng)數(shù)據(jù)的特征。一旦確定了移動(dòng)平臺(tái)的運(yùn)動(dòng)322，就可以從檢測到的設(shè)備運(yùn)動(dòng)中移除所述運(yùn)動(dòng)，并允許設(shè)備根據(jù)設(shè)備的相對運(yùn)動(dòng)來在何處和/或如何顯示虛擬內(nèi)容，例如虛擬對象320。

在一個(gè)或多個(gè)實(shí)施方案中，電子設(shè)備100a的傳感器129包括光學(xué)傳感器、深度傳感器和IMU。設(shè)備運(yùn)動(dòng)最初可通過IMU識(shí)別。如果使用IMU確定的設(shè)備運(yùn)動(dòng)確定為包括由于電子設(shè)備與移動(dòng)平臺(tái)304耦合而產(chǎn)生的運(yùn)動(dòng)，則可以使用光學(xué)傳感器和深度傳感器顯示虛擬內(nèi)容。

在圖3的示例中，電子設(shè)備100a的運(yùn)動(dòng)322與移動(dòng)平臺(tái)304的運(yùn)動(dòng)322相同，并且完全由于移動(dòng)平臺(tái)304的運(yùn)動(dòng)322。例如，即使系統(tǒng)相對于物理地面302移動(dòng)，但電子設(shè)備100a相對于移動(dòng)平臺(tái)固定或靜止。但在其他場景中，除了由于移動(dòng)平臺(tái)的運(yùn)動(dòng)而產(chǎn)生運(yùn)動(dòng)之外，電子設(shè)備100a同時(shí)可以相對于移動(dòng)平臺(tái)移動(dòng)。

例如，圖4示出了電子設(shè)備100a以運(yùn)動(dòng)400移動(dòng)的場景。所述運(yùn)動(dòng)400包括第一component（由于移動(dòng)平臺(tái)304的運(yùn)動(dòng)322而產(chǎn)生的運(yùn)動(dòng)322）和第二component （附加運(yùn)動(dòng)402）。附加運(yùn)動(dòng)402可由例如電子設(shè)備100a的用戶在移動(dòng)平臺(tái)行走或以其他方式移動(dòng)引起。

在一個(gè)或多個(gè)實(shí)施例中，可以使用光學(xué)傳感器和/或深度傳感器檢測和/或追蹤附加運(yùn)動(dòng)402。這樣，即便電子設(shè)備以運(yùn)動(dòng)322和附加運(yùn)動(dòng)402在物理設(shè)置300內(nèi)移動(dòng)，系統(tǒng)都可以在移動(dòng)平臺(tái)的固定位置顯示虛擬對象320。

在一個(gè)或多個(gè)實(shí)施例中，位于移動(dòng)平臺(tái)的電子設(shè)備100a可使用第一SLAM系統(tǒng)追蹤移動(dòng)平臺(tái)304的運(yùn)動(dòng)。第一SLAM系統(tǒng)可以包括一個(gè)或多個(gè)傳感器，和/或移動(dòng)平臺(tái)本身搭載的一個(gè)或多個(gè)附加傳感器。一個(gè)或多個(gè)附加傳感器可配置為向電子設(shè)備的一個(gè)或多個(gè)處理器提供平臺(tái)運(yùn)動(dòng)信息。

圖5示出了虛擬對象320錨定到移動(dòng)平臺(tái)304的物理對象500的示例。如圖所示，物理對象500以與移動(dòng)平臺(tái)304的運(yùn)動(dòng)322相等且由其引起的運(yùn)動(dòng)322移動(dòng)。例如，物理對象500可以是移動(dòng)平臺(tái)本身的結(jié)構(gòu)部分，或者可以是位于移動(dòng)平臺(tái)之上、之內(nèi)和/或機(jī)械連接到移動(dòng)平臺(tái)的對象。在一個(gè)實(shí)施例中，物理對象500可以是火車上的座椅。

在一個(gè)或多個(gè)實(shí)施例中，電子設(shè)備100a可以通過一個(gè)或多個(gè)傳感器檢測諸如物理對象500，并將虛擬內(nèi)容錨定到檢測到的對象，從而將虛擬對象320錨定到相對于移動(dòng)平臺(tái)304固定的錨定位置。在將虛擬內(nèi)容錨定到檢測到的對象之前，電子設(shè)備可以確定對象具有與移動(dòng)平臺(tái)304的運(yùn)動(dòng)322相等的運(yùn)動(dòng)322。

在圖5的示例中，虛擬對象320錨定到的物理對象500在移動(dòng)平臺(tái)上為靜止。然而，在其他場景中，物理對象500可能正在相對于移動(dòng)平臺(tái)移動(dòng)。例如，物理對象500可以是由在移動(dòng)平臺(tái)移動(dòng)的另一個(gè)人所持有的對象。在各種示例場景中，虛擬對象320錨定到的物理對象500可以開始相對于移動(dòng)平臺(tái)304移動(dòng)。在移動(dòng)平臺(tái)上的物理對象開始移動(dòng)的場景中，諸如電子設(shè)備100a之類的電子設(shè)備可以檢測對象相對于移動(dòng)平臺(tái)和相對于電子設(shè)備的運(yùn)動(dòng)，并且可以基于檢測到的對象的運(yùn)動(dòng)和/或基于與移動(dòng)平臺(tái)引起的運(yùn)動(dòng)分離的電子設(shè)備的運(yùn)動(dòng)，繼續(xù)將虛擬內(nèi)容錨定到對象。例如，當(dāng)桌子由于道路顛簸而移動(dòng)時(shí)，錨定在物理桌子的虛擬杯子可以保持錨定在物理桌子上。

相關(guān)專利：Apple Patent | Inertial data management for extended reality for moving platforms
相關(guān)專利：Apple Patent | Extended reality for moving platforms

名為“Extended reality for moving platforms”和“Inertial data management for extended reality for moving platforms”的蘋果專利申請都是在2021年9月提交，并在日前由美國專利商標(biāo)局公布。需要注意的是，這只是專利申請，不確定具體的應(yīng)用效果。

---
原文鏈接：https://news.nweon.com/96605