打通寶馬汽車IMU數(shù)據(jù),Quest Pro實現(xiàn)位置運動精確匹配的AR/VR駕乘體驗
查看引用/信息源請點擊:映維網(wǎng)Nweon
項目取得了進展
(映維網(wǎng)Nweon?2023年05月18日)Meta曾在2021年宣布與寶馬合作,共同探索如何將AR/VR集成到智能汽車之中。他們認為,如果成功,相關(guān)技術(shù)可以徹底改變汽車、火車、飛機等出行方式,并開啟通信、娛樂和實用的新形式。
日前團隊分享了這一項目的最新進展。其中,通過利用寶馬的慣性運動傳感器IMU數(shù)據(jù),Quest?Pro已經(jīng)能夠精確呈現(xiàn)匹配汽車行駛的穩(wěn)定混合現(xiàn)實體驗。

VR頭顯配備了諸多傳感器,但移動車輛構(gòu)成了一個棘手的挑戰(zhàn),因為諸如Oculus?Insight這樣的追蹤技術(shù)主要使用慣性運動傳感器和攝像頭來精確估計頭顯的位置和運動。
在移動環(huán)境中,亦即在非慣性參考系中,這兩種模式會產(chǎn)生沖突,因為攝像頭觀察相對于汽車內(nèi)部的運動,而慣性運動傳感器則測量相對于世界的加速度和旋轉(zhuǎn)速度。這種不匹配意味著諸如Meta Quest 2這樣的VR頭顯目前無法在車輛轉(zhuǎn)彎或加速時顯示穩(wěn)定的虛擬內(nèi)容。
但經(jīng)過一番努力,Meta和寶馬的研究人員成功將寶馬汽車傳感器陣列的IMU數(shù)據(jù)實時整合到Project Aria眼鏡的追蹤系統(tǒng)中,并允許系統(tǒng)能夠計算出眼鏡相對于汽車的位置。
這是一個巨大的壯舉,因為在將所述追蹤系統(tǒng)轉(zhuǎn)移到Meta Quest Pro之后,它允許系統(tǒng)使用汽車的數(shù)字孿生來準確地將虛擬對象固定在移動的汽車之上。實際上,團隊已經(jīng)能夠使用這個全新的追蹤系統(tǒng)和Meta Quest Pro,并在移動的汽車中展示混合現(xiàn)實乘客體驗。
如視頻2:35秒至2:47秒所示,設(shè)備可以在車內(nèi)呈現(xiàn)一系列的炫酷混合現(xiàn)實體驗,比方說MR通話,MR放松體驗,以及MR游戲等等。
當然,目前項目依然在推進之中,而團隊的下一步將是添加汽車相對于世界的位置,而這將帶來世界鎖定的渲染體驗。
展望未來,Meta將繼續(xù)與寶馬合作,進一步利用現(xiàn)代汽車不斷增長的機器感知能力,以實現(xiàn)未來的用例。例如,使用汽車精確的六自由度定位系統(tǒng)可以在車外呈現(xiàn)世界鎖定的虛擬內(nèi)容,比如識別地標和其他興趣點。
這家公司總結(jié)道:“這是一個令人興奮的愿景,同時是我們承諾要走的道路?!?/p>
---
原文鏈接:https://news.nweon.com/107785