微軟與大眾合作,將HoloLens 2應(yīng)用于汽車駕駛,開辟全息駕駛潛能
查看引用/信息源請點(diǎn)擊:映維網(wǎng)Nweon
從長遠(yuǎn)來看,微軟對消費(fèi)者在日常生活中使用混合現(xiàn)實(shí)設(shè)備同樣感興趣
(映維網(wǎng)Nweon?2022年05月06日)請想象下面這個(gè)未來場景:早上開車上班時(shí)穿戴一副混合現(xiàn)實(shí)眼鏡。當(dāng)你的自動(dòng)駕駛汽車帶你前往達(dá)目的地的期間,你可以看到交通信息、天氣狀況、購物建議和沿途建筑的亮點(diǎn)介紹。另外,你可以利用面前的全息控制界面來調(diào)節(jié)車內(nèi)各種參數(shù),例如溫度。
這正是大眾汽車所設(shè)想的未來。團(tuán)隊(duì)已經(jīng)將混合現(xiàn)實(shí)視為未來汽車概念的關(guān)鍵組成要素之一,而為了更接近這一愿景,他們選擇與微軟合作,并首先將HoloLens?2用于移動(dòng)車輛。

HoloLens 2一直在迭代優(yōu)化的Moving Platform Mode移動(dòng)平臺(tái)模式克服了將混合現(xiàn)實(shí)設(shè)備應(yīng)用到車輛船舶等移動(dòng)平臺(tái)的限制,并創(chuàng)造了以新方式使用所述技術(shù)的潛力。例如,培訓(xùn)駕駛員應(yīng)對具有挑戰(zhàn)性的道路條件,或者為自動(dòng)駕駛汽車創(chuàng)造新的用戶體驗(yàn)。盡管汽車是大眾和微軟合作的重點(diǎn),但這種能力在未來能夠擴(kuò)展到其他行業(yè)。
大眾汽車集團(tuán)數(shù)據(jù)科學(xué)團(tuán)隊(duì)負(fù)責(zé)人安德羅·克林恩(Andro Kleen)表示:“我們認(rèn)為,混合現(xiàn)實(shí)是我們能夠提供的最直觀信息,它可以增強(qiáng)客戶的用戶體驗(yàn)?!?/p>
作為混合現(xiàn)實(shí)技術(shù)的早期采用者,大眾汽車在2020年為ID.系列電動(dòng)汽車引入了MR平視顯示屏,將導(dǎo)航箭頭、車道標(biāo)記和其他信息投射到汽車前方的環(huán)境之中。
但克林恩表示,大眾甚至更早就開始探索混合現(xiàn)實(shí)的潛力。例如在2015年,大眾汽車啟動(dòng)了一個(gè)結(jié)合無人駕駛汽車和混合現(xiàn)實(shí)技術(shù)的培訓(xùn)項(xiàng)目Race Trainer。在測試時(shí),這個(gè)系統(tǒng)可以在學(xué)員前方的平視顯示器疊加箭頭線和制動(dòng)提示,從而引導(dǎo)他們完成一系列的課程。
大眾汽車希望在研究項(xiàng)目中使用HoloLens,但團(tuán)隊(duì)很快就遇到了問題。當(dāng)設(shè)備應(yīng)用到移動(dòng)車輛時(shí),傳感器追蹤及相關(guān)全息圖出現(xiàn)丟失??肆侄鲌F(tuán)隊(duì)向微軟尋求幫助,并與微軟3D計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)專家馬克·波勒菲斯(Marc Pollefeys)取得了聯(lián)系。
雙方進(jìn)行了廣泛的討論,并積極探索具體的解決方案。這兩個(gè)團(tuán)隊(duì)在2018年左右開始合作,并最終為HoloLens 2開發(fā)了前述的Moving Platform Mode移動(dòng)平臺(tái)功能,從而允許設(shè)備在非恒定平穩(wěn)的移動(dòng)平臺(tái)中提供穩(wěn)定的全息圖像顯示。

HoloLens使用兩種主要類型的傳感器來測量運(yùn)動(dòng):可見光攝像頭和慣性測量單元(IMU)。所述傳感器共同模擬了人類如何感知世界。對于移動(dòng)環(huán)境,上述兩個(gè)傳感器會(huì)出現(xiàn)不一致,亦即慣性測量單元識別運(yùn)動(dòng),而攝像頭無法識別運(yùn)動(dòng)時(shí)。
為了解決這個(gè)問題,團(tuán)隊(duì)開發(fā)了一對傳感器之間差異進(jìn)行建模,以支持HoloLens繼續(xù)追蹤和提供合適視圖的算法。
但測試這種能力帶來了另一個(gè)挑戰(zhàn)。由于防疫測試,多名研究人員無法一起坐在車內(nèi)。于是,負(fù)責(zé)項(xiàng)目的微軟高級軟件工程師約書亞·埃爾斯頓(Joshua Elsdon)獨(dú)自尋找解決方案。
在白天,埃爾斯頓選擇一邊穿戴HoloLens,一邊搭乘有軌電車和公共汽車,從而確保全息圖在車輛移動(dòng)時(shí)能保持恒定。在夜晚,埃爾斯頓在公寓上下乘坐電梯,從而測試這項(xiàng)技術(shù)。
在最初的原型制作完成后,團(tuán)隊(duì)同時(shí)在微軟雷德蒙德園區(qū)附近的普吉特灣進(jìn)行了測試。他們租了游船,并使用外部測量設(shè)備評估HoloLens頭部追蹤系統(tǒng)的性能。
微軟后來在大眾汽車測試了這一功能。其中,大眾研究人員在汽車和HoloLens之間建立了雙向數(shù)據(jù)連接,以便顯示和控制來自汽車的實(shí)時(shí)信息。最后,團(tuán)隊(duì)實(shí)現(xiàn)了數(shù)個(gè)演示用例,研究了虛擬界面如何增強(qiáng)未來的車輛。
他們接入了一個(gè)追蹤車輛位置的定位系統(tǒng)。通過這種方式,團(tuán)隊(duì)同時(shí)能夠在車外放置3D元素,如興趣點(diǎn)信息。這為不僅在駕駛員的前向視場內(nèi)顯示全息圖,而且在頭顯用戶查看的任何地方顯示全息圖開辟了全新的可能性。
微軟已在數(shù)個(gè)月前發(fā)布了Moving Platform Mode,并吸引了海事公司和組織的興趣。利用這一功能,使用HoloLens和Microsoft?Dynamics 365?Remote Assist的海事工作者更能得心應(yīng)手,尤其是顛簸不平的船舶用例。
波勒菲斯表示解釋道:“設(shè)備或機(jī)器越遠(yuǎn),專家就越難到達(dá)現(xiàn)場。事實(shí)證明,這一功能對于解鎖海洋空間的HoloLens 2應(yīng)用至關(guān)重要?!?/p>
HoloLens的Moving Platform Mode目前支持在大型船舶上使用,而微軟計(jì)劃進(jìn)一步完善,并用于電梯、火車和其他移動(dòng)環(huán)境??肆侄髟O(shè)想,這項(xiàng)技術(shù)可以通過多種方式將車輛的內(nèi)部世界橋接起來,例如幫助卡車或公共汽車司機(jī)在狹窄的街道行駛,確定駕駛路線上的興趣點(diǎn),或?yàn)槌丝吞峁蕵贰?/p>
克林恩和波勒菲斯認(rèn)為,隨著更小、更緊湊的智能眼鏡面世,混合現(xiàn)實(shí)技術(shù)將成為未來移動(dòng)領(lǐng)域越來越重要的一個(gè)方面。
波勒菲斯甚至將混合現(xiàn)實(shí)眼鏡描述為繼個(gè)人電腦和智能手機(jī)之后的第三代個(gè)人計(jì)算設(shè)備。他說道:“微軟不僅對HoloLens這樣的商業(yè)設(shè)備感興趣,而且從長遠(yuǎn)來看,對消費(fèi)者在日常生活中使用這種有意義的設(shè)備同樣感興趣。”
克林恩設(shè)想,混合現(xiàn)實(shí)技術(shù)能夠?qū)崿F(xiàn)無縫、互聯(lián)的移動(dòng)體驗(yàn)。你在出門時(shí)可以穿戴智能眼鏡,并在一天的出行中通過智能眼鏡接收信息,涵蓋導(dǎo)航輔助到娛樂的一系列場景。
---
原文鏈接:https://news.nweon.com/96798