微軟專利提出使用中心鎖定界面在AR環(huán)境中放置注釋的方法
查看引用/信息源請(qǐng)點(diǎn)擊:映維網(wǎng)Nweon
放置虛擬注釋

(映維網(wǎng)Nweon?2022年10月21日)AR增強(qiáng)現(xiàn)實(shí)可以將虛擬數(shù)字圖形疊加到現(xiàn)實(shí)世界視圖,從而生成仿佛虛擬和真實(shí)共存的沉浸式技術(shù)。例如,疊加虛擬數(shù)字注釋是一種常見的用例,比方說提供茶杯的生產(chǎn)廠商和價(jià)格等信息,在視場(chǎng)可視化地圖導(dǎo)航等等。這里的一個(gè)問題是,如何放置虛擬注釋。
在名為“Systems and methods for placing annotations in an augmented reality environment using a center-locked interface”的專利申請(qǐng)中,微軟就提出了一種使用中心鎖定界面在增強(qiáng)現(xiàn)實(shí)環(huán)境中放置注釋的系統(tǒng)和方法。
傳統(tǒng)技術(shù)支持“點(diǎn)擊放置”模式:用戶可以點(diǎn)擊屏幕的任何位置,并在點(diǎn)擊屏幕的位置放置注釋。但在這個(gè)過程中,當(dāng)用戶嘗試放置注釋時(shí),屏幕會(huì)被用戶的手指遮擋,從而導(dǎo)致注釋無意中放置在不需要的位置。

對(duì)于微軟描述的方法,用戶圖形界面 GUI顯示一個(gè)中央GUI元素,所述元素相對(duì)于計(jì)算機(jī)設(shè)備顯示環(huán)境中心鎖定。中央GUI元素與中央GUI元素所在環(huán)境的檢測(cè)表面共面。注釋可以是三維箭頭。查看環(huán)境時(shí),將向用戶顯示指向中央GUI元素的三維箭頭的預(yù)覽。提供用戶輸入后,箭頭將放置在檢測(cè)到的表面之上。用戶可以提供額外的輸入,在放置箭頭之前,圍繞中央GUI元素旋轉(zhuǎn)三維箭頭。
通過以上描述的方式,中央GUI元素可以提供更準(zhǔn)確的注釋體驗(yàn),因?yàn)橛脩艨梢钥吹阶⑨尩木_位置。
由于專利描述的技術(shù)允許在其設(shè)備屏幕的中心放置注釋,因此用戶必須移動(dòng)其設(shè)備,以便在其預(yù)期位置放置注釋。設(shè)備的額外移動(dòng)會(huì)導(dǎo)致設(shè)備捕獲更多關(guān)于用戶環(huán)境的可視數(shù)據(jù)。視覺數(shù)據(jù)用于映射用戶環(huán)境,并確定用于檢測(cè)用戶環(huán)境中的曲面的特征點(diǎn)。獲得的視覺數(shù)據(jù)越多,曲面檢測(cè)和注釋放置就越精確。
在一個(gè)實(shí)施例中,注釋引擎102配置為提供疊加在實(shí)時(shí)視圖112的GUI 114,使用戶能夠在通過實(shí)時(shí)視圖112呈現(xiàn)的環(huán)境中放置虛擬的三維注釋,從而提供增強(qiáng)的現(xiàn)實(shí)體驗(yàn)。
三維注釋可以放置在注釋引擎102提供的三維虛擬覆蓋空間116內(nèi)。三維虛擬覆蓋空間116可以包括覆蓋在實(shí)時(shí)視圖112的透明層,通過所述透明層,用戶可以在其中的各個(gè)位置放置三維注釋。
例如,注釋引擎102可以呈現(xiàn)鎖定在實(shí)時(shí)視圖112中心的中央GUI元素。當(dāng)用戶在用戶環(huán)境中移動(dòng)計(jì)算設(shè)備100時(shí),中央GUI元素保持鎖定在實(shí)時(shí)查看112中心。因此,無論通過實(shí)時(shí)視圖112顯示什么,中央GUI元素都保持在實(shí)時(shí)視圖112的中心。
根據(jù)一個(gè)實(shí)施例,中央GUI組件可以是圓形十字線。圓形十字線可以包括位于中央的十字線點(diǎn)。十字線點(diǎn)表示注釋可以放置在三維虛擬覆蓋空間116內(nèi)的位置。根據(jù)另一個(gè)實(shí)施例,中央GUI元素可以包括另一個(gè)形狀,例如但不限于矩形、三角形、多邊形等。
在一個(gè)實(shí)施例中,中央GUI元素可以與在接近實(shí)時(shí)視圖112中心的環(huán)境中檢測(cè)到的表面共面。例如,當(dāng)用戶在用戶的環(huán)境中移動(dòng)攝像頭106時(shí),注釋引擎102可以連續(xù)檢測(cè)到位于靠近實(shí)時(shí)視圖112中心的表面。檢測(cè)到這樣的表面后,注釋引擎112可以渲染中央GUI元素,使得其與所述表面共面。
注釋是一個(gè)三維箭頭。三維箭頭最初可能顯示在三維虛擬空間116中的固定或鎖定位置,而虛擬空間疊加在實(shí)時(shí)視圖112之上。三維箭頭可能是單向的,其中箭頭指向中央GUI元素的中心。例如,三維箭頭可能指向中央GUI元素的十字線點(diǎn)。
三維箭頭最初可能是半透明,以便用戶可以查看三維箭頭后面的環(huán)境。三維箭頭的大小可以基于檢測(cè)到的表面和攝像頭106之間的距離。例如,檢測(cè)到的距離越遠(yuǎn),三維箭頭的尺寸越小。相反,檢測(cè)到的距離越近,三維箭頭的大小越大。
用戶可以通過提供用戶輸入將三維箭頭放置在檢測(cè)到的表面之上。例如,用戶可以通過顯示器108提供觸碰輸入(例如輕觸),這使得三維箭頭錨定到三維虛擬疊加空間116中與檢測(cè)到的表面相對(duì)應(yīng)的位置。在放置三維箭頭時(shí),注釋引擎102可以呈現(xiàn)不透明的三維箭頭。

例如,圖2A顯示的圖形界面用于將注釋放置在三維虛擬空間216中的第一個(gè)位置。圖2A中顯示了智能手機(jī)200的顯示器。
如圖2A所示,智能手機(jī)200的顯示器顯示由智能手機(jī)200攝像頭檢測(cè)到的環(huán)境或場(chǎng)景的實(shí)時(shí)視圖212。實(shí)時(shí)視圖121是實(shí)時(shí)視圖112的示例。攝像頭可以位于智能手機(jī)200的一側(cè),與智能手機(jī)200顯示器(如圖2A所示)所在的一側(cè)相對(duì)。
如圖2A中進(jìn)一步所示,GUI元素202可以在實(shí)時(shí)視圖212呈現(xiàn)。GUI組件202可以是注釋引擎102提供的GUI 114的一部分(如圖1所示)。
當(dāng)激活時(shí),GUI元素202可以啟動(dòng)注釋模式,并允許用戶通過三維虛擬疊加空間216在實(shí)時(shí)視圖212放置虛擬注釋。三維虛擬重疊空間216是三維虛擬疊加空間116的一個(gè)示例,如圖1所示??梢酝ㄟ^通過用戶界面104接收的用戶輸入激活GUI元素202。
圖2B示出了根據(jù)示例實(shí)施例激活注釋模式時(shí)通過智能手機(jī)200顯示的圖形界面。如圖2B所示,響應(yīng)于激活GUI元素202,注釋引擎102在三維虛擬疊加空間216中渲染中央GUI元素204。中央GUI元素205在實(shí)況視圖212的中心渲染并保持鎖定。
如圖2B所示,注釋引擎02渲染位于中央GUI元素206中的十字線點(diǎn)206。如圖2B所示,中央GUI元素204和十字線點(diǎn)206都與實(shí)時(shí)視圖212中的注釋引擎102檢測(cè)到的表面208共面。
如圖2B所示,注釋引擎102在三維虛擬疊加空間216中的第一位置呈現(xiàn)三維箭頭210。三維箭頭210指向中央GUI元素204的中心。在圖2B所示的示例中,中央GUI元素205的中心包括十字線點(diǎn)206。相應(yīng)地,三維箭頭210朝向十字線點(diǎn)208。如圖2B中所示,三維箭頭210為半透明。因此,用戶可以看到三維箭頭210后面的對(duì)象。

如圖2C和2D所示,當(dāng)用戶移動(dòng)攝像頭106并將攝像頭106指向環(huán)境中的其他對(duì)象時(shí),中央GUI元素206、十字線點(diǎn)208和三維箭頭210相對(duì)于實(shí)時(shí)視圖212保持中心鎖定。在圖中所示的示例中,用戶正在向右平移攝像頭106。
如圖2C所示,中央GUI元素204和十字線點(diǎn)206現(xiàn)在位于檢測(cè)到的表面218上方,所述表面與圖2B中的表面208具有不同的平面方向/角度。因此,生成中央GUI元素204和十字線點(diǎn)206,以相對(duì)于表面218共面顯示。
如圖2D所示,中央GUI元素204和十字線點(diǎn)206顯示在檢測(cè)到的表面220上方,所述表面與圖2C的表面218具有不同的平面方向/角度。因此,生成中央GUI元素204和十字線點(diǎn)206,以相對(duì)于表面220共面顯示。
放置三維箭頭后,注釋引擎102可以呈現(xiàn)另一個(gè)三維箭頭,所述箭頭最初顯示在三維虛擬空間216中的固定位置,疊加在實(shí)時(shí)視圖212,并且指向中央GUI元素的中心。這樣,用戶就可以在實(shí)時(shí)視圖212所表示的環(huán)境中放置另一個(gè)三維箭頭。

當(dāng)用戶在用戶的環(huán)境中移動(dòng)攝像頭106時(shí),用戶放置的第一個(gè)三維箭頭依然錨定在通過三維虛擬疊加空間216放置第一個(gè)三維箭標(biāo)的表面之上。另外,第一三維箭頭的大小和/或第一三維箭頭顯示的角度可以根據(jù)第一三維箭頭錨定到的表面和通過實(shí)時(shí)視圖212查看表面的角度之間的距離而變化。
相關(guān)專利:Microsoft Patent | Systems and methods for placing annotations in an augmented reality environment using a center-locked interface
名為“Systems and methods for placing annotations in an augmented reality environment using a center-locked interface”的微軟專利申請(qǐng)最初在2021年3月提交,并在日前由美國專利商標(biāo)局公布。
---
原文鏈接:https://news.nweon.com/101777