查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)

用于遠(yuǎn)距離對(duì)象的交互

（映維網(wǎng)?2021年12月23日）允許用戶在AR/VR應(yīng)用中與3D對(duì)象進(jìn)行自然交互具有優(yōu)勢(shì)，因?yàn)樗鼘?duì)應(yīng)于用戶與現(xiàn)實(shí)世界中對(duì)象的交互方式。但是，與手臂夠不著的3D對(duì)象交互可能十分困難。對(duì)于這種情況，特別的“超自然”交互方法可能更為適合。

另外，盡管近距離交互可以用手直接操縱全息圖來(lái)實(shí)現(xiàn)，但用戶必須能夠與距離用戶較遠(yuǎn)的全息圖進(jìn)行交互。理想情況下，這種遠(yuǎn)距離交互應(yīng)該以某種方式與近距離交互體驗(yàn)相結(jié)合，并且應(yīng)該對(duì)當(dāng)前的目標(biāo)方向和選擇狀態(tài)有明確的啟示。

在名為“Holographic?palm raycasting for targeting virtual objects”的專利申請(qǐng)中，微軟提出了一種用于通過(guò)光線投射來(lái)與遠(yuǎn)距離對(duì)象交互的方法。

光線投射是各種超自然交互方法常用的方式。例如，可以從用戶的手部或頭部投射各種虛擬光線，從而便于用戶與遠(yuǎn)處對(duì)象進(jìn)行交互或顯示為手臂夠不著的對(duì)象。

在微軟的構(gòu)思發(fā)明中，當(dāng)用戶張開手掌并對(duì)準(zhǔn)自己前方時(shí)，光線或光束從用戶手掌發(fā)出，從而用于支持遠(yuǎn)處對(duì)象交互。例如，當(dāng)張開手掌時(shí)，光線可以通過(guò)虛線可視化。當(dāng)光線指向虛擬顯示對(duì)象時(shí)，顯示光標(biāo)，例如環(huán)形光標(biāo)。用戶可以執(zhí)行選擇手勢(shì)，例如輕敲，從而選擇他們當(dāng)前瞄準(zhǔn)的項(xiàng)目。這時(shí)，光線的外觀可以發(fā)生變化。例如，當(dāng)光標(biāo)從環(huán)形變?yōu)辄c(diǎn)時(shí)，光線本身可以顯示為實(shí)線。光標(biāo)變化可以二進(jìn)制，或可以是模擬。一旦選擇了對(duì)象，用戶可以使用用于直接操縱近端對(duì)象的相同操縱手勢(shì)來(lái)操縱對(duì)象。

在一個(gè)實(shí)現(xiàn)中，光線的投射方式可以是：通過(guò)對(duì)用戶肩部和/或肘部的位置進(jìn)行建模，然后通過(guò)手部追蹤技術(shù)，通過(guò)用戶建模的手臂關(guān)節(jié)和手部追蹤手掌關(guān)節(jié)投射光線。然后，用戶可以將手放在其側(cè)面或前方進(jìn)行瞄準(zhǔn)。

圖1示出了示例頭戴式顯示設(shè)備10。頭戴式顯示設(shè)備10包括以可佩戴在用戶頭部周圍的框架12，其支持位于用戶眼睛附近的透明顯示組件。頭戴式顯示設(shè)備10可以使用增強(qiáng)現(xiàn)實(shí)技術(shù)來(lái)實(shí)現(xiàn)虛擬顯示圖像和真實(shí)世界背景的同時(shí)瀏覽。所以，頭戴式顯示設(shè)備10可以經(jīng)由透明顯示器14生成虛擬圖像。透明顯示器14包括單獨(dú)的右眼和左眼顯示器14R和14L，并且可以是完全或部分透明。透明顯示器14可以采用任何合適的形式，例如波導(dǎo)管或棱鏡，其配置為接收生成的圖像并將圖像指向佩戴者的眼睛。

頭戴式顯示設(shè)備10同時(shí)包括一個(gè)附加的透明光學(xué)組件16，其位于透明顯示器14和佩戴者看到的真實(shí)環(huán)境之間?？刂破?8操作地耦合到透明光學(xué)組件16和其他顯示組件?？刂破?8包括一個(gè)或多個(gè)邏輯設(shè)備和一個(gè)或多個(gè)計(jì)算機(jī)存儲(chǔ)設(shè)備，存儲(chǔ)邏輯設(shè)備可執(zhí)行的指令，以實(shí)現(xiàn)頭戴式顯示設(shè)備10的功能。頭戴式顯示設(shè)備10同時(shí)可以包括各種其他組件，例如二維圖像攝像頭20（例如可見光攝像機(jī)和/或紅外攝像機(jī)）和深度成像組件22，以及未示出的其他組件，包括但不限于揚(yáng)聲器、麥克風(fēng)、加速度計(jì)、陀螺儀、磁強(qiáng)計(jì)和溫度傳感器等。

在一個(gè)實(shí)現(xiàn)中，深度成像組件22可包括右立體攝像頭和左立體攝像頭。來(lái)自兩個(gè)攝像頭的時(shí)間分辨圖像可以相互注冊(cè)并組合以產(chǎn)生深度分辨視頻。

在一個(gè)實(shí)現(xiàn)中，“結(jié)構(gòu)光”深度攝像頭可配置為投射具有許多離散特征（例如線或點(diǎn)）的結(jié)構(gòu)紅外照明。攝像頭可配置成對(duì)從場(chǎng)景反射的結(jié)構(gòu)化照明成像?；诔上駡?chǎng)景的各個(gè)區(qū)域中相鄰特征之間的間隔，可以構(gòu)建場(chǎng)景的深度映射。

在一個(gè)實(shí)現(xiàn)中，“飛行時(shí)間”（TOF）深度攝像頭可包括配置成將脈沖紅外照明投射到場(chǎng)景上的光源。可以配置兩個(gè)攝像頭來(lái)檢測(cè)從場(chǎng)景反射的脈沖照明。

增強(qiáng)現(xiàn)實(shí)功能可能基于鉸接式手部交互。對(duì)于近端獨(dú)享，可利用直接交互，由此可將手視為直接操縱全息圖。在一個(gè)示例中，全息圖遠(yuǎn)離用戶，例如大于基于臂長(zhǎng)的閾值?？梢杂?jì)算用戶或用戶的延伸部分與預(yù)期目標(biāo)之間的距離。通過(guò)這種方式，可以將相對(duì)距離與閾值距離進(jìn)行比較，以確定預(yù)期目標(biāo)相對(duì)于用戶視為“近”（在可及范圍內(nèi)）還是“遠(yuǎn)”（不可及）。對(duì)于遠(yuǎn)距離對(duì)象，可以賦予用戶“超自然”能力，以便他們可以與遠(yuǎn)距離全息圖交互，無(wú)需“走向”全息圖。

在一個(gè)實(shí)現(xiàn)中，可以通過(guò)發(fā)射光線的方式來(lái)允許用戶對(duì)遠(yuǎn)距離虛擬對(duì)象進(jìn)行定位、選擇和操作。對(duì)于這種情況，VR系統(tǒng)經(jīng)常是通過(guò)控制器發(fā)射光束的方式來(lái)進(jìn)行實(shí)現(xiàn)。對(duì)于增強(qiáng)現(xiàn)實(shí)，可以把相同的心智模型和用戶體驗(yàn)組合到一組直觀的界面控件中，例如直接在用戶手掌發(fā)射光線。

這種基于手的光線投射示例如圖所示。用戶的左手255和右手260以開放式構(gòu)象表示。第一光線265顯示為源自用戶左手255的手掌，描繪為終止于選擇光標(biāo)270的虛線。第二光線275顯示為源自用戶右手260的手掌，描繪為終止于選擇光標(biāo)280的虛線。與以前的模型相比，這種光線投射提供了眾多優(yōu)勢(shì)，例允許使用注視投射來(lái)指向?qū)ο?，然后使用用戶的手?lái)控制動(dòng)作的方法。直接從手部施放可以實(shí)現(xiàn)更直觀的瞄準(zhǔn)和精細(xì)控制。通過(guò)使用手掌，用戶同時(shí)保留了用手指操縱目標(biāo)對(duì)象的自由。

圖3顯示了增強(qiáng)現(xiàn)實(shí)環(huán)境中光線投射的示例方法300。在310，方法300包括在諸如頭戴式顯示器的顯示設(shè)備上呈現(xiàn)一個(gè)或多個(gè)虛擬對(duì)象。一個(gè)或多個(gè)虛擬對(duì)象可以在沉浸式環(huán)境中渲染，并且可以由虛擬對(duì)象渲染機(jī)進(jìn)行變換，以根據(jù)頭戴式顯示器的位置和方向修改渲染虛擬對(duì)象的位置、大小、形狀或角度。每個(gè)渲染的虛擬對(duì)象可以呈現(xiàn)在相對(duì)于顯示設(shè)備的環(huán)境中的對(duì)應(yīng)位置。另外，可實(shí)時(shí)連續(xù)修改渲染虛擬對(duì)象，以根據(jù)頭戴式顯示器的變化位置和方向保持渲染虛擬對(duì)象的適當(dāng)透視圖和配置。在這方面，如果用戶靠近渲染的虛擬對(duì)象，其相對(duì)距離將更接近用戶。類似地，如果用戶遠(yuǎn)離渲染的虛擬對(duì)象，其相對(duì)距離將顯示得離用戶更遠(yuǎn)。

當(dāng)識(shí)別出預(yù)期目標(biāo)時(shí)，用戶可以使用選定的交互方法移動(dòng)（例如重新定位）、變換（例如，縮放、旋轉(zhuǎn)、傾斜、拉伸、扭曲等）、操縱或刪除渲染對(duì)象，甚至創(chuàng)建新對(duì)象。

在320，方法300包括從深度攝像頭接收關(guān)于環(huán)境的信息。例如，從深度攝像頭接收的信息可用于確定環(huán)境邊界（例如墻、天花板、地板、窗、門等）的位置和大小，以及環(huán)境中真實(shí)世界對(duì)象的位置、大小和方向。

在330，方法300包括確定顯示設(shè)備在環(huán)境中的位置。顯示設(shè)備的位置可以基于從深度照攝像頭接收的信息。當(dāng)包括在頭戴式顯示器中時(shí)，顯示設(shè)備的位置可進(jìn)一步基于一個(gè)或多個(gè)附加傳感器組件（例如方向傳感器和/或位置傳感器）接收到的信息，從而促進(jìn)生成與頭戴式顯示器的方向和位置以及與用戶感知視場(chǎng)相對(duì)應(yīng)的追蹤數(shù)據(jù)。

在340，方法300包括基于頭戴式顯示器的位置推斷用戶手臂的關(guān)節(jié)的位置。用戶手臂的關(guān)節(jié)可以是肩部、肘部或手腕，例如。在一個(gè)示例中，用戶手臂的關(guān)節(jié)可能對(duì)頭戴式顯示器的深度攝像頭不可見，因此3D位置可以推斷關(guān)節(jié)的位置。例如，基于人體工程學(xué)的指標(biāo)可用于根據(jù)已知頭部位置預(yù)測(cè)用戶肩部和/或肘部的位置。可以確定用戶肩部和/或肘部的代碼模型。

在一個(gè)示例中，用戶可執(zhí)行校準(zhǔn)練習(xí)，以根據(jù)頭戴式顯示器的六自由度位置確定用戶肩部和肘部的可能位置范圍。諸如用戶手部位置的附加信息可進(jìn)一步告知用戶肩部或肘部的位置。

在350，方法300包括基于從深度照攝像頭接收到的信息確定用戶手的位置。在一個(gè)實(shí)施例中，頭戴式顯示器可配置為分析與用戶對(duì)應(yīng)的深度映射的像素，以便確定每個(gè)像素對(duì)應(yīng)于用戶身體的哪個(gè)部分。

在一個(gè)實(shí)現(xiàn)中，機(jī)器學(xué)習(xí)可用于為每個(gè)像素分配身體部位索引和/或身體部位概率分布。機(jī)器學(xué)習(xí)方法參考從先前訓(xùn)練的已知姿勢(shì)集合中學(xué)習(xí)的信息來(lái)分析用戶。

對(duì)應(yīng)于用戶手部的點(diǎn)云可以進(jìn)一步處理以揭示手的骨骼亞結(jié)構(gòu)，并識(shí)別用戶的手的組件，例如腕關(guān)節(jié)、手指關(guān)節(jié)、相鄰的手指節(jié)段、指關(guān)節(jié)、手掌、背等。通過(guò)分析各種手關(guān)節(jié)和/或節(jié)段中的位置變化，可以確定成像手的操作、動(dòng)作或手勢(shì)。

在360，方法300包括基于用戶手臂關(guān)節(jié)的位置和用戶手的位置從用戶手的一部分投射光線。例如，頭戴式顯示器可以生成和/或接收用戶手臂關(guān)節(jié)的三維坐標(biāo)和用戶手的三維坐標(biāo)。頭戴式顯示器實(shí)際配置為延伸一條射線，其端點(diǎn)位于用戶手臂關(guān)節(jié)的位置并穿過(guò)用戶手的部分。例如，可以為肩部和/或肘部以及手掌、手腕、關(guān)節(jié)等生成線。然后可以基于所述位置和方向投射光線。在一個(gè)示例中，用戶手臂長(zhǎng)度的校準(zhǔn)可以簡(jiǎn)化算法。

投射光線的長(zhǎng)度可以是有限，也可以是無(wú)限。對(duì)于有限長(zhǎng)度的光線，可以光標(biāo)、圖標(biāo)或其他合適的顯示對(duì)象的形式指示光線的遠(yuǎn)端。光標(biāo)可用于指向虛擬對(duì)象。有限射線的長(zhǎng)度可基于用戶偏好、環(huán)境的尺寸、環(huán)境中虛擬對(duì)象的位置等。用戶可通過(guò)預(yù)定手勢(shì)使射線變長(zhǎng)或變短。另外或者，隨著光線接近虛擬對(duì)象，光線的長(zhǎng)度可能會(huì)增加或減少。

圖4A-4D顯示了各種光線投射模式的圖示。

相關(guān)專利：Microsoft Patent | Holographic palm raycasting for targeting virtual objects

名為“Holographic palm raycasting for targeting virtual objects”的微軟專利最初在2021年8月提交，并在日前由美國(guó)專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/92803