查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)Nweon

與遠(yuǎn)距離對(duì)象交互

（映維網(wǎng)Nweon?2022年08月18日）允許用戶在AR/VR應(yīng)用中與3D對(duì)象進(jìn)行自然交互具有優(yōu)勢(shì)，因?yàn)樗鼘?duì)應(yīng)于用戶與現(xiàn)實(shí)世界中對(duì)象的交互方式。但是，與手臂夠不著的3D對(duì)象交互可能十分困難。對(duì)于這種情況，特別的“超自然”交互方法可能更為適合。

另外，盡管近距離交互可以用手直接操縱數(shù)字第項(xiàng)來(lái)實(shí)現(xiàn)，但用戶同時(shí)必須能夠與距離用戶較遠(yuǎn)的數(shù)字對(duì)昂進(jìn)行交互。

對(duì)于這一點(diǎn)，行業(yè)已經(jīng)提出了各種方法來(lái)幫助用戶與一定距離的虛擬對(duì)象進(jìn)行交互，例如用戶可以執(zhí)行手勢(shì)來(lái)與遠(yuǎn)程對(duì)象交互，或者可以調(diào)用用戶界面（UI）來(lái)幫助用戶對(duì)遠(yuǎn)程對(duì)象執(zhí)行命令。但對(duì)用戶來(lái)說(shuō)，精確控制遠(yuǎn)距離對(duì)象的零件或點(diǎn)可能依然是一項(xiàng)挑戰(zhàn)。另外，如果與遠(yuǎn)距離對(duì)象交互涉及抬起和/或伸出手和/或手臂，則用戶可能會(huì)經(jīng)歷肌肉疲勞。

考慮到相關(guān)的挑戰(zhàn)，微軟在名為“Near interaction mode for far virtual object”的專利申請(qǐng)中提出了一種通過(guò)顯示虛擬啟示來(lái)促進(jìn)用戶與遠(yuǎn)距離對(duì)象的交互。

圖1顯示了示例性計(jì)算系統(tǒng)10。計(jì)算系統(tǒng)10可以包括頭戴式顯示器設(shè)備14，其可以包括手勢(shì)識(shí)別模塊24、視線檢測(cè)模塊26和自然語(yǔ)言處理（NLP）模塊28，如圖1所示。

視線檢測(cè)模塊26可配置為處理由朝內(nèi)攝像頭30收集的圖像數(shù)據(jù)，以識(shí)別每個(gè)用戶眼睛的位置和方向，并隨后生成眼動(dòng)追蹤數(shù)據(jù)。姿勢(shì)識(shí)別模塊24可以配置為通過(guò)處理由朝外攝像頭32收集的用戶的圖像數(shù)據(jù)來(lái)識(shí)別由用戶表達(dá)的姿勢(shì)和姿勢(shì)。NLP模塊28可以在麥克風(fēng)34處接收經(jīng)處理的自然語(yǔ)言（NL）輸入，進(jìn)一步通過(guò)分割句子、標(biāo)記詞類以及提取命令和與命令相關(guān)聯(lián)的對(duì)象的名稱來(lái)處理NL輸入。

參考圖3，處理器12可以配置為在顯示器16上至少部分地在用戶的視場(chǎng)50內(nèi)顯示虛擬對(duì)象48。處理器12可以配置為識(shí)別與虛擬對(duì)象48相關(guān)聯(lián)的多個(gè)控制點(diǎn)52，并確定與虛擬對(duì)象48相關(guān)聯(lián)的一個(gè)或多個(gè)控制點(diǎn)距用戶的距離超過(guò)預(yù)定閾值54。例如在圖3中，十二面體被描繪為虛擬對(duì)象48?？梢杂^察到十二面體的控制點(diǎn)52都在距用戶的預(yù)定閾值距離54之外。應(yīng)當(dāng)理解，距離54可以是相對(duì)于用戶的各個(gè)部分.圖3描繪了相對(duì)于用戶肩部測(cè)量的距離54。在其他實(shí)現(xiàn)中，可以從用戶身體上的另一點(diǎn)測(cè)量距離。

基于所述確定，處理器12可配置為調(diào)用虛擬對(duì)象48的遠(yuǎn)交互模式。在遠(yuǎn)交互模式下，用戶可執(zhí)行預(yù)定手勢(shì)，例如指向虛擬對(duì)象48、捏、刷等，從而選擇虛擬對(duì)象48。下面將更詳細(xì)地討論通過(guò)虛擬射線60選擇虛擬對(duì)象48。通常在遠(yuǎn)程交互模式中，與虛擬對(duì)象48的可用交互可能受到限制，并且在由于虛擬對(duì)象顯示的距離，可能僅包括遠(yuǎn)程情景菜單的選擇、移動(dòng)、調(diào)整大小和顯示。由于交互的距離，虛擬對(duì)象48的移動(dòng)和大小調(diào)整可能在某種程度上具有挑戰(zhàn)性。

應(yīng)當(dāng)理解，虛擬對(duì)象48的位置可以使得控制點(diǎn)52的一部分或子集位于閾值距離54內(nèi)；然而，如果系統(tǒng)10確定距離54之外的控制點(diǎn)52的數(shù)量大于控制點(diǎn)52預(yù)定閾值子集，則可以調(diào)用遠(yuǎn)交互模式。預(yù)定閾值子集可以是一個(gè)控制點(diǎn)，或者控制點(diǎn)的最小百分比，例如10%、25%、50%等?？梢岳斫?，遠(yuǎn)程交互模式可以在大量控制點(diǎn)52超出用戶的能力范圍的情況下調(diào)用，因此對(duì)于用戶來(lái)說(shuō)可能難以控制或煩人。

在遠(yuǎn)程交互模式下，處理器12可配置為從用戶接收觸發(fā)輸入56。如圖1所示，觸發(fā)輸入56可由頭顯設(shè)備14中的一個(gè)傳感器29檢測(cè)。觸發(fā)輸入56可以包括預(yù)定義手勢(shì)、包括自然語(yǔ)言的語(yǔ)音命令、注視方向和/或眼動(dòng)運(yùn)動(dòng)中的至少一個(gè)，因此可分別由朝外攝像頭32、麥克風(fēng)34或朝內(nèi)攝像頭30檢測(cè)。在圖3中，用戶的手勢(shì)是觸發(fā)輸入56，在本例中，所述觸發(fā)輸入56描述為捏手勢(shì)。

返回圖3，響應(yīng)于在遠(yuǎn)交互模式下接收到觸發(fā)輸入56，處理器12可配置為調(diào)用近交互模式，并在距用戶預(yù)定閾值距離54內(nèi)顯示虛擬交互對(duì)象58。在一個(gè)特定示例中，在近交互模式下顯示的虛擬交互對(duì)象58可以是控制小部件66。控制小部件62可以是虛擬對(duì)象48的大小調(diào)整副本，并且所有控制點(diǎn)52可以在用戶的視場(chǎng)50內(nèi)和預(yù)定閾值距離54內(nèi)。圖3示出了所述實(shí)現(xiàn)的示例，其中作為虛擬對(duì)象48的十二面體由虛擬交互對(duì)象58形式的調(diào)整大小的副本表示。

在圖4A-4C中，處理器12可以進(jìn)一步配置為在從用戶接收觸發(fā)輸入56之前的遠(yuǎn)交互模式中，從用戶的手生成虛擬光線60，虛擬光線60相對(duì)于用戶的手的移動(dòng)被鎖定。在圖4A的頂部表示中，虛擬光線60被示為源自用戶的手。虛擬光線60可以延伸到VR或AR環(huán)境中預(yù)定距離。當(dāng)用戶移動(dòng)她的手時(shí)，虛擬光線60可以按照用戶的手的指示移動(dòng)。

響應(yīng)于虛擬光線60在被用戶的手移動(dòng)時(shí)與虛擬對(duì)象48相交，處理器12可以配置為接收用戶對(duì)虛擬對(duì)象48的選擇。例如，如果用戶將虛擬射線60保持在虛擬對(duì)象48上超過(guò)預(yù)定閾值的時(shí)間，例如超過(guò)兩秒，則處理器12可以配置為選擇虛擬對(duì)象48?；蛘?，當(dāng)虛擬光線60與虛擬對(duì)象48相交時(shí)，用戶可以執(zhí)行額外的步驟，例如發(fā)出命令“選擇”，以完成對(duì)象選擇。在圖4B的中間表示中給出了虛擬對(duì)象48的選擇示例。

經(jīng)由虛擬射線60，處理器12可以配置為根據(jù)用戶的手的手勢(shì)執(zhí)行對(duì)虛擬對(duì)象48的控制。觸發(fā)輸入56可由用戶相對(duì)于虛擬光線60執(zhí)行，以調(diào)用近交互模式并在距用戶的預(yù)定閾值距離54內(nèi)顯示虛擬交互對(duì)象58。圖4C的底部表示中給出了一個(gè)示例。在所述示例中，用戶執(zhí)行捏手勢(shì)形式的預(yù)定手勢(shì)作為觸發(fā)輸入56，從而調(diào)用近交互模式，并在距用戶的預(yù)定閾值距離54內(nèi)啟動(dòng)虛擬交互對(duì)象58的顯示。應(yīng)當(dāng)理解，預(yù)定手勢(shì)可以是除捏手勢(shì)之外的手勢(shì)，例如抓取手勢(shì)、點(diǎn)手勢(shì)、輕敲手勢(shì)等。

在另一種實(shí)現(xiàn)方式中，為了響應(yīng)由于用戶手的移動(dòng)而與虛擬對(duì)象48相交的虛擬射線，處理器12可以配置為在遠(yuǎn)交互模式下相對(duì)于虛擬射線60生成虛擬手柄74，虛擬手柄74靠近用戶的手。圖4B的中間表示描述了所述實(shí)現(xiàn)，其中當(dāng)虛擬光線60與虛擬對(duì)象48相交時(shí)，生成球形節(jié)點(diǎn)作為虛擬手柄74。處理器12可進(jìn)一步配置為在虛擬手柄74處接收來(lái)自用戶的手勢(shì)，該手勢(shì)是觸發(fā)輸入56。再次參考圖4C中的底部表示，觸發(fā)輸入56是按壓手勢(shì)，

虛擬交互對(duì)象58可以是處理器12配置為生成的多個(gè)不同類型的虛擬交互對(duì)象之一。另外，觸發(fā)輸入56可以是多個(gè)可能的觸發(fā)輸入56之一，每個(gè)可能的觸發(fā)輸出56都是相應(yīng)的手勢(shì)，每個(gè)手勢(shì)與多個(gè)虛擬交互對(duì)象58中的一個(gè)虛擬交互目標(biāo)58相關(guān)聯(lián)。

圖6的示例顯示了兩個(gè)虛擬按鈕，它們可以是虛擬內(nèi)容的滾動(dòng)機(jī)制。這種配置的一個(gè)優(yōu)點(diǎn)可能是在用戶夠不到的距離處滾動(dòng)虛擬內(nèi)容可能十分困難。因此，用戶可以如上所述調(diào)用近交互模式，并在用戶的手附近生成滾動(dòng)機(jī)制的顯示，從而簡(jiǎn)化滾動(dòng)虛擬內(nèi)容的操作。

在如圖7所示的附加示例中，用戶可以在VR或AR環(huán)境中使用一個(gè)或多個(gè)窗口。用戶可能希望調(diào)用上下文菜單68。在這種情況下，用戶可以執(zhí)行長(zhǎng)按作為觸發(fā)輸入56，以便情景菜單顯示為用戶手附近的提示。應(yīng)當(dāng)理解，情景菜單68可以附接到虛擬對(duì)象48，所述虛擬對(duì)象48是用戶與之交互的虛擬窗口。這種配置的優(yōu)點(diǎn)可以是情景菜單68的可讀性得到改善，并且相對(duì)于靠近用戶手的虛擬交互對(duì)象58進(jìn)行精細(xì)移動(dòng)/選擇的能力更強(qiáng)。

參考圖8，虛擬對(duì)象48可以延伸到用戶視場(chǎng)50之外，并且與虛擬對(duì)象48相關(guān)聯(lián)的至少一個(gè)控制點(diǎn)52可以在用戶視場(chǎng)50以外。在這種情況下，觸發(fā)器輸入56是食指從較高位置移動(dòng)到較低位置。應(yīng)該理解，用戶可以訪問(wèn)或不訪問(wèn)虛擬射線60。換句話說(shuō)，處理器12可以配置為在不生成虛擬光線60的情況下識(shí)別觸發(fā)輸入56。例如，處理器12可將觸發(fā)輸入56解釋為分配給虛擬對(duì)象48。

在圖9所示的另一示例中，用戶可能正在AR環(huán)境中接近大型虛擬對(duì)象48，如圖9所示的車輛或建筑物。隨著用戶更接近虛擬對(duì)象48，大型虛擬對(duì)象48可以被用戶選擇為虛擬交互對(duì)象58，并且因此為了方便用戶而減小尺寸。應(yīng)當(dāng)理解，虛擬交互對(duì)象58的生成和顯示可以根據(jù)系統(tǒng)10的設(shè)置自動(dòng)發(fā)生，因?yàn)楦嗟目刂泣c(diǎn)52在用戶的視場(chǎng)50和/或預(yù)定閾值距離54之外。

顯示在距用戶預(yù)定閾值距離54內(nèi)的虛擬交互對(duì)象58可以相對(duì)于用戶鎖定在適當(dāng)位置。距用戶的預(yù)定閾值距離可以在460mm至580mm的范圍內(nèi)（通常從用戶的肩部測(cè)量）。

通過(guò)上述方式，微軟提出的方案可以幫助用戶更輕松地與遠(yuǎn)距離對(duì)象交互。

相關(guān)專利：Microsoft Patent | Near interaction mode for far virtual object

名為“Near interaction mode for far virtual object ”的微軟專利申請(qǐng)最初在2022年4月提交，并在日前由美國(guó)專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/99880