查看引用/信息源請點擊：映維網(wǎng)Nweon

單手微手勢操作。例如，可以將一根手指當(dāng)成操作平面，然后另一只手進行左右光標平移。

（映維網(wǎng)Nweon?2022年06月09日）虛擬現(xiàn)實和增強現(xiàn)實應(yīng)用程序可能依賴于用戶提供的手勢輸入來調(diào)用特定的命令和動作。深度和視覺攝像頭可以允許手部追蹤應(yīng)用能夠識別和分層各種手勢命令。在不受編程控制器限制的情況下，手勢命令可以提供幾乎無限的直觀輸入。

圖1是佩戴頭戴式顯示設(shè)備105并站在房間110的真實物理環(huán)境中的用戶100的示意圖。房間110包括許多物理對象和表面，例如墻壁114、116和118、門120、沙發(fā)122、書架124和咖啡桌126。

頭顯105中的傳感器可以啟用自然用戶界面（NUI）控制，例如當(dāng)用戶的手160在頭戴式顯示設(shè)備105的朝外成像傳感器的視場165（虛線）內(nèi)時，可以基于手160執(zhí)行的手勢輸入。

通過這種方式，用戶100可以與虛擬內(nèi)容交互，而無需握住控制器或其他輸入設(shè)備，從而使用戶100可以用任意一只手與真實世界和/或虛擬世界對象交互。

如圖所示，朝外成像傳感器（165）的視場可能比頭戴式顯示設(shè)備（150）的視場更大，所以即使用戶100看不到特定對象，其都可以對其進行成像。這可以支持用戶100在自己的視場之外執(zhí)行手勢，并且依然將所執(zhí)行的手勢用作NUI控件。

不過，在將增強現(xiàn)實設(shè)備的使用限制在特定場所時，執(zhí)行明顯的手勢命令可能會出現(xiàn)問題。但為了AR設(shè)備在更多公共場所（例如公共交通、會議、體育賽事）中得到廣泛使用，用戶可能更希望設(shè)備能夠以社會可接受的方式進行操作。因此，NUI控件需要更精細的手勢。

在名為“Single-handed microgesture inputs”的專利申請中，微軟就介紹了一種單手微手勢輸入。簡單來說，微軟提出的發(fā)明可允許用戶只執(zhí)行小幅度的手指動作即可完成輸入操作，而不是大幅度的動作。例如，可以將一根手指當(dāng)作操作平面，然后用另一只手進行左右光標平移。

在一個示例中，評估手的拇指尖與同一只手上手指關(guān)節(jié)的關(guān)系。評估相對位置（例如，接近度）和時間方面（例如，位置處的停留時間），并用于選擇和激活提供功能的指定目標。在一個示例中，可以向用戶提供一個或多個視覺啟示以幫助選擇目標。所述系統(tǒng)允許將多個目標分配給手的每個手指，從而實現(xiàn)諸如滾動、深入菜單層次結(jié)構(gòu)和其他功能操作。

頭顯200可以搭載手勢識別機216和眼動追蹤機218。手勢識別機216配置為至少處理來自深度成像設(shè)備212的深度視頻和/或來自朝外二維圖像攝像頭210的圖像數(shù)據(jù)，以識別深度視頻中的一個或多個人體對象，計算所識別對象的各種幾何（例如，骨骼）特征，并從幾何特征中收集各種姿勢或手勢信息，以用作NUI。

在一個非限制性實施例中，手勢識別機216識別深度視頻中一個或多個人體對象的至少一部分。通過適當(dāng)?shù)纳疃葓D像處理，可以將深度圖的給定軌跡識別為屬于人類主體。在更具體的實施例中，可以識別屬于人類對象的像素，并且可以從這些像素導(dǎo)出人類的廣義幾何模型。

手勢識別機216可以以任何合適的方式標記像素。作為一個示例，可以訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)以使用適當(dāng)?shù)乃饕?標簽對每個像素進行分類。這樣，可以通過計算識別手或其他身體部位的不同特征。

手勢識別機216可以逐幀跟蹤不同的身體部位，從而允許識別不同的手勢。例如，可以逐幀追蹤手指的三維位置，從而允許識別諸如手指位置、手指角度、手指速度、手指加速度、手指到手指的接近度等參數(shù)。

用戶眼睛的位置可由眼動追蹤機218和/或手勢識別機216確定。眼動追蹤機218可以從朝內(nèi)攝像頭214接收圖像數(shù)據(jù)。在一個示例中，朝內(nèi)攝像頭214包括兩個或多個攝像頭。例如，眼動追蹤機218可以基于用戶眼睛的中心點、用戶瞳孔的中心點來確定用戶眼睛的位置，和/或手勢識別機器216可以基于虛擬骨骼的頭部關(guān)節(jié)的位置來估計眼睛的位置。

圖3顯示了用于單手微手勢輸入的示例方法300。方法300可以由計算設(shè)備執(zhí)行，例如頭戴式顯示設(shè)備（例如，本文中關(guān)于圖11描述的頭戴式顯示設(shè)備105和200和/或計算系統(tǒng)1100）。

方法300將主要針對增強現(xiàn)實應(yīng)用進行描述，但也可應(yīng)用于虛擬現(xiàn)實應(yīng)用、混合現(xiàn)實應(yīng)用、非沉浸式應(yīng)用以及具有配置為跟蹤手運動和/或以其他方式接收手勢輸入的自然用戶界面的任何其他系統(tǒng)、環(huán)境和應(yīng)用。

在305，方法300包括接收用戶手的手跟蹤數(shù)據(jù)。手部跟蹤數(shù)據(jù)可以從接收到的深度信息、接收到的RGB圖像數(shù)據(jù)、接收到的平面IR圖像數(shù)據(jù)等導(dǎo)出。

數(shù)據(jù)可以以多個不同的連續(xù)幀的形式接收。接收到的手部跟蹤數(shù)據(jù)可以包括在多個不同幀的每一幀處針對多個不同手部特征中的每一個的特征位置。接收到的手部追蹤數(shù)據(jù)可以包括用戶的一只手或雙手的數(shù)據(jù)。

在一個實施例中，手勢識別機可配置為分析與用戶相對應(yīng)的深度圖的像素，以確定每個像素對應(yīng)于用戶身體的哪個部分。為此，可以使用各種不同的身體部位分配技術(shù)。

在一個示例中，可以為具有適當(dāng)人物索引的深度貼圖的每個像素分配身體部位索引。身體部位索引可包括離散標識符、置信值和/或身體部位概率分布，其指示像素可能對應(yīng)的身體部位。

在一個實施例中，機器學(xué)習(xí)可用于為每個像素分配身體部位索引和/或身體部位概率分布。機器學(xué)習(xí)方法參考從先前訓(xùn)練的已知姿勢集合中學(xué)習(xí)到的信息來分析用戶。

在一個實施例中，用于追蹤特征位置（例如關(guān)節(jié)）的虛擬骨架或其他數(shù)據(jù)結(jié)構(gòu)可以適合于對應(yīng)于用戶的深度和/或彩色視頻的像素。圖4A示出了示例虛擬骨架400。

虛擬骨骼包括在多個關(guān)節(jié)410處樞轉(zhuǎn)耦合的多個骨骼段405。在一個實施例中，身體部位名稱可分配給每個骨骼段和/或每個關(guān)節(jié)。在圖4A中，每個骨骼段405的身體部位名稱由附加字母表示：A表示頭部，B表示鎖骨，C表示上臂，D表示前臂……。

同樣，每個關(guān)節(jié)410的身體部位名稱由附加字母表示：a表示頸部，B表示肩部，C表示肘部，D表示手腕……。

通過任何合適的最小化方法，可以調(diào)整骨骼段的長度以及關(guān)節(jié)的位置和旋轉(zhuǎn)角度，以符合深度映射的各種輪廓。通過這種方式，為每個關(guān)節(jié)指定了各種參數(shù)。虛擬骨架可以采用數(shù)據(jù)結(jié)構(gòu)的形式，包括每個關(guān)節(jié)的任何、部分或所有這些參數(shù)。

所述過程可定義成像人體對象的位置和姿勢。骨骼擬合算法可以將深度數(shù)據(jù)與其他信息結(jié)合使用，例如彩色圖像數(shù)據(jù)和/或指示一個像素軌跡如何相對于另一個像素軌跡移動的動力學(xué)數(shù)據(jù)。以上述方式，虛擬骨架可以適合于深度視頻幀序列中的每一幀。通過分析各種骨骼關(guān)節(jié)和/或節(jié)段的位置變化，可以確定相應(yīng)的運動，例如成像用戶的姿勢或動作。

無論用于提取特征的方法是什么，一旦識別，可以在每幀的基礎(chǔ)上跨深度和/或圖像數(shù)據(jù)的幀追蹤每個特征。多個不同的手特征可以包括多個手指特征、多個指尖特征、多個拇指特征、多個關(guān)節(jié)特征、多個手腕特征、多個手掌特征、多個背部特征等。

在一個示例中，接收用戶第一只手的手部追蹤數(shù)據(jù)包括接收環(huán)境的深度數(shù)據(jù)、將虛擬骨骼擬合到接收到的深度數(shù)據(jù)的點云、將手關(guān)節(jié)指定給虛擬骨骼，以及在連續(xù)的深度圖像上跟蹤指定手關(guān)節(jié)的位置。

返回圖3，在310，方法300可選地包括激活響應(yīng)于識別來自用戶的激活命令的單手微手勢輸入。激活命令可以是基于手勢、語音命令、注視點命令等。這類激活命令可以由用戶自定義，或者可以為用戶自定義。手勢和手姿勢命令可以在成像設(shè)備的視場內(nèi)執(zhí)行，但不一定在用戶的視場內(nèi)。

在315，將一組微手勢目標沿用戶手的第一個手指的長度分配到多個位置，每個微手勢目標包括一個或多個軟件功能。換句話說，一旦激活了微手勢輸入，就可以分割第一個手指，并且兩個或多個手指段中的每一個都分配了一個微手勢目標。因此，這樣分配的第一個手指的每個位置都掩蓋一個可操作且可交互的目標。

可通過將拇指尖置于手指位置附近，將拇指尖保持在手指位置附近一段時間，然后選擇相應(yīng)的目標來選擇每個分配的目標。因此，微手勢控制的交互點與用戶的手和/或某些手指上的特定關(guān)節(jié)和節(jié)段緊密相連。

這樣，當(dāng)用戶沿著手指的長度滑動拇指尖時，第一個手指可以有效地充當(dāng)控制器。如本文所用，“第一指”可指用戶手上的食指、中指、無名指、小指或任何多指手指中的任何一個。第一個手指可以通過用戶、應(yīng)用程序和/或系統(tǒng)偏好預(yù)先指定用于微手勢輸入，或者可以由用戶選擇用于微手勢輸入。

作為示例，圖5示出了分配給沿用戶手指500的位置的微手勢目標的示例。手指500可分為多個不同部分，以建立多個不同的位置。然后，可以為手指500上的每個位置分配一個微手勢目標，例如，指尖502分配目標522，遠節(jié)指骨504分配目標524，遠節(jié)指間關(guān)節(jié)506分配目標526，中節(jié)指骨508分配目標528，近節(jié)指間關(guān)節(jié)510分配目標530……。每個微手勢目標可能與一個獨特的功能相關(guān)聯(lián)。

回到圖3，在320，方法300包括向用戶提供視覺啟示，視覺啟示包括兩個或多個分配的微手勢目標的指示器。這樣，可以向用戶提供視覺指示器，當(dāng)用戶沿著第一個手指移動拇指尖時，指示器通知用戶正在接近哪個位置，從而可以選擇哪個目標。

圖6示了用戶使用拇指尖和中指執(zhí)行微手勢。手670顯示在顯示視場650和成像視場660內(nèi)。第一視覺啟示680顯示有三個微手勢目標指示器（680a、680b、680c）。

在這個示例中，基于沿第一手指長度的相應(yīng)位置，以順序呈現(xiàn)微手勢目標的指示器，例如，指示器680a對應(yīng)于指尖處的目標，指示器680b對應(yīng)于遠端指間關(guān)節(jié)處的目標，并且指示器680c對應(yīng)于近端指間關(guān)節(jié)處的目標。

特別是，新手用戶可以依靠第一啟示來學(xué)習(xí)在哪里停止、在哪里滾動等。然而，熟手用戶可以直觀地理解目標關(guān)聯(lián)位置沿手指的位置，并且可以不依賴于這種視覺啟示。因此，可以基于用戶隨時間重復(fù)選擇微手勢目標來逐步減少第一啟示的外觀。

一旦建立了肌肉記憶，就可以在沒有這種視覺反饋的情況下執(zhí)行微手勢。事實上，微手勢可以在用戶的視場之外執(zhí)行，但需要位于傳感器視場之內(nèi)。

回到圖3，在325，方法300包括基于手勢識別機的輸出的動作，手勢識別機配置為分析接收到的手跟蹤數(shù)據(jù)。在330，方法300包括確定用戶手的拇指尖相對于沿第一手指長度的多個位置的位置?？梢允褂檬植孔粉櫴旨夹g(shù)來確定拇指尖的位置。

一旦識別出第一根手指，就可以簡化手的追蹤。例如，第一手指可以提供用于追蹤拇指尖位置的參考框架，減少通常在自由空間中發(fā)生的漂移，并使手勢識別引擎更容易識別拇指尖相對于沿第一個手指長度的多個位置的位置?？梢詮膱D像數(shù)據(jù)中提取對成像設(shè)備可見的兩個已知對象，并且僅分析手指特征的子集，從而允許手勢識別引擎追蹤拇指尖的細粒度連續(xù)運動。

在335，響應(yīng)于確定拇指尖在沿第一指長度的第一位置處第一指的閾值距離內(nèi)，增加對應(yīng)的第一微手勢目標的指示器。在一個實施例中，拇指尖和第一指之間的閾值距離可以為零，表示拇指尖和第一指彼此直接接觸。這樣，用戶和手勢識別機都提供有一個錨，其用來確定拇指尖相對于第一個手指的運動。

如圖8A中800所示，第一手指810分配三個位置（812、814和816，由虛線描繪），每個位置分配一個微手勢目標（822、824、826）。拇指尖830示為在第一位置812處的手指810的閾值距離內(nèi)。視覺啟示840包括與三個微手勢目標中的每一個相關(guān)聯(lián)的三個指示器。

指示器842對應(yīng)于第一位置812和微手勢目標822，指示器844對應(yīng)于第二位置814和微手勢目標824，指示器846對應(yīng)于第三位置816和微手勢目標826。當(dāng)拇指尖830位于第一位置812時，指示器842高亮顯示，向用戶指示相應(yīng)的微手勢目標822當(dāng)前正作為選擇的目標。

返回圖3，在340，基于拇指尖在第一位置的持續(xù)時間進一步增加第一微手勢目標的指示器。這如圖8B中850所示。當(dāng)拇指尖830停留在第一位置812時，指示器842展開，向用戶指示當(dāng)前能夠選擇相應(yīng)的微手勢目標822。

在345，方法300包括響應(yīng)于檢測到確認動作，執(zhí)行相應(yīng)的微手勢目標。確認動作包括在第一位置的停留時間大于閾值。這樣，時間閾值可以作為預(yù)激活階段，從而選擇相應(yīng)的微手勢目標。在圖8A和8B的示例中，這可包括在閾值持續(xù)時間內(nèi)將拇指尖830保持在第一位置812。

如圖9A中900所示，拇指尖830從第一位置812（如圖8A和8B所示）移動到第二位置814。因此，指示燈844高亮顯示，向用戶指示相應(yīng)的微手勢目標824當(dāng)前正作為選擇的目標，而指示燈842已返回到基線視覺狀態(tài)。在圖9B中的950處，當(dāng)拇指尖830位于第二位置814時，指示器844展開，向用戶指示當(dāng)前能夠選擇相應(yīng)的微手勢目標824。

圖10示出了通過單手微手勢輸入進行的示例控制。圖10示出了佩戴頭戴式顯示設(shè)備1005并站在房間1010的真實物理環(huán)境中的用戶1000。

房間1010包括物理對象，例如書架1015和門1020?？梢詫⒌诙M微手勢目標分配給沿用戶左手第一指長度的多個位置?；谑謩葑R別機的輸出，可以相對于沿用戶左手第一指長度的多個位置來確定用戶左手拇指尖的位置。響應(yīng)于檢測到確認動作，可以執(zhí)行分配給第二只手上相應(yīng)的微手勢目標的動作。

第一視覺啟示1080和第二視覺啟示1082與手1070相關(guān)聯(lián)，而第三視覺啟示1085和第二視覺啟示1087與手1075相關(guān)聯(lián)。在這個示例中，用戶1000使用微手勢控制來操縱全息立方體1032，手1070控制全息立方體1032的旋轉(zhuǎn)，手1075控制全息立方體1032的大小。

用戶1000同時可以使用分配給每只手的中指的其他手指或開關(guān)控制集，以提供指南針控制（向前、向后、左、右）、多維旋轉(zhuǎn)，并以其他方式控制全息立方體1032在空間中的位置和方向。在兩只不同的手上組合微手勢可以允許同時在兩個維度上滾動，分離航向/精細滾動控件等。

另外，每只手的拇指可以提供額外的輸入信息以及手指的位置和接近程度。在一個示例中，將拇指移動到手指的前面和/或后面可以解釋為附加命令。另外或者，相對于手指的拇指角度可以是輸入。此類輸入可用于激活或確認選定目標、生成額外控制值、充當(dāng)操縱桿按鈕等。

相關(guān)專利：Microsoft Patent | Single-handed microgesture inputs

名為“Single-handed microgesture inputs”的專利申請最初在2022年1月提交，并在日前由美國專利商標局公布。

---
原文鏈接：https://news.nweon.com/97889