散文網(wǎng) » 科技 »數(shù)碼 » Meta專利分享Quest MR環(huán)境下的雙手呈現(xiàn)，改善鍵鼠輸入交互

Meta專利分享Quest MR環(huán)境下的雙手呈現(xiàn)，改善鍵鼠輸入交互

2022-04-28 18:59 作者:映維網(wǎng)劉衛(wèi)華 0人讀過 | 我要投稿

查看引用/信息源請點擊：映維網(wǎng)Nweon

調(diào)整手部的透明度

（映維網(wǎng)Nweon?2022年04月25日）在過去的幾十年中，物理鍵盤已經(jīng)成為用戶與計算設(shè)備交互的最普遍設(shè)備之一。通常，物理鍵盤位于顯示器前面，而用戶一般會將手輕輕地靠在鍵盤之上。物理鍵盤的設(shè)計，以及用戶長年積累的熟悉度，用戶甚至看都不用看就能快速地鍵入文本?？偟膩碚f，物理鍵盤提供了一種相對快速的輸入機制，可以滿足大多數(shù)用戶的需求。

隨著新的虛擬現(xiàn)實和增強現(xiàn)實的發(fā)展，鍵盤概念得以繼承，并且大多采用對應(yīng)的虛擬鍵盤形式。為了進一步提升用戶體驗，行業(yè)正在嘗試一系列的輸入解決方案，比如說Meta。

實際上，這家公司已經(jīng)提交過多份專利申請，并在實踐中積極鋪開應(yīng)用。日前，美國專利商標(biāo)局又公布了一份與所述主題相關(guān)的發(fā)明。名為“Hand presence over keyboard inclusiveness”的專利主要描述了呈現(xiàn)用戶的真實雙手。

具體來說，由于VR頭顯會遮擋用戶的現(xiàn)實世界視圖感知，并非所有人都能實現(xiàn)完完全全的盲打。為了準(zhǔn)確高效地打字，用戶通常依賴于實時查看物理鍵盤的按鍵以及手和手指在鍵盤上方的位置。通過在虛擬鍵盤之上呈現(xiàn)真實雙手，這可以幫助用戶更好地完成文本鍵入。

簡單概括來說，在基于前置攝像頭的透視視圖中，即便可以看到雙手，雙手都會遮擋按鍵，使得用戶難以判斷按鍵標(biāo)簽。同時，由于分辨率低且為黑白像素，這進一步加大了用戶識別按鍵標(biāo)簽。所以，Meta希望調(diào)整手部的透明度值，從而允許用戶透過透明但可識別的手指來確定按鍵的標(biāo)簽，從而更好地完成文本鍵入。

對于傳統(tǒng)的鍵盤使用，即使對于不連續(xù)觀察手和鍵盤都能下有效鍵入文本的用戶，能夠視覺感知手部相對于鍵盤的初始位置都非常有幫助或必要。在虛擬現(xiàn)實環(huán)境中，用戶一般看不到他們正在與之交互的物理鍵盤，而傳統(tǒng)的方案一般是基于攝像頭信息渲染對應(yīng)物理手部的虛擬手部。

但由于大多數(shù)頭顯都采用低分辨率的廣角黑白前置攝像頭，所以可用的視覺信息通常充滿噪點，并且缺乏關(guān)于深度或顏色的重要信息。另外，由于前置攝像頭無法提供完全對齊用戶雙眼，所以前置攝像頭捕獲的圖像無法提供關(guān)于用戶在正?，F(xiàn)實時感知物理環(huán)境的準(zhǔn)確視圖。

所以，根據(jù)所述信息生成的虛擬手部難以準(zhǔn)確表示用戶手部的實際形狀或相對位置。

鑒于挑戰(zhàn)，所以Meta希望利用頭顯的視頻透視功能來呈現(xiàn)用戶的物理雙手，并通過調(diào)整透明度來幫助用戶更好地識別按鍵標(biāo)簽，從而順利完成文本鍵入。

圖1示出了用戶100與虛擬現(xiàn)實系統(tǒng)交互的示例。虛擬現(xiàn)實系統(tǒng)可以包括物理輸入設(shè)備120、頭顯130和一個或多個計算設(shè)備140。在特定實施例中，物理輸入設(shè)備120可以是包括多個按鈕的常規(guī)鍵盤。

頭顯130可以完全覆蓋用戶100的真實世界視圖感知，所以頭顯130的內(nèi)部顯示器成為了用戶100的唯一視覺信息源。如上所述，如果沒有關(guān)于物理輸入設(shè)備120和用戶手部110的任何視覺信息，用戶100可能難以或不可能與物理輸入設(shè)備120有效交互。因此，頭顯130需要通過內(nèi)部顯示器向用戶100提供物理輸入設(shè)備120和手部110的實時視覺信息。

在一個實施例中，頭顯130可以包括一個或多個前置攝像頭135，并配置成用于捕獲關(guān)于用戶100周圍的物理環(huán)境的信息。一個或多個前置攝像頭135可利用低分辨率的廣角黑白透鏡，并配置成捕捉缺少關(guān)于深度或顏色的任何重要信息的噪點圖像。

圖2B舉例說明了虛擬現(xiàn)實系統(tǒng)基于前置攝像頭生成的透視圖像200。盡管透視視頻可以幫助用戶準(zhǔn)確地感知實際情況，但由于前置攝像頭135的噪點和低分辨率，透視圖像200內(nèi)的特定視覺細節(jié)可能遭到扭曲或不可分辨。

針對這個問題，計算機系統(tǒng)可以根據(jù)透視圖像確定物理輸入設(shè)備的姿態(tài)，生成代表用戶物理手部的三維模型，并通過將所述三維模型投影到與用戶透視圖相關(guān)聯(lián)的圖像平面來生成圖像掩模。然后，通過將所述圖像掩模應(yīng)用于所述圖像來生成在所述圖像中描繪用戶物理手部的裁剪圖像。基于所述用戶的透視圖和所述物理輸入設(shè)備的姿態(tài)，計算系統(tǒng)可以渲染表示所述物理輸入設(shè)備的虛擬輸入設(shè)備。最后，系統(tǒng)可以顯示描繪物理手部位于虛擬輸入設(shè)備之上的裁剪圖像。

圖3示出了由虛擬現(xiàn)實系統(tǒng)生成的示例圖像掩模300。如上所述，可以生成圖像掩模300，并從用戶100的角度裁剪描繪物理環(huán)境的透視圖像200。為了生成圖像掩模300，虛擬現(xiàn)實系統(tǒng)可以首先訪問與前置攝像頭135捕獲的視覺信息。然后，虛擬現(xiàn)實系統(tǒng)可以使用與用戶手部110相關(guān)聯(lián)的視覺信息，并通過任何合適的三維建模技術(shù)來生成用戶手部110的三維模型350。作為一個非限制性示例，三維手部模型350可以檢測用戶手部110的關(guān)鍵點，然后使用檢測到的關(guān)鍵點將通用三維手模型變形為近似用戶手部大小和位置的三維手模型350。

在一個實施例中，虛擬現(xiàn)實系統(tǒng)可以從用戶100的角度將三維手模型350投影到與從用戶100角度感知的圖像200的平面對應(yīng)的圖像平面。然后，虛擬現(xiàn)實系統(tǒng)可以識別圖像平面內(nèi)投影的三維手模型350的輪廓355。

虛擬現(xiàn)實系統(tǒng)可以通過為每個像素存儲指示透明度度量的分配的alpha值來生成包括多個像素的圖像掩模300。具體地說，圖像掩模300中的每個像素可以基于其在圖像掩模300中相對于投影三維手模型350的識別輪廓355的位置分配α值，使得位于輪廓355外部的像素305可以分配低透明度值或零透明度值，而位于輪廓355內(nèi)的像素310可分配高透明度值。產(chǎn)生的圖像掩模300可應(yīng)用于透視圖像200，以生成裁剪的透視圖像。

圖4A-4F舉例說明了在虛擬環(huán)境中顯示用戶手部圖像的過程。在圖4A中，可以按照上文介紹生成圖像掩模300a。圖像掩模300a可以包括位于三維手模型350的投影輪廓355外部的多個像素305和位于輪廓355內(nèi)的多個像素310。外部像素305可以分配具有低透明度值或零透明度值的alpha值，而內(nèi)部像素310可以分配具有高透明度值的alpha值。

正如上文介紹，由于前置攝像頭無法與用戶雙眼完全對齊，圖像掩模300a中的輪廓355可能與透視圖像200中的用戶手部210不完全對齊。具體地說，由于三維手模型350不太可能反映用戶手的確切形狀和位置，所以將圖像掩模300a應(yīng)用于透視圖像200可能會無意中裁剪出用戶手部210。

如圖4B所示，可以通過修改圖像掩模300a以包括與輪廓355相鄰的多個緩沖區(qū)像素315來解決所述問題。具體地說，緩沖區(qū)315可以通過識別最接近輪廓355的多個外部像素305，并調(diào)整所述像素的指定alpha值以具有增加的透明度值。

在一個實施例中，可以使用alpha混合技術(shù)來調(diào)整緩沖區(qū)315，使其具有基于緩沖區(qū)315內(nèi)的像素位置具有變化透明度值的alpha值的范圍。例如，可以調(diào)整緩沖區(qū)315的alpha值，使得對于輪廓355附近的像素，透明度值可能較高，但透明度值可以基于與輪廓355的距離逐漸降低。

在圖4C中，在將圖像掩模300應(yīng)用于透視圖像200a以生成裁剪的透視圖像200b之前，可以對透視圖像200a進行一個或多個調(diào)整。

在特定實施例中，虛擬現(xiàn)實系統(tǒng)可由具有廣泛膚色的用戶使用，并且由于物理輸入設(shè)備以各種不同的顏色制成，用戶手部210和透視圖像200顯示的物理輸入設(shè)備220之間的對比度可能不同。

圖2B中的示例透視圖像200示出了用戶手部210和鍵盤220之間的對比度水平影響。例如，用戶手部210a的膚色較淺，與黑色鍵盤220形成顯著對比，而用戶手部210b的膚色較深，與黑色鍵盤220的對比度很小。在圖2B所示，與識別手210a相比，識別手210b的視覺細節(jié)相對更難。這種相對差異可以至少部分歸因于用于生成透視圖像200的低分辨率黑白攝像頭。

為了解決這個問題，在應(yīng)用圖像掩模300b之前，可以通過使用圖像處理技術(shù)來調(diào)整圖4C中的透視圖像200a，以提高用戶手210的陰影和鍵盤220的陰影之間的對比度。在特定實施例中，可以首先使用統(tǒng)計采樣技術(shù)對已知與用戶手210相關(guān)聯(lián)的像素區(qū)域和已知與鍵盤220相關(guān)聯(lián)的像素區(qū)域中的像素陰影值進行采樣，以便生成陰影對用戶手部210和鍵盤220的預(yù)測。

然后，陰影預(yù)測用于識別和分離與用戶手部210相關(guān)聯(lián)的較大像素集和與鍵盤220相關(guān)聯(lián)的較大像素集。一旦分離，與陰影和/或強度相關(guān)聯(lián)的值可以針對像素組中的任何一個進行調(diào)整，以提高透視圖像200a中像素組之間的對比度。

在特定實施例中，可將透視圖像220a中與鍵盤220相關(guān)聯(lián)的采樣像素陰影值與代表物理鍵盤120的虛擬鍵盤420的陰影值進行比較。如果確定與鍵盤220相關(guān)聯(lián)的采樣像素陰影值與虛擬鍵盤420的陰影值不匹配，則可以調(diào)整與鍵盤220相關(guān)聯(lián)的較大識別像素集合中的一個或多個像素，以與虛擬鍵盤420的陰影值一致。

在將圖像掩模300應(yīng)用于透視圖像200a以生成裁剪的透視圖像200b之前，可以對透視圖像200a進行額外調(diào)整。例如，在透視圖像200a中檢測到的一個或多個基本上為暗的像素可確定為與用戶手部210或另一物體造成的陰影相關(guān)聯(lián)。通過為與陰影相關(guān)聯(lián)的一個或多個暗像素調(diào)整與陰影相關(guān)聯(lián)的值和/或強度，一旦隨后如下面圖4F所示的裁剪透視圖像200b，則暗像素對于用戶100可能不那么明顯。

圖4D示出了由于將修改后的圖像掩模300b應(yīng)用于透視圖像200a而產(chǎn)生的裁剪透視圖像200b。具體來說，當(dāng)應(yīng)用于透視圖像200a時，圖像掩模300的外部像素305的低透明度值或零透明度值可以有效地裁剪出透視圖像200a中的相應(yīng)像素。由于在修改后的圖像掩模300b中添加了緩沖區(qū)315，剪切的透視圖像300b可以保留與用戶手部210對應(yīng)像素相關(guān)聯(lián)的大部分像素，但同時可以保留透視圖像200a中與緩沖區(qū)315中的像素對應(yīng)的用戶手部210附近的任何附加像素。

作為修改后的結(jié)果，剪切的透視圖像300b可產(chǎn)生用戶手部210的α值的最小變化，尤其是對于距離用戶手部210邊界更遠的像素。

圖4E示出了表示物理鍵盤120的虛擬鍵盤420。具體來說，可以至少部分地基于由一個或多個前置攝像頭132捕獲的圖像數(shù)據(jù)來確定物理鍵盤120的姿態(tài)。作為一個非限制性示例，可以使用任何合適的對象追蹤技術(shù)來確定物理鍵盤120的姿態(tài)。虛擬現(xiàn)實系統(tǒng)隨后可以訪問對應(yīng)于物理鍵盤120的虛擬鍵盤模型420，使得虛擬鍵盤模型420的布局和圖形表示對應(yīng)于物理鍵盤120的布局和視覺外觀。然后，虛擬鍵盤420可以在由頭顯顯示器向用戶顯示。

圖4F示出了在虛擬現(xiàn)實環(huán)境500中呈現(xiàn)虛擬鍵盤420時的透視圖像200b。具體來說，用戶手部210可以部分或完全阻擋虛擬鍵盤420的一部分。如上所述，由于在圖像掩碼300b中添加了緩沖區(qū)315，可以創(chuàng)建出更平滑的視覺過渡，其中物理鍵盤220的任何部分能夠與虛擬鍵盤420重疊。