查看引用/信息源請點擊：映維網(wǎng)Nweon

避免錯誤地將命令與目標對象以外的非目標對象關(guān)聯(lián)

（映維網(wǎng)Nweon?2022年05月27日）隨著眼動追蹤技術(shù)的普及，眼動已經(jīng)成為了AR/VR頭顯的一種重要用戶輸入機制。例如，眼動追蹤傳感器可用于確定用戶眼睛的注視方向。然后，計算系統(tǒng)可以使用得到的注視方向來識別每條注視線相交的任何顯示的虛擬對象。確定的注視方向隨后可用于識別用戶注視的對象。

通過這種方式，眼動追蹤傳感器可用于將由語音、手勢、按鈕或其他輸入機制發(fā)出的用戶命令與真實對象或虛擬對象相關(guān)聯(lián)。

但是，使用眼睛注視來將命令與預(yù)期的真實對象或虛擬對象相關(guān)聯(lián)可能存在困難。這在一定程度上是由于人眼自然進行的眼跳運動，亦即用戶傾向于快速移動眼睛。例如，用戶可能主要盯著一個感興趣的對象，然后由于眼跳運動而短暫地瞥向場景中的其他對象/位置。如果僅根據(jù)檢測到命令的時間將命令與對象關(guān)聯(lián)，則可能出現(xiàn)錯誤地將命令與目標對象以外的非目標對象關(guān)聯(lián)。

例如，HoloLens用戶可能正在注視第一物理對象，并通過語音發(fā)出“放在那里”命令，從而將特定虛擬對象放置在所述第一物理對象。但由于眼跳運動，用戶可能會在發(fā)出命令時短暫地注視第二物理對象。結(jié)果，計算設(shè)備或會錯誤理解用戶意圖，并將命令與第二物理對象相關(guān)聯(lián)，從而無法將虛擬對象正確地放置在第一物理對象。

針對這個問題，微軟在名為“Location-based entity selection using gaze tracking”的專利申請中提出了自己的解決方案：使用空間意圖模型將用戶輸入與注視方向相關(guān)聯(lián)。

簡言之，計算設(shè)備在不同位置為不同的識別實體維護與時間相關(guān)的注意值。對于每個已識別的實體，根據(jù)眼睛注視采樣計算注意力值，并隨時間更新。

當接收到包括位置相關(guān)動作的用戶輸入時，計算設(shè)備利用空間意圖模型將用戶輸入與選定的識別實體相關(guān)聯(lián)。然后，可以基于用戶輸入和所選實體執(zhí)行位置相關(guān)操作。所以當用戶將目光從實體移開而不是立即移開時，實體與時間相關(guān)的注意值會在一段時間內(nèi)衰減。

因此，即便用戶由于眼跳運動而注視其他實體，空間意圖模型都可以為正確選擇的實體保持相對較高的注意值。

圖2示出了示例頭戴式顯示設(shè)備200的框圖。顯示設(shè)備200包括前置攝像頭系統(tǒng)202，攝像頭系統(tǒng)202包括深度攝像頭204和/或強度攝像頭206。

顯示設(shè)備200同時包括注視檢測子系統(tǒng)208。注視檢測子系統(tǒng)208包括一個或多個閃爍光源212和一個或多個圖像傳感器210。圖像傳感器210配置為捕捉用戶每只眼睛的圖像。顯示設(shè)備200同時包括空間意圖模塊220，以幫助消除潛在的模糊注視信號。

如上所述，對于將用戶輸入與預(yù)期實體相關(guān)聯(lián)，眼跳引起的模糊凝視信號造成了挑戰(zhàn)。為了幫助消除與命令相關(guān)聯(lián)的預(yù)期實體的歧義，空間意圖模塊220基于來自眼動追蹤系統(tǒng)的注視采樣，確定使用環(huán)境中每個識別實體的時間相關(guān)注意值。

當接收到指示執(zhí)行位置相關(guān)動作的意圖的用戶輸入時，空間意圖模塊220基于時間相關(guān)注意值確定要與輸入關(guān)聯(lián)的選定實體。通過在接收到眼動追蹤采樣數(shù)據(jù)時更新與時間相關(guān)的注意值，空間意圖模塊可以提供對作為用戶注意力當前焦點的實體洞察。

圖3A-3C顯示由佩戴顯示設(shè)備100的用戶302查看的場景300。場景300包括在視場304中可見的多個實體，例如房間中的對象、結(jié)構(gòu)和表面。點代表眼睛注視位置，其由眼動追蹤系統(tǒng)獲取的眼睛注視采樣確定。圖3A中的示例實體包括平板電腦計算設(shè)備310、桌子312、沙發(fā)314和地板316等等。

包含每個虛擬和真實實體的位置和身份的實體數(shù)據(jù)可以存儲在顯示設(shè)備100的存儲器中?？梢允褂萌魏魏线m的數(shù)據(jù)模型來維護實體信息。例如，實體的位置可以存儲為真實世界空間模型的坐標系內(nèi)的絕對位置、相對于顯示設(shè)備100的位置或其他合適的數(shù)據(jù)模型。當顯示的虛擬對象移動或物理對象移動時，可以更新位置信息。

眼動追蹤傳感器112檢測用戶眼睛的注視方向。顯示設(shè)備100的控制器120可以將實體位置信息與注視方向進行比較，以確定注視方向是否與場景中的任何已識別實體相交。在圖3A中，用戶302正注視沙發(fā)314。

參考圖3B，用戶302進行語音輸入以“放在那里”。鑒于指向沙發(fā)314的最近注視采樣的數(shù)量，用戶可能希望所述命令與沙發(fā)314相關(guān)聯(lián)。但由于眼跳運動，眼動追蹤傳感器112記錄在語音輸入時或前后朝向地板316的眼睛注視采樣。

在沒有空間意圖模型的情況下，用戶輸入可能與樓層316錯誤關(guān)聯(lián)。然而，利用微軟提出的技術(shù)，示例性空間意圖模型包括場景中每個已識別實體的注意值，其中實體的注意值至少基于與實體相對應(yīng)的所獲取的注視采樣數(shù)量，以及獲取注視采樣的時間。

這里，作為與沙發(fā)314相對應(yīng)的多個眼睛注視采樣320，空間意圖模型正確地確定所選實體是沙發(fā)314。如圖3C所示，作為確定的結(jié)果，顯示設(shè)備100通過將虛擬化身308放置在沙發(fā)314并執(zhí)行位置相關(guān)動作。

空間意圖模型可通過諸如泄漏積分器之類的數(shù)學模型來確定代表用戶對不同實體的注意力的時間相關(guān)注意值。圖4示出了與用戶對圖4的實體的注視相對應(yīng)的示例時間相關(guān)注意值的圖。

依賴時間的注意力值402模擬用戶對沙發(fā)314的注意力。類似地，與時間相關(guān)的注意值404、406和408分別對地板316、顯示器306和虛擬化身308的注意進行建模。

當用戶注視沙發(fā)314時，注意力值402正在增加。隨著注意力值的增加，增加的速度可能會減慢。稍后，用戶看著不同的對象，注意值402則開始減少（泄漏），而不同實體的注意值開始增加。當用戶再次注視沙發(fā)314時，注意力值402再次增加。

在這個示例中，在時間t.sub.1接收語音命令。在時間t.sub.1及其前后接收到的眼動注視采樣與地板316相關(guān)，因此注意值404增加。然而，沙發(fā)314的注意值402保持相對大于其他注意值404、406、408，因為為注意值402結(jié)合衰減率而積分的采樣數(shù)保持注意值402高于其他值。

這表明地板注視采樣324可能是由于眼跳運動引起。因此，通過使用空間注意模型，用戶輸入與沙發(fā)314正確關(guān)聯(lián)。

圖5示出了利用示例空間意圖模型501將用戶輸入與注視位置500關(guān)聯(lián)的系統(tǒng)。處理管道可以在任何合適的計算系統(tǒng)上實現(xiàn)。

系統(tǒng)500包括注視管道和一個或多個用戶輸入管道。在注視管道中，眼動追蹤傳感器502向注視方向模型508輸出眼動追蹤信號。眼動追蹤傳感器502包括圖像傳感器504和閃爍光源506?；谘蹌幼粉櫺盘?，注視方向模型508確定用戶的注視方向。

注視方向模型508可以使用眼睛模型510和/或頭部模型512來確定注視方向。利用所述信息，計算系統(tǒng)可以檢測眼動追蹤采樣的注視方向是否與任何識別實體相交。在注視線確實與實體相交的地方，相應(yīng)的眼動追蹤采樣514輸入到泄漏積分器540中。

系統(tǒng)500同時包括與用戶可查看的場景中的實體相關(guān)的實體信息。在所描繪的示例中，攝像頭系統(tǒng)520經(jīng)由深度攝像頭522和/或RGB攝像頭524對場景成像。實體識別模塊526處理包括深度圖像和/或RGB圖像的圖像數(shù)據(jù)，實體識別模塊526識別場景中的一個或多個實體。實體識別模塊526可包括一個或多個經(jīng)過訓(xùn)練的機器學習功能528。

可以使用任何合適的機器學習函數(shù)，包括一個或多個神經(jīng)網(wǎng)絡(luò)（卷積神經(jīng)網(wǎng)絡(luò)）。實體識別模塊526輸出場景中實體和相應(yīng)實體位置的實體列表530。另外，可以從遠程計算系統(tǒng)獲得先前在使用環(huán)境中識別的實體列表。

基于眼動追蹤采樣514和實體列表530中實體位置的比較，泄漏積分器540將眼動追蹤采樣分配給相應(yīng)實體，并更新每個實體的時間相關(guān)注意值。更新后的每個實體的注意值存儲為與最近的眼動追蹤采樣相對應(yīng)的時間戳。

在確定更新的注意值之后，更新的注意值和相應(yīng)的時間戳存儲在時間相關(guān)注意值數(shù)據(jù)550的數(shù)據(jù)結(jié)構(gòu)中。存儲的時間相關(guān)注意值數(shù)據(jù)550隨后可用于基于用戶輸入的時間戳將用戶輸入與時間相關(guān)注意值匹配。

作為示例，系統(tǒng)500的用戶輸入可包括用戶語音輸入和/或用戶手勢輸入。因此，語音處理系統(tǒng)560可以從麥克風接收的語音輸入輸出識別的命令，而手勢處理系統(tǒng)562可以輸出識別的手勢命令。如上所述，可識別的命令564可包括位置相關(guān)命令。

選擇時間相關(guān)注意值后，選擇與已識別命令相對應(yīng)的實體。在一個示例中，可以選擇具有最高注意值的實體作為要與命令關(guān)聯(lián)的實體。

在其他示例中，識別的命令、注意值數(shù)據(jù)550和實體數(shù)據(jù)530輸入到機器學習模型570中，機器學習模型570輸出每個實體作為預(yù)期實體的可能性。機器學習模型570可以使用例如包括多個數(shù)據(jù)采樣的標記訓(xùn)練數(shù)據(jù)進行訓(xùn)練。每個采樣包括命令、注意值數(shù)據(jù)、實體數(shù)據(jù)和對應(yīng)于正確實體選擇的標記實體。

相關(guān)專利：Microsoft Patent | Dichroic coatings to improve display uniformity and light security in an optical combiner

名為“Location-based entity selection using gaze tracking”的微軟專利申請最初在2020年11月提交，并在日前由美國專利商標局公布。

---
原文鏈接：https://news.nweon.com/97462