查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)Nweon

利用注視點(diǎn)輔助的光標(biāo)控制方法

（映維網(wǎng)Nweon?2022年04月29日）隨著眼動(dòng)追蹤組件的普及，注視點(diǎn)越發(fā)成為AR/VR設(shè)備的一個(gè)重要交互模式。在名為“Accelerated gaze-supported manual cursor control”的專(zhuān)利申請(qǐng)中，微軟就介紹了一種利用注視點(diǎn)輔助的光標(biāo)控制方法。

圖1包括佩戴頭顯101的用戶(hù)100。在一個(gè)實(shí)施例中，頭顯101可以包括用于追蹤用戶(hù)注視點(diǎn)的注視點(diǎn)追蹤設(shè)備106。注視點(diǎn)追蹤設(shè)備106可以包括一個(gè)或多個(gè)對(duì)用戶(hù)眼睛成像的攝像頭。注視點(diǎn)追蹤設(shè)備106可以對(duì)用戶(hù)的瞳孔、虹膜、鞏膜、用戶(hù)眼睛的其他部分或其組合進(jìn)行成像，以計(jì)算用戶(hù)正在注視的方向。

在一個(gè)實(shí)施例中，注視點(diǎn)追蹤設(shè)備106可以測(cè)量和/或計(jì)算用戶(hù)注視的x和y分量。在其他實(shí)施例中，注視點(diǎn)追蹤設(shè)備106可包括陀螺儀、加速計(jì)、多個(gè)用于三角定位的傳感器，或允許測(cè)量頭顯相對(duì)于虛擬環(huán)境的方向和/或位置的其他設(shè)備。

圖3是示出與虛擬環(huán)境交互的方法110的流程圖。112，向用戶(hù)呈現(xiàn)虛擬環(huán)境。114，測(cè)量用戶(hù)注視位置的第一位置。可通過(guò)使用注視點(diǎn)追蹤設(shè)備來(lái)測(cè)量第一位置，以基于眼動(dòng)追蹤或基于航向追蹤來(lái)測(cè)量用戶(hù)注視的位置。在這一期間，不向用戶(hù)呈現(xiàn)標(biāo)記或光標(biāo)來(lái)指示用戶(hù)的注視位置的位置。用戶(hù)注視位置的第一位置由注視追蹤設(shè)備測(cè)量，而不向用戶(hù)報(bào)告第一位置，以最小化對(duì)虛擬環(huán)境體驗(yàn)的干擾。

116，接收來(lái)自輸入設(shè)備的系統(tǒng)參與輸入。在18，在第一位置呈現(xiàn)引導(dǎo)光標(biāo)。輸入設(shè)備可以是與頭顯處理器進(jìn)行數(shù)據(jù)通信的手勢(shì)識(shí)別設(shè)備，例如攝像頭。在其他實(shí)施例中，輸入設(shè)備可以是與頭顯處理器進(jìn)行數(shù)據(jù)通信的語(yǔ)音識(shí)別設(shè)備，例如麥克風(fēng)。在又一其他實(shí)施例中，輸入設(shè)備可以是與頭顯處理器進(jìn)行數(shù)據(jù)通信的外設(shè)，例如六自由度控制器或其他運(yùn)動(dòng)感測(cè)控制器。

系統(tǒng)參與輸入可以是單手手勢(shì)，雙手手勢(shì)，語(yǔ)音輸入，和/或外設(shè)輸入。

在接收到系統(tǒng)參與輸入后，顯示設(shè)備顯示引導(dǎo)光標(biāo)。在一個(gè)實(shí)施例中，引導(dǎo)光標(biāo)可以具有光標(biāo)直徑。例如，光標(biāo)直徑可以定義用戶(hù)注視位置的第一個(gè)位置周?chē)膮^(qū)域。

在一個(gè)實(shí)施例中，由于用戶(hù)眼睛的小幅運(yùn)動(dòng)或顫動(dòng)，或者由于注視點(diǎn)追蹤設(shè)備的系統(tǒng)限制，用戶(hù)的注視位置可能抖動(dòng)。這時(shí)，引導(dǎo)光標(biāo)直徑可以與在一段時(shí)間內(nèi)測(cè)量的用戶(hù)注視位置的注視云有關(guān)。在其他實(shí)施例中，引導(dǎo)光標(biāo)直徑可以是基于用戶(hù)在虛擬環(huán)境中的視角的固定角寬度。

120，輸入設(shè)備接收目標(biāo)參與輸入，從而將引導(dǎo)光標(biāo)與第一位置和用戶(hù)的注視位置分離。122，從輸入設(shè)備接收運(yùn)動(dòng)輸入。124，在接收到移動(dòng)輸入時(shí)，基于運(yùn)動(dòng)輸入相對(duì)于第一位置平移引導(dǎo)光標(biāo)。

可以從與系統(tǒng)參與輸入相同的輸入設(shè)備接收目標(biāo)參與輸入。例如，當(dāng)識(shí)別出用戶(hù)舉手時(shí)，可以從手勢(shì)識(shí)別設(shè)備接收系統(tǒng)參與輸入，當(dāng)識(shí)別出用戶(hù)用手指向下輕敲時(shí)，可以從同一手勢(shì)識(shí)別設(shè)備接收目標(biāo)參與輸入。

可以從與目標(biāo)參與輸入和/或系統(tǒng)參與輸入相同的輸入設(shè)備接收運(yùn)動(dòng)輸入。例如，當(dāng)識(shí)別出用戶(hù)用手指向下敲擊時(shí)，可以從手勢(shì)識(shí)別設(shè)備接收目標(biāo)參與輸入，當(dāng)識(shí)別出用戶(hù)在手指保持向下位置時(shí)移動(dòng)其手時(shí)，可以從同一手勢(shì)識(shí)別設(shè)備接收運(yùn)動(dòng)輸入。

在一個(gè)實(shí)施例中，目標(biāo)參與輸入可以是用戶(hù)手指的向下輕擊（例如按下按鈕）。目標(biāo)參與輸入可由手勢(shì)識(shí)別設(shè)備識(shí)別，并可為運(yùn)動(dòng)輸入設(shè)置零點(diǎn)或原點(diǎn)。運(yùn)動(dòng)輸入可以是用戶(hù)的手相對(duì)于零點(diǎn)的移動(dòng)。

例如，用戶(hù)可以向上移動(dòng)他們的手（例如相對(duì)于零點(diǎn)），以在虛擬環(huán)境中相對(duì)于第一個(gè)位置向上移動(dòng)引導(dǎo)光標(biāo)。在其他示例中，用戶(hù)可以將手向后移動(dòng)，以將引導(dǎo)光標(biāo)“拉”向用戶(hù)。然后，用戶(hù)可以停止目標(biāo)接合輸入，以終止對(duì)運(yùn)動(dòng)輸入的連續(xù)測(cè)量，并停止移動(dòng)導(dǎo)航光標(biāo)。例如，用戶(hù)可以抬起手指（松開(kāi)按鈕一樣）或放松手指和拇指（松開(kāi)虛擬環(huán)境中的抓握物一樣）。

在一個(gè)實(shí)施例中，運(yùn)動(dòng)輸入可以是語(yǔ)音輸入。例如，可以從識(shí)別或解釋用戶(hù)語(yǔ)音的語(yǔ)音識(shí)別設(shè)備接收運(yùn)動(dòng)輸入。運(yùn)動(dòng)輸入可以是離散輸入。例如，語(yǔ)音識(shí)別設(shè)備可以檢測(cè)“向左移動(dòng)”的百分比語(yǔ)音命令。在其他示例中，語(yǔ)音識(shí)別設(shè)備可以檢測(cè)“向右移動(dòng)兩個(gè)光標(biāo)”的距離語(yǔ)音命令，以基于光標(biāo)直徑將光標(biāo)移動(dòng)一段距離。在另一些示例中，語(yǔ)音識(shí)別設(shè)備可以檢測(cè)并打開(kāi)諸如“開(kāi)始向上移動(dòng)”之類(lèi)的語(yǔ)音命令，直到語(yǔ)音識(shí)別設(shè)備檢測(cè)到諸如“停止”之類(lèi)的終止語(yǔ)音命令。

繼續(xù)方法110。126，系統(tǒng)分離輸入。系統(tǒng)分離輸入可以與系統(tǒng)參與輸入相同，以關(guān)閉系統(tǒng)參與。例如，系統(tǒng)參與輸入可以是鼠標(biāo)點(diǎn)擊一次，系統(tǒng)分離輸入可以是鼠標(biāo)點(diǎn)擊第二次。在其他實(shí)施例中，系統(tǒng)參與輸入可以是離散命令。例如，系統(tǒng)參與輸入可以是語(yǔ)音識(shí)別系統(tǒng)識(shí)別的參與語(yǔ)音命令，系統(tǒng)分離輸入可以是語(yǔ)音識(shí)別系統(tǒng)識(shí)別的分離語(yǔ)音命令。

在接收到系統(tǒng)分離輸入時(shí)，方法110可以在128隱藏引導(dǎo)光標(biāo)，以允許用戶(hù)自由地查看虛擬環(huán)境，而不受引導(dǎo)光標(biāo)的干擾和/或干擾。

圖4到圖9示出了關(guān)于圖3描述的方法的實(shí)施例。圖4示出了虛擬環(huán)境230。虛擬環(huán)境230可以包括一個(gè)或多個(gè)虛擬元素232和/或用戶(hù)可以與之交互的其他可選對(duì)象。注視點(diǎn)追蹤設(shè)備可檢測(cè)用戶(hù)注視位置的第一位置234。如圖5所示，在接收到系統(tǒng)參與輸入之前，第一位置234可能不會(huì)呈現(xiàn)給虛擬環(huán)境中的用戶(hù)。

可以從輸入設(shè)備236接收系統(tǒng)參與輸入。在一個(gè)實(shí)施例中，可以從手勢(shì)識(shí)別設(shè)備接收系統(tǒng)參與輸入，手勢(shì)識(shí)別設(shè)備在圖5中示意性地表示為用戶(hù)的手。當(dāng)檢測(cè)到用戶(hù)的手向虛擬環(huán)境230舉起時(shí)，可在第一位置234呈現(xiàn)引導(dǎo)光標(biāo)238。

圖6示出了來(lái)自輸入設(shè)備236的目標(biāo)參與輸入240的實(shí)施例。在接收到目標(biāo)參與輸入240時(shí)，引導(dǎo)光標(biāo)238的位置可以與虛擬環(huán)境230內(nèi)的第一位置234和/或注視點(diǎn)位置分離，如圖7所示。引導(dǎo)光標(biāo)238在虛擬環(huán)境230中的位置可以通過(guò)輸入設(shè)備236的運(yùn)動(dòng)輸入242來(lái)細(xì)化。引導(dǎo)光標(biāo)238可以通過(guò)虛擬環(huán)境轉(zhuǎn)換到例如第二虛擬元素232-2。

在使用輸入設(shè)備236將引導(dǎo)光標(biāo)238移動(dòng)到所需位置時(shí)，輸入設(shè)備236可提供目標(biāo)分離輸入244。在一個(gè)實(shí)施例中，目標(biāo)分離輸入244可以選擇虛擬環(huán)境230中的虛擬元素或其他可選對(duì)象。例如，注視位置可能不精確且不可靠，所以無(wú)法選擇虛擬元素。如本文所述，目標(biāo)參與輸入可允許用戶(hù)將引導(dǎo)光標(biāo)238與注視位置分離，并使用輸入設(shè)備236將引導(dǎo)光標(biāo)移動(dòng)到期望的可選對(duì)象，例如第二虛擬元素232-2，然后通過(guò)提供目標(biāo)分離輸入244來(lái)選擇所述可選對(duì)象。

在一個(gè)實(shí)施例中，在使用輸入設(shè)備236移動(dòng)引導(dǎo)光標(biāo)238期間，可通過(guò)將引導(dǎo)光標(biāo)238定位在可選擇對(duì)象時(shí)改變引導(dǎo)光標(biāo)238的外觀，從而將可選擇對(duì)象傳達(dá)給用戶(hù)。

例如，當(dāng)在第二虛擬元素232-2移動(dòng)時(shí)，引導(dǎo)光標(biāo)238可以改變形狀，例如從圓形改變?yōu)槭中喂鈽?biāo)、十字光標(biāo)、十字光標(biāo)、菱形光標(biāo)或其他形狀的改變，以指示第二虛擬元素232-2可以“點(diǎn)擊”。在其他示例中，引導(dǎo)光標(biāo)238可以保持相同的形狀和大小變化（例如脈沖越來(lái)越大和越來(lái)越?。瑥亩甘窘换バ?。

圖9示出了用戶(hù)把手放低或以其他方式提供系統(tǒng)分離輸入，以分離輸入設(shè)備并在虛擬環(huán)境230中隱藏引導(dǎo)光標(biāo)。

如本文所述，輸入設(shè)備可允許比單獨(dú)使用注視追蹤設(shè)備更精確地定位引導(dǎo)光標(biāo)。然而，使用輸入設(shè)備而不是注視點(diǎn)追蹤設(shè)備手動(dòng)定位引導(dǎo)光標(biāo)可能會(huì)比基于注視點(diǎn)追蹤位置的定位更慢地移動(dòng)引導(dǎo)光標(biāo)。在一個(gè)實(shí)施例中，可以在虛擬環(huán)境中呈現(xiàn)引導(dǎo)光標(biāo)，并且當(dāng)用戶(hù)的注視位置移動(dòng)到距離引導(dǎo)光標(biāo)足夠遠(yuǎn)時(shí)，引導(dǎo)光標(biāo)隨后可以通過(guò)虛擬環(huán)境平滑地轉(zhuǎn)換到用戶(hù)的注視位置。

相關(guān)專(zhuān)利：Microsoft Patent | Accelerated gaze-supported manual cursor control

名為“Accelerated gaze-supported manual cursor control”的微軟專(zhuān)利申請(qǐng)最初在2021年12月提交，并在日前由美國(guó)專(zhuān)利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/96656