查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)Nweon

結(jié)合注視點(diǎn)和手勢(shì)操作的交互方式

（映維網(wǎng)Nweon?2022年04月04日）用戶圖形界面（簡(jiǎn)稱GUI）是指采用圖形方式顯示的計(jì)算機(jī)操作用戶界面，系人機(jī)交互的重要媒介?？偟膩碚f，GUI旨在簡(jiǎn)化操作，減輕用戶認(rèn)知負(fù)擔(dān)，并提供自然直觀的操作方式。

對(duì)于新興的AR/VR，設(shè)備同樣需要一種相應(yīng)的用戶圖形界面。在名為“Devices, methods, and graphical user interfaces for interacting with three-dimensional environments”的專利申請(qǐng)中，蘋果就介紹了一種用于與三維環(huán)境交互的圖形界面。更具體地說，發(fā)明介紹了一種結(jié)合注視點(diǎn)和手勢(shì)操作的交互方式。

在一個(gè)實(shí)施例中，計(jì)算機(jī)系統(tǒng)在三維環(huán)境中顯示用戶界面中的一組索引項(xiàng)，并允許用戶使用一個(gè)或多個(gè)導(dǎo)航手勢(shì)輸入進(jìn)行操作，例如使用翻滾手勢(shì)。同時(shí)，計(jì)算機(jī)系統(tǒng)允許用戶移動(dòng)視線來控制導(dǎo)航量。當(dāng)用戶的視線指向索引區(qū)域時(shí)，系統(tǒng)可以轉(zhuǎn)向手勢(shì)導(dǎo)航輸入。同時(shí)，這種導(dǎo)航輸入可以不要求用戶將整只手舉起到與用戶圖形界面位置相對(duì)應(yīng)的位置。

以用戶坐在桌子前面為例，用戶圖形界面可以以3米等寬高顯示。一開始系統(tǒng)可以主要利用注視點(diǎn)來移動(dòng)光標(biāo)，當(dāng)視線移動(dòng)到索引選項(xiàng)區(qū)域時(shí)，則轉(zhuǎn)向利用手勢(shì)來視線精確的操作。以食指選擇為例，這時(shí)用戶不必抬起手部并將食指指向目標(biāo)選項(xiàng)，而是可以將手承壓在桌面，并稍微移動(dòng)食指即可。系統(tǒng)可以有機(jī)結(jié)合注視點(diǎn)導(dǎo)航量和食指導(dǎo)航量，從而允許用戶相對(duì)輕松地完成到導(dǎo)航操作。

蘋果指出，通過將用戶的視線與手勢(shì)導(dǎo)航輸入結(jié)合使用，這可以減少來自用戶的輸入的數(shù)量、范圍和/或性質(zhì)，但又可實(shí)現(xiàn)期望的結(jié)果，從而創(chuàng)建了高效的人機(jī)界面。

在一個(gè)實(shí)施例中，計(jì)算機(jī)系統(tǒng)在三維環(huán)境中顯示一個(gè)包括多個(gè)可選控件的虛擬對(duì)象，例如用于啟動(dòng)應(yīng)用程序的應(yīng)用程序圖標(biāo)、用于顯示子菜單或執(zhí)行操作的菜單選項(xiàng)、用于觸發(fā)應(yīng)用功能、設(shè)備功能、設(shè)備設(shè)置調(diào)整等的可選對(duì)象。

可以根據(jù)用戶的手勢(shì)操作來觸發(fā)動(dòng)作。例如，計(jì)算機(jī)系統(tǒng)可以根據(jù)符合預(yù)設(shè)標(biāo)準(zhǔn)的用戶手勢(shì)來選擇虛擬對(duì)象的初始位置。因此，當(dāng)提供所需手部運(yùn)動(dòng)以觸發(fā)虛擬對(duì)象的顯示時(shí)，用戶可以通過移動(dòng)手部位置來影響虛擬對(duì)象在三維環(huán)境中的初始位置。

隨后，計(jì)算機(jī)系統(tǒng)將虛擬對(duì)象的位置與用戶手部的位置分離，以便用戶可以使用同一只手來執(zhí)行手勢(shì)并與虛擬對(duì)象和其中包含的控件交互。

在一個(gè)實(shí)施例中，手勢(shì)操作可以涉及手部的小幅度動(dòng)作，例如整只手無需抬起（放在桌面，放在用戶身體一側(cè)，放在用戶膝蓋等），并直接執(zhí)行相應(yīng)的導(dǎo)航操作，例如滾動(dòng)、切換輸入焦點(diǎn)、進(jìn)行選擇、調(diào)整數(shù)值等。

在一個(gè)實(shí)施例中，在三維環(huán)境中初始顯示虛擬對(duì)象之后，計(jì)算機(jī)系統(tǒng)將虛擬對(duì)象的位置與用戶手部的位置分離，并且可選地將虛擬對(duì)象的位置耦合到用戶三維環(huán)境視圖的視點(diǎn)。這樣，在視點(diǎn)相對(duì)于三維環(huán)境的移動(dòng)期間，虛擬對(duì)象保持虛擬對(duì)象和當(dāng)前顯示視圖的視點(diǎn)之間的空間關(guān)系。

當(dāng)通過用戶手部的預(yù)設(shè)運(yùn)動(dòng)調(diào)用虛擬對(duì)象的顯示時(shí)，可以允許虛擬對(duì)象顯示在與用戶手部位置相對(duì)應(yīng)的位置，然后，再將虛擬對(duì)象的位置與用戶手部的位置分離，使得用戶能夠影響虛擬對(duì)象的顯示位置，例如選擇虛擬對(duì)象應(yīng)顯示在視場(chǎng)的哪個(gè)部分，選擇虛擬對(duì)象應(yīng)顯示在離視點(diǎn)多遠(yuǎn)的位置，選擇虛擬對(duì)象相對(duì)于視點(diǎn)應(yīng)顯示的方向等等。但同時(shí)，無需將虛擬對(duì)象綁定到用戶手部。這使得用戶與虛擬對(duì)象的交互更加高效，并減少用戶輸入的數(shù)量、范圍和/或性質(zhì)。

在一個(gè)實(shí)施例中，計(jì)算機(jī)系統(tǒng)指定物理環(huán)境中的位置或區(qū)域作為“主位置”，并用于顯示常用的用戶界面對(duì)象。這樣，當(dāng)用戶通過顯示生成組件提供的視場(chǎng)查看物理環(huán)境時(shí)，用戶可以通過調(diào)整顯示生成組件相對(duì)于物理環(huán)境提供的視場(chǎng)，從而容易且可預(yù)測(cè)地定位用戶界面對(duì)象。

計(jì)算機(jī)系統(tǒng)在顯示包含物理環(huán)境表示的三維環(huán)境時(shí)，根據(jù)與指定位置或區(qū)域相對(duì)應(yīng)的位置在顯示生成組件提供的視野內(nèi)的確定，在與用戶界面對(duì)象的“主位置”相對(duì)應(yīng)的位置顯示用戶界面對(duì)象。

在一個(gè)實(shí)施例中，指定為用戶界面對(duì)象“主位置”的區(qū)域可以是物理表面的全部或一部分，例如墻壁、家具、窗戶和畫框等表面。指定為用戶界面對(duì)象“主位置”的區(qū)域不被任何物理對(duì)象或表面占據(jù)。

利用用戶熟悉的物理環(huán)境和用戶在物理環(huán)境中的位置和方向直觀感，計(jì)算機(jī)系統(tǒng)可以為計(jì)算機(jī)系統(tǒng)的常用功能提供可預(yù)測(cè)的接入點(diǎn)，同時(shí)不會(huì)在用戶視場(chǎng)中持續(xù)顯示用戶界面對(duì)象以不必要地?cái)_亂用戶的視圖感知。

另外，可以在多個(gè)使用會(huì)話之間持久地存儲(chǔ)歸屬位置。這提供了訪問常用功能的一種直觀且可預(yù)測(cè)的方式，無需干擾可用于查看虛擬內(nèi)容和物理環(huán)境的有限視場(chǎng)，從而減少用戶在與計(jì)算機(jī)系統(tǒng)交互時(shí)的錯(cuò)誤和困惑，從而創(chuàng)建更高效的人機(jī)界面。

在一個(gè)實(shí)施例中，當(dāng)計(jì)算機(jī)系統(tǒng)收到顯示未與用戶界面對(duì)象關(guān)聯(lián)的物理環(huán)境的請(qǐng)求時(shí)，計(jì)算機(jī)系統(tǒng)自動(dòng)啟動(dòng)配置過程，以提示用戶選擇“主位置”。在一個(gè)實(shí)施例中，計(jì)算機(jī)系統(tǒng)掃描并高亮顯示新物理環(huán)境視圖中的可用表面或區(qū)域，以允許用戶從高亮顯示的表面或區(qū)域中選擇新物理環(huán)境中的位置或區(qū)域，以作為用戶界面對(duì)象的“主位置”。

在一個(gè)實(shí)施例中，計(jì)算機(jī)系統(tǒng)顯示包括一個(gè)或多個(gè)控件的虛擬菜單，從而用于觸發(fā)三維環(huán)境中與對(duì)象對(duì)應(yīng)的各操作執(zhí)行。虛擬菜單顯示在與三維環(huán)境中的對(duì)象位置相對(duì)應(yīng)的位置。響應(yīng)于用戶對(duì)對(duì)象的選擇，虛擬菜單從其在三維環(huán)境中的原始位置向更接近用戶虛擬位置的位置彈出。

對(duì)象的選擇基于與對(duì)象的交互或其在三維環(huán)境中的表示。選擇對(duì)象包括使用指向虛擬對(duì)象或物理對(duì)象表示的用戶視線選擇，并且在虛擬對(duì)象或物理對(duì)象表示的位置提供預(yù)設(shè)手勢(shì)。對(duì)象的選擇基于與物理環(huán)境中的對(duì)象的交互，例如觸控、操縱、拾取、打開等，從而導(dǎo)致在三維環(huán)境中選擇對(duì)象的表示。

在一個(gè)實(shí)施例中，顯示對(duì)象是一個(gè)包括一個(gè)或多個(gè)可選控件的虛擬菜單，并用于執(zhí)行相應(yīng)的操作，例如啟動(dòng)用戶界面、顯示相應(yīng)的虛擬體驗(yàn)、顯示子菜單、執(zhí)行相應(yīng)的應(yīng)用功能、激活計(jì)算機(jī)系統(tǒng)的相應(yīng)設(shè)備功能、調(diào)整計(jì)算機(jī)系統(tǒng)的相應(yīng)設(shè)備設(shè)置等等?？梢愿鶕?jù)用戶的視線和手勢(shì)導(dǎo)航執(zhí)行相應(yīng)的動(dòng)作。

當(dāng)用戶將視線從對(duì)象的位置移開，并且用戶不再指向與虛擬菜單和對(duì)象相關(guān)聯(lián)的區(qū)域時(shí)，計(jì)算機(jī)將虛擬菜單從靠近用戶虛擬位置的位置移到與三維環(huán)境中的對(duì)象位置相對(duì)應(yīng)的原始位置。這就好像當(dāng)用戶的視線離開虛擬菜單和對(duì)象時(shí)，虛擬菜單正在彈回到其原始位置。

在一個(gè)實(shí)施例中，在虛擬菜單與其原始位置之間顯示視覺鏈接（例如虛線等），而由于對(duì)象的選擇，虛擬菜單顯示在遠(yuǎn)離其原始位置的位置。當(dāng)虛擬菜單顯示時(shí)遠(yuǎn)離其原始位置且更接近用戶的虛擬位置，它可以用作其中包含的各個(gè)控件的起始位置，以便在視線指向各個(gè)控件時(shí)進(jìn)一步靠近用戶的虛擬位置。

當(dāng)用戶的視線從各個(gè)控件移開時(shí)，各個(gè)控件退回到其在虛擬菜單中的原始位置。虛擬菜單和其中包含的各個(gè)控件的移動(dòng)可以基于用戶視線朝向和遠(yuǎn)離虛擬菜單和/或?qū)ο蟮囊苿?dòng)。

在一個(gè)實(shí)施例中，盡管虛擬菜單耦合到用戶的視線，但它可以以一種取決于用戶視線的移動(dòng)方式來向視點(diǎn)移動(dòng)或遠(yuǎn)離視點(diǎn)。一旦用戶的視線超出了與對(duì)象和虛擬菜單對(duì)應(yīng)的區(qū)域，虛擬菜單可以快速恢復(fù)到其原始位置。響應(yīng)于對(duì)象的選擇，移動(dòng)與對(duì)象相關(guān)聯(lián)的虛擬菜單，使其更接近用戶的虛擬位置。然后，當(dāng)用戶的視線從虛擬菜單移開時(shí)，可以將虛擬菜單移回其在三維環(huán)境中的原始位置，從而允許用戶輕松地檢查虛擬菜單中包括的選項(xiàng)。

蘋果總結(jié)道，在不同交互模式之間選擇的靈活性以及集成不同交互模式所提供的優(yōu)勢(shì)可以減少用戶為執(zhí)行與操作而輸入的數(shù)量、范圍和/或性質(zhì)，從而創(chuàng)造出更高效的人機(jī)界面。

相關(guān)專利：Apple Patent | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments

名為“Devices, methods, and graphical user interfaces for interacting with three-dimensional environments”的蘋果專利申請(qǐng)最初在2021年9月提交，并在日前由美國(guó)專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/95831