查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)

AR/VR設(shè)備搭載眼動(dòng)追蹤儀正在成為趨勢(shì)

（映維網(wǎng)?2021年11月24日）AR/VR設(shè)備搭載眼動(dòng)追蹤儀正在成為趨勢(shì)，而眼動(dòng)追蹤信息存在一系列的用例。例如，可以根據(jù)眼動(dòng)信息來(lái)觸發(fā)各種事件，比方說(shuō)觸發(fā)與維修冰箱相關(guān)的全息步驟說(shuō)明。又例如，可以根據(jù)眼動(dòng)信息來(lái)判斷用戶(hù)的狀態(tài)，例如用戶(hù)在執(zhí)行任務(wù)時(shí)是否有集中注意力。

在名為“Method and system to control a workflow and method and system for providing a set of task-specific control parameters”的專(zhuān)利申請(qǐng)中，蘋(píng)果就介紹了這樣一種利用眼動(dòng)追蹤信息的方法。具體來(lái)說(shuō)，這項(xiàng)發(fā)明涉及一種用于控制工作流程的系統(tǒng)和方法。

在一個(gè)實(shí)施例中，工作流程包括要由人執(zhí)行的至少一個(gè)任務(wù)，并提供關(guān)于至少一個(gè)特定對(duì)象的信息。

在一個(gè)實(shí)施例中，可以捕獲這名用戶(hù)的至少一只眼睛的眼動(dòng)數(shù)據(jù)，并根據(jù)眼動(dòng)數(shù)據(jù)觸發(fā)事件。例如，如果用戶(hù)注視預(yù)定義對(duì)象，則會(huì)觸發(fā)特定操作。

在一個(gè)實(shí)施例中，依賴(lài)于眼動(dòng)數(shù)據(jù)和關(guān)于至少一個(gè)特定對(duì)象的信息，可以檢查是否滿(mǎn)足包括是否已執(zhí)行任務(wù)和/或是否允許執(zhí)行任務(wù)的至少一個(gè)任務(wù)條件。可以使用這名人員的眼動(dòng)數(shù)據(jù)，尤其是關(guān)于至少一個(gè)特定對(duì)象的眼動(dòng)數(shù)據(jù)來(lái)檢查和監(jiān)控工作流程的單個(gè)任務(wù)是否已經(jīng)執(zhí)行，尤其是正確執(zhí)行。所以，蘋(píng)果指出這種控制機(jī)制可以提高工作流程結(jié)果的質(zhì)量，甚至降低危險(xiǎn)情況的風(fēng)險(xiǎn)。

例如，如果這名人員已經(jīng)看到并確認(rèn)顯示的關(guān)鍵信息，則所述任務(wù)只能由這名人員執(zhí)行。其中，關(guān)鍵信息可以從對(duì)捕獲的眼動(dòng)數(shù)據(jù)的分析中得出確認(rèn)。根據(jù)另一個(gè)例子，如果這名人員是直升機(jī)飛行員，而他執(zhí)行的任務(wù)包括在特定時(shí)間間隔內(nèi)定期掃描所有儀器。這時(shí)，可以根據(jù)捕獲的眼動(dòng)數(shù)據(jù)確定他是否已經(jīng)完成特定任務(wù)。

在另一個(gè)實(shí)施例中，根據(jù)捕獲的眼動(dòng)數(shù)據(jù)確定人員的狀態(tài)，特別是情緒狀態(tài)和/或注意力狀態(tài)和/或精神狀態(tài)和/或適合工作狀態(tài)。其中，依賴(lài)于所確定的狀態(tài)執(zhí)行所述檢查是否滿(mǎn)足所述至少一個(gè)任務(wù)條件?；谂c眼睛或眼睛部分（如瞳孔或眼瞼）的運(yùn)動(dòng)相關(guān)的運(yùn)動(dòng)模式，可以確定用戶(hù)的當(dāng)前狀態(tài)，并確定用戶(hù)在執(zhí)行任務(wù)時(shí)是否注意力集中。有利的是，這項(xiàng)技術(shù)可以用于檢查這名人員是否正確執(zhí)行任務(wù)，例如積極且集中地注視與任務(wù)相關(guān)的對(duì)象，或者人員不疲勞、不緊張、不害怕或不分心。

根據(jù)發(fā)明的另一個(gè)有利實(shí)施例，可以從眼動(dòng)數(shù)據(jù)導(dǎo)出位置信息，并將其與關(guān)于至少一個(gè)特定對(duì)象的位置信息進(jìn)行比較。在這種比較的基礎(chǔ)上，可以導(dǎo)出關(guān)于執(zhí)行任務(wù)的人員的眾多信息，例如，這名人員是否查看了執(zhí)行任務(wù)的相關(guān)對(duì)象；這名人員看到了執(zhí)行任務(wù)的相關(guān)信息，是否允許這名任務(wù)執(zhí)行任務(wù)；這名人員是否按預(yù)定義順序或在特定時(shí)間間隔內(nèi)檢查了相關(guān)對(duì)象等等。所以，可以從中獲得大量的信息，例如這名人員是否正確執(zhí)行任務(wù)，或者是否允許這名人員執(zhí)行任務(wù)。

圖1是實(shí)施例的系統(tǒng)10a。根據(jù)所述方法，系統(tǒng)控制將由用戶(hù)執(zhí)行的至少一個(gè)任務(wù)的工作流程。系統(tǒng)10a可以包括一個(gè)或多個(gè)頭戴式設(shè)備12，每個(gè)頭戴式設(shè)備12包括場(chǎng)景攝像頭12a和眼動(dòng)攝像頭12b。另外，系統(tǒng)10a包括處理單元14，處理單元14可配備有用于計(jì)算控制參數(shù)CP的神經(jīng)網(wǎng)絡(luò)14a，而控制參數(shù)CP可存儲(chǔ)在系統(tǒng)10a的存儲(chǔ)設(shè)備16中。

為了提供一組特定于任務(wù)的控制參數(shù)CP，一個(gè)或多個(gè)測(cè)試人員P1、P2可以在執(zhí)行工作流的特定任務(wù)期間佩戴頭戴式設(shè)備12。當(dāng)測(cè)試人員正在執(zhí)行任務(wù)時(shí)，各個(gè)場(chǎng)景攝像頭拍攝多個(gè)場(chǎng)景圖像?；诓东@的場(chǎng)景圖像，可以提供關(guān)于測(cè)試人員P1、P2的環(huán)境中的對(duì)象的信息。然后，可以將捕獲的場(chǎng)景圖像以場(chǎng)景數(shù)據(jù)S1、S2的形式提供給處理單元。同時(shí)，當(dāng)測(cè)試人員P1、P2正在執(zhí)行任務(wù)時(shí)，眼動(dòng)攝像頭12b捕獲測(cè)試人員P1、P2的各自眼動(dòng)數(shù)據(jù)，尤其是以眼睛圖像的形式。眼動(dòng)追蹤器可以基于眼睛圖像計(jì)算測(cè)試人員P1、P2的各自注視方向。通常，注視方向或眼動(dòng)數(shù)據(jù)E1、E2可以提供給處理單元14。捕獲的眼動(dòng)數(shù)據(jù)E1、E2可以相對(duì)于相應(yīng)的場(chǎng)景數(shù)據(jù)S1、S2進(jìn)行設(shè)置，以導(dǎo)出例如關(guān)于測(cè)試人員P1、P2在特定時(shí)間在關(guān)注環(huán)境的哪個(gè)位置。

這種方法的目的可以是：環(huán)境中的哪個(gè)對(duì)象是執(zhí)行特定任務(wù)的相關(guān)對(duì)象；是否存在特定任務(wù)的單個(gè)步驟的相關(guān)時(shí)間順序；或者是否必須在特定時(shí)間間隔內(nèi)執(zhí)行任務(wù)的單個(gè)步驟；是否必須重復(fù)某些步驟，尤其是比其他步驟更頻繁等等。所述信息都可以有利地從場(chǎng)景數(shù)據(jù)S1、S2和眼動(dòng)數(shù)據(jù)E1、E2導(dǎo)出。

為了驗(yàn)證結(jié)果，可以相互比較結(jié)果。例如，如果根據(jù)P1的場(chǎng)景和眼動(dòng)數(shù)據(jù)E1將對(duì)象識(shí)別為相關(guān)對(duì)象，并且根據(jù)所有其他測(cè)試人P2的場(chǎng)景和眼動(dòng)數(shù)據(jù)E2，可以將相同的對(duì)象識(shí)別為相關(guān)對(duì)象，然后將所述對(duì)象分類(lèi)為具有高可靠性的相關(guān)對(duì)象。

在確定控制參數(shù)CP時(shí)，可以使用其他信息，例如關(guān)于各個(gè)測(cè)試人員P1、P2的技能水平SL的信息，以及任務(wù)結(jié)果或結(jié)果的質(zhì)量水平RQ。各測(cè)試人員P1、P2和/或結(jié)果質(zhì)量RQ的技能水平SL可手動(dòng)評(píng)定，并輸入系統(tǒng)10a，或由系統(tǒng)10a自身評(píng)定。例如，通過(guò)這種方式，可以根據(jù)各自的技能水平SL對(duì)各自測(cè)試人員P1、P2的輸入數(shù)據(jù)進(jìn)行加權(quán)。

另外，可以根據(jù)結(jié)果質(zhì)量RQ應(yīng)用各自的權(quán)重。然后，可以導(dǎo)出關(guān)于特定任務(wù)的進(jìn)一步信息，如觀察對(duì)象的持續(xù)時(shí)間與更好的結(jié)果之間是否存在相關(guān)性，或者更頻繁地觀察某個(gè)對(duì)象與更好的結(jié)果之間是否存在相關(guān)性。類(lèi)似地，可以確定在時(shí)間限制內(nèi)執(zhí)行任務(wù)的某些步驟是否相關(guān)，或者時(shí)間限制或時(shí)間間隔是否重要。

通過(guò)分析所述數(shù)據(jù)，即場(chǎng)景數(shù)據(jù)S1、S2、眼睛數(shù)據(jù)E1、E2和可選的各自技能水平SL和結(jié)果質(zhì)量RQ，可以導(dǎo)出特定任務(wù)的控制參數(shù)CP，并將其存儲(chǔ)在存儲(chǔ)設(shè)備16中。

然后，這些特定于任務(wù)的控制參數(shù)CP可以有利地用于控制包含特定任務(wù)的工作流程，并隨后由任何其他用戶(hù)執(zhí)行。另外，處理單元14可以使用除神經(jīng)網(wǎng)絡(luò)14a之外的其他方法。

圖2是示例性方法的一個(gè)流程圖。相關(guān)對(duì)象可以按時(shí)間順序分配給任務(wù)的單個(gè)步驟。例如，工人必須按照預(yù)定義的順序擰緊工件的一定數(shù)量螺釘。另一個(gè)例子是，一個(gè)人必須用咖啡機(jī)煮咖啡，并且必須在按下按鈕啟動(dòng)咖啡機(jī)之前將水注入水箱。

在S12中，可以在任何類(lèi)型的顯示設(shè)備向這名人員顯示信息，并通知他/她必須執(zhí)行單個(gè)步驟的及時(shí)順序。之后，在S14中，可檢查這名人員是否已閱讀信息。這可以例如通過(guò)將注視點(diǎn)與對(duì)象位置進(jìn)行比較來(lái)實(shí)現(xiàn)。

如果沒(méi)有閱讀信息，則可以在S16中顯示警告信息。另外，若沒(méi)有閱讀信息，有關(guān)注意步驟順序的信息可以持續(xù)顯示，并不允許這名人員執(zhí)行后續(xù)的操作。

然而，如果在S26中確定這名人員已按預(yù)定順序查看了所有相關(guān)對(duì)象，則在S29中認(rèn)為任務(wù)已完成。如果工作流程包含多個(gè)任務(wù)，則可以對(duì)工作流程的每個(gè)任務(wù)再次執(zhí)行所述過(guò)程。此外，如果認(rèn)為上一個(gè)任務(wù)已完成，則可能只允許工作流程的下一個(gè)任務(wù)。因此，在這種情況下，要么在S30中允許執(zhí)行下一個(gè)任務(wù)，要么輸出任務(wù)或工作流的結(jié)果。

名為“Method and system to control a workflow and method and system for providing a set of task-specific control parameters”的蘋(píng)果專(zhuān)利申請(qǐng)最初在2021年7月提交，并在日前由美國(guó)專(zhuān)利商標(biāo)局公布。

延伸閱讀：Apple Patent | Method and system to control a workflow and method and system for providing a set of task-specific control parameters

---
原文鏈接：https://news.nweon.com/91851