查看引用/信息源請點擊：映維網(wǎng)

評估由于失去手部追蹤而導致的運動錯誤感知

（映維網(wǎng)?2021年11月09日）隨著光學手部追蹤技術的不斷改進，基于第一人稱攝像頭的手部追蹤越來越優(yōu)于基于控制器的追蹤?；诘谝蝗朔Qcamea的追蹤依靠頭顯攝像頭和計算機視覺來檢測攝像頭圖像中的手部。這種無控制器追蹤允許用戶與虛擬環(huán)境進行更自然的交互，并增加樂趣和參與度。然而，由于視覺條件不理想，光學手部追蹤可能會經(jīng)常失敗。例如，用戶的手部離開攝像頭的可視空間，或者一只手遮擋另一只手，或者一只手可能移動過快，從而在攝像頭圖像中產(chǎn)生運動模糊。

當手部追蹤丟失時，默認的解決方案是將虛擬化身的手部掛在上次追蹤的位置，而當追蹤恢復時，手會突然彈到新位置，從而在身體運動中產(chǎn)生跳躍。渲染運動中的這一錯誤可能會降低對真實感的感知，并影響用戶體驗。

在名為《Evaluating Study Design and Strategies for Mitigating the Impact of Hand Tracking Loss》的論文中，Meta和都柏林圣三一大學首先調(diào)查了用戶對由于失去手部追蹤而導致的運動錯誤感知，并針對上述場景提出和評估了三種不同的改進策略。

團隊提出了一種模擬手部追蹤丟失發(fā)生的方法，并為感知實驗生成樣本。其次，研究人員調(diào)查了實驗設計的各個方面，探索刺激呈現(xiàn)、問題設計、為觀眾同時提供任務的影響、以及錯誤是否被解讀為社會信號。所述主題是通過涉及數(shù)百名參與者的四個實驗進行研究。

由于疫情限制，所有實驗都是基于視頻，并在用戶家中完成。為了確保視覺感知盡可能接近虛擬現(xiàn)實體驗，團隊要求屏幕最小尺寸為13英寸，所有視頻都以全屏模式自動播放，只播放一次，并且必須在參與者能夠回答提示之前播放到完成。除注明外，每個子實驗有100名參與者。共有4個主要實驗，每個實驗由1-5個子實驗組成。除DSI約需1.5小時外，實驗持續(xù)約1小時。

實驗1：運動誤差敏感性。實驗1的第一個目標是確認手腕位置的誤差是顯著可見的。為此，團隊比較了兩種情況：無人為誤差的最高質(zhì)量運動和完全誤差，其中包含所有誤差，無改進策略。第二個目標是比較兩種不同形式的運動重建。由于團隊對理解社交過程中對錯誤的敏感性特別感興趣，因此從Talking With Hands 16.2 M數(shù)據(jù)集中選擇了參與對話的個人測試片段。這包括高質(zhì)量的全身運動捕捉數(shù)據(jù)以及語音音頻。每個實驗的輸入動作都相同，由10個動作捕捉對象（7個男性和3個女性）的10個不同片段組成，總共有100個話語。每個剪輯大約有20秒長，選擇包含連貫的講話，不會被對話伙伴打斷。團隊使用稱為3pt IK的反向運動學算法處理高質(zhì)量原始運動，以模擬基于第一人稱攝影頭的VR追蹤。為此，研究人員從運動捕捉中提取頭部和手的六個自由度，并使用Oculus?VR SDK中包含的自定義3pt IK解算器生成新的全身運動。解算器將頭部和雙手的3D世界位置和旋轉作為輸入，并估計上半身姿勢和根位置。

實驗2：改進策略和提示設計。實驗2有兩個目標。首先，團隊想了解哪種改進策略對于解決不可避免的追蹤錯誤最有效。其次，團隊想了解問題類型和回答形式是否會影響獲得的結果。共有五個子實驗，每個實驗使用不同的提示來獲得評分。在要求評分之前，所有其他測試僅顯示單一刺激。DSIS_NP作為DSIS的單一刺激變體添加，以分離呈現(xiàn)模式和反應形式。每個子實驗包含所有5個動作條件和所有100個話語。在每個運動條件下呈現(xiàn)每個話語，然后形成5個剪輯集，每個剪輯集在每個運動條件下包含20個剪輯（每個說話人2個）。參與者隨機分配查看這5組中的一組，每組約20名參與者（每個子實驗100名參與者）。這樣，每一個話語的每一個動作條件都被包括在內(nèi)，而一個個體參與者只看到一個給定話語的一個條件。

實驗3：任務的影響。用戶（希望）參與體驗，與角色互動，嘗試完成游戲目標等。他們的注意力沒有完全集中在嘗試檢測運動錯誤上。實驗3的目的是調(diào)查用戶在完成需要注意的交互任務時是否對動作錯誤不那么敏感，從而提供更真實的測試環(huán)境。研究人員向參與者告知，在每次篇端后，他們將被問及角色對話中的一個問題。所述問題是多項選擇題，需要仔細聽對話。例如：“司機遇到了什么事情？a）他被殺了，b）他逃離了現(xiàn)場，c）他發(fā)生了事故，或d）他贏得了比賽”；“演講者談論了……a）樂高電影，b）迪斯尼電影，c）戲劇表演，或d）恐怖電影?！眱?nèi)容問題與動作質(zhì)量評級問題一起提出。

實驗4：個性感知。明顯的運動錯誤可能會降低用戶體驗。他們同時可能改變交互對象的印象。先前的研究已經(jīng)證實，手勢表現(xiàn)的微小變化可以可靠地影響角色的感知個性。研究人員嘗試理解追蹤丟失所產(chǎn)生的運動錯誤是否也會影響感知的個性，從而確定此類錯誤會導致對話者印象的改變。使用實驗1中相同的IK刺激進行了一個實驗。刺激呈現(xiàn)的結構與此相同，但在本實驗中，參與者被要求對角色的性格進行評級，而不是評級錯誤，方法是為每個片段提供對十項人格清單提示的Likert反應。這是一個測量五因素人格模型（外向性、經(jīng)驗開放性、情緒穩(wěn)定性、宜人性和責任心）的小型工具，并且是社會心理學中廣泛使用的人格模型。45名參與者參與了這個實驗，22人看到了第一組動作，23人看到了第二組動作。

第一個實驗證實了人們對追蹤誤差的敏感性，并表明隨著運動質(zhì)量的提高，敏感度會增加。第二個實驗評估了錯誤改善策略，并表明所有策略都是有益的，而且團隊比較了不同的調(diào)查提示和呈現(xiàn)模式。第三個實驗表明，當參與者被賦予額外的會話任務時，錯誤敏感性會降低。第四個實驗表明，動作錯誤可解釋為角色性格的轉變，而這會對社交虛擬現(xiàn)實產(chǎn)生影響，至少在一定程度上是如此。

相關論文：Evaluating Study Design and Strategies for Mitigating the Impact of Hand Tracking Loss

總的來說，團隊研究了會話交互中的手部追蹤丟失。首先，研究人員提出了一種在無錯誤運動捕獲數(shù)據(jù)上模擬基于頭顯的手部追蹤丟失事件的方法，并評估了參與者對這些錯誤的敏感性，包括對感知個性的影響。接下來，團隊提出了三種錯誤改善策略，并表明每種策略都提高了感知運動質(zhì)量。最后，研究人員調(diào)查了研究設計問題。盡管所有三種錯誤改善策略都改善了感知運動質(zhì)量，但與其他策略相比，衰減趨勢更差。當進行會話回憶任務時，對動作質(zhì)量的敏感性較低，但改善仍有顯著改善。對于更高質(zhì)量的基礎運動，對運動誤差的敏感性同樣更高。

錯誤的存在顯著降低了人們對性格特征外向性和體驗開放性的感知，這表明人們在一定程度上將錯誤理解為對話者的“特征”。然而，這種變化的幅度很小。改善策略還有改進的余地。機器學習方法可用于確定追蹤失敗時的最佳響應。

另一個改進可能來自將改進策略直接應用于IK輸入：通過將一個假設姿勢輸入到IK算法中，身體的其他姿勢將相應地調(diào)整，并可能致使運動的整體外觀更自然。在虛擬現(xiàn)實中測試所述策略同樣很有趣，因為它們可以應用到一個人的虛擬化身上。從第一人稱和第三人稱的角度來看，不同的策略可能更可?。粚τ诘谌朔Q視圖，可以優(yōu)選視覺上最吸引人的解決方案，而對于第一人稱視圖中，空間上最靠近用戶手部的解決方案可以最好地保持用戶參與感和臨場感。用戶同時可能由于意識到有限的追蹤性能而改變他們的手勢行為，因此在VR中手勢行為可能不同于本研究中使用的捕獲運動。

---
原文鏈接：https://news.nweon.com/91382