諾亦騰學術前沿分享? 第七期

研究領域 | 手勢識別 人機交互

論文作者?| 美國 阿拉巴馬大學?美國陸軍研究實驗室?羅切斯特理工學院

?????????????????Chao Peng、Jeffrey T. Hansberger

?????????????????Lizhou Cao、Vaidyanath Areyur Shanthakumar

閱讀時間 | 約2分鐘

全文字數(shù) |?約1000字

01 研究背景

如何從雜亂無章的龐大相冊中篩選出合適的照片，是全民攝影時代的新難題。現(xiàn)有的手機、電腦、相機篩選照片流程繁瑣而重復，且界面受屏幕尺寸限制，全程費時費力，交互體驗并不理想。

為解決這一問題，來自美國阿拉巴馬大學的Chao Peng、Jeffrey T. Hansberger等四位學者，借助諾亦騰Perception Neuron產(chǎn)品，提出一個基于動作捕捉技術的VR圖片瀏覽系統(tǒng)。用戶得以在超大VR世界中沉浸式瀏覽相冊，用自然手勢代替了鼠標與觸屏操作，輕松實現(xiàn)照片的旋轉和縮放，高效查看照片細節(jié)，節(jié)省照片篩選時間，從而大幅改善交互體驗。論文已于2017年被計算機頂級會議IEEE VR接收。

02 方法原理

圖(a)為基于拇指、食指、中指建立的手部模型

圖(b)為系統(tǒng)預設的六種手勢

研究者開發(fā)了一個只包含拇指、食指和中指的手部關節(jié)模型，因為這三指的動作獨立性比無名指和小拇指更強。如上圖所示，模型由若干向量組成，而這些向量則由手腕和手指關節(jié)節(jié)點構成。通過計算相鄰兩幀向量之間的角度變化，模型可識別預設的六種基本手勢，包括滾動瀏覽、停止?jié)L動，以及圖片的指向、選定、放大、縮小。

左圖為所有照片在同一面虛擬墻的流程

右圖為照片被分在不同文件夾內(nèi)的流程

研究者設計了兩種瀏覽照片的操作流程以供用戶選擇。一種是所有照片放在同一面虛擬墻上，另一種是照片分別放在若干個可管理的文件夾中。

實驗參與者穿戴Perception?Neuron進行照片分類的場景

圖（a）為第一種流程的VR頭顯界面

圖（b）為第二種流程的VR頭顯界面

第一種流程中，用戶戴上VR頭顯后會看見一面虛擬照片墻，他可以伸手滾動整面照片墻，指向照片來完成選擇，做出放大和縮小的手勢查看照片細節(jié)。放大照片后，左滑手勢代表保留，右滑手勢代表丟棄，從而完成大量照片的分類管理。第二種流程中，用戶不再滾動照片墻，而是選擇下方文件夾以瀏覽全部照片，其余動作與第一種流程相同。

研究者采用諾亦騰Perception Neuron慣性動捕設備的手套和上肢部分，實時捕捉穿戴者的手勢動作，數(shù)據(jù)被無線傳輸至配套的Axis Neuron Pro軟件系統(tǒng)。PN慣性動捕設備效果精準穩(wěn)定，為該照片管理系統(tǒng)的順利運行打下堅實基礎。VR環(huán)境和照片墻的制作基于Unity游戲引擎完成。

03 研究結果

借助諾亦騰PN慣性動捕設備，研究者提出一個在VR環(huán)境中瀏覽照片和用手勢管理照片的系統(tǒng)，為用戶的照片分類工作節(jié)省大量時間。在未來，這項研究將為更多的人機交互方案提供靈感。

*本文圖表除特別注明外，均摘自論文原文。

文獻來源

Peng, C., Hansberger, J.T., Cao, L., & Shanthakumar, V.A. (2017). Hand gesture controls for image categorization in immersive virtual environments. , 331-332.

原文鏈接（復制瀏覽器訪問）：

https://ieeexplore.ieee.org/document/7892311/keywords#keywords