諾亦騰學(xué)術(shù)前沿分享? 第九期

研究領(lǐng)域 | 遠(yuǎn)程呈現(xiàn)（Telepresence）

論文作者?|?韓國科學(xué)技術(shù)學(xué)院

? ? ? ? ? ? ? ? ?Leonard Yoon,?Dongseok?Yang

? ? ? ? ? ? ? ? ?Choongho Chung, Sung-Hee Lee

閱讀時間 | 約2分鐘

全文字?jǐn)?shù) |?約1000字

01 研究背景

遠(yuǎn)程呈現(xiàn)（Telepresence）是一種混合現(xiàn)實(shí)技術(shù)，讓用戶以虛擬化身（Virtual Avatar）形象，與異地用戶實(shí)時交流互動，仿佛真人面對面一般。然而，當(dāng)雙方用戶房間布局不同時，虛擬化身會出現(xiàn)手勢錯位、指向錯誤等情況，極大削弱遠(yuǎn)程呈現(xiàn)的臨場感和沉浸感，限制了該技術(shù)的使用場景。

針對虛擬化身手勢動作指向錯誤等問題，來自韓國科學(xué)技術(shù)學(xué)院的 Leonard Yoon、Dongseok Yang 等四位學(xué)者給出解決方案。借助諾亦騰 Hi5 VR 手套，他們將手勢動捕技術(shù)引入遠(yuǎn)程呈現(xiàn)系統(tǒng)，提出一種重新定向（Retargeting）算法，實(shí)現(xiàn)精準(zhǔn)、自然的手勢交互效果。

02 方法原理

左：用戶在自己房間內(nèi)的真實(shí)動作

右：用戶虛擬化身最后呈現(xiàn)的動作

手勢動作是遠(yuǎn)程呈現(xiàn)系統(tǒng)的重要交互方式。異地雙方用戶可通過指向某目標(biāo)等肢體語言來輔助交流。研究者的算法會調(diào)整虛擬化身的動作，使其既符合遠(yuǎn)程呈現(xiàn)的房間布局，又準(zhǔn)確傳達(dá)用戶的動作意圖。

如上圖，用戶在自己房間內(nèi)側(cè)身指向三角形時，直接還原該動作會導(dǎo)致虛擬化身指向錯誤方向，無法傳達(dá)用戶意圖，而算法則會按房間布局對動作重新定向，使虛擬化身正身指向三角形。

算法所識別的運(yùn)動、獨(dú)立、互動三類狀態(tài)

用戶狀態(tài)被算法分為三類：在房間內(nèi)走動時的運(yùn)動狀態(tài)(Locomotion)、凝視或指向某個物體時的互動狀態(tài)(Interaction)，以及不移動也不互動時的獨(dú)立狀態(tài)(Solo)。

借助諾亦騰 Hi5 VR 手套，算法可精準(zhǔn)獲取用戶的手勢動作及方向數(shù)據(jù)，為其順利運(yùn)行打下堅(jiān)實(shí)基礎(chǔ)。當(dāng)用戶的手指方向和用戶的視線方向重疊時間超過臨界值時，用戶將被識別為互動狀態(tài)，使虛擬化身的手指指向視線目標(biāo)。當(dāng)用戶處于獨(dú)立狀態(tài)時，算法則會讓化身直接還原用戶的動作，使其具備精細(xì)到手指的肢體語言。

為驗(yàn)證遠(yuǎn)程呈現(xiàn)系統(tǒng)的改進(jìn)效果，研究者設(shè)置客廳和辦公室兩類場景，每類場景有兩個布局不同的房間。邀請12位大學(xué)生擔(dān)任實(shí)驗(yàn)參與者，兩人一組，分別身處兩個房間，佩戴 VR 頭顯、諾亦騰 Hi5 VR 手套及其他設(shè)備，共同完成天文知識學(xué)習(xí)、觀看影片、虛擬繪畫三項(xiàng)任務(wù)。

通過遠(yuǎn)程呈現(xiàn)系統(tǒng)

參與者共同完成天文知識學(xué)習(xí)、觀看影片、虛擬繪畫任務(wù)

03 研究結(jié)果

在體驗(yàn)過程中，每個場景下的兩位參與者，借助諾亦騰 Hi5 VR 手套，能通過手勢交互，精準(zhǔn)了解對方想要表達(dá)的內(nèi)容，共同完成合作任務(wù)。體驗(yàn)結(jié)束后，12位參與者接受半結(jié)構(gòu)式訪談，普遍對該系統(tǒng)的沉浸感和臨場感給予積極評價(jià)。

經(jīng)研究者引入手勢動作捕捉技術(shù)，該系統(tǒng)目前已可以在遠(yuǎn)程溝通與遠(yuǎn)程協(xié)作方面發(fā)揮實(shí)際作用。研究者認(rèn)為，在未來，遠(yuǎn)程呈現(xiàn)技術(shù)還將在遠(yuǎn)程教育、企業(yè)會議、社交聚會等場景產(chǎn)生更大影響。

*本文圖表除特別注明外，均摘自論文原文。

文獻(xiàn)來源

Yoon, L., Yang, D., Chung, C., & Lee, S. (2021). A Full Body Avatar-Based Telepresence System for Dissimilar Spaces.?

原文鏈接（復(fù)制瀏覽器訪問）：https://dl.acm.org/doi/10.1145/3415256.3421487