查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)

源域科技CTO李子琪專(zhuān)業(yè)解讀，數(shù)據(jù)手套是理想VR物理交互的最佳載體

（映維網(wǎng)?2021年11月24日）作為最重要最自然的交互方式，基于人手的人機(jī)交互方案將變得越來(lái)越重要。近期，AR/VR領(lǐng)域的主要玩家Meta（Facebook）公司也對(duì)外展示了他們?cè)诨谌耸值娜藱C(jī)交互方案領(lǐng)域的最新原型設(shè)備。與此同時(shí)，騰訊、招商銀行也參投了知名的視覺(jué)手部追蹤與交互廠(chǎng)商Ultraleap的6000萬(wàn)英鎊D輪融資。

延伸閱讀：Meta深度分享用力反饋手套為AR/VR元宇宙提供觸感體驗(yàn)

延伸閱讀：騰訊、招行參投，Ultraleap完成6000萬(wàn)英鎊D輪融資

為了更好地解讀基于人手的人機(jī)交互方案的重要性，映維網(wǎng)與手部交互專(zhuān)家源域科技CTO李子琪進(jìn)行了一次對(duì)話(huà)交流。源域科技是一家專(zhuān)注于手部姿態(tài)捕捉和交互的科技公司，其核心產(chǎn)品Mastery—掌控?cái)?shù)據(jù)手套，在手部追蹤領(lǐng)域有世界領(lǐng)先的性能和體驗(yàn)。

映維網(wǎng)：人機(jī)交互是AR/VR不可或缺的一環(huán)，也是資本青睞的硬科技之一。比如，剛得到騰訊、招行等眾多投資者提供的6000萬(wàn)英鎊融資的Ultraleap。作為AR/VR元宇宙的主要投資者，Meta（Facebook）近期也展示了他們重點(diǎn)投資的手部交互數(shù)據(jù)手套。為什么基于人手的人機(jī)交互方案很重要呢？

李子琪：人類(lèi)對(duì)運(yùn)動(dòng)/軀體感覺(jué)皮層的早期認(rèn)識(shí)主要來(lái)自于對(duì)正在經(jīng)歷腦外科手術(shù)的清醒病人的皮層進(jìn)行直接進(jìn)行電刺激。皮層拓?fù)涞匦螆D記錄了人腦皮層與身體部位的對(duì)應(yīng)關(guān)系。將運(yùn)動(dòng)/軀體感覺(jué)皮層的拓?fù)涞匦螆D以3D的形式呈現(xiàn)，我們可以直觀了解到身體的不同區(qū)域在運(yùn)動(dòng)和軀體感覺(jué)皮層表征的比率。

皮層拓?fù)涞匦螆D（Cortical topography）

身體部位的實(shí)際大小和該部位在皮層表征的大小之間并沒(méi)有直接的聯(lián)系。比如，控制手指、嘴部和舌部肌肉的運(yùn)動(dòng)/感覺(jué)的皮層面積要遠(yuǎn)大于如果按身體比例進(jìn)行表征時(shí)應(yīng)得的大小。這樣的腦部結(jié)構(gòu)保證了我們可以控制手指和嘴唇/舌頭進(jìn)行精細(xì)的操作，這一定程度上也有利于我們對(duì)工具和語(yǔ)言/表情的使用。

軀體感覺(jué)侏儒圖（左）和運(yùn)動(dòng)侏儒圖（右）

手是人類(lèi)能夠用于生產(chǎn)交互的最自然也是最靈巧的器官。在基于VR/AR的3D計(jì)算機(jī)環(huán)境下狹義的物理交互技術(shù)中，高品質(zhì)的手部交互方案很顯然也是最為關(guān)鍵的技術(shù)。

可以想象，假如存在完美的人手動(dòng)作捕捉和手部觸覺(jué)反饋，那么這套系統(tǒng)在第一人稱(chēng)的3D環(huán)境里可以在涵蓋繼承所有已有的物理交互方案。這無(wú)疑最自然的物理交互方式，配合以VR/AR在虛擬環(huán)境中更能夠創(chuàng)造無(wú)限新的可能。

雖然總有人喜歡拿動(dòng)漫及科幻故事的腦機(jī)接口來(lái)暢想未來(lái)，可是很遺憾，依照現(xiàn)實(shí)的技術(shù)發(fā)展情況，距離能夠大規(guī)模應(yīng)用，達(dá)到人類(lèi)現(xiàn)有設(shè)備，諸如常見(jiàn)的鼠標(biāo)鍵盤(pán)交互效率和方便程度的腦機(jī)技術(shù)方案仍是遙不可及的事情。因此高質(zhì)量的手部交互方案仍然是可見(jiàn)的未來(lái)中最值得期待的方案。

映維網(wǎng)：基于人手的人機(jī)交互方案主要有哪些

李子琪：Meta和Ultraleap相關(guān)的技術(shù)和產(chǎn)品涵蓋了多種基于手的交互方案，包括數(shù)據(jù)手套（觸覺(jué)和追蹤）、視覺(jué)手部追蹤、以及革新性的Oculus?Touch手柄（弱追蹤3指）。除此之外還有Valve?Index的Knuckles手柄（弱追蹤5指），以及B端多種不同方案的數(shù)據(jù)手套（外骨骼手套）。

這些技術(shù)及產(chǎn)品毫無(wú)疑問(wèn)指向的是同一個(gè)大目標(biāo)：讓用戶(hù)在第一人稱(chēng)3D環(huán)境（尤其是VR/AR）中，能夠更加自然地用手來(lái)完成高精度的物理交互，并且獲得良好的觸覺(jué)反饋體驗(yàn)。

在這里講的物理交互特指需要用物理動(dòng)作操作的交互方式，例如過(guò)去基于鼠標(biāo)鍵盤(pán)的點(diǎn)擊拖動(dòng)，基于電容屏的多點(diǎn)觸控操作，以及在VR/AR環(huán)境中需要用手部完成的3D交互操作等。

Meta（Facebook）力反饋手套（2021）

映維網(wǎng)：這次Meta（Facebook）展示的觸覺(jué)手套的技術(shù)原理是什么

李子琪：時(shí)隔多年Meta也重新將大眾的目光吸引到了觸覺(jué)手套上，向我們展示了一款主要基于微流體氣動(dòng)的觸覺(jué)手套。但這并不是一項(xiàng)全新方案，該方案與多年前已公開(kāi)的HaptX手套的基礎(chǔ)原理相同——通過(guò)對(duì)手套上的微小氣囊陣列進(jìn)行充氣、放氣的進(jìn)而模擬產(chǎn)生觸感。

氣囊觸覺(jué)組件：Haptx （左）vs Meta（右）

在Meta的演示視頻中，我們可以看到手套有一簇氣體管道以及疑似為氣體控制閥門(mén)陣列的組件。氣體管道連接末端疑似還有氣泵支持組件，但并未在視頻里公開(kāi)。

Meta 觸覺(jué)手套 疑似氣體控制閥門(mén)陣列組件

映維網(wǎng)：該技術(shù)方案目前有哪些優(yōu)缺點(diǎn)

李子琪：不同于過(guò)往的力反饋方案只能在手部個(gè)別部位產(chǎn)生力的牽引效果，這種基于微流體氣動(dòng)的微小氣泡陣列方案，通過(guò)數(shù)量眾多的微小氣囊，可將人手的觸覺(jué)反饋信息量提升到新層次，能夠給手提供遠(yuǎn)超過(guò)去設(shè)備能夠提供的豐富觸感信息。在這個(gè)層面上講，這是人類(lèi)工程往手部觸覺(jué)探索的一次大進(jìn)步。

延伸閱讀：HaptX指責(zé)Meta抄襲觸覺(jué)手套專(zhuān)利

同時(shí)，參考HaptX的商業(yè)發(fā)展路徑，在對(duì)價(jià)格不敏感的高端商用VR訓(xùn)練場(chǎng)景中，這類(lèi)觸覺(jué)手套方案已經(jīng)能夠發(fā)揮重要作用。

再說(shuō)這項(xiàng)方案的問(wèn)題或缺點(diǎn)。從HaptX公開(kāi)信息中對(duì)比得知，該方案需要?dú)獗眉翱刂崎y門(mén)等組件，為手套中氣囊觸覺(jué)組件的充放氣提供供給。HaptX在2019年左右公開(kāi)過(guò)氣泵組件，氣泵的尺寸體積與臺(tái)式電腦機(jī)箱相當(dāng)。HaptX曾聲稱(chēng)，HaptX基于微流體氣囊的觸覺(jué)手套方案或許永遠(yuǎn)無(wú)法做成普通消費(fèi)產(chǎn)品。

HaptX 手套的氣泵集成箱體

基于Meta公開(kāi)的視頻資料，我們可以看到，目前Meta同樣未能將氣泵組件做到小型化。

與普通電子產(chǎn)品相比，Meta整套方案同時(shí)也是融合了更多復(fù)雜機(jī)構(gòu)的機(jī)械產(chǎn)品。但如果要往消費(fèi)市場(chǎng)發(fā)展，還需要考慮更多其它問(wèn)題——復(fù)雜的機(jī)械機(jī)構(gòu)組件，難以控制的成本，以及復(fù)雜組件帶來(lái)的售后和維護(hù)等。這些都會(huì)極大阻礙產(chǎn)品向消費(fèi)市場(chǎng)發(fā)展。

當(dāng)前來(lái)看，我認(rèn)為Meta（Facebook）更多是在用這項(xiàng)方案展示一下技術(shù)實(shí)力。在未來(lái)相當(dāng)長(zhǎng)的時(shí)間內(nèi)，這個(gè)技術(shù)方案都沒(méi)有可能應(yīng)用在其消費(fèi)級(jí)產(chǎn)品中。

映維網(wǎng)：那如何評(píng)價(jià)Ultraleap的技術(shù)方案

李子琪：Ultraleap核心產(chǎn)品之一是基于視覺(jué)的手部追蹤，其最新推出的手部視覺(jué)追蹤算法引擎Gemini更是把視覺(jué)手部追蹤推向了極致，從目前的公開(kāi)資料對(duì)比，其效果要強(qiáng)于Oculus?Quest?2以及微軟的Hololens 2的視覺(jué)手部追蹤。

Ultraleap第五代手部追蹤平臺(tái)Gemini

AR/MR與VR的交互有很多相似性，對(duì)手部交互提出了新的需要，但是對(duì)于物理交互的需求程度，二者還是有區(qū)別。

AR/MR應(yīng)用于開(kāi)放環(huán)境，現(xiàn)實(shí)環(huán)境占據(jù)的比例甚至遠(yuǎn)大于虛擬部分，僅需要弱物理交互即可完成大多數(shù)操作，允許手部在現(xiàn)實(shí)世界里維持原有的職能而不受影響。此類(lèi)設(shè)備對(duì)裸手直接交互有著更為迫切的需求，具有代表性的是微軟的Hololens系列MR頭顯和大部分現(xiàn)存的AR頭顯，基于視覺(jué)的手部追蹤也非常好地吻合了這個(gè)需求。

但高質(zhì)量的VR環(huán)境需要的是強(qiáng)物理交互，對(duì)交互的可靠性、穩(wěn)定性和精準(zhǔn)性提出了更高的要求。受限于其自身原理，基于計(jì)算機(jī)視覺(jué)的手部追蹤方案，在追蹤可靠性和追蹤范圍上不能得到保障。即便是當(dāng)今世界最好的視覺(jué)手部追蹤，其問(wèn)題和天花板也非常明顯，Ultraleap也不例外。

我所接觸過(guò)的深度體驗(yàn)過(guò)視覺(jué)手部追蹤交互的用戶(hù)，幾乎都會(huì)認(rèn)為手部追蹤交互有點(diǎn)反人類(lèi)設(shè)計(jì)。為什么呢？首先，手需要放到攝像頭視野內(nèi)才能被有效追蹤，但長(zhǎng)時(shí)間把手放到胸前就會(huì)讓手臂極其疲勞；其次，可靠性的不足會(huì)大大提高交互失敗的概率，這就進(jìn)一步要求用戶(hù)要盡可能以較大的動(dòng)作幅度去完成交互，同時(shí)用戶(hù)還要忍受交互失敗后要重做動(dòng)作的痛苦。

相比按鍵式輕松點(diǎn)擊操作來(lái)進(jìn)行選擇、確認(rèn)，通過(guò)視覺(jué)原理手勢(shì)來(lái)完成交互幾乎成了一種煎熬。

目前市面上把基于視覺(jué)原理的手勢(shì)交互作為自身亮點(diǎn)的VR/AR眼鏡，基本都存在這個(gè)問(wèn)題——讓人感覺(jué)很酷，但實(shí)際操作體驗(yàn)較差，無(wú)法承擔(dān)高頻的物理交互。

HoloLens?-左上、Quest -右上、Ultraleap-左下、影創(chuàng)-右下

好在AR/MR可以只需要弱物理交互，操作需求并不頻繁。相比AR/MR帶來(lái)的功效和便捷而言，這種偶爾才需要手部操作，累一點(diǎn)、失敗一次，也完全可以接受。在這種需求下，視覺(jué)手勢(shì)交互就有了一定的發(fā)揮空間。

但在VR的強(qiáng)物理交互需求下，基于計(jì)算機(jī)視覺(jué)的手部追蹤的弊端就特別明顯了。我們可以參考強(qiáng)物理交互需求的電腦手機(jī)的辦公或游戲，沒(méi)有用戶(hù)能忍受每20次操作就會(huì)錯(cuò)一次的交互操作體驗(yàn)，我們會(huì)懷疑是不是產(chǎn)品壞了。這也可以解釋?zhuān)瑸槭裁醇词故菗碛蟹浅?yōu)秀視覺(jué)手部追蹤技術(shù)的Oculus Quest 2，也難以推動(dòng)這項(xiàng)技術(shù)在Quest上的更大范圍應(yīng)用。

UltraLeap 的超聲波陣列+視覺(jué)追蹤

另外，為了彌補(bǔ)裸手視覺(jué)追蹤時(shí)的手部觸感缺失，UltraLeap使用了超聲波陣列隔空向手部發(fā)射聲波能量，以制造觸感。需要注意的是，該方式會(huì)引入體積較大的外部超聲波組件，會(huì)進(jìn)一步限制手部的自由交互可操作空間范圍。

雖然在VR環(huán)境中，基于視覺(jué)的手部追蹤技術(shù)沒(méi)有很好的優(yōu)勢(shì)，但不可否認(rèn)它在特定環(huán)境下的價(jià)值，例如車(chē)機(jī)系統(tǒng)或者公共場(chǎng)合中的無(wú)接觸操作的環(huán)境。

映維網(wǎng)：你認(rèn)為AR/VR手部物理交互在未來(lái)會(huì)有怎樣的發(fā)展

李子琪：相比VR，目前AR的發(fā)展階段過(guò)于早期，未來(lái)走向消費(fèi)級(jí)AR的產(chǎn)品形態(tài)仍不確定，即使是蘋(píng)果，初期也很可能只是Apple Watch級(jí)別的配件，提供簡(jiǎn)單的信息呈現(xiàn)功能。與AR眼鏡技術(shù)相容性很好的視覺(jué)手部追蹤方案，在獨(dú)立AR眼鏡大規(guī)模鋪開(kāi)之前，難有更大的用武之地。

VR在Meta（Facebook）的大力推動(dòng)之下，已經(jīng)穩(wěn)步向消費(fèi)品邁進(jìn)。高質(zhì)量的手部追蹤和觸覺(jué)反饋是VR物理交互的關(guān)鍵。數(shù)據(jù)手套無(wú)疑是可見(jiàn)的實(shí)現(xiàn)理想VR物理交互的最佳載體——不受視覺(jué)遮擋限制，手部物理交互不再需要將手放至面前胸前，可隨意舒適地自由操作，同時(shí)還能承載物理反饋功能。

過(guò)往高品質(zhì)數(shù)據(jù)手套制造成本過(guò)高，性能效果不佳，這些原因一定程度上導(dǎo)致其無(wú)法承擔(dān)消費(fèi)級(jí)用途。目前市面售價(jià)在8000-20000元每套的數(shù)據(jù)手套，捕捉品質(zhì)差強(qiáng)人意，沒(méi)有追蹤細(xì)節(jié)可言，無(wú)法提供消費(fèi)者潛意識(shí)中認(rèn)為的數(shù)據(jù)手套應(yīng)有的使用效果和體驗(yàn)。與消費(fèi)級(jí)千元價(jià)位的VR手柄相比，除了新奇性和特種應(yīng)用之外，基本沒(méi)有優(yōu)勢(shì)可言了。

基于數(shù)據(jù)手套的手部交互方案目前主要面向B端用戶(hù)。當(dāng)前基于手部的人機(jī)交互方案也是方興未艾，國(guó)內(nèi)有源域科技、諾亦騰等數(shù)據(jù)手套方案，國(guó)外有Manus，Meta等。

映維網(wǎng)：源域科技也是專(zhuān)業(yè)的數(shù)據(jù)手套廠(chǎng)商，相比之下，你們的產(chǎn)品具有哪些優(yōu)勢(shì)

李子琪：源域科技的數(shù)據(jù)手套可以高精度追蹤全手30+自由度信息，超過(guò)了傳統(tǒng)解剖學(xué)對(duì)手部自由度簡(jiǎn)化后的定義，超過(guò)了市面上所有已公開(kāi)的手部追蹤技術(shù)。從性能指標(biāo)來(lái)看，更是超過(guò)了市面售價(jià)15-20萬(wàn)元每套的動(dòng)作捕捉數(shù)據(jù)手套。源域科技有更加精細(xì)的手部捕捉，可以捕獲細(xì)微的動(dòng)作變化，允許用戶(hù)用最小的體力消耗，不傻也不累地完成手部自然物理交互。

源域科技舊版數(shù)據(jù)手套原型視頻，新版產(chǎn)品暫時(shí)保密

源域科技采用了革新的數(shù)據(jù)手套技術(shù)方案，在提升性能的前提下大幅削減了組件成本，并從設(shè)計(jì)之初就考慮了量產(chǎn)的選型與可行性。若向消費(fèi)級(jí)產(chǎn)品方向發(fā)展，在保證最佳追蹤效果的同時(shí)，量產(chǎn)成本及售價(jià)與當(dāng)前的VR手柄可達(dá)到同一數(shù)量級(jí)。源域科技的方案為面向大眾消費(fèi)市場(chǎng)的高品質(zhì)低成本數(shù)據(jù)手套提供了可能。

在可預(yù)見(jiàn)的未來(lái)，隨著市場(chǎng)需求增加和技術(shù)發(fā)展，面向C端的低成本交互套裝將隨之涌現(xiàn)。

---
原文鏈接：https://news.nweon.com/91834