Facebook近日分享了自己在手部追蹤、觸覺反饋方向的研究成果——能讀取手腕神經(jīng)信號(hào)的EMG（肌電圖）手環(huán)，EMG手環(huán)從人機(jī)交互模式來(lái)看可被視為腦機(jī)接口設(shè)備的一種。

??

Facebook EMG手環(huán)（源圖：Tech@Facebook）

?

事實(shí)上，這款EMG手環(huán)的原型正是來(lái)自于2019年底被Facebook收購(gòu)的腦機(jī)接口公司CTRL-Labs。

?

Facebook研究這款手環(huán)用來(lái)干啥？簡(jiǎn)單點(diǎn)說(shuō)，是為了實(shí)現(xiàn)更好的觸覺反饋與手部追蹤效果，也就是更好的手部交互。

?

手部交互作為更自然的交互選擇，在AR/VR中并不新鮮，支持手勢(shì)識(shí)別的頭顯也不在少數(shù)。

?

但就效果而言，即使是做到個(gè)中翹楚的Facebook，其Quest 2頭顯的交互設(shè)計(jì)仍然以手柄為第一交互方式，手勢(shì)識(shí)別為次一級(jí)選擇。

?

就現(xiàn)階段來(lái)看，VR的人機(jī)交互模式已經(jīng)出現(xiàn)，下一步朝哪個(gè)方向發(fā)展卻并不明確，而AR的交互模式尚未定義出。

?

?

延用手柄，下一代計(jì)算機(jī)平臺(tái)交互模式尚未定義

?

?

諾亦騰CTO戴若犂此前曾表示VR的C端交互形態(tài)可能不會(huì)再有革命性變化。從目前情況來(lái)看，頭顯視聽從1968年到現(xiàn)在完全沒有變過，人機(jī)交互一直在變，但已趨于穩(wěn)定，手柄依然是第一選擇。

?

回顧移動(dòng)VR人機(jī)交互的演變史，VR最開始的交互形式是定時(shí)瞄點(diǎn)，或者說(shuō)凝視操作，最早出現(xiàn)在Google Cardboard上。

?

用戶戴上VR頭顯后，眼睛的正前方會(huì)出現(xiàn)一個(gè)瞄點(diǎn)，它會(huì)隨著用戶頭部同步移動(dòng)。當(dāng)用戶的注視點(diǎn)，或者說(shuō)瞄點(diǎn)停留在某個(gè)區(qū)域時(shí)，過了倒計(jì)時(shí)時(shí)間，會(huì)激發(fā)點(diǎn)擊操作。

?

圖源：網(wǎng)絡(luò)

?

而后在瞄點(diǎn)的基礎(chǔ)上添加了觸控板和返回按鍵，用戶通過在觸控板進(jìn)行滑動(dòng)進(jìn)行菜單的選擇、翻頁(yè)等操作，通過按鍵時(shí)間的長(zhǎng)短進(jìn)行功能或動(dòng)作選擇。

?

圖源：網(wǎng)絡(luò)

?

以上兩種方式局限于頭顯操作，用戶的交互選擇非常不便，直至外置藍(lán)牙手柄出現(xiàn)才改變這一現(xiàn)狀，當(dāng)時(shí)的藍(lán)牙手柄主要針對(duì)游戲設(shè)計(jì)，并非針對(duì)VR設(shè)備，因此適用性并不夠好。

?

之后才有針對(duì)VR設(shè)備的手柄控制器，新的手柄還含有IMU能進(jìn)行姿態(tài)識(shí)別，讓交互方式變得豐富，玩家可實(shí)現(xiàn)推動(dòng)、擊打、投擲等動(dòng)作模擬，但只有3DoF自由度，以小米VR、Oculus Go、Pico小怪獸為代表。

?

3DoF后來(lái)升級(jí)為6DoF，在Facebook推出VR一體機(jī)Quest后開始大幅度普及，以Quest系列、Pico Neo 2為代表。

?

Quest 2手柄（圖源：VR陀螺）

?

除了手柄外，語(yǔ)音控制作為一種自然的人機(jī)交互形態(tài)后也被納入，2020年中旬Facebook便在Quest頭顯推出，上個(gè)月在此基礎(chǔ)做出升級(jí)在Quest 2上線語(yǔ)音喚醒功能。

?

但現(xiàn)在的手勢(shì)識(shí)別功能基于頭顯的攝像頭，受光線、攝像頭追蹤范圍等限制，而且有一定程度的延遲，達(dá)不到理想狀態(tài)下的手部交互效果，因此依然無(wú)法替代手柄。

?

為了追求自然的交互效果，眼動(dòng)追蹤功能正在成為倍受追捧的對(duì)象，但目前還沒有正式搭載眼動(dòng)追蹤的消費(fèi)級(jí)頭顯設(shè)備面市，今年或許有機(jī)會(huì)體驗(yàn)。

?

圖源：網(wǎng)絡(luò)

?

回顧VR頭顯的人機(jī)交互演變史可以看到，當(dāng)交互過渡到藍(lán)牙手柄后形態(tài)基本保持穩(wěn)定，即使是有了手勢(shì)識(shí)別，依然停留在手柄階段。

?

與VR頭顯相比，AR眼鏡的交互演變更像是靜態(tài)的，Google最早一代AR眼鏡Google Glass，依靠眼鏡一側(cè)的觸控板支持用戶進(jìn)行輸入，演化至今，盡管已有設(shè)備融入基于SLAM的手勢(shì)識(shí)別操作，但更為成熟的落地方案依舊還是以控制器、手機(jī)、PC等外設(shè)實(shí)現(xiàn)操作最為常見，代表產(chǎn)品有Dream Glass等。

?

在具備手勢(shì)識(shí)別的AR交互設(shè)備當(dāng)中，HoloLens憑借著多種深度傳感器組合，用于精確感知環(huán)境與用戶的手勢(shì)，但售價(jià)過高難以進(jìn)行普及；而眼球追蹤、體感手套等交互方案因?yàn)槟壳凹夹g(shù)瓶頸、成本并未趨于成熟，并不具備面向市場(chǎng)鋪開量產(chǎn)的特性。

?

總的來(lái)說(shuō)，今天的VR交互更像是專門為VR游戲（或是全封閉式體驗(yàn)）而打造的妥協(xié)方案；而AR交互更慘，消費(fèi)端的人們依舊停留在上個(gè)時(shí)代的鼠標(biāo)、鍵盤乃至遙控器的交互時(shí)代，AR交互究竟該長(zhǎng)成啥樣，甚至都不得而知。

?

距離VR/AR的下一步發(fā)展，如今的設(shè)備與人們料想中的形態(tài)之間似乎總是缺點(diǎn)什么。

?

針對(duì)這個(gè)問題，F(xiàn)acebook曾對(duì)此做出了自己的分析，認(rèn)為手環(huán)會(huì)是補(bǔ)足這一缺失的最佳選擇，并最終成為下一代計(jì)算機(jī)平臺(tái)的交互形態(tài)。

?

Facebook此前在手環(huán)的研究上主要落在觸覺反饋，在收購(gòu)腦機(jī)接口公司CTRL-Labs后開始進(jìn)行EMG手環(huán)的研究，并于近日公開了這款EMG手環(huán)的相關(guān)研究成果。

?

?

Facebook EMG手環(huán)到底是什么？

?

?

CTRL-Labs被Facebook收入后加入FRL，CTRL-Labs創(chuàng)始人托馬斯·雷登擔(dān)任FRL神經(jīng)運(yùn)動(dòng)接口總監(jiān)。

?

他表示“正在嘗試使用神經(jīng)接口讓用戶使用周圍神經(jīng)系統(tǒng)的輸出直接控制機(jī)器，尤其是讓手和手指肌肉動(dòng)起來(lái)的大腦外部神經(jīng)。

?

EMG手環(huán)與之前陀螺君介紹過的腦機(jī)神經(jīng)接口設(shè)備NextMind類似，都是通過對(duì)電信號(hào)的獲取與轉(zhuǎn)化進(jìn)行設(shè)備的功能控制，而且都只會(huì)有選擇性地針對(duì)經(jīng)過訓(xùn)練后的信號(hào)，轉(zhuǎn)化為數(shù)字命令。

?

第一步，EMG只提供一兩個(gè)控制位，與“單擊”類似，等效于點(diǎn)擊按鈕。用戶可以進(jìn)行拇指與食指的基本操作，比如通過捏、放操縱物體。

?

EMG Demo：控制虛擬物體（圖源：Tech@Facebook）

?

之后擴(kuò)展至對(duì)虛擬物體進(jìn)行遠(yuǎn)距離操作、在桌子等平面上打字等等。由于EMG可針對(duì)不同用戶擁有個(gè)性化模型，能夠進(jìn)行適應(yīng)與優(yōu)化，因此EMG條件下打字會(huì)比現(xiàn)在使用鍵盤打字速度快得多。據(jù)了解，CTRL-Labs團(tuán)隊(duì)已在個(gè)性化模型方面取得重要進(jìn)展。

?

Neural InterFaces: ?打字演示（圖源：Tech@Facebook）

?

單純的手環(huán)可穿戴設(shè)備并不是完整的解決方案，就好像鼠標(biāo)只是交互的一部分，因此AI也是EMG手環(huán)重要組成，AI會(huì)根據(jù)理解提供自適應(yīng)界面，通過智能點(diǎn)擊的方式讓用戶以低摩擦的方式執(zhí)行高度上下文相關(guān)的動(dòng)作。

?

比如用戶在進(jìn)行慢跑時(shí)，AR系統(tǒng)會(huì)根據(jù)您過去在該行為中存在聽歌習(xí)慣，會(huì)在顯示屏上顯示該選項(xiàng)：“播放正在運(yùn)行的播放列表？”，用戶做簡(jiǎn)單的手勢(shì)進(jìn)行智能點(diǎn)擊確認(rèn)即可。

?

這種自適應(yīng)界面無(wú)需用戶在自然環(huán)境與設(shè)備之間進(jìn)行注意力的轉(zhuǎn)移。

?

圖源：Tech@Facebook

?

除了低摩擦的手勢(shì)輸入與基于AI系統(tǒng)的自適應(yīng)界面外，還需要一種閉合反饋回路的方法，也就是如何讓系統(tǒng)與用戶進(jìn)行通信——通過觸覺反饋。FRL認(rèn)為，人類從出生開始便進(jìn)行非常豐富的觸覺反饋循環(huán)，我們已經(jīng)演化為利用觸覺信號(hào)來(lái)了解世界。

?

為了進(jìn)行手環(huán)觸覺研究，F(xiàn)RL還在構(gòu)建了兩種原型：Belloband與Tabsi。

?

Belloband柔軟輕巧，手環(huán)一圈設(shè)有八個(gè)氣動(dòng)風(fēng)箱，通過控制風(fēng)箱內(nèi)的氣體產(chǎn)生不同類型的壓力與振動(dòng)，該模型屬FRL早期研究；相較之下，Tabsi觸覺反饋原理不則不同，它采用六個(gè)觸覺致動(dòng)器與一個(gè)較新穎的手腕擠壓機(jī)制。

?

Tabsi（圖源：Facebook）

?

FRL表示這些研究還處于早期階段，但是很有前景。那Facebook如何看待EMG手環(huán)？

?

?

Facebook：EMG手環(huán)會(huì)是下一代計(jì)算機(jī)平臺(tái)交互形態(tài)

?

?

Facebook首席科學(xué)家Abrash說(shuō)：“為使AR真正普及，需要低摩擦、始終可用的技術(shù)。該技術(shù)必須直觀易用，成為身體延展的一部分。這與今天的人機(jī)交互相距甚遠(yuǎn)，因此我們需要像恩格巴特一樣，發(fā)明一種全新界面——一種將我們置于計(jì)算體驗(yàn)中心的界面。”

?

Abrash提到的恩格巴特，其團(tuán)隊(duì)于1960年代發(fā)明了鼠標(biāo)，從根本上改善了人機(jī)交互。

?

圖源：Tech@Facebook

?

因此，六年前在FRL Rearch（那時(shí)還叫Oculus Reseach）剛成立時(shí)Facebook便開始為AR眼鏡設(shè)想理想的輸入設(shè)備。

?

FRL Research聚集了一支由研究科學(xué)家，工程師，神經(jīng)科學(xué)家等組成的高度跨學(xué)科的團(tuán)隊(duì)，由研究科學(xué)總監(jiān)Sean Keller領(lǐng)導(dǎo)，全力解決AR交互問題以及期實(shí)現(xiàn)新計(jì)算形態(tài)的下一個(gè)重大范式轉(zhuǎn)變。

?

Sean Keller（圖源：Tech@Facebook）

?

在他們心目中，AR界面可在任何情況下使用，能將隱私、安全放在第一位遵循以人為本的原則，讓用戶能在自己控制下進(jìn)行個(gè)性化的AR體驗(yàn)。

?

從形態(tài)上看，屬于合適全天侯佩戴且續(xù)航時(shí)間足夠長(zhǎng)的可穿戴設(shè)備，又需要做到不引人注目，易于學(xué)習(xí)使用。

?

這樣一個(gè)始終可用而且擁有超低摩擦的AR界面，據(jù)Abrash解釋，需建立在兩大技術(shù)支柱：超低摩擦的輸入與功能強(qiáng)大擁有上下文感知的AI模型。

?

超低摩擦輸入，意味著當(dāng)用戶需要采取行動(dòng)時(shí)，從思想到行動(dòng)的路徑能做到盡可能短而且直觀，比如手勢(shì)、語(yǔ)音等等直至找到更為自然、輕松的方式來(lái)控制AR眼鏡。該團(tuán)隊(duì)還對(duì)一系列神經(jīng)輸入選項(xiàng)進(jìn)行了探索，其中基于手腕的肌電圖（EMG）最有前景。

?

功能強(qiáng)大擁有上下文感知的AI模型意味著能在各種情況下對(duì)周圍的環(huán)境、可能需要的信息或是想要做的事情進(jìn)行深層次的推斷。理想狀態(tài)下，用戶只需單擊一次即可完成操作。

?

最終，他們選擇手環(huán)作為全天候可穿戴設(shè)備。

?

圖源：Tech@Facebook

?

為什么是手腕？其他能進(jìn)行自然交互的輸入設(shè)備，比如語(yǔ)音輸入，直觀但在公共領(lǐng)域并不私密，而且嘈雜的背景會(huì)對(duì)輸入造成影響。像手機(jī)這樣可放置在口袋的產(chǎn)品會(huì)在用戶和環(huán)境間產(chǎn)生摩擦，也就是需要在現(xiàn)實(shí)與屏幕間進(jìn)行切換。

?

從形態(tài)上看，手環(huán)形態(tài)的手表存在多年，可以適應(yīng)無(wú)論是日常生活還是社交環(huán)境，且與手這個(gè)人類與世界發(fā)生交互最為直接的身體部位，能將手豐富的控制功能帶入AR。

?

智能手表也已成為非常普遍的可穿戴設(shè)備，它能承載計(jì)算、電池、天線等器件用于支持大范圍的傳感器。對(duì)手環(huán)形態(tài)而言，唯一缺的是輸入方式，而EMG就是其中較為理想的潛在解決方案。

?

EMG通過傳感器將從手腕傳輸?shù)绞值纳窠?jīng)信號(hào)轉(zhuǎn)為數(shù)字命令，對(duì)設(shè)備的功能進(jìn)行控制，EMG通過手腕信號(hào)能檢測(cè)精度達(dá)到毫米級(jí)的手指運(yùn)動(dòng)，甚至能在手指進(jìn)行真實(shí)運(yùn)動(dòng)前預(yù)測(cè)其運(yùn)動(dòng)。

?

但Facebook的手環(huán)并非一開始便采用EMG，真正采用EMG，是在2019年底收購(gòu)腦機(jī)接口公司CTRL-Labs之后，EMG手環(huán)實(shí)際是基于CTRL-Labs的研究成果。

?

為什么是EMG手環(huán)？陀螺君認(rèn)為CTRL-Labs能更好地回答這個(gè)問題。

?

托馬斯·雷登（圖源：CTRL-Labs）

?

據(jù)CTRL-Labs創(chuàng)始人托馬斯·雷登觀察，從生理上來(lái)講，人類之間所有的信息傳遞都是通過精細(xì)的運(yùn)動(dòng)控制來(lái)進(jìn)行的，無(wú)論是肢體動(dòng)作、面部表情，還是舌頭、喉嚨。

?

那么如果大腦與世界互動(dòng)所要做的一切都涉及肌肉，為什么不使用運(yùn)動(dòng)系統(tǒng)更直接地與人腦和機(jī)器進(jìn)行交互呢？

?

但與我們所見的絕對(duì)大多數(shù)直接通過某種電極，與大腦進(jìn)行連接從皮質(zhì)讀取信號(hào)的腦機(jī)接口設(shè)備不同，CTRL-Labs選擇對(duì)通過脊柱傳輸?shù)拇罅啃盘?hào)進(jìn)行檢測(cè)，這是一種更易獲得神經(jīng)系統(tǒng)信息的方式。

?

通過電極直接從大腦獲取頭部神經(jīng)信號(hào)，不同的人會(huì)產(chǎn)生不同的檢測(cè)結(jié)果，因?yàn)樵诖竽X皮層中，大腦中的神經(jīng)元彼此相鄰，在對(duì)不同事物發(fā)出信號(hào)時(shí)有時(shí)會(huì)造成分辨上的干擾。

?

而控制手部肌肉的神經(jīng)元按區(qū)域進(jìn)行劃分，而且內(nèi)部組織緊密，按CTRL-Labs的聯(lián)合創(chuàng)始人帕特里克·凱福什的說(shuō)法：“由于肌肉的布局，人與人之間具有一致性?！?/p>

?

帕特里克與CTRL-Labs手環(huán)（圖源：CTRL-Labs）

?

帕特里克還表示：“最終，我們認(rèn)為這已成為您與技術(shù)互動(dòng)的通用控制器?！?/p>

?

而這個(gè)“通用控制器”連產(chǎn)品帶團(tuán)隊(duì)率先被Facebook收入FRL，被作為AR接口繼續(xù)研發(fā)。以網(wǎng)絡(luò)世界的共通性，今天是AR接口，之后則有可能成為無(wú)論是AR、VR還是手機(jī)、電腦的通用型接口。

?

?

總結(jié)

?

?

Facebook在去年的Facebook Connect大會(huì)發(fā)布Infinite Office虛擬工作區(qū)，在演示中可以看到Facebook對(duì)未來(lái)的憧憬，隨時(shí)隨地辦公。虛擬世界的作用并不再以游戲?yàn)橹?，而是向辦公領(lǐng)域擴(kuò)展，場(chǎng)景更加生活化，能與真實(shí)世界自如切換。

?

而手環(huán)形態(tài)成為手勢(shì)識(shí)別的進(jìn)化選擇，將可能代替手柄，解放人類的雙手，而基于人類本身的EMG以及各種觸覺反饋將讓虛擬場(chǎng)景更加真實(shí)。

?

對(duì)于手部交互的認(rèn)可并不只有Facebook，蘋果近日也曝光類似于手環(huán)形態(tài)的MR智能指環(huán)，配備SMI傳感器的智能指環(huán)既可單獨(dú)使用，也可與Apple Pencil等搭配使用。

?

圍繞手部追蹤、觸覺反饋的研究越來(lái)越豐富，這一新的交互模式越來(lái)越成為共識(shí)，手環(huán)或許真的有可能成為替代手柄，成為新一代計(jì)算機(jī)平臺(tái)交互設(shè)備的標(biāo)配。而當(dāng)這一時(shí)刻來(lái)臨時(shí)，手環(huán)的交互對(duì)象將不止步于VR、AR，而是所有計(jì)算機(jī)平臺(tái)。

?

此時(shí)，計(jì)算機(jī)平臺(tái)的交互模式將迎來(lái)真正的范式改變。