查看引用/信息源請點(diǎn)擊：映維網(wǎng)

觸覺手套，柔性機(jī)器人技術(shù)、微流體技術(shù)、手部追蹤、觸覺渲染和感知科學(xué)方面的進(jìn)展

（映維網(wǎng)?2021年11月17日）從今年三月開始，Meta的Reality Labs Reasearch開始通過系列博文來探討人機(jī)交互（HCI）的未來。在第一篇博文中，團(tuán)隊(duì)為增強(qiáng)現(xiàn)實(shí)眼鏡構(gòu)思了一個(gè)情景感知AI界面的十年愿景。它能夠利用你選擇共享的信息來提供主動(dòng)幫助，支持你查找并與周圍的人保持聯(lián)系。在第二篇博文中，團(tuán)隊(duì)介紹了關(guān)于人機(jī)交互方面的進(jìn)一步研究：將基于手腕的輸入與可用但有限的人工智能相結(jié)合，從而動(dòng)態(tài)地適應(yīng)你和你的環(huán)境。

日前，團(tuán)隊(duì)撰寫了本系列博文的最后一篇，介紹了其在觸覺手套，柔性機(jī)器人技術(shù)、微流體技術(shù)、手部追蹤、觸覺渲染和感知科學(xué)方面的進(jìn)展。下面是映維網(wǎng)的整理：

Reality Labs Reasearch有一支團(tuán)隊(duì)專門負(fù)責(zé)為增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)發(fā)明未來的交互。他們不僅僅只是在尋找前面數(shù)年的機(jī)會(huì)。基于其在高技術(shù)領(lǐng)域的專業(yè)知識(shí)，這群有志之士正在為我們10年到15年后的數(shù)字世界打造一個(gè)愿景。他們的工作是創(chuàng)造未來的技術(shù)，幫助我們實(shí)現(xiàn)與這數(shù)字世界進(jìn)行無摩擦的交互。

團(tuán)隊(duì)的研究人員、工程師和設(shè)計(jì)師正在進(jìn)行長期的研發(fā)工作，而從中誕生的技術(shù)不僅有可能從根本上改變增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)的進(jìn)程，而且有可能影響醫(yī)學(xué)和太空旅行等各個(gè)領(lǐng)域。

這是下一個(gè)人機(jī)交互時(shí)代的中心，這是一個(gè)大膽的研究項(xiàng)目，并旨在解決元宇宙的核心挑戰(zhàn)之一：我們?nèi)绾斡|及虛擬世界？

1. 通過觸覺手套來觸碰數(shù)字世界

想象一下，你正在與朋友的超逼真虛擬化身一起進(jìn)行虛擬拼圖。當(dāng)你從桌面拿起一塊虛擬拼圖時(shí)，你能夠感覺到它確實(shí)存在于自己的手中。當(dāng)你拿著拼圖進(jìn)行判斷時(shí)，你能夠感覺到拼圖邊緣的銳利和表面的光滑。然后當(dāng)你把它放在正確的位置時(shí)，你會(huì)感到滿意的咔嗒聲。

再想象一下，你正坐在一家咖啡館里工作。一個(gè)虛擬的屏幕和鍵盤出現(xiàn)在你面前，其中虛擬鍵盤匹配雙手的尺寸和面前的可用空間，并且可以根據(jù)你的喜好輕松個(gè)性化。你可以感覺到每次敲打鍵盤時(shí)的咔噠聲，以及虛擬按鍵的邊緣。你的文本鍵入就像如同操作完物理鍵盤一樣簡單。

這種體驗(yàn)將如何增強(qiáng)你與虛擬世界的聯(lián)系呢？在元宇宙中，它們會(huì)對你的生產(chǎn)能力或執(zhí)行任何行動(dòng)的能力產(chǎn)生何種影響呢？

今天最接近這一點(diǎn)的體驗(yàn)是Quest的手部追蹤功能。它可允許你在虛擬現(xiàn)實(shí)中看到雙手的數(shù)字版本，然后利用它們來操縱虛擬對象。但是，你沒有任何一點(diǎn)觸感。如果沒有觸覺反饋，我們在虛擬世界中的操作就不能像在現(xiàn)實(shí)世界中那樣靈巧。我們這項(xiàng)研究的目的正是要改變這種狀況。

肖恩·凱勒（Sean Keller）是Reality Labs Reasearch的創(chuàng)始人和負(fù)責(zé)人，他在七年的時(shí)間里將其發(fā)展成擁有數(shù)百名世界級專家的團(tuán)隊(duì)。

這位研究實(shí)驗(yàn)室的總監(jiān)解釋道：“手在解決AR和VR交互方面的價(jià)值非常巨大。我們用手與他人交流，了解世界，并在其中采取行動(dòng)。如果我們能將雙手完整呈現(xiàn)在AR和VR之中，我們就可以像真實(shí)世界一樣觸摸、感覺和操縱虛擬對象，無需學(xué)習(xí)新的交互方式?！?/p>

凱勒的目標(biāo)是發(fā)明柔軟、輕巧的觸覺手套，并解決AR/VR交互問題的兩個(gè)方面：幫助計(jì)算機(jī)準(zhǔn)確理解和反映佩戴者的手部動(dòng)作，并為佩戴者再現(xiàn)一系列復(fù)雜、細(xì)微的感覺（例如壓力、紋理和振動(dòng)），從而創(chuàng)造用手感覺虛擬對象的效果。

要想成功，這種手套需要時(shí)尚、舒適、經(jīng)濟(jì)、耐用，并且完全可定制。你可以將它們與VR頭顯配對，以獲得身臨其境的體驗(yàn)，比如在元宇宙中參加音樂會(huì)或暢玩撲克游戲。最終，它們同樣可以與AR眼鏡配對。

這種手套不僅僅是一個(gè)外設(shè)，它能夠令虛擬世界變得有形。但真正的新型觸覺手套需要在一系列的科學(xué)和工程學(xué)科中實(shí)現(xiàn)突破性的進(jìn)展。

凱勒指出：“我們幾乎是從零開始創(chuàng)造這門學(xué)科的一切。我們正在學(xué)習(xí)人類是如何感知觸覺，以及他們是如何完成任務(wù)。我們正在研究如何適配人手的各種形狀和大小，同時(shí)保持與用戶的機(jī)械耦合。我們正在探索柔性機(jī)器人和儀器追蹤系統(tǒng)的極限。我們正在研究和采用與過去完全不同的全新柔性材料和制造技術(shù)?！?/p>

面對這一巨大的挑戰(zhàn)，凱勒和團(tuán)隊(duì)首先提出的問題是：如何創(chuàng)造出可信的觸覺。

為了提供真實(shí)的觸覺，觸覺手套需要安裝數(shù)百個(gè)執(zhí)行器（微型電機(jī)），并以協(xié)調(diào)一致的方式移動(dòng)，從而為佩戴者提供仿佛自己正在觸摸一個(gè)虛擬對象的感覺。但現(xiàn)有的機(jī)械執(zhí)行器產(chǎn)生了太多的熱量，所以不適合全天候穿戴。它們同時(shí)太大、僵硬、昂貴、耗電，無法呈現(xiàn)真實(shí)的觸覺。

開始工作兩年后，團(tuán)隊(duì)遇到了傳統(tǒng)電氣、金屬部件方面的限制。他們假設(shè)通過柔軟、柔韌的執(zhí)行器來代替機(jī)械執(zhí)行器，而且這種執(zhí)行器由全新的材料制成，可以根據(jù)佩戴者的動(dòng)作改變形狀。

但是，這種執(zhí)行器在當(dāng)時(shí)根本不存在。

Reality Labs Reasearch硬件工程總監(jiān)特里斯坦·特魯特納（Tristan Trutna）解釋道：“你絕對不能夠在手上安裝1000個(gè)微型電機(jī)和電線。即使你擁有無限的資源，你都無法做到。從物理的角度來看，這并不合適。質(zhì)量太大，熱量太大。如果你需要在不同距離的不同位置施加數(shù)千個(gè)有形的力，你要么只能是通過氣動(dòng)、液壓或高密度電動(dòng)執(zhí)行器。”

團(tuán)隊(duì)轉(zhuǎn)向了柔性機(jī)器人和微流體技術(shù)等常用于假肢和PoC診斷設(shè)備的新興領(lǐng)域。

在過去的兩年中，他們在氣動(dòng)執(zhí)行器和電活性執(zhí)行器兩方面都取得了重大突破。作為說明，氣動(dòng)執(zhí)行器利用氣壓來產(chǎn)生力，而電活性執(zhí)行器則在電場作用下改變形狀或尺寸。

為了控制這種新的柔性執(zhí)行器，團(tuán)隊(duì)正在構(gòu)建世界第一個(gè)高速微流控處理器：位于手套的一個(gè)微型微流控芯片，它能夠告訴閥門何時(shí)打開和關(guān)閉，從而控制移動(dòng)執(zhí)行器的氣流。

研究科學(xué)家安德魯·斯坦利（Andrew Stanley）指出：“我們與更廣泛的微流體領(lǐng)域的不同點(diǎn)在于，我們強(qiáng)調(diào)足夠輕、快速和可穿戴。對于觸覺交互，當(dāng)虛擬現(xiàn)實(shí)或增強(qiáng)現(xiàn)實(shí)發(fā)生事件時(shí)，執(zhí)行器需要非?？斓貙χ讣饧訅骸４蠖鄶?shù)微流體過程發(fā)生在秒級，而我們則是毫秒級。我們可以實(shí)現(xiàn)更快的響應(yīng)時(shí)間。通過我們的流體邏輯電路，我們能夠通過減少控制大量執(zhí)行器所需的機(jī)電閥數(shù)量來消除系統(tǒng)中的重型機(jī)電部件?！?/p>

2. 觸覺渲染：構(gòu)建虛擬環(huán)境的精確圖片

但即使有了控制氣流的方法，系統(tǒng)都需要知道何時(shí)何地傳遞正確的感覺。這就需要先進(jìn)的手部追蹤技術(shù)，以便計(jì)算機(jī)能夠準(zhǔn)確地知道手在虛擬場景中的位置，你是否與虛擬對象接觸，以及手如何與對象交互。

它同時(shí)需要一種能夠根據(jù)人手位置和對虛擬環(huán)境的理解（包括虛擬對象的紋理、重量和剛度），在合適時(shí)間向執(zhí)行器發(fā)送正確指令的新型渲染軟件。

Reality Labs Reasearch軟件工程師弗雷斯特·史密斯（Forrest Smith）表示：“人們通常認(rèn)為‘渲染’是視覺效果，但我們使用‘渲染’一詞來表示觸覺。我們正在做的是獲取這個(gè)虛擬世界的狀態(tài)，以及你與它的交互，然后將其渲染到執(zhí)行器，以便你能感受到相應(yīng)的感覺。”

工程師賈斯汀·克拉克（Justin Clark）則進(jìn)一步指出：“為了呈現(xiàn)與對象的實(shí)時(shí)交互，我們需要模擬相應(yīng)的物理現(xiàn)象?！?。

物理引擎確定手在與虛擬對象交互時(shí)應(yīng)經(jīng)歷的力的方向、大小和位置。然后，觸覺渲染算法將所述信息與觸覺設(shè)備的特征（例如其各個(gè)執(zhí)行器的位置和屬性）結(jié)合起來，以便向設(shè)備發(fā)送正確的指令。

軟件工程師安德魯·多克森（Andrew Doxon）補(bǔ)充道：“其中一個(gè)挑戰(zhàn)是構(gòu)建能夠與不同類型執(zhí)行器協(xié)同工作，并支持廣泛觸覺體驗(yàn)的軟件。最終，我們還需要允許人們能夠以創(chuàng)建視覺或音頻內(nèi)容的方式來創(chuàng)建觸覺內(nèi)容的開發(fā)工具。”

3. 結(jié)合聽覺、視覺和觸覺反饋

當(dāng)團(tuán)隊(duì)繼續(xù)工作到第四年時(shí)，面前出現(xiàn)了第三個(gè)挑戰(zhàn)：要令紋理和感覺起效，必須以模仿現(xiàn)實(shí)的方式模擬觸摸物理，但又不能完全再現(xiàn)真實(shí)世界的物理。

盡管觸覺手套可以提供有價(jià)值的反饋，但它們不能完全阻止你在嘗試抓住虛擬對象時(shí)閉合手指，或阻止人手穿過虛擬桌子（穿模）。

于是，研究人員轉(zhuǎn)向感知科學(xué)和多感官集成：一項(xiàng)關(guān)于人類感官是如何協(xié)同工作以建立我們對世界理解的研究。

用戶體驗(yàn)研究科學(xué)經(jīng)理索菲·金（Sophie Kim）解釋了團(tuán)隊(duì)是如何利用人類的感知能力來創(chuàng)造令人信服的感覺。她說道：“我們的大腦非常擅長于接收一點(diǎn)觸覺信號(hào)、一點(diǎn)視覺信號(hào)、一點(diǎn)聽覺信號(hào)，然后就能將它們?nèi)诤显谝黄鸩⒃试S你獲得一種感覺，并確信自己手中確實(shí)是有一個(gè)物體?！?/p>

為了幫助我們理解在AR/VR中實(shí)現(xiàn)感官統(tǒng)合的感覺，感知研究科學(xué)家婕西·哈契·奧布萊恩（Jess Hartcher-O’Brien）以操縱立方體為例進(jìn)行了解釋：“如果我拿起一個(gè)立方體，我已經(jīng)對它的材料類型和可能的重量有了假設(shè)。我拿著它，我驗(yàn)證了材料，所以我結(jié)合了關(guān)于其材料特性的視覺線索和來自第一次接觸瞬間的觸覺反饋。當(dāng)我去操縱物體時(shí)，我的大腦會(huì)識(shí)別摩擦力和慣性，并能計(jì)算出物體的密度或重量。根據(jù)對我手臂運(yùn)動(dòng)的觀察，我的視覺系統(tǒng)正在進(jìn)行更新。然后，本體感告訴我手臂在空間中的位置、移動(dòng)的速度以及我的肌肉正在做什么?！?/p>

觸覺手套甚至可以允許佩戴者的感知系統(tǒng)相信它正在感受物體的重量，方法是用執(zhí)行器輕輕地拉動(dòng)佩戴者手指的皮膚，以模擬對手持對象的引力。但這一切都必須安排得恰到好處。

在2017年末的一個(gè)實(shí)驗(yàn)中（如視頻所示），一系列由不同材料制成的虛擬球體（木材、大理石、泡沫）從天而降，而團(tuán)隊(duì)使用指尖上的一個(gè)振動(dòng)旋轉(zhuǎn)裝置來提供觸覺反饋。當(dāng)球落在被試的虛擬手指尖上時(shí)，每個(gè)球都會(huì)提供獨(dú)特的視覺、聽覺和觸覺反饋線索。

凱勒指出：“所有的時(shí)間安排和設(shè)計(jì)都正好契合這種視聽觸覺體驗(yàn)。你會(huì)感覺到那是一塊泡沫、木頭或大理石。你可以感受到材料在落下時(shí)接觸手指的感覺。當(dāng)我體驗(yàn)到這一點(diǎn)時(shí)，那種感覺真是棒極了?！?/p>

4. 智能紡織品：舒適度與定制性相結(jié)合

隨著項(xiàng)目的成熟，團(tuán)隊(duì)開始解決手套的舒適性，以及將傳感器和機(jī)器執(zhí)行器集成到手套材料中的挑戰(zhàn)。顯然，一只僵硬、笨重或不舒適的手套，又或者是一只容易脫落的手套會(huì)立即打破佩戴者的任臨場感。為了避免這種情況，手套需要輕便、柔軟、耐用。

工藝工程師凱瑟琳·希利（Katherine Healy）解釋說：“我們意識(shí)到我們需要將新技術(shù)小型化，并將其設(shè)計(jì)成多功能系統(tǒng)。這樣做可以讓我們在更少的空間內(nèi)適應(yīng)更多的環(huán)境，做更多的事情。這對于實(shí)現(xiàn)舒適的形狀參數(shù)至關(guān)重要?！?/p>

材料小組開始發(fā)明新的廉價(jià)聚合物，如塑料和硅樹脂等柔性材料。它們舒適、可拉伸，但在分子水平上能夠進(jìn)行定制，以產(chǎn)生新的功能。這就需要全新的制造技術(shù)來將所述新材料轉(zhuǎn)變成真正精細(xì)的纖維，然后再將其縫合和編織成手套。

研究科學(xué)家經(jīng)理克莉絲蒂·喬斯特（Kristy Jost）補(bǔ)充道：“但是，單靠電導(dǎo)紗線并無法帶來我們在虛擬現(xiàn)實(shí)中交互所需的全部功能，所以我們正在探索如何在同一纖維或織物中構(gòu)建多種功能，包括導(dǎo)電、電容和傳感功能，并實(shí)現(xiàn)更纖細(xì)、更耐磨的形狀?！?/p>

打造一個(gè)纖細(xì)、輕盈的觸覺手套是一個(gè)挑戰(zhàn)，定制這種手套以適應(yīng)數(shù)十億人又是另一回事。

所以，材料小組同時(shí)在探索允許每只手套都能實(shí)現(xiàn)定制，以獲得最大觸覺精度和舒適度的制造技術(shù)。這樣做意味著開發(fā)設(shè)計(jì)和制造微型驅(qū)動(dòng)器的新方法，并創(chuàng)造新的編織和刺繡工藝，從而將它們精確地嵌入手套中。

希利指出：“如今，手套是由熟練的工程師和技術(shù)人員單獨(dú)制造。他們制造子系統(tǒng)，并通過手工組裝手套。我們盡可能使用半自動(dòng)化工藝，但大規(guī)模生產(chǎn)這種手套需要發(fā)明新的制造工藝?！?/p>

在虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)中提供可信觸覺體驗(yàn)所需的一些技術(shù)尚不存在，但Reality Labs Research正不斷推動(dòng)最新技術(shù)的發(fā)展，創(chuàng)造新的突破，從而令觸覺手套變成現(xiàn)實(shí)。

研究科學(xué)家經(jīng)理尼古拉斯·科隆尼斯（Nicholas Colonnese）表示：“我相信觸覺在AR/VR和元宇宙的人機(jī)交互革命中將是至關(guān)重要的拼圖。未來，我們可能會(huì)在虛擬現(xiàn)實(shí)中渲染用于與虛擬按鈕交互的‘觸覺點(diǎn)擊’，或在AR中為你選擇的運(yùn)動(dòng)提供實(shí)時(shí)訓(xùn)練指導(dǎo)，或在元宇宙中與朋友打招呼時(shí)共享自定義‘觸覺表情握手’。”

Reality Labs Research的觸覺手套項(xiàng)目在一開始像是一次登月計(jì)劃，但隨著團(tuán)隊(duì)成功創(chuàng)新并實(shí)現(xiàn)跨越數(shù)十個(gè)學(xué)科的研究飛躍，它的可行性越來越高。

凱勒表示：“當(dāng)我們開始觸覺手套項(xiàng)目時(shí)，我們問自己是否可以開發(fā)一種能夠大規(guī)模生產(chǎn)且價(jià)格合理的消費(fèi)設(shè)備，并且?guī)椭藗冊谌魏蔚胤蕉寄荏w驗(yàn)到任何有形的界面。我們當(dāng)時(shí)無法做到這一點(diǎn)，所以我們必須發(fā)明新的材料、新的傳感器和執(zhí)行器、新的集成和系統(tǒng)方法、新的渲染算法、新的物理引擎。這在當(dāng)時(shí)是不可能完成的任務(wù)，但我們已經(jīng)創(chuàng)造了一條可以幫助我們達(dá)到這一目標(biāo)的可行道路?！?/p>

在過去的七年中，凱勒和團(tuán)隊(duì)勇敢地面對未知，并開創(chuàng)了新技術(shù)、新技術(shù)和新學(xué)科。但是，他們才剛剛開始。

特魯特納指出：“這項(xiàng)研究的可能性是巨大的。盡管我們專注于制造觸覺手套，但我們在流體切換和控制方面取得的突破，更不用說柔性機(jī)器人技術(shù)，它們可能會(huì)在lab-on-chip診斷、微流控生物化學(xué)、甚至可穿戴和輔助設(shè)備方面為醫(yī)療行業(yè)帶來根本性的進(jìn)步。”

凱勒補(bǔ)充道：“Reality Labs Research是創(chuàng)新的鍛造廠。這是成為一名應(yīng)用研究人員的最佳場所之一，因?yàn)槟阌幸粋€(gè)反饋回路，你有一種方法來評估你正在發(fā)現(xiàn)、學(xué)習(xí)和構(gòu)建的事物的影響。最終，你會(huì)看到你所創(chuàng)造的一切實(shí)際上是如何影響人們和人們的生活。這是一項(xiàng)非常有回報(bào)的工作，而你在Reality Labs這樣的地方將能夠看到最后?！?/p>

---
原文鏈接：https://news.nweon.com/91613