查看引用/信息源請點擊：映維網(wǎng)

更接近于在元宇宙中實現(xiàn)逼真的虛擬對象和物理交互

（映維網(wǎng)?2021年11月02日）Meta首席執(zhí)行官馬克·扎克伯格日前表示，一種全新的觸摸傳感器和一種塑料材料有望支持元宇宙的開發(fā)。在一個研究項目中，Meta AI團隊與卡內(nèi)基梅隆大學(xué)的科學(xué)家開發(fā)了一種可變形的塑料“皮膚”。

名為ReSkin的材料厚度不到3毫米，成本相對低廉。在原理方面，它嵌入可以產(chǎn)生磁場的磁性粒。當(dāng)與另一個表面接觸時，粒子所產(chǎn)生的磁場會發(fā)生變化。這時，傳感器記錄磁通量的變化，然后將數(shù)據(jù)輸入解釋施加力或接觸的AI軟件。

如下圖所示，實驗利用葡萄和藍(lán)莓等軟水果作為測試。在有ReSkin反饋的情況下，機器人能夠控制力度，并輕輕地握持水果。但沒有ReSkin反饋時，機器人則會用力過猛并壓扁水果。

扎克伯格在Facebook發(fā)帖寫道：“我們設(shè)計了一種高分辨率的觸摸傳感器，并與卡內(nèi)基梅隆大學(xué)合作創(chuàng)造了一種薄薄的機器人皮膚。這使得我們更接近于在元宇宙中實現(xiàn)逼真的虛擬對象和物理交互。”

相關(guān)研究將在本月發(fā)表到學(xué)術(shù)期刊，但尚待同行評議。不過，團隊已經(jīng)在專門的頁面介紹了這個項目的詳細(xì)情況，下面是映維網(wǎng)的具體整理：

我們的觸覺幫助我們導(dǎo)航周遭世界。有了它，我們可以收集關(guān)于物體的信息，比如輕重和軟硬。從穿鞋到做飯，我們利用觸覺來完成各種日常任務(wù)。如今，人工智能可以有效地融合視覺和聲音等感官，但觸覺依然是一個挑戰(zhàn)。這在一定程度上是由于觸覺傳感數(shù)據(jù)有限。所以，人工智能研究人員希望將觸摸融入到模型中，從而實現(xiàn)人類觸摸感知的豐富性。

Meta AI和卡內(nèi)基梅隆大學(xué)合作開發(fā)了一種全新的開源觸摸感應(yīng)“皮膚”ReSkin。它可以幫助研究人員快速地、大規(guī)模地提高AI的觸覺感應(yīng)能力。利用機器學(xué)習(xí)和磁感應(yīng)方面的進步，ReSkin為長期使用提供了一種低價、通用、耐用且可更換的解決方案。它采用自監(jiān)督學(xué)習(xí)算法幫助自動校準(zhǔn)傳感器，所以具有通用性，并能夠在傳感器和系統(tǒng)之間共享數(shù)據(jù)。

團隊將發(fā)布設(shè)計、相關(guān)文檔、代碼和基本模型，以幫助AI研究人員使用ReSkin。這反過來將有助于快速地、大規(guī)模地提高人工智能的觸覺感知能力。更多項目信息可訪問這一頁面。

相關(guān)論文：ReSkin: versatile, replaceable, lasting tactile skins

像ReSkin這樣的觸覺感應(yīng)皮膚將能提供豐富的接觸數(shù)據(jù)源，并有助于在廣泛的觸摸任務(wù)中推進AI，包括對象分類、本體感覺和機器人抓取。接受過觸覺感知技能訓(xùn)練的人工智能模型將能夠完成多種任務(wù)，包括需要更高靈敏度的任務(wù)，如在醫(yī)療環(huán)境中工作，操縱小型的、柔軟的或敏感的物體。ReSkin同時可以與其他傳感器集成，在實驗室外和非結(jié)構(gòu)化環(huán)境中收集視覺、聲音和觸摸數(shù)據(jù)。組合多模態(tài)數(shù)據(jù)集有助于構(gòu)建世界的物理現(xiàn)實模型，同時可以利用數(shù)據(jù)冗余進行自我監(jiān)督學(xué)習(xí)。

1. ReSkin：一種更好的柔性傳感器

ReSkin的生產(chǎn)成本很低，100個的成本不到6美元，而更大批量的生產(chǎn)成本會更低。它的厚度為2-3毫米，可支持50000多次交互，同時具有高達400Hz的時間分辨率和1毫米的空間分辨率，精度為90%。這個規(guī)格使其成為各種形狀參數(shù)的理想選擇，如機器人手和觸覺手套。ReSkin同時可以為投擲、接住和拍手等快速操作任務(wù)提供高頻三軸觸覺信號。當(dāng)它磨損時，它可以很容易地拆離和更換。

ReSkin是一種可變形的彈性體，內(nèi)含磁性粒子。當(dāng)它以任何方式變形時，周圍的磁信號都會發(fā)生變化。我們可以用附近的磁力計測量變化，并使用數(shù)據(jù)驅(qū)動技術(shù)將其轉(zhuǎn)化為諸如接觸位置和作用力大小等信息。

目前，大多數(shù)觸覺傳感實驗都依賴于單個傳感器，因為每當(dāng)更換皮膚時都需要重新學(xué)習(xí)模型，這既低效又不切實際。為了避免每次更換新皮膚時都需要訓(xùn)練新皮膚，團隊致力于創(chuàng)建一種通用皮膚。

然而，像ReSkin這樣的柔性皮膚通常很難泛化，因為在使用柔性材料時會自然出現(xiàn)制造變化。每個傳感器都需要經(jīng)過初始和徹底的校準(zhǔn)程序，以確定其各自的響應(yīng)。另外，柔性材料會隨著時間的推移而改變特性，并根據(jù)使用方式的不同而有所不同。這意味著校準(zhǔn)程序同時必須自行適應(yīng)相關(guān)變化。早期的柔性傳感器開發(fā)通常側(cè)重于傳感原理的詳細(xì)分析，但大多數(shù)柔性傳感器沒有研究長期響應(yīng)（如一周后發(fā)生的響應(yīng)），同時未開發(fā)非專家使用的自動校準(zhǔn)過程。

對于ReSkin，團隊通過三個關(guān)鍵洞察來克服所述挑戰(zhàn)。

首先，ReSkin消除了柔性材料和傳統(tǒng)測量電子設(shè)備之間的電氣連接需求。相反，磁信號依賴于鄰近性，所以電子設(shè)備只需要在附近即可。ReSkin同時比典型的柔性傳感器更有效，因為它將內(nèi)部電子電路與被動接口分離。這使得更換磨損皮膚就像剝下和貼上貼紙一樣容易。

其次，可以更好地利用來自多個傳感器的數(shù)據(jù)來訓(xùn)練模型的映射功能，而不是依賴單個傳感器的輸入數(shù)據(jù)。以這種方式，團隊對模型進行了更高多樣性的數(shù)據(jù)訓(xùn)練，這有助于它產(chǎn)生更有效和更為泛化的輸出。

最后，團隊沒有為每個新傳感器收集校準(zhǔn)數(shù)據(jù)，而是利用了自監(jiān)督學(xué)習(xí)的進展，使用少量未標(biāo)記的數(shù)據(jù)自動微調(diào)傳感器。研究人員發(fā)現(xiàn)自我監(jiān)督模型比沒有自我監(jiān)督的模型表現(xiàn)更好。他們可以使用未標(biāo)記數(shù)據(jù)的相對位置來幫助微調(diào)傳感器的校準(zhǔn)，而不是提供ground-truth力標(biāo)記。例如，在三個接觸點中，物理上更接近的兩個接觸點將具有更相似的觸覺信號。

綜上所述，ReSkin能夠帶來一系列多功能、可擴展且價格低廉的觸覺模塊，而這是現(xiàn)有系統(tǒng)所不能實現(xiàn)的事情。現(xiàn)有的攝像頭式觸覺傳感器要求表面和攝像頭之間的距離最小，并導(dǎo)致體積更大的設(shè)計。相比之下，ReSkin可以作為一個柔薄層包裹到人類和機器人的手和手臂。

紐約大學(xué)計算機科學(xué)助理教授勒雷爾·平托（Lerrel Pinto）指出：“強大的觸覺感知是機器人技術(shù)的一個重要瓶頸。目前的傳感器要么太貴和分辨率太低，要么對于定制機器人而言太過笨重。ReSkin有潛力克服其中幾個問題。它重量輕，體積小，可以與任意夾持器兼容，我非常高興能進一步探索這種傳感器在我們實驗室機器人上的應(yīng)用。”

2. 實驗效果

為了呈現(xiàn)ReSkin的實用性，并展示它如何有助于研究人員利用以前難以收集的各種觸覺數(shù)據(jù)來推進人工智能，團隊通過數(shù)個示例應(yīng)用進行了演示：

2.1 徒手操作

ReSkin為手部操作提供了有用的觸覺感知功能，例如訓(xùn)練機器人使用鑰匙開鎖或抓取葡萄或藍(lán)莓等軟對象。團隊通過機器人夾持器演示了其有效性：

兩個磁性外殼和柔性電路板放置在平行的鉗口夾持器的兩側(cè)，它能夠通過板載微控制器采集數(shù)據(jù)并評估力反饋。夾持器內(nèi)置的力感應(yīng)無法完成任務(wù)，但通過ReSkin，它可以很好地感應(yīng)力反饋以控制抓取。當(dāng)用新皮膚替換皮膚時，系統(tǒng)能夠正常工作，無需額外調(diào)整。

2.2 野外測量

ReSkin緊湊和非突兀的設(shè)計使其成為野外測量的理想選擇。為了展示這一點，團隊在一只狗狗的鞋底放置了一張磁性皮膚和一塊柔性電路板。通過收集的數(shù)據(jù)，傳感器可以追蹤狗在休息、行走和跑步過程中施加的力的大小和方向。

2.3 人機交互

ReSkin同時可用于測量人物交互過程中的力，例如拿起物體的時候。團隊在被試右手食指放置了一張皮膚和一塊電路板，然后右手穿戴丁腈手套。利用收集的數(shù)據(jù)，研究人員在被試制作紅豆面包時測量了傳感器的輸出。

2.4 接觸定位

ReSkin同時可以在更大的表面區(qū)域進行接觸定位。這對于構(gòu)建依賴于知道對象所在位置的模型非常有用。例如，如果需要訓(xùn)練機器人可靠地?fù)炱鹞矬w，它首先需要知道要在哪里接觸物體，以及要用多少力。

3. 下一步是什么

團隊對可泛化觸覺感知的研究帶來了今天的ReSkin。它成本低，就像繃帶一樣容易更換，并且可以立即使用。這是一個強大的工具，可以幫助研究人員建立賦能多種應(yīng)用的AI模型。

Meta AI表示，希望將觸覺感知作為人工智能研究的一個領(lǐng)域進行大力推進。除了ReSkin，這家公司同時宣布了面向觸摸處理的開源生態(tài)系統(tǒng)，涵蓋高分辨率觸摸硬件（DIGIT）、模擬器（TACTO）、基準(zhǔn)測試（PyTouch）和數(shù)據(jù)集等等。

團隊相信相關(guān)進步將能提升人工智能的感知能力，并使其不再局限于視覺和聲音方面，從而提高觸覺感知的應(yīng)用。另外，團隊非常期待研究界將如何利用所述工具以進一步推進人工智能領(lǐng)域的發(fā)展。

---
原文鏈接：https://news.nweon.com/91143