查看引用/信息源請點擊：techxplore

混合現(xiàn)實+機器人

（映維網(wǎng)Nweon?2022年03月09日）在過去的數(shù)十年間，工程師不斷為我們帶來功能和性能越來越先進(jìn)的技術(shù)，比方說“空間計算”。

空間計算是指計算機、機器人和其他電子設(shè)備“感知”周圍環(huán)境并創(chuàng)建其數(shù)字表示的能力，而混合現(xiàn)實等尖端技術(shù)可以顯著增強空間計算，并幫助創(chuàng)建復(fù)雜的傳感和測繪系統(tǒng)。

日前，微軟混合現(xiàn)實與人工智能實驗室（Microsoft Mixed Reality and AI Lab）和蘇黎世理工學(xué)院的研究人員提出了一種將混合現(xiàn)實和機器人技術(shù)結(jié)合起來，以增強空間計算應(yīng)用的框架。

能夠感知周圍環(huán)境并以數(shù)字方式表示的空間計算為人機交互提供了全新的能力。特別是，在混合現(xiàn)實設(shè)備結(jié)合空間計算和Egocentric Sensing自我中心感知可允許系統(tǒng)捕獲和理解人類行為，并將其轉(zhuǎn)化為具有空間意義的行為。

所以在名為《Spatial Computing and Intuitive Interaction: Bringing Mixed Reality and Robotics Together》的論文中，團(tuán)隊提出了基于上述理念的三個機器人用例系統(tǒng)：檢查任務(wù)規(guī)劃；基于手勢的控制；以及沉浸式遠(yuǎn)程操作。

第一個系統(tǒng)設(shè)計用于規(guī)劃需要檢查給定環(huán)境的機器人任務(wù)?；旧?，人類用戶穿戴HoloLens在目標(biāo)環(huán)境中移動，放置全息圖，形成定義機器人軌跡的航路點。另外，用戶可以突出顯示希望機器人收集圖像或數(shù)據(jù)的特定區(qū)域。相關(guān)信息經(jīng)過整理后，就可以在機器人檢查環(huán)境時用以指導(dǎo)它的動作和行動。

團(tuán)隊創(chuàng)建的第一個系統(tǒng)將HoloLens映射轉(zhuǎn)換為二維占用網(wǎng)格表示，坐標(biāo)框架與網(wǎng)格對齊，以便通過激光雷達(dá)實現(xiàn)機器人定位。

第二個系統(tǒng)是一個基于手勢的控制界面。其中，人類用戶可以通過HoloLens來有效地與機器人交互，使用手勢來操作機器人完成一系列的動作。研究人員指出，設(shè)備的共同定位允許它們各自能夠?qū)⒆约憾ㄎ坏揭粋€共同的參考坐標(biāo)系。基于它們相對于所述公共坐標(biāo)系的單獨姿勢，可以計算本地化設(shè)備之間的相對變換，并隨后用于實現(xiàn)設(shè)備之間的新行為和協(xié)作。

為了實現(xiàn)設(shè)備的共定位，團(tuán)隊引入了一個旨在確保系統(tǒng)中的所有設(shè)備都共享彼此位置和一個公共參考映射的映射。用戶只需執(zhí)行一系列直觀的手勢，就可以使用HoloLens頭顯為機器人提供導(dǎo)航指示。

第三個系統(tǒng)主要用于沉浸式遠(yuǎn)程操作，這意味著用戶可以在利用機器人的“眼睛”來查看感知機器人周圍環(huán)境，并且遠(yuǎn)程控制機器人。對于這個系統(tǒng)，原理與上述介紹類似，遠(yuǎn)程機器人可以將攝像頭視圖傳送回HoloLens，并在設(shè)備用戶的視場投射相關(guān)的視圖。這時，HoloLens可以將用戶的操作指令發(fā)回給機器人，并致使其執(zhí)行一系列的操作。

對于需要機器人在人類無法進(jìn)入的環(huán)境中導(dǎo)航的情景，這種系統(tǒng)將特別具有價值。

研究人員解釋道：“我們探索用戶動作向遠(yuǎn)程機器人的投射，以及機器人空間感知向用戶的投射。我們考慮了多個層次的沉浸感，基于觸控和操縱實際機器人的模型來視線控制，以及更高級別的沉浸，亦即將用戶的運動直接映射到機器人，令用戶‘變成’機器人?！?/p>

在最初的測試中，所述三個系統(tǒng)都取得了非常具有前景的實驗結(jié)果。當(dāng)然，團(tuán)隊坦誠未來依然需要進(jìn)一步的優(yōu)化和測試。但這項實驗突出了通過MR+機器人來增強空間計算和人機交互的潛力。未來，所述系統(tǒng)可以應(yīng)用到眾多不同的環(huán)境，幫助人類與機器人進(jìn)行密切協(xié)作，從而有效地解決更廣泛的復(fù)雜現(xiàn)實問題。

相關(guān)論文：Spatial Computing and Intuitive Interaction: Bringing Mixed Reality and Robotics Together（https://paper.nweon.com/11843）

團(tuán)隊最后表示：“所述研究展示了混合現(xiàn)實作為人機交互工具的力量，以及空間計算和混合現(xiàn)實推動人機交互未來的潛力?！?/p>

---
原文鏈接：https://news.nweon.com/95061