諾亦騰學(xué)術(shù)前沿分享? 第五期

研究領(lǐng)域 | 大型場(chǎng)景下的動(dòng)作捕捉

論文作者?| 廈門(mén)大學(xué) 上?？萍即髮W(xué)?

? ? ? ? ? ? ? ? ? 戴雨笛、林逸泰、溫程璐、沈思淇、許嵐、虞晶怡、馬月昕、王程

閱讀時(shí)間 | 約2分鐘

全文字?jǐn)?shù) |?約1000字

01 研究背景

現(xiàn)實(shí)世界的數(shù)字化重建，對(duì)AR/VR/機(jī)器人/自動(dòng)駕駛等領(lǐng)域有重要意義。

來(lái)自廈門(mén)大學(xué)和上海科技大學(xué)的戴雨笛、林逸泰、溫程璐等八位學(xué)者，為實(shí)現(xiàn)更優(yōu)的動(dòng)作捕捉效果，創(chuàng)造性地把數(shù)字世界兩大元素——人與環(huán)境，同時(shí)納入動(dòng)捕系統(tǒng)中，提出一種全新的“人+場(chǎng)景”數(shù)字化方案——以人為中心的4D場(chǎng)景捕捉方法（Human-centered 4D Scene Capture , HSC4D）。方案采用諾亦騰慣性測(cè)量單元（IMU）與激光雷達(dá)（LiDAR），同步完成動(dòng)作捕捉和場(chǎng)景3D地圖繪制，實(shí)現(xiàn)大型場(chǎng)景下運(yùn)動(dòng)和交互的高效準(zhǔn)確建模，覆蓋面積可達(dá)1-5km2。論文已被計(jì)算機(jī)視覺(jué)領(lǐng)域頂級(jí)國(guó)際會(huì)議CVPR接收。

02 方法原理

HSC4D由17個(gè)諾亦騰慣性測(cè)量單元、

1個(gè)激光雷達(dá)、1臺(tái)微型電腦組成

HSC4D大型場(chǎng)景下動(dòng)作捕捉的實(shí)現(xiàn)流程

激光雷達(dá)（LiDAR）具有全局定位和場(chǎng)景3D測(cè)繪功能，慣性測(cè)量單元（IMU）注重捕捉人體動(dòng)作信息。HSC4D結(jié)合二者優(yōu)勢(shì)，LiDAR提供空間位置和場(chǎng)景3D地圖，IMU提供人體動(dòng)作，實(shí)現(xiàn)人走到哪里，3D地圖繪制和動(dòng)作捕捉就跟隨到哪里的效果。

研究者采用諾亦騰PN Studio作為慣性動(dòng)捕設(shè)備，包含17塊IMU，重量輕便，穿戴簡(jiǎn)單，精準(zhǔn)穩(wěn)定獲取人體位移軌跡、姿態(tài)動(dòng)作等數(shù)據(jù)，為HSC4D高效運(yùn)作打下良好基礎(chǔ)。

諾亦騰IMU通過(guò)內(nèi)置的加速度計(jì)、磁力計(jì)、陀螺儀采集穿戴者運(yùn)動(dòng)數(shù)據(jù)，LiDAR通過(guò)激光反射的時(shí)間構(gòu)建點(diǎn)云（Point?Cloud）確定穿戴者位置，繪制所處場(chǎng)景的3D地圖。兩者數(shù)據(jù)的軌跡相匹配后，引入物理約束算法，優(yōu)化人體動(dòng)作和交互，使之流暢自然，完成場(chǎng)景和穿戴者動(dòng)作的3D建模。

03 實(shí)驗(yàn)結(jié)果

HSC4D可捕捉穿戴者出入室內(nèi)外

完成爬樓梯、攀巖等復(fù)雜動(dòng)作

為驗(yàn)證LiDAR + IMU方案的實(shí)現(xiàn)效果，研究者在攀巖館、多層建筑等復(fù)雜場(chǎng)景開(kāi)展實(shí)驗(yàn)，效果如上圖所示，無(wú)論是走路、彎腰，還是上樓梯、攀巖，HSC4D均可準(zhǔn)確穩(wěn)定呈現(xiàn)穿戴者的連續(xù)動(dòng)作姿態(tài)。

本研究中，諾亦騰PN Studio的慣性測(cè)量單元與激光雷達(dá)相結(jié)合，實(shí)現(xiàn)了1+1>2的效果。無(wú)需提前構(gòu)建地圖，不受活動(dòng)區(qū)域限制，就可直接從完整場(chǎng)景捕捉人體連續(xù)動(dòng)作。多個(gè)復(fù)雜場(chǎng)景下的實(shí)驗(yàn)充分說(shuō)明該技術(shù)的有效性和普適性，可滿足AR/VR/機(jī)器人/自動(dòng)駕駛等領(lǐng)域的場(chǎng)景數(shù)字化需求，研究者相信，未來(lái)這項(xiàng)技術(shù)將在動(dòng)態(tài)數(shù)字世界建設(shè)方面發(fā)揮重要作用。

*本文圖表除特別注明外，均摘自論文原文。

文獻(xiàn)來(lái)源

Dai, Y., Lin, Y., Wen, C., Shen, S., Xu, L., Yu, J., Ma, Y., & Wang, C. (2022). HSC4D: Human-centered 4D Scene Capture in Large-scale Indoor-outdoor Space Using Wearable IMUs and LiDAR. , 6782-6792.

原文鏈接（復(fù)制瀏覽器訪問(wèn)）：https://arxiv.org/abs/2203.09215