機(jī)器人感知新突破!整體3D人體場景重建方案揭秘

以下內(nèi)容來自小六的機(jī)器人SLAM學(xué)習(xí)圈知識星球每日更新內(nèi)容
點(diǎn)擊領(lǐng)取學(xué)習(xí)資料 → 機(jī)器人SLAM學(xué)習(xí)資料大禮包
#論文# RAL2023| 莫納什大學(xué)牛津大學(xué)與印度理工學(xué)院發(fā)布使用對抗性學(xué)習(xí)方法從單目RGB圖像進(jìn)行物理上合理的3D人體場景重建方案
【Physically Plausible 3D Human-Scene Reconstruction from Monocular RGB Image using an Adversarial Learning Approach】
文章鏈接:https://arxiv.org/pdf/2307.14570.pdf
整體3D人體場景重建是機(jī)器人感知領(lǐng)域的關(guān)鍵和新興研究領(lǐng)域。整體3D人體場景重建的一個(gè)關(guān)鍵挑戰(zhàn)是從單個(gè)單目RGB圖像生成物理上合理的3D場景?,F(xiàn)有研究主要提出了基于優(yōu)化的方法,用于從不同場景元素(人類和物體)之間明確定義的物理定律和約束的RGB幀序列中重建場景。然而,很難在每個(gè)場景中明確定義和建模每個(gè)物理定律。本文建議使用場景元素的隱含特征表示來區(qū)分人類和物體的物理合理對齊和難以置信的對齊。我們建議使用基于圖形的整體表示和場景的編碼物理表示來分析場景中的人類-物體和物體-物體的相互作用。使用此圖形表示,我們進(jìn)行對抗性訓(xùn)練我們的模型,以從訓(xùn)練數(shù)據(jù)本身中學(xué)習(xí)場景元素的可行對齊,而無需明確定義它們之間的規(guī)律和約束。與現(xiàn)有的基于推理時(shí)間優(yōu)化的方法不同,我們使用這種經(jīng)過對抗訓(xùn)練的模型來生成遵守物理定律和約束的場景的單幀3D重建。我們基于學(xué)習(xí)的方法實(shí)現(xiàn)了與現(xiàn)有基于優(yōu)化的整體人體場景重建方法相當(dāng)?shù)娜S重建質(zhì)量,并且不需要推理時(shí)間優(yōu)化。這使得它與現(xiàn)有方法相比更適合在機(jī)器人應(yīng)用中的潛在應(yīng)用,如機(jī)器人導(dǎo)航等。






以上內(nèi)容來自小六的機(jī)器人SLAM學(xué)習(xí)圈知識星球每日更新內(nèi)容
最后介紹一下我們最近的幾個(gè)學(xué)習(xí)活動:
1、【挑戰(zhàn)賽報(bào)名】從零掌握GNSS、RTK定位
從零開始講授GNSS的基礎(chǔ)知識,幫助同學(xué)們形成完整的GNSS知識脈絡(luò)。詳細(xì)介紹GNSS相關(guān)的坐標(biāo)框架、時(shí)間框架、觀測值產(chǎn)生以及各誤差的特性、會詳細(xì)介紹單點(diǎn)定位的原理以及RTK定位的原理,并會對RTK定位中的數(shù)據(jù)預(yù)處理、周跳探測、模糊度固定展開詳細(xì)的講述,幫助學(xué)習(xí)者可以達(dá)到初步工程開發(fā)實(shí)踐的水準(zhǔn)。
目前早鳥優(yōu)惠中(限額),8月28日開始上課。詳見?自動駕駛與GNSS之戀
2、【挑戰(zhàn)賽】從零開始ChatGPT編程
全面講解如何利用GPT寫代碼,調(diào)試,框架重構(gòu)、提交測試等,效率10倍提升!詳情見?程序員可以用ChatGPT做什么?
3、第1期編輯部成員招募
一起對AR/MR、機(jī)器人、自動駕駛、無人機(jī)等SLAM相關(guān)的細(xì)分行業(yè)的梳理和分析,在AI熱潮下能夠和大家一起理清思路,看清發(fā)展脈絡(luò)和趨勢。 僅限 「小六的機(jī)器人SLAM學(xué)習(xí)圈」參與。
4、【報(bào)名】招募項(xiàng)目實(shí)戰(zhàn)合作者
SLAM項(xiàng)目實(shí)戰(zhàn)課程,基于開源算法做一些拓展項(xiàng)目。僅限 「小六的機(jī)器人SLAM學(xué)習(xí)圈」參與。
5、小六的機(jī)器人SLAM圈!
全國最大的機(jī)器人SLAM交流圈,詳情戳我的機(jī)器人SLAM學(xué)習(xí)圈!

機(jī)器人感知新突破!整體3D人體場景重建方案揭秘的評論 (共 條)
