以下內(nèi)容來自小六的機(jī)器人SLAM學(xué)習(xí)圈知識星球每日更新內(nèi)容

點擊領(lǐng)取學(xué)習(xí)資料 → 機(jī)器人SLAM學(xué)習(xí)資料大禮包

#論文# arxiv| One-2-3-45：45秒內(nèi)將任意單幅圖像轉(zhuǎn)換為3D網(wǎng)格，無需進(jìn)行形狀優(yōu)化
作者單位：加大圣地亞哥分校、加州大學(xué)洛杉磯分校、康奈爾大學(xué)、浙大、IIT Madras、Adobe
【One-2-3-45: Any Single Image to 3D Mesh in 45 Seconds without Per-Shape Optimization】
項目網(wǎng)址：http://one-2-3-45.com

單幅圖像三維重建是一項重要但具有挑戰(zhàn)性的任務(wù)，需要對我們的自然世界有廣泛的了解?，F(xiàn)有的許多方法通過在二維擴(kuò)散模型的指導(dǎo)下優(yōu)化一個神經(jīng)輻射場來解決這個問題，但存在優(yōu)化時間長、三維結(jié)果不一致、幾何形狀差等問題。在這項工作中，我們提出了一種新的方法，以任何物體的單張圖像作為輸入，在一個前饋通道中生成一個完整的360度三維紋理網(wǎng)格。給定單幅圖像，我們首先使用基于視圖條件的2D擴(kuò)散模型Zero123為輸入視圖生成多視圖圖像，然后將其提升到3D空間。由于傳統(tǒng)的重建方法難以解決多視圖預(yù)測不一致的問題，我們在基于SDF的可泛化神經(jīng)表面重建方法的基礎(chǔ)上構(gòu)建了我們的三維重建模塊，并提出了幾種關(guān)鍵的訓(xùn)練策略來實現(xiàn)360度評估網(wǎng)格的重建。
在沒有進(jìn)行代價高昂的優(yōu)化的情況下，我們的方法重建3D形狀的時間明顯少于現(xiàn)有的方法。此外，我們的方法有利于更好的幾何形狀，產(chǎn)生更多的3D一致結(jié)果，并與輸入圖像更緊密地貼合。我們在合成數(shù)據(jù)和野外圖像上評估了我們的方法，并證明了它在網(wǎng)格質(zhì)量和運行時間方面的優(yōu)越性。此外，我們的方法可以與現(xiàn)有的文本到圖像的擴(kuò)散模型集成，無縫地支持文本到三維的任務(wù)。

以上內(nèi)容來自小六的機(jī)器人SLAM學(xué)習(xí)圈知識星球每日更新內(nèi)容