英偉達展示了將幾十張快照變成3D渲染場景的人工智能模型


在人工智能的幫助下從2D到3D。圖片來源:英偉達
英偉達的最新人工智能演示非常令人印象深刻:一種可以快速將幾十張2D快照轉(zhuǎn)換為3D渲染場景的工具。在下面的視頻中,你可以看到這種方法的實施,一個打扮成安迪·沃霍爾的模特拿著一臺老式的寶麗來相機。
該工具被稱為Instant NeRF,指的是“神經(jīng)輻射場”——這是加州大學伯克利分校、谷歌研究和加州大學圣地亞哥分校研究人員在2020年開發(fā)的一項技術(shù)。如果你想要神經(jīng)輻射場的詳細源代碼,你可以上他們的官網(wǎng)。簡而言之,該方法映射不同2D鏡頭的顏色和光強度,然后生成數(shù)據(jù)以從不同的有利位置連接這些圖像并渲染完成的3D場景。除了圖像外,系統(tǒng)還需要有關(guān)相機位置的數(shù)據(jù)。
幾年來,研究人員一直在改進這種2D到3D模型,為完成的渲染添加更多細節(jié),并提高渲染速度。英偉達表示,其新的Instant NeRF型號是迄今為止開發(fā)速度最快的型號之一,將渲染時間從幾分鐘縮短為“幾乎立即”完成的過程。
Nvidia在一篇描述這項工作的博客文章中表示,隨著該技術(shù)越來越快、更容易實現(xiàn),它可以用于各種任務(wù)。
Nvidia的Isha Salian寫道:“Instant NeRF可用于為虛擬世界創(chuàng)建頭像或場景,以3D方式捕獲視頻會議參與者及其環(huán)境,或為3D數(shù)字地圖重建場景”。“這項技術(shù)可用于訓練機器人和自動駕駛汽車,通過捕獲它們的2D圖像或視頻片段來了解現(xiàn)實世界物體的大小和形狀。它還可用于建筑和娛樂,以快速生成創(chuàng)作者可以修改和構(gòu)建的真實環(huán)境的數(shù)字表現(xiàn)”。(這聽起來像是元宇宙在召喚你)。
在一篇描述這項工作的論文中,英偉達的研究人員表示,他們能夠在“數(shù)十毫秒內(nèi)”以1920×1080的分辨率導(dǎo)出場景。研究人員還分享了該項目的源代碼,允許其他人實現(xiàn)他們的方法。NeRF渲染似乎進展迅速,并可能在未來幾年開始產(chǎn)生對現(xiàn)實世界的影響。