查看引用/信息源請(qǐng)點(diǎn)擊：marktechpost

將物體變成一臺(tái)相機(jī)，而它可以像相機(jī)一樣“看到”世界，并記錄下周圍的環(huán)境

（映維網(wǎng)Nweon?2023年06月12日）人類可以從反射中收集到有關(guān)周圍環(huán)境的有價(jià)值的、并且往往是隱藏的信息。通過(guò)將它們重新用作“相機(jī)”，我們可以完成以前不可想象的圖像壯舉，例如看穿墻壁。

但這通常具有挑戰(zhàn)性，因?yàn)橛卸鄠€(gè)因素會(huì)影響反射，包括物體的幾何形狀、材料的質(zhì)量、3D環(huán)境和用戶觀點(diǎn)。通過(guò)內(nèi)部解構(gòu)物體的幾何形狀和反射到物體的高光亮度，人類可以獲得周圍遮擋部分的深度和語(yǔ)義線索。

麻省理工學(xué)院和萊斯大學(xué)的計(jì)算機(jī)視覺(jué)研究人員已經(jīng)開(kāi)發(fā)出一種利用反射產(chǎn)生真實(shí)環(huán)境圖像的方法：ORCa。通過(guò)反射，它們將 物體轉(zhuǎn)化為“相機(jī)”，就好像用戶正通過(guò)陶瓷咖啡杯或金屬鎮(zhèn)紙等普通物品的“鏡頭”感知著世界。

研究人員使用的方法是將不確定幾何形狀的光澤物體轉(zhuǎn)換成輻射場(chǎng)相機(jī)。其主要思想是利用物體表面作為數(shù)字傳感器，并以二維方式記錄周圍環(huán)境的反射光。

研究人員證明，由于恢復(fù)了環(huán)境的輻射場(chǎng)，新的視圖合成是可能的，亦即只對(duì)場(chǎng)景中光澤物體直接可見(jiàn)而對(duì)用戶不可見(jiàn)的新視圖渲染。另外，我們可以使用亮度場(chǎng)描繪場(chǎng)景中附近物體創(chuàng)建的遮擋物。研究人員開(kāi)發(fā)的方法是從頭到尾使用物體的眾多照片來(lái)同時(shí)估計(jì)其幾何形狀，漫射輻射和其5D環(huán)境的輻射場(chǎng)。

這項(xiàng)研究旨在將物體與其反射分離開(kāi)來(lái)，這樣物體就可以像相機(jī)一樣“看到”世界，并記錄下周圍的環(huán)境。一段時(shí)間以來(lái)，計(jì)算機(jī)視覺(jué)一直在與反射作斗爭(zhēng)，因?yàn)樗鼈兪?D場(chǎng)景的扭曲的2D表示，其形狀未知。

研究人員將物體表面建模為虛擬傳感器，收集周圍5D環(huán)境輻射場(chǎng)的2D投影，以創(chuàng)建物體所看到的世界的3D表示。除了通過(guò)物體的反射外，大部分環(huán)境的輻射場(chǎng)都被遮蔽。在視場(chǎng)之外，新視圖合成可以通過(guò)使用環(huán)境輻射場(chǎng)來(lái)實(shí)現(xiàn)，這同時(shí)允許從物體到其周圍環(huán)境的深度和輻射估計(jì)。

上圖是ORCa的綜述。研究人員共同估計(jì)了光澤物體的幾何形狀，并隨環(huán)境輻射場(chǎng)擴(kuò)散
通過(guò)三步方法進(jìn)行評(píng)估。首先，將物體建模為神經(jīng)隱式表面（a）。然后將反射建模為虛擬視點(diǎn)的探測(cè)環(huán)境（b）從表面特性分析估計(jì)。接下來(lái)，將環(huán)境建模為一個(gè)輻射場(chǎng)（c）。神經(jīng)隱式表面和環(huán)境輻射場(chǎng)使用光度損失在物體的多視圖圖像上聯(lián)合訓(xùn)練。

總結(jié)起來(lái)，團(tuán)隊(duì)做了以下工作:

• 他們演示了如何將隱式表面轉(zhuǎn)換為虛擬傳感器，僅使用虛擬錐體即可捕獲環(huán)境的3D圖像。

• 他們一起計(jì)算了物體的5D環(huán)境輻射場(chǎng)，并估計(jì)了它的漫射輻射。

• 他們演示了如何利用周圍環(huán)境的光場(chǎng)來(lái)產(chǎn)生人眼不可見(jiàn)的新穎視點(diǎn)。

相關(guān)論文：ORCa: Glossy Objects as Radiance Field Cameras

ORCa可以通過(guò)從不同角度對(duì)物體進(jìn)行成像來(lái)記錄多視圖反射，然后用于估計(jì)場(chǎng)景中光澤物體與其他物體之間的深度，以及光澤物體本身的形狀。ORCa的5D輻射場(chǎng)模型捕獲了來(lái)自圖像中每個(gè)點(diǎn)的光線的強(qiáng)度和方向的更多信息。

借助5D輻射場(chǎng)的數(shù)據(jù)，ORCa可以做出更精確的深度估計(jì)。由于場(chǎng)景顯示為5D亮度場(chǎng)而不是2D圖像，因此用戶可以看到角落或其他障礙物遮擋的細(xì)節(jié)。

研究人員解釋道，一旦ORCa收集了5D輻射場(chǎng)，用戶就可以在所述區(qū)域的任何地方放置虛擬camera，并生成camera將生成的合成圖像。用戶同時(shí)可以改變物品的外觀，比如從陶瓷變成金屬，或者在場(chǎng)景中加入虛擬物品。

通過(guò)擴(kuò)展輻射場(chǎng)的定義，研究人員可以開(kāi)辟探索環(huán)境及其內(nèi)部物體的新途徑。利用投影虛擬視圖和深度，這項(xiàng)研究可以為虛擬物品插入和3D感知開(kāi)辟可能性，例如從camera視場(chǎng)外推斷信息。

---
原文鏈接：https://news.nweon.com/108660