論文題目：Pointersect: Neural Rendering with Cloud-Ray Intersection

作者機(jī)構(gòu)：Apple、CMU、UBC

論文鏈接：https://arxiv.org/abs/2304.12390

項(xiàng)目主頁：https://machinelearning.apple.com/research/pointersect

投稿作者：Rye |?來源：微信公眾號(hào)「3D視覺工坊」

Apple本周提出了一種新方法Pointersect，使得像渲染Mesh一樣渲染點(diǎn)云成為了現(xiàn)實(shí)。Pointersect是可微的，并且不需要重新訓(xùn)練即可泛化到新場(chǎng)景。這種獨(dú)特的能力可以非常方便地支持表面法向估計(jì)、渲染室內(nèi)點(diǎn)云、逆渲染、帶全局光照的光線追蹤等應(yīng)用。

1 前言

眾所周知，點(diǎn)云是一種易于獲得的反映場(chǎng)景中3D結(jié)構(gòu)信息的數(shù)據(jù)，可通過LiDar、結(jié)構(gòu)光、雙目相機(jī)、單目深度估計(jì)等方式獲得。點(diǎn)云本身直接隱含著和場(chǎng)景中表面的聯(lián)系，然而，想要對(duì)點(diǎn)云進(jìn)行渲染是非常困難的，現(xiàn)有工作都專注于將點(diǎn)云轉(zhuǎn)為其他表示形式。例如，將點(diǎn)云轉(zhuǎn)為稠密體素表征，但這類方法往往需要測(cè)試階段根據(jù)渲染圖像進(jìn)行逐場(chǎng)景優(yōu)化；將點(diǎn)云轉(zhuǎn)為Mesh或SDF似乎更為自然，但是這類方法往往不可微，阻礙了其和以神經(jīng)網(wǎng)絡(luò)為代表的數(shù)據(jù)驅(qū)動(dòng)方法的結(jié)合。近期涌現(xiàn)出了如Point-NeRF這樣的新工作，致力于直接對(duì)點(diǎn)云進(jìn)行體渲染，但是該方法也未能很好地泛化到新場(chǎng)景。

與專注于將點(diǎn)云轉(zhuǎn)換為其他表示形式的現(xiàn)有工作不同，本文的核心思想是直接預(yù)測(cè)光線與點(diǎn)云表示的潛在表面之間的交點(diǎn)。具體而言，作者團(tuán)隊(duì)訓(xùn)練了一個(gè)set transformer，輸入光線和光線鄰域內(nèi)的少量點(diǎn)云，網(wǎng)絡(luò)預(yù)測(cè)出光線和點(diǎn)云表示的潛在表面之間的交點(diǎn)、表面法向、材質(zhì)權(quán)重，這些信息可以用于得到該條光線的顏色。

將光線與點(diǎn)云求交問題局部化，即只輸入光線鄰域內(nèi)的點(diǎn)云子集來預(yù)測(cè)交點(diǎn)，使得Pointersect僅僅在48個(gè)Mesh上進(jìn)行訓(xùn)練即可泛化到從未見過的新場(chǎng)景且不需要測(cè)試階段優(yōu)化。該模型在ShapeNet、sketchfab、Stanford Bunny等三個(gè)測(cè)試集上達(dá)到了新視角渲染的SOTA。此外，該方法還可直接泛化到Hypersim室內(nèi)場(chǎng)景和LiDar掃描的真實(shí)場(chǎng)景ARKitScenes上。

2 方法

2.1 問題陳述

作者試圖訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)，來將輸入{點(diǎn)云，光線}映射到輸出{相交概率，交點(diǎn)，表面法向，混合權(quán)重}，從而解決光線-點(diǎn)云求交問題。其中，混合權(quán)重用于對(duì)鄰域點(diǎn)材質(zhì)進(jìn)行加權(quán)得到交點(diǎn)材質(zhì)：

顯然，這是一個(gè)欠定問題，可以通過增加手工設(shè)計(jì)的表面約束來解決該問題，例如假設(shè)表面光滑性。而本文拋棄手工設(shè)計(jì)先驗(yàn)的方式，采用數(shù)據(jù)驅(qū)動(dòng)的方式在一個(gè)通用物體數(shù)據(jù)集上訓(xùn)練，從而讓神經(jīng)網(wǎng)絡(luò)來表示表面先驗(yàn)。

2.2 Pointersect

Pointersect是一個(gè)神經(jīng)網(wǎng)絡(luò)，用于估計(jì)光線和點(diǎn)云表示的表面之間的交點(diǎn)、法向：

訓(xùn)練方式

作者團(tuán)隊(duì)通過將其定義為一個(gè)回歸問題，構(gòu)造強(qiáng)監(jiān)督數(shù)據(jù)集來進(jìn)行訓(xùn)練。對(duì)于每個(gè)Mesh，作者隨機(jī)采樣光線和點(diǎn)云作為輸入，在Open3D中運(yùn)行mesh-ray求交算法來獲得輸出真值。

網(wǎng)絡(luò)設(shè)計(jì)

這是本文的核心，在設(shè)計(jì)網(wǎng)絡(luò)時(shí)需要引入一些幾何知識(shí)先驗(yàn)實(shí)現(xiàn)一些歸一化，來加速訓(xùn)練、實(shí)現(xiàn)泛化：

1）讓神經(jīng)網(wǎng)絡(luò)來估計(jì)交點(diǎn)到光源點(diǎn)的距離；

2）利用SE(3)等變性，即同時(shí)對(duì)光線和點(diǎn)云做相同剛體變換，光線和潛在表面的交點(diǎn)也會(huì)做同樣的剛體變換。因此，同時(shí)對(duì)光線場(chǎng)景進(jìn)行剛體變換，使得光線方向沿z軸正方向，且最近點(diǎn)的r為0；

3）利用局部性進(jìn)行求交，到光線距離較遠(yuǎn)的點(diǎn)基本不會(huì)對(duì)交點(diǎn)產(chǎn)生影響，因此僅取光線周圍半徑為δ的圓柱內(nèi)最近鄰的K個(gè)點(diǎn)輸入網(wǎng)絡(luò)

4）輸入點(diǎn)云是一個(gè)集合，點(diǎn)云中點(diǎn)的順序?qū)ψ罱K結(jié)果無關(guān)，需要利用這種排列不變性，本文采用了set transformer，和常用的transformer結(jié)構(gòu)相比缺少位置編碼。

優(yōu)化目標(biāo)函數(shù)

對(duì)交點(diǎn)到光源距離、表面法向、顏色、光線是否有交點(diǎn)進(jìn)行強(qiáng)監(jiān)督：

2.3 點(diǎn)云渲染

基于圖像的渲染

已知點(diǎn)云，根據(jù)相機(jī)內(nèi)外參求出相機(jī)每個(gè)像素的光線方向，通過Pointersect預(yù)測(cè)點(diǎn)云中每個(gè)點(diǎn)的混合權(quán)重，加權(quán)得到最終像素顏色值。

基于光線追蹤的渲染

光線追蹤可以渲染出遮擋和全局光照效果。假設(shè)我們已知環(huán)境光Environment Map，則可以將Pointersect整合進(jìn)標(biāo)準(zhǔn)的光線追蹤流程中來進(jìn)行渲染。具體而言，我們追蹤一條光線，通過Pointersect計(jì)算光線和點(diǎn)云的交點(diǎn)、法向來獲得繼續(xù)追蹤的方向。在每個(gè)交點(diǎn)處，根據(jù)混合權(quán)重對(duì)鄰域點(diǎn)材質(zhì)進(jìn)行插值來進(jìn)行著色。

3 實(shí)驗(yàn)

3.1 模型訓(xùn)練

作者從shetchfab數(shù)據(jù)集中選取了48個(gè)Mesh來構(gòu)造訓(xùn)練數(shù)據(jù)集。該模型迭代了350,000次，在8張A100上運(yùn)行了10天?？梢钥吹剑m然訓(xùn)練數(shù)據(jù)集不大，但是訓(xùn)練開銷并不小。

3.2 評(píng)估

合成數(shù)據(jù)集

測(cè)試集為ShapeNet、sketchfab、Stanford Bunny，表現(xiàn)出新視角渲染的SOTA效果：

室內(nèi)場(chǎng)景

作者從Hypersim中挑了一個(gè)場(chǎng)景，證明Pointersect可實(shí)現(xiàn)室內(nèi)場(chǎng)景級(jí)的泛化：

渲染速度

Pointersect的計(jì)算代價(jià)主要來自每條采樣光線都需要過set transformer來計(jì)算交點(diǎn)及表面屬性，對(duì)比之下，基于NeRF和SDF的方法通常需要逐場(chǎng)景優(yōu)化，并且其采樣光線上所有采樣點(diǎn)都需要過MLP來進(jìn)行體渲染。在700,000個(gè)點(diǎn)規(guī)模的點(diǎn)云條件下，當(dāng)前python代碼實(shí)現(xiàn)渲染分辨率512×384的圖像速度可達(dá)到1fps。

4 總結(jié)

以往的神經(jīng)渲染解決方案通常都采用表面或者隱函數(shù)作為場(chǎng)景表示，然而點(diǎn)云是可以從真實(shí)場(chǎng)景中直接獲得的觀測(cè)數(shù)據(jù)，現(xiàn)有方法通常將點(diǎn)云轉(zhuǎn)換為表面或隱函數(shù)等表示形式，但這些方法存在缺陷，因而本文提出了Pointersect方法來直接推斷光線與點(diǎn)云表面的交點(diǎn)。

當(dāng)前Pointersect方法展現(xiàn)出了較強(qiáng)的泛化性和較高的新視角渲染質(zhì)量，在推理速度方面依然存在瓶頸。點(diǎn)云只是一種觀測(cè)數(shù)據(jù)，或是可以直接作為場(chǎng)景表示，仍是一個(gè)存在爭(zhēng)議的開放問題，讓我們一起期待并跟進(jìn)領(lǐng)域內(nèi)的后續(xù)發(fā)展。

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪文。

點(diǎn)擊進(jìn)入—>3D視覺工坊學(xué)習(xí)交流群