作者：韓立?| 來源：3DCV

在公眾號「3DCV」后臺，回復「原論文」可獲取論文pdf和代碼鏈接

添加微信：dddvision，備注：三維重建，拉你入群。文末附行業(yè)細分群

1、導讀

我們介紹了一種從3D Gaussian Splatting表示中快速提取精確且可編輯的網(wǎng)格的方法。該方法利用Gaussian Splatting的渲染速度快、訓練速度慢的特點，通過引入正則化項鼓勵Gaussian Splatting表示與場景表面對齊，并使用Poisson重建方法從Gaussian Splatting表示中提取網(wǎng)格。此外，該方法還引入了一種優(yōu)化策略，將Gaussian Splatting表示與網(wǎng)格一起優(yōu)化，通過Gaussian Splatting渲染實現(xiàn)高效的編輯、雕塑、動畫和重新光照。這種方法能夠在幾分鐘內(nèi)檢索到具有更好渲染質(zhì)量的可編輯網(wǎng)格，相比于從SDF中提取網(wǎng)格的方法需要幾個小時。

2、貢獻

• 正則化項，使高斯能準確捕捉場景的幾何形狀；

• 一種高效的算法，可在幾分鐘內(nèi)從高斯中提取出精確的網(wǎng)格；

• 一種將高斯綁定到網(wǎng)格的方法，從而獲得更精確的網(wǎng)格，與目前使用網(wǎng)格進行新穎視圖合成的方法相比，渲染質(zhì)量更高，并允許以多種不同方式編輯場景。

3、方法

從3D Gaussian Splatting表示中快速提取精確且可編輯的網(wǎng)格的方法。主要包括以下幾個步驟：

• 引入正則化項，鼓勵Gaussian Splatting表示與場景表面對齊。

• 使用Poisson重建方法從Gaussian Splatting表示中提取網(wǎng)格。

• 引入優(yōu)化策略，將Gaussian Splatting表示與網(wǎng)格一起優(yōu)化，實現(xiàn)高效的編輯、雕塑、動畫和重新光照。

這個方法的優(yōu)勢在于，能夠在短時間內(nèi)檢索到具有更好渲染質(zhì)量的可編輯網(wǎng)格，相比于從SDF中提取網(wǎng)格的方法，效率大幅提升。

3.1、將高斯與曲面對齊

通過引入正則化項來使Gaussian Splatting表示與場景表面對齊。該方法的目標是鼓勵Gaussians具有緊密排列和均勻分布的特性，從而在后續(xù)的優(yōu)化過程中獲得更高渲染質(zhì)量的網(wǎng)格。

3.2、高效的網(wǎng)格提取

高效的網(wǎng)格提取：從Gaussian Splatting表示中快速提取精確且可編輯的網(wǎng)格的方法。該方法采用了一種優(yōu)化策略，將Gaussian Splatting表示與網(wǎng)格一起優(yōu)化，以實現(xiàn)高效的編輯、雕塑、動畫和重新光照。為了證明該方法在重建高質(zhì)量網(wǎng)格方面的優(yōu)勢，作者進行了實驗，并將實驗結果與其他網(wǎng)格提取算法進行了比較。

在實驗中，作者優(yōu)化了不同場景的Gaussian Splatting表示，并采用了以下幾種網(wǎng)格提取方法：

• 使用非常精細的Marching Cubes算法提取網(wǎng)格；

• 使用Poisson重建方法，以高斯體的中心作為表面點云提取網(wǎng)格；

• 應用本文提出的網(wǎng)格提取方法提取不同場景的網(wǎng)格。

實驗結果表明，與其他方法相比，本文提出的網(wǎng)格提取方法在渲染質(zhì)量和編輯能力方面具有明顯優(yōu)勢。在沒有正則化項的情況下，Gaussians在優(yōu)化后沒有特殊的排列，這使得提取網(wǎng)格變得非常困難。而當引入正則化項后，即使使用非常精細的3D網(wǎng)格，Marching Cubes也能恢復出非常嘈雜的網(wǎng)格。相比之下，本文提出的全方法能夠成功地重建出精確的網(wǎng)格，且效率較高。

3.3、將新的3D高斯分布綁定到網(wǎng)格上

如何通過將新的3D高斯分布綁定到網(wǎng)格上，來優(yōu)化和編輯Gaussian Splatting場景。具體來說，主要介紹了以下幾個關鍵點：

• 在已經(jīng)提取出的網(wǎng)格的基礎上，如何通過綁定新的3D高斯分布來細化和優(yōu)化網(wǎng)格。

• 如何在保持高質(zhì)量渲染的同時，使用高斯分布對網(wǎng)格進行編輯。

• 如何在幾秒鐘內(nèi)從高斯分布中提取出具有更高細節(jié)的網(wǎng)格。

4、實驗結果

實驗對比了幾種不同的網(wǎng)格提取方法，如Marching Cubes、Poisson重建等，以及它們在渲染質(zhì)量和編輯能力方面的表現(xiàn)。為了評估所提出方法在細化和優(yōu)化網(wǎng)格方面的效果，作者進行了一組對比實驗。實驗結果表明，所提出的方法在渲染質(zhì)量和編輯能力方面具有明顯優(yōu)勢。作者還對比了在不同場景下，所提出方法與現(xiàn)有方法的性能表現(xiàn)。實驗結果顯示，所提出的方法在處理3D高斯分布時具有較高的效率和準確性。同時還展示了在不同迭代次數(shù)下，所提出方法對3D高斯分布的細化效果。根據(jù)迭代次數(shù)的不同，細化過程的持續(xù)時間從幾分鐘到幾小時不等。

5、總結

所提出的方法在3D Gaussian Splatting表示中快速提取精確且可編輯網(wǎng)格方面的優(yōu)勢。該方法通過引入正則化項鼓勵Gaussian Splatting表示與場景表面對齊，并使用Poisson重建方法從Gaussian Splatting表示中提取網(wǎng)格。實驗結果表明，所提出的方法在渲染質(zhì)量和編輯能力方面具有顯著提高，能夠在短時間內(nèi)檢索到具有更好渲染質(zhì)量的可編輯網(wǎng)格。與現(xiàn)有方法相比，所提出的方法在處理復雜場景時具有更高的效率和準確性。