作者：小張Tt | 來源：3D視覺工坊

在公眾號「3D視覺工坊」后臺，回復(fù)「原論文」可獲取論文pdf、項(xiàng)目、代碼鏈接

添加微信：dddvisiona，備注：三維重建，拉你入群。文末附行業(yè)細(xì)分群

DreamCraft3D是一種分層的3D內(nèi)容生成方法，可以生成高度逼真和連貫的3D對象。該方法利用2D參考圖像來指導(dǎo)幾何雕刻和紋理增強(qiáng)的過程。該方法的核心是解決現(xiàn)有方法所面臨的一致性問題。為了創(chuàng)造出渲染連貫的幾何形狀，作者通過視角相關(guān)的擴(kuò)散模型進(jìn)行得分精餾抽樣。這種3D先驗(yàn)知識結(jié)合了幾種訓(xùn)練策略，優(yōu)先考慮幾何一致性，但會對紋理真實(shí)性做出妥協(xié)。作者進(jìn)一步提出了引導(dǎo)紋理增強(qiáng)的引導(dǎo)式分?jǐn)?shù)精餾方法。作者在場景的增強(qiáng)渲染上訓(xùn)練了個性化的擴(kuò)散模型Dreambooth，使其具備優(yōu)化場景的3D知識。從這個3D感知的擴(kuò)散先驗(yàn)中進(jìn)行的分?jǐn)?shù)精餾提供了對場景的視角一致性指導(dǎo)。值得注意的是，通過交替優(yōu)化擴(kuò)散先驗(yàn)和3D場景表示，作者實(shí)現(xiàn)了相互增強(qiáng)的改進(jìn)：優(yōu)化的3D場景有助于訓(xùn)練特定場景的擴(kuò)散模型，該模型為3D優(yōu)化提供了越來越一致的視角指導(dǎo)。因此，優(yōu)化是逐步改進(jìn)的，并且導(dǎo)致了顯著的紋理增強(qiáng)。通過在分層生成過程中使用定制的3D先驗(yàn)知識，DreamCraft3D可以生成具有照片級渲染的連貫3D對象，推動了3D內(nèi)容生成的最新技術(shù)。

讀者理解：

這篇文章是關(guān)于一種新的三維內(nèi)容生成方法，叫做DreamCraft3D，它可以利用二維參考圖像來指導(dǎo)幾何雕刻和紋理增強(qiáng)的階段，從而產(chǎn)生高保真和一致的三維對象。文章的主要貢獻(xiàn)有：

• 視角依賴的擴(kuò)散模型：為了雕刻出能夠一致渲染的幾何形狀，文章提出了一種基于得分蒸餾采樣的視角依賴的擴(kuò)散模型，作為三維生成的先驗(yàn)。這種先驗(yàn)可以優(yōu)先保證幾何一致性，但會犧牲紋理保真度。

• 自舉得分蒸餾：為了專門增強(qiáng)紋理，文章提出了一種自舉得分蒸餾的方法，它在場景的增強(qiáng)渲染上訓(xùn)練一個個性化的擴(kuò)散模型，稱為Dreambooth，使其具有場景的三維知識。這種三維感知的擴(kuò)散先驗(yàn)為場景提供了視角一致的指導(dǎo)。值得注意的是，通過交替優(yōu)化擴(kuò)散先驗(yàn)和三維場景表示，文章實(shí)現(xiàn)了相互增強(qiáng)的改進(jìn)：優(yōu)化的三維場景有助于訓(xùn)練場景特定的擴(kuò)散模型，而后者又為三維優(yōu)化提供了越來越視角一致的指導(dǎo)。這種優(yōu)化是自舉的，導(dǎo)致了顯著的紋理增強(qiáng)。

• 分層三維生成：通過在分層生成的各個階段使用定制的三維先驗(yàn)，DreamCraft3D生成了具有照片級渲染的一致的三維對象，推進(jìn)了三維內(nèi)容生成的最新水平。

1 引言

本文介紹了DreamCraft3D方法，旨在通過分層生成技術(shù)創(chuàng)造復(fù)雜的3D資產(chǎn)，并保持整體的3D一致性。該方法借鑒了藝術(shù)手工制作的過程，并將3D生成劃分為幾個階段：從2D參考圖像開始，經(jīng)過幾何雕刻和紋理增強(qiáng)等階段逐步轉(zhuǎn)化為3D模型。與以往方法不同的是，本文工作強(qiáng)調(diào)了對每個階段的精心考慮，以釋放分層生成的全部潛力，從而實(shí)現(xiàn)了質(zhì)量更高的3D創(chuàng)作。這里也推薦工坊推出的新課程《基于深度學(xué)習(xí)的三維重建MVSNet系列 [論文+源碼+應(yīng)用+科研]》。

• 幾何雕刻階段：SDS損失用于新視角和參考視圖的光度損失，同時(shí)采用多種策略促進(jìn)幾何一致性。利用Zero-1-to-3視角條件圖像轉(zhuǎn)換模型來建模新視角分布，提供豐富的3D先驗(yàn)信息。采樣時(shí)間步長漸進(jìn)加熱以及逐步放大訓(xùn)練視角有助于進(jìn)一步提高一致性。從隱式表面表示過渡到網(wǎng)格表示，實(shí)現(xiàn)幾何細(xì)化，產(chǎn)生銳利、詳細(xì)的幾何形狀，有效抑制幾何偽影。

• 紋理增強(qiáng)階段：引導(dǎo)式得分蒸餾技術(shù)用于大幅增強(qiáng)紋理，通過微調(diào)擴(kuò)散模型根據(jù)3D實(shí)例的多視角渲染提供個性化的3D感知生成先驗(yàn)，增強(qiáng)紋理同時(shí)保持視角一致性。交替優(yōu)化生成先驗(yàn)和3D表示相互增強(qiáng)改進(jìn)，從漸變分布中學(xué)習(xí)，捕捉更詳細(xì)的紋理。

2 相關(guān)工作

本文審視了3D生成模型領(lǐng)域的相關(guān)研究，包括GANs、自回歸模型、擴(kuò)散模型和3D感知圖像生成等。這些研究涉及到利用不同技術(shù)嘗試從圖像或文本到3D形狀的概率映射，或者在生成3D資產(chǎn)時(shí)保持視角一致性。然而，這些方法面臨著訓(xùn)練數(shù)據(jù)稀缺、視角一致性不足等挑戰(zhàn)。盡管有一些方法通過優(yōu)化、改進(jìn)損失函數(shù)、形狀指導(dǎo)或?qū)?D圖像提升到3D等嘗試提高了紋理逼真度和一致性，但產(chǎn)生全局一致的3D仍然是一個挑戰(zhàn)。本文則通過精心設(shè)計(jì)3D先驗(yàn)，在整個分層生成過程中實(shí)現(xiàn)了前所未有的一致性3D生成。

3 方法

本文提出了一種層次化的流程，用于從文本描述生成高質(zhì)量的3D內(nèi)容。方法首先利用先進(jìn)的文本到圖像生成模型生成高質(zhì)量的2D圖像，然后通過多階段的幾何塑造和紋理增強(qiáng)將圖像轉(zhuǎn)換為3D模型。在幾何塑造階段，采用SDS損失函數(shù)來優(yōu)化3D模型，使其在不同視角下保持合理性，并通過深度、法線等先驗(yàn)信息提高一致性。為了改善3D模型的生成，引入了基于視圖條件的擴(kuò)散模型，結(jié)合2D和3D擴(kuò)散先驗(yàn)進(jìn)行優(yōu)化。為了進(jìn)一步提升幾何細(xì)節(jié)，采用了漸進(jìn)式訓(xùn)練、擴(kuò)散時(shí)間步長退火等策略。在紋理增強(qiáng)階段，采用VSD損失和穩(wěn)定擴(kuò)散模型來優(yōu)化模型的紋理，通過訓(xùn)練預(yù)訓(xùn)練的擴(kuò)散模型，并逐步改進(jìn)紋理質(zhì)量。最終，通過引入Bootstrapped Score Distillation（BSD）損失，使得3D模型和擴(kuò)散先驗(yàn)相互促進(jìn)，改進(jìn)3D模型和紋理的一致性和質(zhì)量。整體方法結(jié)合了2D和3D模型，通過多階段的優(yōu)化和改進(jìn)，在從文本到高質(zhì)量3D內(nèi)容的生成過程中取得了顯著的進(jìn)展。

4 實(shí)驗(yàn)

• 實(shí)現(xiàn)細(xì)節(jié)：在幾何塑造階段，使用Neus和帶紋理的3D網(wǎng)格表示。作者采用Instant NGP優(yōu)化從64到384的分辨率。對于帶紋理的網(wǎng)格，使用128網(wǎng)格和512渲染分辨率的DMTet。在網(wǎng)格細(xì)化過程中，作者迭代地渲染了引導(dǎo)法線圖和RGB圖像，增強(qiáng)了幾何細(xì)節(jié)，并優(yōu)化了作者的紋理預(yù)測網(wǎng)絡(luò)以保持一致性?？紤]到已有的全局幾何結(jié)構(gòu)，作者的方法在紋理優(yōu)化過程中不使用3D先驗(yàn)。通過隨機(jī)采樣相機(jī)半徑和視野角度，使紋理和幾何細(xì)節(jié)得到改善。這里也推薦工坊推出的新課程《基于深度學(xué)習(xí)的三維重建MVSNet系列 [論文+源碼+應(yīng)用+科研]》。

• 與現(xiàn)有技術(shù)的比較：作者對作者的方法與五種基準(zhǔn)方法進(jìn)行了比較分析?；鶞?zhǔn)方法包括三種文本到3D方法：DreamFusion、Magic3D和ProlificDreamer，以及兩種圖像到3D方法：Make-it-3D和Magic123。作者建立了一個測試基準(zhǔn)，包括300張圖像，混合了真實(shí)圖片和由Stable Diffusion和Deep Floyd生成的圖像。作者使用四種評估指標(biāo)：LPIPS和PSNR用于參考視點(diǎn)的保真度測量；Contextual Distance用于像素級一致性評估；CLIP score用于估計(jì)語義一致性。結(jié)果表明，作者的方法在保持紋理一致性和保真度方面明顯優(yōu)于基準(zhǔn)方法。

• 用戶研究：作者進(jìn)行了用戶研究，向參與者提供了15組不同的提示和圖像。每個參與者除了與其對應(yīng)的文本輸入外，還觀看了四個自由視角的渲染視頻，并選擇其首選的3D模型。研究結(jié)果顯示，作者的模型被92%的用戶所青睞，遠(yuǎn)遠(yuǎn)超過了基準(zhǔn)方法。這一結(jié)果證明了作者提出的方法具有魯棒性和卓越的質(zhì)量。

• 定性比較：通過與基準(zhǔn)方法的比較，作者的方法在保持語義一致性的同時(shí)提高了想象多樣性。相比之下，其他方法在多視角一致性、幾何細(xì)節(jié)和紋理質(zhì)量方面存在各自的問題。

• 分析：作者進(jìn)行了3D先驗(yàn)和BSD的效果分析。實(shí)驗(yàn)結(jié)果顯示，3D先驗(yàn)的引導(dǎo)對于全局一致性的調(diào)節(jié)具有重要作用。另外，BSD技術(shù)能夠在現(xiàn)實(shí)紋理和一致性之間取得良好平衡。同時(shí)，作者對層次化流程中多個階段的渲染結(jié)果進(jìn)行了可視化展示，展示了不同階段的改進(jìn)情況和質(zhì)量提升。

5 總結(jié)

我們推出了DreamCraft3D，這是一種推動復(fù)雜3D資產(chǎn)生成領(lǐng)域發(fā)展的創(chuàng)新方法。 這項(xiàng)工作引入了一個細(xì)致的幾何雕刻階段，用于生成合理且連貫的3D幾何形狀，以及一種新穎的Bootstrapped Score Distillation策略。 后者通過從優(yōu)化的3D感知擴(kuò)散先驗(yàn)中提取并適應(yīng)正在優(yōu)化的實(shí)例的多視圖渲染，顯著提高了紋理質(zhì)量和一致性。 DreamCraft3D可生成具有引人注目的紋理細(xì)節(jié)和多視圖一致性的高保真3D資源。 我們相信這項(xiàng)工作代表了3D內(nèi)容創(chuàng)作民主化的重要一步，并在未來的應(yīng)用中展現(xiàn)了巨大的前景。