這是一種新研究出來的基于分?jǐn)?shù)的生成建模方法，用于生成3D網(wǎng)格。此方法利用網(wǎng)格的圖形結(jié)構(gòu)，采用3D擴散模型創(chuàng)建以可變形行進(jìn)四面體為特征的三維網(wǎng)格，然后在這種直接參數(shù)化上訓(xùn)練擴散模型。

“ 感知技術(shù) · 感觸CG · 感受藝術(shù) · 感悟心靈 ”

中國很有影響力影視特效CG動畫領(lǐng)域自媒體

目前多數(shù)AI生成3D模型，都是基于模型庫訓(xùn)練然后生成，模型庫沒有的或者是給出的圖片被遮擋部分都是生成不了的，所以我們很多人懷疑，就是直接調(diào)取了模型庫現(xiàn)成的模型。不管大家信與不信，但技術(shù)每天都在迭代，最近一組研究人員提出生成3D網(wǎng)格模型的一個新方法MeshDiffusion，這個方法進(jìn)化到可生成訓(xùn)練數(shù)據(jù)中不存在的全新形狀。

與體素和點云等形式的3D模型相比，網(wǎng)格模型在實際應(yīng)用中更為廣泛，因為能夠輕松、任意地修改形狀，然后進(jìn)行重打光或者模擬，還有就是它們可以利用現(xiàn)代圖形管線對網(wǎng)格進(jìn)行優(yōu)化。

以前用于生成網(wǎng)格的可伸縮方法通常依賴于次優(yōu)化后期處理，并且它們往往會生成過于平滑或雜亂的表面，而沒有細(xì)粒度的幾何細(xì)節(jié)。為了克服這些缺點，研發(fā)團(tuán)隊利用網(wǎng)格的圖形結(jié)構(gòu)，使用一種簡單但非常有效的生成建模方法來生成三維網(wǎng)格。

這是一種新研究出來的基于分?jǐn)?shù)的生成建模方法，用于生成3D網(wǎng)格。此方法利用網(wǎng)格的圖形結(jié)構(gòu)，采用3D擴散模型創(chuàng)建以可變形行進(jìn)四面體為特征的三維網(wǎng)格，然后在這種直接參數(shù)化上訓(xùn)練擴散模型。

MeshDiffusion使用3D擴散模型生成由可變形步進(jìn)式四面體（DMTets）參數(shù)化的3D網(wǎng)格。

研發(fā)團(tuán)隊介紹說，MeshDiffusion能夠生成各種逼真和多樣化的3D網(wǎng)格集，包括訓(xùn)練數(shù)據(jù)中不存在的全新形狀。此外，它甚至可以從單一2.5D視圖中，填充被遮擋的區(qū)域，然后重建完整的3D網(wǎng)格。

無條件生成

通過標(biāo)準(zhǔn)的DDPM訓(xùn)練和采樣，MeshDiffusion可以生成逼真且多樣化的3D網(wǎng)格集，其中許多是不在訓(xùn)練集中的新穎形狀。

單視圖條件式生成

如果在單個2.5D視圖上放了不完整的DMTet（可變形步進(jìn)式四面體），MeshDiffusion可以通過填充遮擋區(qū)域來生成完整的3D網(wǎng)格。

插值

通過使用DDIM作為擴散模型采樣器，可以對初始噪波進(jìn)行插值以創(chuàng)建插值形狀。

如何加紋理

通過MeshDiffusion生成的網(wǎng)格可以使用TEXTure（是一種用于3D形狀紋理的文本引導(dǎo)生成、編輯和傳輸?shù)男路椒ǎ┑茸钕冗M(jìn)的方法進(jìn)行紋理處理。

目前從介紹看生成的模型精度依舊還達(dá)不到制作需求，但是在生成式3D模型的技術(shù)迭代道路上又前進(jìn)了一步，起碼達(dá)到了可生成訓(xùn)練數(shù)據(jù)中沒有的形狀或者填充遮擋的部分，這就已經(jīng)有很大進(jìn)步了，期待接下來迭代的更好更優(yōu)，期待能有代碼可測試把玩的時刻。

好了，不要再討論失業(yè)不失業(yè)的問題了。做好眼前的工作，迎接新技術(shù)，未來我們依舊喝西北······錯了，重來，是依舊占領(lǐng)建模高地，成為模型大神。

開個玩笑，祝大家工作愉快