AI 制作 3D 素材｜基于 AI 5 天創(chuàng)建一個農(nóng)場游戲，第 3 天
美術(shù)風(fēng)格?(第一天)
游戲設(shè)計?(第二天)
3D 素材
2D 素材
劇情
注意： 本教程面向熟悉 Unity 開發(fā)和 C# 語言的讀者。如果您不熟悉這些技術(shù)，請先查看 Unity for Beginners 系列后再繼續(xù)閱讀。
第 3 天：3D 素材
本教程系列的?第 2 部分?介紹了 使用 AI 進(jìn)行游戲設(shè)計。更具體地說，我們提問 ChatGPT 進(jìn)行頭腦風(fēng)暴，進(jìn)而設(shè)計農(nóng)場游戲所需的功能組件。
在這一部分中，我們將探討如何使用 AI 制作 3D 素材。先說結(jié)論：不可行。因為現(xiàn)階段的文本-3D 技術(shù)水平還沒有發(fā)展到可用于游戲開發(fā)的程度。不過 AI 領(lǐng)域在迅速變革，可能很快就有突破。如想了解文本-3D 現(xiàn)階段進(jìn)展，現(xiàn)階段不可行的原因，以及文本-3D 的未來發(fā)展，請繼續(xù)往下閱讀。
文本-3D 現(xiàn)階段進(jìn)展
我們在?第 1 部分?中介紹了使用 Stable Diffusion 幫助確立游戲美術(shù)風(fēng)格，這類 文本-圖像 的工具在游戲開發(fā)流程中表現(xiàn)非常震撼。同時游戲開發(fā)中也有 3D 建模需求，那么從文本生成 3D 模型的文本-3D 工具表現(xiàn)如何？下面總結(jié)了此領(lǐng)域的近期進(jìn)展：
CLIPMatrix 和 CLIP-Mesh-SMPLX 可以直接生成 3D 紋理網(wǎng)格。
CLIPMatrix 論文地址：
https://arxiv.org/abs/2109.12922CLIP-Mesh-SMPLX 代碼庫地址：
https://github.com/NasirKhalid24/CLIP-Mesh-SMPLXDreamFusion 使用 diffusion 技術(shù)從 2D 圖像生成 3D 模型。
DreadFusion 項目主頁：
https://dreamfusion3d.github.io/CLIP-Forge 可以從文本生成體素 (體積像素，3 維空間最小分割單元，類似圖片的像素) 3D 模型。
CLIP-Forge 代碼庫地址：
https://github.com/autodeskailab/clip-forgeCLIP-NeRF 可以輸入文本或者圖像來驅(qū)動 NeRF 生成新的 3D 模型。
CLIP-NeRF 代碼庫地址：
https://github.com/cassiePython/CLIPNeRFPoint-E 和 Pulsar+CLIP 可以用文本生成 3D 點云。
Hugging Face 關(guān)于 Point-E 的介紹：
https://huggingface.co/spaces/openai/point-ePulsar+CLIP 在 Google Colab 的示例地址：
https://colab.research.google.com/drive/1IvV3HGoNjRoyAKIX-aqSWa-t70PW3nPsDream Textures 使用了 文本-圖像 技術(shù)，可以在 Blender (三維圖形圖像軟件) 中自動對場景紋理貼圖。
Dream Textures 代碼庫地址：
https://github.com/carson-katri/dream-textures/releases/tag/0.0.9
?注：3D 對象有多種表征形式：顯式 (explicit representation) 包括網(wǎng)格、體素、點云等，可以進(jìn)行貼圖、渲染、合成虛擬視角等；隱式 (implicit representation) 通常使用函數(shù)映射來描述，NeRF 就是一種可以合成虛擬視角的隱式表征。
除 CLIPMatrix 和 CLIP-Mesh-SMPLX 之外，上述大部分方法或基于視圖合成 (view synthesis) 生成 3D 對象，或生成特定主體的新視角，這就是 NeRF (Neural Radiance Fields，神經(jīng)輻射場)?背后的思想。NeRF 使用神經(jīng)網(wǎng)絡(luò)來做視圖合成，這與傳統(tǒng) 3D 渲染方法 (網(wǎng)格、UV 映射、攝影測量等) 有較大差異。
NVIDIA 關(guān)于 NeRF (Neural Radiance Fields，神經(jīng)輻射場) 的文章：?
https://developer.nvidia.com/blog/getting-started-with-nvidia-instant-nerfs/
那么，這些技術(shù)為游戲開發(fā)者帶來了多少可能性? 我認(rèn)為?現(xiàn)階段?是零，實際上它還沒有發(fā)展到可用于游戲開發(fā)的程度。下面我會說明原因。
現(xiàn)階段不可行的原因
注意： 此部分面向熟悉傳統(tǒng) 3D 渲染技術(shù) (如網(wǎng)格，UV映射，和攝影測量) 的讀者。
網(wǎng)格是大部分 3D 世界的運行基石。諸如 NeRFs 的視圖合成技術(shù)雖然效果非常驚艷，但現(xiàn)階段卻難以兼容網(wǎng)格。不過 NeRFs 轉(zhuǎn)換為網(wǎng)格方向的工作已經(jīng)在進(jìn)行中，這部分的工作與攝影測量有些類似，攝影測量是對現(xiàn)實世界特定對象采集多張圖像并組合起來，進(jìn)而制作網(wǎng)格化的 3D 模型素材。
NeRFs 轉(zhuǎn)換為網(wǎng)格的倉庫地址：
https://github.com/NVlabs/instant-ngp
既然基于神經(jīng)網(wǎng)絡(luò)的 文本-NeRF-網(wǎng)格和攝影測量的采圖-組合-網(wǎng)格兩者的 3D 化流程有相似之處，同樣他們也具有相似的局限性：生成的 3D 網(wǎng)格素材不能直接在游戲中使用，而需要大量的專業(yè)知識和額外工作才能使用。因此我認(rèn)為，NeRF-網(wǎng)格可能是一個有用的工具，但現(xiàn)階段并未顯示出 文本-3D 的變革潛力。
還拿攝影測量類比，目前 NeRF-網(wǎng)格 最適合的場景同樣是創(chuàng)建超高保真模型素材，但實際上這需要大量的人工后處理工作，因此這項技術(shù)用在 5 天創(chuàng)建一個農(nóng)場游戲系列中沒有太大意義。為保證游戲開發(fā)順利進(jìn)行，對于需要有差異性的多種農(nóng)作物 3D 模型，我決定僅使用顏色不同的立方體加以區(qū)分。
不過 AI 領(lǐng)域的變革非常迅速，可能很快就會出現(xiàn)可行的解決方案。在下文中，我將討論 文本-3D 的一些發(fā)展方向。
文本-3D 的未來發(fā)展
雖然 文本-3D 領(lǐng)域最近取得了長足進(jìn)步，但與現(xiàn)階段 文本-2D 的影響力相比，仍有顯著的差距。對于如何縮小這個差距，我這里推測兩個可能的方向：
改進(jìn) NeRF-網(wǎng)格 和網(wǎng)格生成 (將連續(xù)的幾何空間細(xì)分為離散的網(wǎng)格拓?fù)鋯卧? 技術(shù)。如上文提到的，現(xiàn)階段 NeRF 生成的 3D 模型需要大量額外的工作才能作為游戲素材使用，雖然這種方法在創(chuàng)建高保真模型素材時非常有效，但它是以大量時間開銷為代價的。如果您跟我一樣使用 low-poly (低多邊形) 美術(shù)風(fēng)格來開發(fā)游戲，那么對于從零開始制作 3D 素材，您可能會偏好更低耗時的方案。
更新渲染技術(shù)：允許 NeRF 直接在引擎中渲染。雖然沒有官方公告，不過從 Nvidia Omniverse 和 Google DreamFusion3d 推測，有許多開發(fā)者正在為此努力。
Nvidia Omniverse 官方網(wǎng)站：
https://www.nvidia.com/en-us/omniverse/Google DreamFusion3d 項目主頁：
https://dreamfusion3d.github.io/
時間會給我們答案。如果您想跟上最新進(jìn)展，可以在 Twitter 上關(guān)注我查看相關(guān)動態(tài)。如果我錯過了哪些新進(jìn)展，也可以隨時與我聯(lián)系！
敬請期待第 4 部分的分享，我將為您介紹如何 使用 AI 制作 2D 素材。
致謝
感謝 Poli @multimodalart 提供的最新開源 文本-3D 信息。
英文原文: https://huggingface.co/blog/ml-for-games-3
原文作者: Dylan Ebert, Hugging Face 工程師
中文譯者: SuSung-boy (蘇桑)，經(jīng)常倒騰圖像的工業(yè)視覺算法工程師。
