制作 2D 素材｜基于 AI 5 天創(chuàng)建一個(gè)農(nóng)場(chǎng)游戲，第 4 天
歡迎使用 AI 進(jìn)行游戲開發(fā)！ 在本系列中，我們將使用 AI 工具在 5 天內(nèi)創(chuàng)建一個(gè)功能完備的農(nóng)場(chǎng)游戲。到本系列結(jié)束時(shí)，您將了解到如何將多種 AI 工具整合到游戲開發(fā)流程中。本系列文章將向您展示如何將 AI 工具用于:
2D 素材
劇情
注意： 本教程面向熟悉 Unity 開發(fā)和 C# 語(yǔ)言的讀者。如果您不熟悉這些技術(shù)，請(qǐng)先查看 Unity for Beginners 系列后再繼續(xù)閱讀。
第 4 天：2D 素材
本教程系列的 第 3 部分 討論到現(xiàn)階段 文本-3D 技術(shù)應(yīng)用到游戲開發(fā)中并不可行。不過對(duì)于 2D 來(lái)說，情況就大相徑庭了。
在這一部分中，我們將探討如何使用 AI 制作 2D 素材。
前言
本部分教程將介紹如何將 Stable Diffusion 工具嵌入到傳統(tǒng) 2D 素材制作流程中，來(lái)幫助從業(yè)者使用 AI 制作 2D 素材。此教程適用于具有一定圖片編輯和 2D 游戲素材制作知識(shí)基礎(chǔ)的讀者，同時(shí)對(duì)游戲或者 AI 領(lǐng)域的初學(xué)者和資深從業(yè)者也會(huì)有所幫助。
必要條件：
圖片編輯軟件。可以根據(jù)您的使用習(xí)慣偏好選擇，如 Photoshop 或 GIMP (免費(fèi))。
Stable Diffusion?？梢詤⒄?第 1 部分 的說明設(shè)置 Stable Diffusion。
Image2Image
諸如 Stable Diffusion 之類的擴(kuò)散模型生成圖片的過程是從初始噪聲開始，通過不斷去噪來(lái)重建圖片，同時(shí)在去噪過程中可以添加額外的指導(dǎo)條件來(lái)引導(dǎo)生成圖片的某種特性，這個(gè)條件可以是文本、輪廓、位置等?；跀U(kuò)散模型的 Image2Image 生成圖片的過程也一樣，但并非從初始噪聲開始，而是輸入真實(shí)圖片，這樣最終生成的圖片將會(huì)與輸入圖片有一定的相似性。
Image2Image 中的一個(gè)比較重要的參數(shù)是 去噪強(qiáng)度 (denoising strength)，它可以控制生成圖片與輸入圖片的差異程度。去噪強(qiáng)度為 0 會(huì)生成與輸入圖片完全一致的圖片，去噪強(qiáng)度為 1 則截然不同。去噪強(qiáng)度也可以理解為 創(chuàng)造性。例如：給定一張圓形圖案的輸入圖片，添加文本提示語(yǔ) “月亮”，對(duì)去噪強(qiáng)度設(shè)置不同的參數(shù)值，Image2Image 可以生成不同創(chuàng)造性的圖片，示意圖如下。
基于 Stable Diffusion 的 Image2Image 方法并非代替了傳統(tǒng)美術(shù)作品繪圖流程，而是作為一種工具輔助使用。具體來(lái)說，您可以先手動(dòng)繪制圖片，然后將其輸入給 Image2Image，調(diào)整相關(guān)參數(shù)后得到生成圖片，然后繼續(xù)將生成的圖片輸入給 Image2Image 進(jìn)行多次迭代，直到生成一張滿意的圖片。以本系列的農(nóng)場(chǎng)游戲?yàn)槔視?huì)在接下來(lái)的部分說明具體細(xì)節(jié)。
示例：玉米
在這一小節(jié)中，我會(huì)介紹使用?Image2Image?為農(nóng)場(chǎng)游戲的農(nóng)作物玉米生成圖標(biāo)的完整流程。首先需要確定整體構(gòu)圖，我簡(jiǎn)單勾勒了一張非常粗糙的玉米圖標(biāo)草圖。
接下來(lái)，我輸入以下提示語(yǔ)：
?corn, james gilleard, atey ghailan, pixar concept artists, stardew valley, animal crossing
注：corn：玉米；james gilleard：未來(lái)主義插畫藝術(shù)家；atey ghailan：現(xiàn)拳頭游戲概念藝術(shù)家；pixar concept artists：皮克斯動(dòng)畫概念藝術(shù)；stardew valley：星露谷物語(yǔ)，一款像素風(fēng)農(nóng)場(chǎng)游戲；animal crossing：動(dòng)物之森，任天堂游戲
同時(shí)設(shè)置去噪強(qiáng)度為 0.8，確保擴(kuò)散模型生成的圖片在保持原始構(gòu)圖的同時(shí)兼顧更多的創(chuàng)造性。從多次隨機(jī)生成的圖片中，我挑選了一張喜歡的，如下所示。
生成的圖片不需要很完美，因?yàn)橥ǔ?huì)多次迭代來(lái)不斷修復(fù)不完美的部分。對(duì)于上面挑選的圖片，我覺得整體風(fēng)格很不錯(cuò)，不過玉米葉部分稍微有些復(fù)雜，所以我使用 PhotoShop 做了一些修改。
請(qǐng)注意，這里我僅在 PhotoShop 中用筆刷非常粗略地涂掉了要改的部分，然后把它輸入到?Image2Image?中，讓 Stable Diffusion 自行填充這部分的細(xì)節(jié)。由于這次輸入圖片的大部分信息需要被保留下來(lái)，因此我設(shè)置去噪強(qiáng)度為 0.6，得到了一張還不錯(cuò)的圖片。
接著我在 PhotoShop 中又做了一些修改：簡(jiǎn)化了底部的線條以及去除了頂部的新芽，再一次輸入 Stable Diffusion 迭代，并且刪除了背景，最終的玉米圖標(biāo)如下圖所示。
瞧！不到 10 分鐘，一個(gè)玉米圖標(biāo)游戲素材就制作完成了！其實(shí)您可以花更多時(shí)間來(lái)打磨一個(gè)更好的作品。如想了解如何制作更加精致的游戲素材，可以前往觀看詳細(xì)演示視頻。
演示視頻地址:
https://youtu.be/blXnuyVgA_Y
示例：鐮刀
很多時(shí)候，您可能需要對(duì)擴(kuò)散模型進(jìn)行 負(fù)面引導(dǎo) 才能生成期望的圖片。下圖毫無(wú)疑問可以用作鐮刀圖標(biāo)，但這些簡(jiǎn)單的圖片卻需要大量迭代次數(shù)才能生成。
原因可能是這樣：擴(kuò)散模型使用的訓(xùn)練圖片基本都是網(wǎng)絡(luò)上的，而網(wǎng)絡(luò)上關(guān)于鐮刀的圖片大部分是 武器，只有小部分是 農(nóng)具，這就導(dǎo)致模型生成的鐮刀圖片會(huì)偏離 農(nóng)具。一種解決方法是改善提示語(yǔ)：以增加 負(fù)面提示語(yǔ) 的方式引導(dǎo)模型避開相應(yīng)的結(jié)果。上述示例中，除了輸入 鐮刀，農(nóng)具 之外，在負(fù)面提示語(yǔ)一欄輸入 武器 就能奏效。當(dāng)然，也不只有這一種解決方法。
Dreambooth、textual inversion 和 LoRA 技術(shù)用于定制個(gè)人專屬的擴(kuò)散模型，可以使模型生成更加明確的圖片。在 2D 生成領(lǐng)域，這些技術(shù)會(huì)越來(lái)越重要，不過具體技術(shù)細(xì)節(jié)不在本教程范圍之內(nèi)，這里就不展開了。
Dreambooth項(xiàng)目主頁(yè):
https://dreambooth.github.io/tetxtual inversion項(xiàng)目主頁(yè):
https://textual-inversion.github.io/LoRA博文地址:
https://hf.co/blog/lora
layer.ai 和 scenario.gg 等是專門提供游戲素材生成的服務(wù)商，可以使游戲從業(yè)者在游戲開發(fā)過程中生成的游戲素材保持風(fēng)格一致，他們的底層技術(shù)很可能就是 dreambooth 或 textual inversion。在新興的開發(fā)游戲素材生成工具包賽道，是這些技術(shù)成為主流？還是會(huì)再出現(xiàn)其他技術(shù)？讓我們拭目以待！
如果您對(duì) Dreambooth 的工作流程細(xì)節(jié)感興趣，可以查看 博客文章 閱讀相關(guān)信息，也可以進(jìn)入 Hugging Face 的 Dreambooth Training Space 應(yīng)用體驗(yàn)整個(gè)流程。
Dreambooth博文地址:
https://hf.co/blog/dreamboothDreambooth Training Spacehttps://hf.co/spaces/multimodalart/dreambooth-training
在下一部分中，我們將 使用 AI 設(shè)計(jì)游戲劇情。
英文鏈接：https://hf.co/blog/ml-for-games-4
原文作者：Dylan Ebert
譯者：SuSung-boy
審校、排版：zhongdongy (阿東)
