AI繪圖,如何從零到有生成一個角色人設(shè)

大家好,我是夏代Key,今天要教會大家如何使用Stable Diffusion在不需要任何網(wǎng)絡(luò)參考圖的情況下,完成一個人物的設(shè)計。
提前聲明:本文為進(jìn)階教程,需要掌握與了解大量插件使用,但不對任何工具進(jìn)行教學(xué),不過為了各位小伙伴更容易學(xué)會完成,操作,我會在下方附上對應(yīng)需要學(xué)習(xí)的視頻,供各位小伙伴進(jìn)行參考。
這里預(yù)先先默認(rèn)所有小伙伴都已經(jīng)安裝軟件,如果還有小伙伴不了解自己應(yīng)該如何安裝軟件,可以點(diǎn)擊秋葉aaaki大佬的視頻,點(diǎn)擊前往下方兩個視頻進(jìn)行安裝。


一、 三視圖生成
讓我們直接步入正題吧:
1.安裝Controlnet插件與Openpose模型,這里可以全程跟著秋葉aaaki大佬進(jìn)行學(xué)習(xí)。

2.了解Lora模型的使用,大家還是跟著秋葉aaaki大佬進(jìn)行學(xué)習(xí)。

3.下載CharTurnerBeta - Lora模型,并學(xué)會使用三視圖生成,這里可觀看大江戶戰(zhàn)士的視頻。

注:目前三視圖生成服飾著裝并不穩(wěn)定,可能需要大量抽卡,直到找到一張人設(shè)(臉部與發(fā)型)較為穩(wěn)定的三視圖即可。

注1:不同底模對于三視圖生成效果都有不同影響,如果設(shè)置與大江戶戰(zhàn)士一致,而多次生成出的圖片都帶有背景,可以考慮切換底模,這里我使用的是MixProV3模型。
注2:選擇合適的畫風(fēng)很重要,后續(xù)Lora訓(xùn)練也與這個息息相關(guān),各位可前往C站(www點(diǎn)Civitai點(diǎn)com)自己下載自己喜歡的模型。
二、?高清修復(fù)
1.追求精益求精或需要保存角色服飾的小伙伴,可以打開局部重繪或PS進(jìn)行修圖。
在某些特定情況下,使用局部重繪效果不一定好,這時我們可以打開PS
例:下方我框選的位置可以通過PS的套索工具框選出來對背景進(jìn)行填充

以下為填充效果,大家不要怕?lián)p壞圖片本來的人物結(jié)構(gòu),下面會進(jìn)行重修(PS:細(xì)心的小伙伴可能發(fā)現(xiàn)最左邊的背影,怎么穿著黑絲呢,想換成白絲可以嗎?答案是可以,但想要保持腿型一致很難,最終我選擇擺爛,有更好方法的小伙伴可以在評論區(qū)給我留言)

填充后,如果各位想進(jìn)一步進(jìn)行修圖可以使用seed進(jìn)行高清重繪,或是使用圖生圖界面進(jìn)行進(jìn)一步修復(fù),要使用插件。
2.學(xué)習(xí)使用插件進(jìn)行修復(fù),小伙伴們可以跟著メ純銀ぐ碎冄大佬進(jìn)行學(xué)習(xí)。

大家學(xué)習(xí)完成后可以跟隨我進(jìn)行設(shè)置

3.調(diào)整參數(shù):這里給小伙伴們一個概念,重繪幅度越高,角色的隨機(jī)性也就越高,包括動作結(jié)構(gòu)都有可能改變,所以我推薦三設(shè)圖的重繪幅度不超過0.5,如果想一定程度的進(jìn)行改變可以選擇0.2-0.4最為穩(wěn)妥。
而迭代步數(shù)過低,修復(fù)會看不出效果,迭代步數(shù)越高,擬合程度越嚴(yán)重。但,低重繪幅度可以解決這一切,這里推薦我推薦使用較低的重繪幅度與較高的采樣步數(shù)進(jìn)行搭配,如:0.15重繪幅度與150迭代步數(shù)??梢陨梢韵碌膱D片:

注1:如果修復(fù)過程中發(fā)現(xiàn)角色發(fā)色和瞳色不一致,可在tag欄輸入發(fā)色與瞳色(缺點(diǎn)是可能改變服飾配色)。
注2:如修復(fù)過程中出現(xiàn)黑圖/點(diǎn)擊后不生成圖片/生成過程中突然中止 并生成模糊圖,這代表的你的顯卡顯存不足,建議降低分辨率或更改部分算法。
三、?Lora煉成與準(zhǔn)備工作
1.首先打開PS進(jìn)行摳圖,因?yàn)槿晥D的訓(xùn)練集較少,小伙伴們需要盡可能的將臉部與身體都單獨(dú)截取,這里我選擇了十張圖,盡量分辨率保持一致。


2.Lora訓(xùn)練,這里還是得感謝我們的賽博菩薩,秋葉老師。

3.掌握一些Lora訓(xùn)練技巧,也很重要,尤其是打Tag,大家可以查看另一位賽博佛祖的視頻。

4.正式開始訓(xùn)練時,因?yàn)槲覀冎挥?0張圖,所以訓(xùn)練步數(shù)要盡可能的多(但太多會擬合,所以適中即可,我推薦20步上下),我訓(xùn)練時40步,并訓(xùn)練了10輪,后續(xù)生成時有些擬合,所以小伙伴們可以減少一些訓(xùn)練步數(shù),以降低擬合。
注:
不要選擇太大分辨率與過高步數(shù)!!
不要選擇太大分辨率與過高步數(shù)!!
不要選擇太大分辨率與過高步數(shù)??!
四、?成功煉成
1.這里經(jīng)過實(shí)驗(yàn)選擇0.6-0.8權(quán)重最為合適,首先我們來試一試半身像的效果

感覺還不錯,我再來試一試全身的效果

改下服飾顏色試一試

什么?你發(fā)現(xiàn)襪子不見了,別著急,這是因?yàn)槲以诖騎ag環(huán)節(jié)中保留了短襪的White_socks標(biāo)簽,所以需要手動輸入后更改。
讓我們給她條襪子吧

而場景與姿勢,也可以通過tag進(jìn)行更改,讓我們添加(black thighhighs,dress,sit),改變服飾并且切換坐姿。

接下來使用(white?thighhighs,white dress,sit),生成白絲坐姿

最后使用(swimsuit,bare legs,lying),生成泳裝照并躺下


PS:背景模糊是因?yàn)槲疑显V所說的過擬合導(dǎo)致,小伙伴們要記得降低訓(xùn)練步數(shù)。
五、?結(jié)語
我們的人設(shè)生成(初級版)就算大功告成了。
但,到此為止了嗎?
還沒有結(jié)束!第一版跑出的Lora缺陷很多,也因?yàn)?span id="s0sssss00s" class="color-pink-03">訓(xùn)練集過小,導(dǎo)致我為了訓(xùn)練效果會加大訓(xùn)練量最終過擬合。小伙伴們需要通過第一版的Lora繼續(xù)生成各種姿勢與服飾的白色背景圖片(可以根據(jù)自己的需求更改),增加足夠多的訓(xùn)練集樣本后,后續(xù)可以選擇融合第一版的Lora,或是重新進(jìn)行Lora煉成,到那時才算是真正的大功告成。
最后是我私人一點(diǎn)小小的碎碎念:
AI繪圖發(fā)展到今天,離不開互聯(lián)網(wǎng)開源精神,同時也希望各位學(xué)會之后不要在各位老師(畫師)或是公司美術(shù)面前?騎臉?輸出。
我相信AI繪圖這門技術(shù),首先能夠造福很多獨(dú)立游戲與資金并不充裕的小型游戲公司,后續(xù)必將能惠及更多動畫公司與整個游戲業(yè)界,而AI始終是人類掌握的工具,所以大家不必排斥與抵觸,新的技術(shù)必將誕生新的崗位。
以上,感謝小伙伴們耐心觀看,希望各位小伙伴能有所收獲。
特別鳴謝各位開源大佬,以及賽博菩薩的教學(xué)。
