最近又迷上了AI生成。其實(shí)四個(gè)月以前就開始玩stable diffusion了，只不過作為一個(gè)曾經(jīng)小有名氣卻休稿多年的退休畫師，當(dāng)時(shí)SD的畫風(fēng)確實(shí)看不上。但最近看到的作品著實(shí)讓我震驚，于是就重拾學(xué)習(xí)起來。 在歷經(jīng)了多次嘗試和失敗，訓(xùn)練了幾十個(gè)模型之后，我終于成功訓(xùn)練出一個(gè)滿意的模型了。于是我迫不及待的分享出來，包括我摸索出的一些訓(xùn)練tips供大家交流學(xué)習(xí)，共同進(jìn)步～ 由于我自己常用的大模型是橙子，在嘗試過不同的大模型作為基礎(chǔ)訓(xùn)練模型后，我選擇使用anything v3來訓(xùn)練，這樣生成的效果最好。 由于我自己以前是畫師的緣故，我特別在意角色面相的一致性，因此我專門手動(dòng)挑選了幾十張我認(rèn)為的最符合原畫以及凝光氣質(zhì)的插畫作為訓(xùn)練素材。 此外，為了進(jìn)一步提升服裝和臉型的精確度，我還專門渲染了一大堆不同角度的凝光3D模型的圖片。畢竟人類畫師往往都會(huì)畫錯(cuò)一些地方，但官方模型肯定是最準(zhǔn)確的。最終我根據(jù)凝光的兩套服裝將其分為兩個(gè)文件夾，然后根據(jù)數(shù)量分別分配20和30的重復(fù)率。 訓(xùn)練的過程非常漫長(zhǎng)，因此找到訓(xùn)練的最佳設(shè)置尤為痛苦。雖然是3090，但開著1024分辨率渲染，一次也要7-12小時(shí)不等。這次的模型，實(shí)際上是分兩次訓(xùn)練的，總時(shí)間估計(jì)已經(jīng)去到了20小時(shí)。 訓(xùn)練的第一階段采用默認(rèn)學(xué)習(xí)率，由于每一epoch我都會(huì)保存，所以我也記不清最后選了哪個(gè)，可能是訓(xùn)練了6個(gè)epoch左右的模型，此時(shí)兩套服裝已經(jīng)能夠被區(qū)分開，臉型也成型，只是一些細(xì)節(jié)還不行。 因此第二階段我將學(xué)習(xí)率下調(diào)一個(gè)量級(jí)，然后又學(xué)習(xí)了6個(gè)epoch得到最終模型。這個(gè)過程其實(shí)有點(diǎn)像finetune，小學(xué)習(xí)率學(xué)習(xí)細(xì)節(jié)并避免快速過擬合。 最終成品也是比較令人滿意的。首先是可以用prompt區(qū)分兩套服裝：凝光默認(rèn)的白金旗袍，使用ningguang\(genshin impact\)即可呼出；凝光海燈節(jié)的藍(lán)色禮服，使用ningguang \(orchid's evening gown\) \(genshin impact\)呼出。這兩個(gè)prompt實(shí)際上是danbooru上已有的tag，因此如果你已經(jīng)安裝了自動(dòng)推薦tag的插件，這兩個(gè)prompt非常容易找到。 此外，我還添加了headonly這個(gè)prompt來標(biāo)記，具體效果大家看英文便知～ 接下來是預(yù)覽生成圖時(shí)間。這些圖我都采用最簡(jiǎn)單的prompt，因?yàn)橹皇亲餍Ч麉⒖?，沒必要搞很復(fù)雜。都是原圖，無(wú)裁剪、無(wú)inpaint。 首先是orangemix模型，可以看到臉是非常貼合原著的，服裝可換，orange的畫風(fēng)也得以保留。

接下來是counterfeit和9527，非常風(fēng)格化的模型，用來考驗(yàn)其魯棒性。不幸的是可以看到有的細(xì)節(jié)已經(jīng)出現(xiàn)錯(cuò)誤。這看起來像是訓(xùn)練不足導(dǎo)致，因此后面改進(jìn)的時(shí)候我再試試更多epoch吧。

最后是chillout模型的終極魯棒性挑戰(zhàn)，基于二次元大模型、二次元素材訓(xùn)練的小模型，能不能生成三次元呢？前方恐怖谷警告??

意外的…還湊合？ 不過服裝的細(xì)節(jié)錯(cuò)了不少，而且面相也不能說很像凝光給人的感覺。 不過至少還是個(gè)人樣，看得出是凝光…的cosplay。 什么TMD叫賽博cosplay！這TMD就叫賽博cosplay！ 但以后拿realistic模型生成圖這件事，還是僅作測(cè)試參考吧，三次元我真看不習(xí)慣。 這個(gè)模型已經(jīng)分享到civitAI，感興趣的自己去搜索下載就行。 這次分享也想多認(rèn)識(shí)一些同道中人，大家多交流學(xué)習(xí)一下，畢竟這個(gè)AI生成真的是好玩。