造夢(mèng)師手記：SDXL迎來了AI插畫師
2023-10-15 19:57 作者:鐵華團(tuán)的黃金船 | 我要投稿
據(jù)說，很多動(dòng)漫站開始大規(guī)模下架AI漫畫。
這類漫畫數(shù)量驚人、質(zhì)量低下。但隨著技術(shù)的迭代，AI漫畫的時(shí)代即將到來。
在C站，一個(gè)面向插畫領(lǐng)域的SDXL大模型受到了熱捧，它的名字叫：Anime Illust Diffusion XL
創(chuàng)作者在主頁成：
模型介紹：
動(dòng)漫插畫設(shè)計(jì)XL，或稱 AIDXL 是一款專用于生成二次元插圖的模型。它內(nèi)置了 200 種以上（隨著更新越來越多）的插畫風(fēng)格，依靠特定觸發(fā)詞（見附錄 A 部分）觸發(fā)。
優(yōu)點(diǎn)：構(gòu)圖大膽，沒有擺拍感，主體突出，沒有過多繁雜的細(xì)節(jié)，認(rèn)識(shí)很多動(dòng)漫人物（依靠角色日文名拼音觸發(fā)，例如，“ayanami rei”對(duì)應(yīng)角色“綾波麗”，“kamado nezuko”對(duì)應(yīng)角色“禰豆子”）。
模型難度較大，不推薦入門者使用。
使用指南（將與時(shí)俱進(jìn)）
推薦使用 ComfyUI 生成圖像。
提示詞書寫：
如您所見，SDXL 的正負(fù)面提示詞都分為 text_g 和 text_l 兩個(gè)部分。假設(shè)您用于生成圖像的描述提示詞為 {main_prompt}（不包含質(zhì)量描述語），質(zhì)量提示詞為 {quality_prompt}，負(fù)面提示次為 {neg_prompt}。則就經(jīng)驗(yàn)來說，正面提示詞的 text_g 處填寫 “{main_prompt}”，text_l 處填寫 “{quality_prompt}, {main_prompt}”；負(fù)面提示次的 text_g 和 text_l 都填寫 “{neg_prompt}”。
另外，為了強(qiáng)調(diào)生成圖像的風(fēng)格，風(fēng)格觸發(fā)詞的位置應(yīng)盡量提前，例如， by xxx, 1girl, solo。
示例
質(zhì)量提示詞示例： a masterpiece with best quality, detailed 4k illustration
負(fù)面提示次示例： (low quality:1.4), bad anatomy, worst quality, ugly, disgusting, fused hands and fingers, bad hands, deformed hands and fingers, blurry, lowres, malformed, morbid, overexposure, too colorful and over-saturated, chromatic aberration, jagged
工作流
我在 Suggested Resources 內(nèi)添加了 ComfyUI 的工作流 json 文件。
生成參數(shù)
如果您無法生成與預(yù)覽圖相似的圖像，請(qǐng)參照以下指南。
建議圖像總分辨率（總分辨率=高度x寬度）大于 1024x1024 且 小于 1024x1024x1.5，否則生成的圖像可能質(zhì)量不高。此為經(jīng)驗(yàn)法則，即生成圖像的總分辨率應(yīng)高于訓(xùn)練集圖像的總分辨率，且同時(shí)低于訓(xùn)練集圖像總分辨率的 1.5 倍，以防止模糊和畸變。例如，本模型在 1024x1024 總分辨率上訓(xùn)練，因此您最大可以生成 1024x1536（以 2:3 為例）分辨率的圖像。
不進(jìn)行“Clip Skip”操作。
采用 “dpmpp_2m” 采樣器（sampler），搭配 “karras” 調(diào)度器（scheduler），該組合在 webui 里稱為 DPM++ 2M Karras。在 8 CFG 上采樣 50 步。
所有涉及圖像寬度（width）和高度（height）的參數(shù)均應(yīng)保持一致，即所有寬度一致，所有高度一致。
僅使用模型本身，而不使用精煉器（Refiner）。
使用基底模型 vae。
使用附錄部分提供的觸發(fā)詞以活用風(fēng)格化。在未使用風(fēng)格化的情況下生成圖像的質(zhì)量將參差不齊。
使用 SDXL 支持的 VAE 模型、文本嵌入（embeddings）模型和 Lora 模型。注意：sd-vae-ft-mse-original 不是支持 SDXL 的 vae；EasyNegative、badhandv4 等負(fù)面文本嵌入也不是支持 SDXL 的 embeddings。
訓(xùn)練參數(shù)
以 SDXL1.0 為底模，使用大約 2w 張自己標(biāo)注的圖像在 5e-6 學(xué)習(xí)率，總長為 1 的余弦調(diào)度器上訓(xùn)練了約 100 期得到模型 A。之后在 2e-7 學(xué)習(xí)率，其余參數(shù)相同的條件下，訓(xùn)練得到模型 B。將模型 A 與 B 混合后得到 AIDXLv0.1 模型。
對(duì)比基于 SD1.5 的 AID
2023/08/08：AIDXL 使用與 AIDv2.10 完全相同的訓(xùn)練集進(jìn)行訓(xùn)練，但表現(xiàn)優(yōu)于 AIDv2.10。AIDXL 更聰明，能做到很多以 SD1.5 為底模型無法做到的事。它還能很好地區(qū)分不同概念，學(xué)習(xí)圖像細(xì)節(jié)，處理對(duì) SD1.5 來說難于登天的構(gòu)圖，幾近完美地學(xué)習(xí)舊版 AID 無法完全掌握的風(fēng)格?？偟膩碚f，它絕對(duì)擁有比 SD1.5 更高的上限，我會(huì)繼續(xù)更新 AIDXL。
1、露西（賽博朋克2077）
提示詞：
by yoneyama mai, by rolua, 1girl, lucy \(cyberpunk\), solo, parted lips, short hair, looking at viewer, upper body, bangs, multicolored hair, bodysuit, cyberpunk, black background, depth of field, blurry, stunning color, chromatic aberration, cinematic lighting and shadow, high contrast
這真是一部意難平的作品... ...
2、綾波麗
提示詞：
by roitz, ayanami rei, 1girl, solo, plugsuit, red eyes, blue hair, short hair, red background, white bodysuit, holding, looking at viewer, bodysuit, upper body, breasts, hair between eyes, bangs, holding weapon, closed mouth
3、天使的翅膀
提示詞：
by chi4,1boy,male focus,white hair,short hair,messy hair,grey eyes,angel wings,feathered wings,looking at viewer,upper body,expressionless,grey pants,plaid pants,grey hoodie,
4、女孩，和刀
提示詞：
by dino,1girl,solo,cleavage cutout,black dress,red eyes,evil smile,evil grin,black hair,single hair bun,medium hair,bangs,(holding katana),long sleeves,looking at viewer,black background,black theme,temple,glowing,night,fighting stance,standing,outstretched arm,lighting,thunderstorm,close-up,rain,wet,katana behind back,
5、賽博少女
提示詞：
by ask, nixeu 1girl, cyborg, long black hair turtleneck sleeveless sit, resting along the wall dark room, watercolor tubes wires
6、吸煙的女孩
提示詞：
by fadingz, ( masterpiece, best quality:1.2),(mash kyrielight:1.1), pink hair, hair over one eye, purple eyes，smoke，cigarette on mouth，cold，proud，cocky，white shirt，upper body，smoking，A girl smoking a cigarette，The girl had a cigarette in her mouth，hiding hands
7、煙花、和服女孩
提示詞：
by chi4,1girl,black hair,ponytail,short hair,hair ornament,purple eyes,cleavage,rope,shimenawa,yellow kimono,japanese clothes,hadanugi dousa,obi,hairpin,yoimiya \(genshin impact\),upper body,smile,open mouth,one eye closed,portrait,night,fireworks,
C站主頁：
https://civitai.com/models/124189/anime-illust-diffusion-xl
網(wǎng)盤下載：
https://www.123pan.com/s/ueDeVv-HQKI.html?提取碼:lgyh
標(biāo)簽：
