~ 直到超越世界！~ BLACK ROCK SHOOTER(BRS) ~ Lora訓(xùn)練日志(二)
蒼藍(lán)的火焰于黑暗炸裂，直到超越世界。黑巖10年老粉，沒有技術(shù)力，只有眼淚。
☆ 每一次都有的 致謝 ★
感謝全世界創(chuàng)作過黑巖的藝術(shù)家，尤其感謝Huke大神的創(chuàng)作這個(gè)角色
最近開始研究如何訓(xùn)練Lora，感謝各位技術(shù)大佬，以下是自接觸過Lora訓(xùn)練以來參照過的教程，在此一一列出：
[【AI繪畫】最佳人物模型訓(xùn)練！保姆式LoRA模型訓(xùn)練教程 一鍵包發(fā)布]
[? AI繪畫】lora干貨！新手小進(jìn)階（上）！三種打標(biāo)方式對(duì)比及正則化對(duì)人物訓(xùn)練作用討論]
[《AI繪畫Stable Diffusion中文界面安裝及Lora使用方法》]
[5分鐘搞定Stable Diffusion環(huán)境配置，消滅奇怪的報(bào)錯(cuò)]?
訓(xùn)練模型的代碼來自秋葉aaak佬，感謝
☆?最新結(jié)果?★
Civitai站：BlackRockShooter_Lora
地址：https://civitai.com/models/21358/blackrockshooterlora
Prompt示例：
比較懶惰，找到了一個(gè)好的詞條就一直用了
Prompt: 1girl, black rock shooter (character),disorder, star, dilapidated scene, dilapidated , looking at viewer, glowing,twintails,
Negative prompt: worst quality, low quality, malformed hands,poorly drawn hand,mutated fingers,extra limbs,poorly drawn face, monochrome, zombie,word,
☆?圖片展示 ★
Stable Diffusion Model:CetusMix 訓(xùn)練的底模
Stable Diffusion Model:9527_v10.ckpt 這個(gè)模型跑出來的圖很像初音
Stable Diffusion Model:meinamix_meinAV7.safetensors 有些純真？
Stable Diffusion Model:dalcefoV3Anime_dalcefoV3Anime? 這個(gè)模型找不到了
☆ 電腦配置 ★
處理器：15 vCPU Intel(R) Xeon(R) Platinum 8358P CPU @ 2.60GHz
內(nèi)存：80.0 GB
顯卡：NVIDIA GeForce RTX 3090 顯存35GB
操作系統(tǒng)：Linux
python環(huán)境：anaconda，其中:
python：3.10.8
torch: 1.12.1+cu116
☆?流程總結(jié)以及問題記錄 ★
1. 對(duì)數(shù)據(jù)集進(jìn)行了擴(kuò)充，共計(jì)186張圖片，然后將其分成三個(gè)文件夾存放。，依然給每張圖片添加特寫，但是訓(xùn)練過程中發(fā)現(xiàn)Lora就愛畫腿，于是大幅減少腿的特寫
4_black_rock_shooter：該文件夾中的數(shù)據(jù)畫風(fēng)接近p站原作者
4 _changecloth：其他畫風(fēng)
4_other：其他角色
2. 調(diào)整Tag，刪掉了黑巖一些外形相關(guān)的Tag，比如說雙馬尾，黑色外套，藍(lán)色眼睛，眼睛冒火等
4. 調(diào)整訓(xùn)練參數(shù)，訓(xùn)練圖像大小設(shè)置為640*768，noise_offset設(shè)定為0.1，使用 Lion 優(yōu)化器，減少學(xué)習(xí)率，開啟persistent_data_loader_workers（感覺沒加速多少，估計(jì)是數(shù)據(jù)量少吧）
5. 訓(xùn)練，底模測(cè)試了幾個(gè)，還是感覺 CetusMix 好，下次再試試其他底模看看
☆?總結(jié) ★
就個(gè)人而言，這次跑出的圖的質(zhì)量還是有所進(jìn)步的，另外模型的泛化性也好了點(diǎn)，試了其他幾個(gè)底模效果有的好有的不好。
還是沒搞懂正則化，因此先沒用。
對(duì)Tag進(jìn)行處理確實(shí)比較重要，刪掉Tag意味著讓訓(xùn)練出來的Lora學(xué)會(huì)這個(gè)Tag表示的特征，比如說我刪除了 flaming eye ，那么大部分畫出來的圖都會(huì)畫出黑巖左眼冒出的藍(lán)色火焰。
可以用其他模型搭配本Lora跑圖，有的效果好有的效果差，總歸還是訓(xùn)練的底模能跑出更多人物細(xì)節(jié)。
