~ 直到超越世界！~ BLACK ROCK SHOOTER(BRS) ~ Lora訓(xùn)練日志(一)
蒼藍(lán)的火焰于黑暗炸裂，直到超越世界。黑巖10年老粉，沒(méi)有技術(shù)力，只有眼淚。
☆?致謝?★
感謝全世界創(chuàng)作過(guò)黑巖的藝術(shù)家，尤其感謝Huke大神創(chuàng)作這個(gè)角色
最近開始研究如何訓(xùn)練Lora，感謝各位技術(shù)大佬，以下是自接觸過(guò)Lora訓(xùn)練以來(lái)參照過(guò)的教程，在此一一列出，沒(méi)看過(guò)的同學(xué)趕緊去看呀：
[【AI繪畫】最佳人物模型訓(xùn)練！保姆式LoRA模型訓(xùn)練教程 一鍵包發(fā)布]
[? AI繪畫】lora干貨！新手小進(jìn)階（上）！三種打標(biāo)方式對(duì)比及正則化對(duì)人物訓(xùn)練作用討論]
[《AI繪畫Stable Diffusion中文界面安裝及Lora使用方法》]
[5分鐘搞定Stable Diffusion環(huán)境配置，消滅奇怪的報(bào)錯(cuò)]
訓(xùn)練模型的代碼來(lái)自秋葉aaak佬，感謝！
☆?最新結(jié)果?★
Civitai站：BlackRockShooter_Lora
地址：https://civitai.com/models/21358/blackrockshooterlora
☆?第一天，瞎搞?★
☆ 電腦配置 ★
先用自己的電腦訓(xùn)練，參數(shù)如下：
處理器：12th Gen Intel(R) Core(TM) i5-12490F 3.00 GHz
內(nèi)存：32.0 GB
顯卡：NVIDIA GeForce RTX 3060 顯存12GB
操作系統(tǒng)：Win10
python環(huán)境：anaconda，其中:
python：3.10.6
torch: 1.13.0+cu117
☆ 流程總結(jié)以及問(wèn)題記錄 ★
1. 搜集數(shù)據(jù)，聽說(shuō)可以用很少的樣本訓(xùn)練Lora，所以只收集了20張左右的圖片，而且風(fēng)格各異
2. 環(huán)境配置，之前配置過(guò)webui的conda的環(huán)境，直接在其基礎(chǔ)上新下載一些包即可。
3. 處理數(shù)據(jù)，按照教程使用webui中Train標(biāo)簽頁(yè)里的Preprocess images，存儲(chǔ)文件名一律為“5_xxx”（居然把所有圖片都放在一個(gè)文件夾里了，也不知道對(duì)不對(duì)）
坑1：命令行訪問(wèn)git總是提示SSL錯(cuò)誤，之前提示過(guò)配置好了，后來(lái)又出問(wèn)題了，所以干脆去github上下載源碼
坑2：提前調(diào)研一下顯卡顯存與模型訓(xùn)練之間的關(guān)系，圖像寬高別設(shè)太大，我的圖像都設(shè)置成512*512的
坑3：別忘了勾選Use deepbooru for caption
4. 訓(xùn)練：打開train.ps1設(shè)置相關(guān)數(shù)據(jù)位置，設(shè)置底模位置(我使用的是cetusMix,因?yàn)楸容^喜歡)，max_train_epoches設(shè)置成15，其他配置沒(méi)變，就按照默認(rèn)的來(lái)
坑1：我是使用ananconda配置環(huán)境的，發(fā)現(xiàn)缺失環(huán)境。因?yàn)橹豢吹搅薼ora-scripts文件夾下的install.ps1，沒(méi)看到sd-scripts里的requirements.txt
坑2：又是訪問(wèn)不了github，xformer下載失敗，后來(lái)看到有的教程里說(shuō)把train.ps1最底下的x-fromer拿一行刪掉就行了
坑3：use_8bit_adam=1導(dǎo)致出錯(cuò)，報(bào)C++編譯出錯(cuò)，設(shè)置成0就好
5. 等待，驗(yàn)證
☆ 結(jié)果 ★
效果不太好，臉和手都崩了
☆ 總結(jié) ★
果然不是隨便訓(xùn)一下就能得到好結(jié)果的，感覺還有幾個(gè)方面可以考慮:
1. 比起手，臉崩了是更不能忍受的，得想辦法解決臉崩的問(wèn)題
2. 畫風(fēng)覺得怪怪的，不是想要的感覺，應(yīng)該是數(shù)據(jù)集畫風(fēng)太雜了
3. 人物動(dòng)作都差不多
☆?第二天 有進(jìn)步?★
☆ 電腦配置 ★
如上
☆ 流程總結(jié)以及問(wèn)題記錄 ★
大體流程不變，按照第一天的思路，對(duì)數(shù)據(jù)集進(jìn)行處理
1. 盡可能保持畫風(fēng)一致
2. 也許應(yīng)該增加一些頭部特寫
3. 看教程上說(shuō)數(shù)據(jù)的tag可以分為全標(biāo)、半標(biāo)、刪特征、僅喚起。所以把數(shù)據(jù)的標(biāo)簽亂刪了一通（偷懶了，沒(méi)仔細(xì)考慮）
☆ 結(jié)果 ★
經(jīng)過(guò)無(wú)數(shù)次實(shí)驗(yàn)之后，結(jié)果如下，相對(duì)來(lái)說(shuō)有所進(jìn)步，畫出了一些特征。
☆ 總結(jié) ★
1. 臉部的特征有些了，比如說(shuō)圈圈眼，火焰，無(wú)表情等
2. 四肢還是不行，事實(shí)上生成頭像還行，生成全身像大都會(huì)崩
3. 畫風(fēng)好了些
這次的改進(jìn)主要是針對(duì)數(shù)據(jù)集，當(dāng)我發(fā)現(xiàn)自己不知道如何刪特征時(shí)干脆就放棄了刪特征，都沒(méi)收斂還考慮什么泛化性能呢。
☆?第三天 進(jìn)一步細(xì)化數(shù)據(jù)集?★
看教程的過(guò)程中發(fā)現(xiàn)**不同服裝同角色的訓(xùn)練集放到不同文件夾里，而且通過(guò)repeat之后總數(shù)相近比較合適**，于是今天主要圍繞這個(gè)思想進(jìn)行細(xì)化實(shí)驗(yàn)。
☆ 電腦配置 ★
由于實(shí)驗(yàn)室同學(xué)跑圖把電腦燒了(不是，其實(shí)是進(jìn)水了)，而且顯存貌似還不夠的樣子，于是決定用服務(wù)器試試。
配置如下：
處理器：15 vCPU Intel(R) Xeon(R) Platinum 8358P CPU @ 2.60GHz
內(nèi)存：80.0 GB
顯卡：NVIDIA GeForce RTX 3090 顯存35GB
操作系統(tǒng)：Linux
python環(huán)境：anaconda，其中:
python：3.10.8
torch: 1.12.1+cu116
☆ 流程總結(jié)以及問(wèn)題記錄 ★
依然對(duì)數(shù)據(jù)集進(jìn)行處理，沒(méi)辦法目前只會(huì)對(duì)數(shù)據(jù)集處理
1. 配環(huán)境，依然用anaconda，運(yùn)行install.bash,用conda或者pip下載sd-scripts里的requirements。**
坑1：conda和pip需要設(shè)置清華源，否則慢得要死。
坑2：要下載python3.10以上的版本。下了個(gè)3.8直接哭了。
2. 擴(kuò)充數(shù)據(jù)集，增加了狂巖以及其他角色，此外給每張圖片添加特寫，主要是頭部、上半身和先半身
3. 將同一角色不同衣服和不同角色放在不同文件夾
4. 為方便起見，打標(biāo)方式為全標(biāo)
5. 訓(xùn)練，換了服務(wù)器出手也闊綽了起來(lái)了，圖片直接設(shè)置成1024X768，結(jié)果爆顯存了......
6. 再訓(xùn)練，圖片設(shè)置成768X768，結(jié)果還是爆顯存，最后設(shè)置成640X640，batch_size為1，network_dim和network_alpha為128**
☆ 結(jié)果 ★
在漫長(zhǎng)的等待之后結(jié)果如下：
☆ 總結(jié) ★
感覺畫風(fēng)和我中所想比較像了，有的圖也能出標(biāo)志性的五角星了，不過(guò)還是有很多問(wèn)題，例如手炮、表情，人物有時(shí)也會(huì)崩。
有的人物陰影處有小點(diǎn)，看漫畫的時(shí)候見過(guò)這種上色方式，不知道能不能去掉。
最后，看到很多很眼熟的圖，毫無(wú)疑問(wèn)，模型過(guò)擬合了。
接下來(lái)還要繼續(xù)調(diào)整，Tag基本上沒(méi)動(dòng)，正則化也沒(méi)用，網(wǎng)絡(luò)參數(shù)也沒(méi)改，數(shù)據(jù)也質(zhì)量和數(shù)量也不夠，要走的路還有很長(zhǎng)......
未完待續(xù)☆★☆
