AI繪圖學習筆記(三)——模型訓練
1 前言
因為Lora的性能更好,且大多數(shù)人使用的也是Lora,所以這里只講Lora的訓練方法。
2 工具準備
2.1 Kohya's Stable Diffusion trainers
算是Lora的官方訓練工具,但因為國內(nèi)環(huán)境問題,想要安裝這個有點費勁。
github地址:https://github.com/kohya-ss/sd-scripts
2.2 Kohya_ss GUI
上面那個工具的UI界面,不安裝這個就只能在CMD里面操作。
github地址:https://github.com/bmaltais/kohya_ss
2.3?秋葉aaaki整合包
由秋葉aaaki基于2.1的工具整合適用于國內(nèi)情況的包,優(yōu)化了下載源等參數(shù)。
github地址:https://github.com/Akegarasu/lora-scripts
視頻地址:秋葉整合包
3 準備數(shù)據(jù)集
訓練模型需要數(shù)據(jù)集,而數(shù)據(jù)集又包含圖片和tag文本兩部分。所以在訓練之前我們要先準備數(shù)據(jù)集。
先在*\lora-scripts\train地址下新建一個文件夾代表本次訓練,比如meinv,即*\lora-scripts\train\meinv
然后再在這個文件夾中新建一個文件夾,比如*\lora-scripts\train\meinv\orig,并將收集的圖片放到里面。
然后再在meinv文件夾中新建一個文件夾作為圖片處理后的存放地址,比如*\lora-scripts\train\meinv\out。
打開WebUI,選擇“訓練”—“圖像預處理”,在“源目錄”那里填寫*\lora-scripts\train\meinv\orig,目標目錄那里填寫*\lora-scripts\train\meinv\out。

寬度和高度都保持512不變。
勾選“自動焦點裁切”和“使用deepbooru生成說明文字”。
點擊“預處理”開始處理圖片,稍等片刻,處理好的圖片和tag文檔就在*\lora-scripts\train\meinv\out文件夾里面生成了。
確認生成的數(shù)據(jù)沒有問題后,在meinv文件夾中再新建一個文件夾,文件夾名稱格式為“數(shù)字_概念名”,比如7_meinv1,目錄為*\lora-scripts\train\meinv\7_meinv1。然后將剛才生成的圖片和標簽文本全部放到這個文件夾里。
4?設置訓練參數(shù)
按照秋葉大佬的講解設置參數(shù),參數(shù)設置完就可以開始訓練了。
秋葉大佬教學視頻
5?可能發(fā)生的問題
1.頁面文件太小
(1)修改虛擬內(nèi)存,將虛擬內(nèi)存大小上限設置為80G。
(2)將運行中的Stable Diffusion關(guān)閉,注意是要關(guān)閉黑框,不能只關(guān)Web UI。
(3)確認訓練參數(shù)設置中是否將“persistent_data_loader_workers”的參數(shù)設置為1了。該參數(shù)能加快訓練速度,但需要大量虛擬內(nèi)存,如果虛擬內(nèi)存不夠,請將這個參數(shù)設置為0.
2.No module named 'toml'
因為網(wǎng)絡原因?qū)е掳惭b包沒有完全安裝,重新運行“install-cn”,確保訓練包安裝完全。
3.其他問題
去上面那個教學視頻下面的評論區(qū)查看。
或者刪除所有文件,完全使用秋葉大佬的安裝包安裝,注意安裝python前和安裝后重啟電腦。