想擁有一個獨一無二的AI人物?Lora煉丹訓練模型教程來啦

之前答應過大家放出來的Lora本地訓練教程,終于寫好啦。
會訓練lora,代表著你可以生成屬于你的獨一無二的角色。
你可以讓這個角色在各種不同背景的地方出現(xiàn),可以讓它擺出各種姿勢,滿足你的無限幻想。
有的商家,用Lora訓練衣服,以致于他們可以省下不少模特,攝像的錢,
有的用Lora訓練商品,讓自己的商品以低成本高效率地獲得很多高端大氣上檔次的商詳圖。
今天咱就來給大家講講,如何本地訓練Lora訓練模型。
提醒,本地訓練模型,建議顯卡顯存8G以上,最好12G以上。
顯存低的同學可以考慮去租GPU線上訓練。
另外訓練需要修改調(diào)試腳本,對英文和代碼比較頭大的人要做好心理準備。
因為訓練真人有法律風險,我們這個教程,就以一個比較少見的動漫人物《君與彼女與彼女之戀》的女主之一,美雪,來做例子吧。
說起來美雪,她是我玩過的游戲里,印象很深的一個角色,她是跨越次元的愛戀的代表。
游戲里,她被困在二次元世界,卻對玩家“你”(而不是游戲里玩家控制的主角)產(chǎn)生了深刻的依戀,可是她又沒法走出游戲,只能在二次元世界的游戲世界中,那個充滿無趣和重復的小鎮(zhèn)里,一直一直,等你來看她,等你來陪她。
你不來,她只有無盡的孤苦的寂寞。
那么今天,我們就把她拯救出來,帶她穿上漂亮衣服,進入更廣闊的世界遨游吧。

那么,開始吧。
1.首先,下載這個lora訓練程序包。
https://pan.quark.cn/s/d81b8754a484#/list/share
(夸克網(wǎng)盤,可能需要短信登陸和下載客戶端,文件大概1個多G)
2.安裝notepad3,安裝python
(1)下載完畢后,安裝notepad3,用于后面編輯訓練參數(shù)文件。

(2)安裝python文件
(記得勾選path),如果你的系統(tǒng)已經(jīng)安裝了python3.10,則跳過此步。

(3)解壓lora-scripts.zip壓縮包。
提示:如果你自已已有常用的其他文本編輯器,也可以不用安裝notepad3。
3.進入解壓后的lora-scripts文件夾,點擊運行“強制更新bat”,更新到最新腳本

4.運行install-cn.ps1文件
(1)先開始菜單,搜索PowerShell,并用管理員權限運行,接著執(zhí)行下面指令
如果提示是否執(zhí)行策略,則輸入Y,再回車。

(2)右鍵點擊lora-scripts文件夾下面的install-cn.ps1文件,并選擇使用Powershell運行
等待系統(tǒng)自動安裝和配置相關環(huán)境。

如果網(wǎng)絡問題報錯,就退出,重新運行install-cn.ps1即可。

直到顯示安裝完成

5.收集整理圖片
(1)準備你要訓練的人物圖像,最少8張,最好12張以上。需要不同角度,正面,側(cè)面,背面,俯視圖等。
選取的圖片很影響訓練的質(zhì)量,一定要認真選圖,不要只有正面大臉圖。

(2)裁剪成要訓練的大小,比如我是512x512,并放入一個單獨的文件夾,比如就叫512。

(3)生成tag
打開stable diffusion webui,輸入你處理好的圖片地址和輸出的地址。
勾選Auto focal point crop,Use Deepbooru for caption。
點擊Process。

等待完成。
完成之后,目標文件夾自動會給圖片命名并生成對應的tag,存儲在對應的txt文件里面。

6.設定訓練文件夾
(1)在lora-scripts文件夾下面,新建一個train文件夾
(2)train文件夾下面新建一個文件夾,叫做meixue(你如果想叫做其他tag,也能改成其他名字)
(3)meixue文件夾下面,再新建一個文件夾,叫做6_meixue
(4)把第5步當中的圖片和txt文件放進6_meixue文件夾

7.打開并設置訓練文件
(1)用notepad3打開lora-scripts下面的train.ps1文件
(2)配置模型
找到你電腦stable-diffusion-webui -> models -> stable-diffusion下面的模型,最好用動漫類模型,比如我用的是anything4.0.ckpt,大家如果用Counterfeit,waifu,或者之類的動漫模型都行。
(如果你訓練真人,就要用真實模型,比如chilloutmix,realistic version等)。
然后復制到lora-scripts下面的sd-models文件夾里面,并把模型文件名改成models.ckpt或者models.safetensors

(3)修改訓練圖片的文件夾名稱,比如我改成了meixue

(4)max_train_poches這里我改成了15,大家選10-20都是可以的。

Max train epochs 下面的save every n epochs就是每多少個epoches就生成多少個lora(safetensors)文件。一般不用動。
(5)resolution沒動,因為我的訓練圖片就是512x512,所以沒動。你如果自己的圖片分辨率統(tǒng)一都比較大,比如都是1024x1024,你就改一下變成1024,1024。
(6)輸出文件名改一下,改成meixue

(7)其他沒提到的最好不要動。然后保存train.ps1文件。
8.開始訓練
右鍵點擊train.ps1文件,選擇powershell管理員運行。

大概需要幾分鐘到幾十分鐘,取決于你的顯卡性能,等待訓練完成。
9.找到并使用lora
(1)訓練完成后,在lora-scripts的output文件夾,找到生成的多個meixue _xxxx.safetentor文件。
(2)放入stable-diffusion-webui -> models -> lora文件夾
(3)打開stable-diffusion-webui,點擊generate下面的小圖,點擊lora,點擊refresh,在下面找到meixue lora,點一下。

(4)在prompt 區(qū)域,使用lora文件,并增加相關描述

點了之后,看到prompt中,有<lora: meixue xxx:1>之類的文字,代表你要使用這個lora,再加上自己打上的tag “meixue”,然后generate生成。
你看,紫發(fā)圓臉的美雪就出來了。
她終于逃脫了次元牢籠里的小鎮(zhèn),穿上了漂亮的衣服,來到了海邊玩耍,還交了很多新朋友~



10.不斷測試幾個生成的safetensors文件,找到一兩個你覺得擬合得最好的,然后保存。其他就可以刪掉了。
一般來說,越往前的擬合越不好,越往后的越容易過擬合。
總之找到自己喜歡的,效果最好的就是了。
11.如果對于所有的訓練結果不滿意,還可以繼續(xù)訓練,調(diào)試train.ps1里面的一些參數(shù)。直到你滿意為止。
調(diào)試之前記得先保存一個備份。否則后面容易忘了默認參數(shù)是什么。
(別問我怎么知道的)
好了,那么,今天的教程就先到這里吧。
這個lora訓練很好玩的,天花板也很高,大家可以多調(diào)試著玩耍,我也試了好久寫了好久。
如果覺得有用的話,記得點點關注,一鍵三連哦~這對我真的很重要~
因為教程比較復雜,字比較多,圖也比較多,大家要是還不會的,可以私我哈,不過不保證都能解決,但會盡力哈。
那么,我們今天的課就先到這里,下課!
<End>

參考內(nèi)容:保姆式LoRA模型訓練教程 一鍵包發(fā)布--秋葉
歷史教程文集,請點我頭像查看更多AI繪畫文章
關注我們,更多AI繪圖技能知識持續(xù)更新中~