6G顯存lora訓(xùn)練,創(chuàng)建虛擬內(nèi)存,及如何設(shè)置訓(xùn)練參數(shù)文字版,希望對小伙伴有所幫助
最低顯存占用:當(dāng)前安裝的內(nèi)存條*1.5*1024=得到的數(shù)值填進去(當(dāng)然還得看你硬盤的大?。├纾?/p>
我的內(nèi)存條32G*1.5*1024=49152
最大值
最大顯存占用:當(dāng)前安裝的內(nèi)存條*2.5*1024=得到的數(shù)值填進去(當(dāng)然還得看你硬盤的大?。├纾?/p>
32*2.5*1024=81920
打開我們的任務(wù)管理器
看到我的內(nèi)存
虛擬內(nèi)存
已經(jīng)增加了89G
緩存了21.4G
自帶內(nèi)存條32G
1.下面教你如何用更少的顯存跑lora,就是N卡入門6G顯卡跑lora
2.首先我們收集圖片,這里我已經(jīng)收集好從原神截取的38張草神圖片
然后進行裁剪
3.虛擬內(nèi)存設(shè)置好之后(最好選在固態(tài)硬盤設(shè)置)我們點擊確定即可
4.話說到裁剪批量裁剪圖片有很多,這個自己去找就行了
5.不推薦用SD裁剪因為自動生成會將你想要保留的部分有可能裁掉
我先把截圖放到文件夾
6.然后我在網(wǎng)上找個裁剪網(wǎng)站非常推薦(https://www.birme.net/?這是網(wǎng)址需要的小伙伴自行嘗試)自由調(diào)節(jié)圖像所保留部分
好說完裁剪,我這里全部裁成512*512的然后以zip形式下載下來
圖片裁剪好我們打開秋葉整合包
7.
兩個插件都能生成tag我都給大家做一下演示具體如何選你們自行選擇
①找到訓(xùn)練插件(training插件)秋葉整合包自帶:
圖像預(yù)處理。
選擇使用使用 Deepbooru 生成標(biāo)簽
然后把圖片路徑粘貼上
選擇輸出路徑就在桌面直接建立OUT文件夾
然后點擊預(yù)處理
然后out文件夾就出現(xiàn)圖片+帶有tag的文本文件
說第二種方法
②找到WD1.4標(biāo)簽器https://gitcode.net/ranting8323/stable-diffusion-webui-wd14-tagger.git(網(wǎng)址自行下載)
然后選擇批量處理
粘貼輸入和輸出路徑、刪除重復(fù)標(biāo)簽、反推后卸載模型、反推模型推薦wd14-vit-v2-git、閾值選擇0.35-0.4(大佬實踐所得)
然后點擊開始反推
反推之后生成tag文本,將圖片復(fù)制進來自動對應(yīng)
這樣就收集完成
8、我們開始打tag打標(biāo)處理
首先推薦一個插件數(shù)據(jù)標(biāo)簽編輯器
網(wǎng)址:https://github.com/toshiaki1729/stable-diffusion-webui-dataset-tag-editor.git
這是一款很強大的編輯器支持刪減tag,批量增加tag標(biāo)簽,現(xiàn)在我給大家演示如何打標(biāo)簽
我們勾選從子目錄加載,勾選如果不存在文本文件,則從文件名加載標(biāo)題
然后導(dǎo)入數(shù)據(jù)集路徑
我們復(fù)制進去然后進行加載
這里我們看到了圖片預(yù)覽界面
我們給我們的圖片固定三個標(biāo)簽
選擇批量編輯字幕
我們需要將草神納西妲固定的人物特征刪掉讓AI著重學(xué)習(xí)
保留人物名稱主體背景等字樣,我們留下的標(biāo)簽是可以在訓(xùn)練圖片是通過改tag指令來生成指定東西,例如我們留下black hair
我們就可以在訓(xùn)練圖片是改成? ?yellowhair? ? ,bluehair等就能生成人物對應(yīng)的顏色
這里我們刪除保留為納西妲固有人物特征這里我選擇的都是草神固有人物特征讓AI重點學(xué)習(xí),然后我們刪除tag點擊移除,然后保存
然后我們打上人物名字前置標(biāo)簽,找到搜索和替換我們鍵入? caoshen,1girl,solo,并將他前置,然后保存,再次打開后可以看到我們剛才
打上的tag已經(jīng)出現(xiàn)在文本里了,這里打tag已經(jīng)完成,因為剛才鍵入了兩次所以生成了兩次tag我們刪除即可,這里我們刪除了保存即可。
9.接下來我們導(dǎo)入kohya_ss進行訓(xùn)練(針對低顯存6G的N卡訓(xùn)練)
首先我們關(guān)掉不必要的程序,留下kohya_SS
我還留了一個科學(xué)上網(wǎng)
我們打開kohya_ssweib界面相信小伙伴都已經(jīng)安裝了,我前面也有教程講解這里我不贅述了
①我們運行bat批處理
打開之后我們選擇lora訓(xùn)練
②輸入底模路徑這里我就用一個常用二次元模型anything做底模
③打開SD文件下的models文件找到Stable-diffusion文件夾下的具體訓(xùn)練模型,他會默認填入底模路徑
④切換到folders這里注意我們創(chuàng)建caoshen文文件夾下的image文件夾下創(chuàng)建7_caoshen文件夾,在7_caoshen文件夾放入圖片和tag文本
然后文件夾打開到image即可
⑤輸出文件夾就選擇caoshen文件夾下創(chuàng)建models文件夾即可
⑥修改模型名字caoshenV1.0其他不需要動
⑦我們打開訓(xùn)練參數(shù)設(shè)置,batch size6G顯存默認為1,8G可以調(diào)到3根據(jù)需求自己設(shè)定,lora類型選擇第一個
⑧混合精度默認,學(xué)習(xí)率默認,epoch選擇5或10其他默認,CPU線程數(shù)拉滿
LR Scheduler:選擇LR Scheduler,優(yōu)化器選擇:lion
⑨Network Rank (Dimension):128? ? ?Network Alpha:64
因為是512*512分辨率所以默認
⑩高級配置里:Clip? skip(剪輯跳過):選擇2
設(shè)置好之后開始訓(xùn)練
可以看到已經(jīng)開始訓(xùn)練由于我開著錄屏所以占用或超過6G顯存,你們訓(xùn)練時只要關(guān)掉后臺程序,保留kohya_ss界面即可,6G也可以使用現(xiàn)在就是我的錄屏軟件在占用顯存,
只要關(guān)掉后臺程序就不會報錯,就是你們所說的炸顯存loss值去0.07-0.08之間都可以是比較好的模型,這也是看好多大佬說的
我們就等待模型出來即可。