最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會(huì)員登陸 & 注冊(cè)

個(gè)人lora煉丹筆記

2023-07-08 22:17 作者:ufkc  | 我要投稿

畢竟也煉了半年多的丹了,想簡(jiǎn)單談?wù)勑牡茫ㄒ矝](méi)想到我一個(gè)煉丹業(yè)余玩家也能有c站小牌牌)


雖然很晚才開(kāi)始在c站上傳模型


這次只談?wù)勛罨A(chǔ)的lora訓(xùn)練,并且說(shuō)得抽象,基本是給自己看的,不涉及l(fā)oha,locon,金字塔及其分層訓(xùn)練那些花里胡哨的,因?yàn)槲艺J(rèn)為這些東西都不是訓(xùn)練一個(gè)好模型的關(guān)鍵因素才不是因?yàn)槲覒些?;′_`)┏

先簡(jiǎn)單說(shuō)說(shuō)決定訓(xùn)練質(zhì)量的因素(純個(gè)人體感):

訓(xùn)練集>>訓(xùn)練底模選擇>打標(biāo)>學(xué)習(xí)率≈學(xué)習(xí)步數(shù)>其它


先說(shuō)說(shuō)角色訓(xùn)練集準(zhǔn)備吧,首先準(zhǔn)備的訓(xùn)練集圖片一定要清晰,不能有顏色條條(最常見(jiàn)于工具裁剪時(shí)出現(xiàn)的黑條條),人物最好是有背景(不然出圖時(shí)人物背景可能要用prompt引出),然后畫風(fēng)極差的同人圖不建議作為訓(xùn)練集,拿番劇截圖做訓(xùn)練是可以的并且可以保證畫風(fēng)統(tǒng)一但會(huì)導(dǎo)致畫風(fēng)過(guò)擬,但球球了別拿個(gè)720p的畫質(zhì)去截圖做訓(xùn)練集,不然到時(shí)候出圖的時(shí)候跟著一起糊除非你喜歡糊糊的年代感。

緊接著是訓(xùn)練集圖片尺寸,最好是自己截不建議用訓(xùn)練工具自帶的裁剪工具,這樣更能選出你想讓ai學(xué)的內(nèi)容,個(gè)人喜歡512*(512~768)這個(gè)區(qū)間,其它區(qū)間有試過(guò)但翻車之后就沒(méi)再嘗試了,人物截圖時(shí)除非角色下半身有明顯屬于該角色的人物特征,不然只建議截上半身,下半身給ai學(xué)太容易過(guò)擬了,訓(xùn)練集中可以包含人物的背身圖和側(cè)身圖,但正面圖一定要在七成以上除非你喜歡欣賞背影。一個(gè)理想的訓(xùn)練圖片應(yīng)長(zhǎng)下面這樣:


禮奈友情出演

緊接著說(shuō)說(shuō)訓(xùn)練底模的選擇(僅限二次元),個(gè)人是nai模釘子戶,但其他例如anything、sd1.5應(yīng)該也不錯(cuò),這里就不多闡述了,上面提及的三個(gè)都挺穩(wěn)定,其它的需要自己嘗試。

然后說(shuō)說(shuō)地獄難度的打標(biāo)環(huán)節(jié)吧,這個(gè)首先得看訓(xùn)練底模對(duì)不同prompt的匹配度,目前我感覺(jué)nai模的prompt大多與danbooru這個(gè)圖片網(wǎng)站匹配(ai早期魔法吟唱的tag我都會(huì)去這個(gè)網(wǎng)站查)

之后就是打標(biāo)了,目前有很多打標(biāo)工具,我用的是超古典的deepdanbooru,其實(shí)這些打標(biāo)工具都差不多,麻煩的是后續(xù)人工處理tag

先用抽象的方式說(shuō)說(shuō)打標(biāo)是干嘛的

你可以認(rèn)為你給ai喂的訓(xùn)練集會(huì)放在一個(gè)雙層樓中,訓(xùn)練時(shí)ai會(huì)根據(jù)你給每一張訓(xùn)練圖片打上的tag一個(gè)個(gè)識(shí)別元素并與底模元素匹配去逐步迭代微調(diào)底模元素的內(nèi)容,并將這些元素放到房屋第二層中先不在第一層露面,那些未被打標(biāo)或者無(wú)法被識(shí)別的元素會(huì)被放置在第一層(大部分情況是底模中沒(méi)有這個(gè)tag對(duì)應(yīng)的元素)調(diào)用lora即出現(xiàn),當(dāng)訓(xùn)練好一個(gè)lora后,調(diào)用lora會(huì)直接讓第一層的元素露面,而想讓第二層元素露面就需要我用之前打好的tag去引出他們


抽象

所以為什么一般訓(xùn)練角色都會(huì)將角色特征有關(guān)的tag刪掉,這是為了調(diào)用時(shí)方便直接引出角色的特征,當(dāng)然如果保留角色服裝tag的話就能使角色換裝更簡(jiǎn)單。同時(shí)如果訓(xùn)練集少的情況下打標(biāo)盡量復(fù)雜,訓(xùn)練集多的情況打標(biāo)盡量簡(jiǎn)單,如果不介意過(guò)擬合或者欠擬合可以忽略這步,畢竟可以調(diào)lora權(quán)重。

不過(guò)還有一種邪教訓(xùn)練方式,就是我經(jīng)常用的單標(biāo)法,每個(gè)圖片只打1girl這一個(gè)標(biāo),或者再隨便加一點(diǎn),例如角色是純白背景的話我可能會(huì)加個(gè)white_background tag使白色背景不容易被調(diào)用出來(lái)防止以后出圖時(shí)背景單一。單標(biāo)法是懶人必備,并且分概念訓(xùn)練也很簡(jiǎn)單,只要自定義一個(gè)tag觸發(fā)詞再加1個(gè)1girl(加1girl能提高泛化性但極有可能導(dǎo)致概念雜糅)就能給一個(gè)圖片打好標(biāo)。

上面提及的都是角色訓(xùn)練,再順便提提畫風(fēng)訓(xùn)練吧,畫風(fēng)我也煉了不少但畫風(fēng)模型一般涉及畫師所以不會(huì)分享出來(lái)

煉畫風(fēng)就比角色輕松多了,打標(biāo)的話直接打全標(biāo),不需要手動(dòng)人工修改(至于為啥道理自己揣摩一下就懂了)唯一需要注意的點(diǎn)是畫風(fēng)lora和角色lora分開(kāi)用雖然沒(méi)問(wèn)題,但在共用時(shí),盡量用訓(xùn)練底模出圖,不然會(huì)有概率色塊污染情況,舉個(gè)例子

我訓(xùn)練了一個(gè)我一個(gè)喜歡的畫師狗姐(狗神煌)早期的畫風(fēng)lora,狗姐早期畫風(fēng)大概長(zhǎng)這樣


狗姐早期畫風(fēng)

用訓(xùn)練底模配合人物lora的出圖效果:


禮奈lora+狗神煌畫風(fēng)lora+訓(xùn)練底模

用非訓(xùn)練底模配合人物lora的出圖效果:


禮奈lora+狗神煌畫風(fēng)lora+非訓(xùn)練底模的模型

差別是不是顯而易見(jiàn)呢

最后談?wù)剬W(xué)習(xí)率和學(xué)習(xí)步數(shù)吧,這個(gè)基本只影響擬合度,一般默認(rèn)學(xué)習(xí)率就行,步數(shù)可以高點(diǎn),畢竟過(guò)擬合的lora可以降權(quán)重解決,欠擬合就真沒(méi)法解決了


到這里基本環(huán)節(jié)就結(jié)束了,剩下的交給ai吧,同時(shí)以上所說(shuō)的全是個(gè)人感受,每個(gè)人的訓(xùn)練愛(ài)好和方式肯定天差地別,看我的圖個(gè)樂(lè)就行了ヽ(ー_ー)ノ

個(gè)人lora煉丹筆記的評(píng)論 (共 條)

分享到微博請(qǐng)遵守國(guó)家法律
石家庄市| 井冈山市| 松溪县| 仪征市| 新闻| 麦盖提县| 阿尔山市| 新沂市| 南华县| 鄂尔多斯市| 德江县| 沧州市| 景宁| 渝中区| 博白县| 惠来县| 奉新县| 兴城市| 卢龙县| 当雄县| 团风县| 桐梓县| 寿光市| 门头沟区| 格尔木市| 涟源市| 梨树县| 民和| 津市市| 宣武区| 佛山市| 太仆寺旗| 社旗县| 临城县| 灵川县| 阿城市| 石渠县| 土默特左旗| 永福县| 和平区| 通辽市|