? ? kohya的訓(xùn)練程序更新了adafactor，Dadaption，LION等新的optimizer。其中有一些諸如adafactor的optimizer不需要填寫學(xué)習(xí)率。同時(shí)效果甚至比人工經(jīng)驗(yàn)的學(xué)習(xí)率訓(xùn)練出的模型效果更好。

????這代表以后可以不填寫學(xué)習(xí)率讓訓(xùn)練程序自己動(dòng)了。

????首先更新kohya的訓(xùn)練程序。參數(shù)進(jìn)行如下設(shè)置：

????????其他隨便填，Learning rate直接填寫1，Optimizer選擇Adafactor（據(jù)GUI作者說這個(gè)效果最好）。直接點(diǎn)擊訓(xùn)練。

等待訓(xùn)練完成就行，十分的傻瓜式。

????效果如下：

????loss以及l(fā)r參考：

????還是AI更懂AI。