大家好，我是GhostInShell?；貞?yīng)一下之前看到的兩個(gè)問題，最近實(shí)在沒什么時(shí)間，而且我既不是程序員又不是設(shè)計(jì)師，這個(gè)純粹業(yè)余。但回應(yīng)問題實(shí)在太浪費(fèi)時(shí)間了，而且本身就很忙.....每個(gè)人都有自己的見解，所以我也不多解釋了，大家想看眼我的觀點(diǎn)就看，不喜歡關(guān)掉就ok了。而且我一再強(qiáng)調(diào)GhostReview是研究框架，從來都沒覺得GhostReview就是正確答案，做出來只是拋磚引玉，希望有更多人研究這事，不認(rèn)同部分不就不用唄。還有Python不是閉源的，不認(rèn)同的人自己去寫??！噴人之前好好想想自己又做了什么了？鍵盤俠就這么“正義”凜然嗎？

基于GhostReview的模型改進(jìn)的問題

關(guān)于如何使用GhostReview進(jìn)行模型改進(jìn)，其實(shí)可以看之前模型改進(jìn)的文章里面有寫，改進(jìn)標(biāo)準(zhǔn)。如果純粹基于GhostReview，改進(jìn)方法：

1.美學(xué)評分，這個(gè)沒什么好說的，如果想要提高，就模型抽獎(jiǎng)。這部分是爭議性最多的，但至少sd1系列和sdxl的refiner模型就是用LAION的。至于為什么base不用stability.ai員工mcmonkey4eva在reddit上面的解釋，美學(xué)評分作為transformer的輸入會(huì)影響prompts，現(xiàn)在用的美學(xué)評分不是最精確的，但是其他的都有局限性。資料來源：https://www.reddit.com/r/StableDiffusion/comments/14v3fri/sdxl_simplified_explanation_of_aesthetics_score/

而且至少LAION用了17.6W條SAC和25W條AVA的真實(shí)評分對，用這個(gè)做我覺得沒啥問題。當(dāng)然知乎上有做模型評價(jià)的給我介紹了，HPSV2，另一個(gè)評分體系，看數(shù)據(jù)是準(zhǔn)確性挺高的，但只有50個(gè)人參與評價(jià)，所以最近我也加在了評測上面。?

2.Clip，用的就是SDXL其中的ViT-L/14，知乎上有人建議用2021年的clipscore論文的方法，我最近沒時(shí)間，也會(huì)上。模型過擬合在Prompt精準(zhǔn)度上面就是會(huì)有問題，這沒啥好說的。3&4.風(fēng)格兼容性及LoRA兼容性，正確答案就在targetimage里面，模型能產(chǎn)出對應(yīng)的那些圖片就是改進(jìn)。事實(shí)上，大量模型的問題就是出在過擬合，過擬合導(dǎo)致風(fēng)格完全固定，無法對其他風(fēng)格的prompts做出反應(yīng)，風(fēng)格兼容性及LoRA兼容性自然就差了。我文章里面每一個(gè)方法都有說，github上面都有對應(yīng)的圖片，主要看是不是有心去改進(jìn)。

最后，GhostReview的核心是一個(gè)研究框架，我始終覺得自己就是一個(gè)傻逼，用什么方法的問題，傻逼能知道的就那一點(diǎn)點(diǎn)知識(shí)。所以知乎上提的HPSV2，Clipscore的建議，我都是聽的。東西差從來不是問題，問題是不知道朝什么方向進(jìn)步。GhostMix 1.0那就是垃圾，但是1.1到1.2,1.2聽改進(jìn)意見完善肢體錯(cuò)誤之后做出來的2.0，不就挺好的嘛。

回應(yīng)關(guān)于LoRA的兼容性屬不屬于ckpt的性能的質(zhì)疑：

本來不想說，但是事實(shí)上很多模型制作者把亂七八糟一大堆的LoRA融進(jìn)ckpt里，某些模型還直接將Add detailed LoRA融入ckpt中，所以我才有測LoRA兼容性的想法。

至于有些人質(zhì)疑LoRA的兼容性到底屬不屬于ckpt的性能，理由是LoRA是線性相加，因?yàn)橛?xùn)練用的底模跟使用LoRA的底模不同，所以相加出來不一樣的數(shù)值，假設(shè)原本加出來是A，使用時(shí)加出來是B，B不可能等于A，所以LoRA兼容性就不屬于ckpt的性能。

我覺得每個(gè)人都有自己的觀點(diǎn)非常好，真理總是越辯越明的，因?yàn)镚hostReview這套框架也是沒有任何參考的情況下我個(gè)人做出來的，所以有質(zhì)疑很正常，但我想說說我自己的觀點(diǎn)。

首先，從原來上理解LoRA到底是什么非常重要。

經(jīng)常有人拿上圖說，這就是LoRA。的確這是LoRA原論文里面的簡介，但是具體LoRA在SD的那個(gè)位置，對SD是怎么影響的，其實(shí)一點(diǎn)都沒有說清楚。直接下結(jié)論，LoRA是對UNET和CLIP中的CrossAttentionBlock進(jìn)行局部的修改，達(dá)到控制生成圖片的效果。如果不了解什么是CrossAttentionBlock,UNET和CLIP，請看琥珀青葉（Lyocis）的作者做的SD原理視頻。如果不想知道原理，那就從側(cè)面理解。下圖是SD lora項(xiàng)目討論區(qū)，關(guān)于LoRA訓(xùn)練難度的參數(shù)圖。從參數(shù)量圖可以知道，在rank=16的情況下無論在UNET還是在CLIP，LoRA的可訓(xùn)練參數(shù)量連UNET和CLIP的1%都不到。即使擴(kuò)大8倍，就是dim=128，也不到整體可訓(xùn)練參數(shù)量的5%。Dreambooth和LoRA的本質(zhì)區(qū)別就在這里，Dreambooth是全參數(shù)的微調(diào)，而LoRA只是小參數(shù)的微調(diào)。我們使用LoRA是希望LoRA能夠很好的發(fā)揮，而如果融了一大堆LoRA又怎么能不影響其他LoRA的效果呢？

所以我才選擇對LoRA兼容性進(jìn)行測試，當(dāng)然上述都是建立在LoRA本身是一個(gè)訓(xùn)練良好的前提之下。這就說到我GhostReview這套框架的結(jié)果上面了，在LoRA部分，我是選擇了Civitai歷史最高評價(jià)的前16個(gè)風(fēng)格化LoRA。我選的是歷史最高評價(jià)的LoRA，有小人書這些動(dòng)漫的，有3Drender這些3D的，有FilmGirl這些真人的。我沒法評價(jià)一個(gè)LoRA到底是不是訓(xùn)練良好的LoRA，但是可以通過側(cè)面來告訴我。因?yàn)槎嗳擞茫嗳私o出好評，而大家的模型差異很大，所以側(cè)面告訴我，這個(gè)LoRA本身是沒有問題的。而且為什么其他ckpt都能很好的兼容LoRA，而就某些一眼過擬合的ckpt不能呢？這難道不是ckpt的一個(gè)性能嗎？