大家好，我是Ghost_Shell，也是GhostMix的作者。本來想寫一篇文章整體介紹一下模型，一些你們可能沒察覺到，但我非常固執(zhí)的理念，也算是模型的特性。結(jié)果發(fā)現(xiàn)寫太長了，就分開兩部分，第一部分是介紹如何融合模型的。

首先是這張圖，可能C站的小伙伴看過，但B站的小伙伴們沒有看過。其實這張圖是GhostMix的主要特性之一，也是這個模型做的累的根本原因。從GhostMix V1.1，V1.2到V2.0，不能說全部，但絕大部分的Prompts都是可以得到沿用的，而且效果大部分是越來越好的。如果隨便將兩個大模型融合，相同Prompts出圖是絕對不一樣，相當于用B跟A去比。我個人是不接受這種“升級”的，這不叫模型版本的升級，而是叫另一個模型。所以從V1.1到V2.0，要做到Prompts沿用的同時，提升畫面質(zhì)量，達到真正“升級”的目的，就需要借助MBW，也就是常說的分層融合，借助的就是supermerger插件，下面是一個checkpoint的24層。一個checkpoint有24層，如果以0.2為閾值，那么一共有6^24= 4.73e+18種可能性，顯然不可能試完，所以要測試每一層的情況。

這里的分層融合跟lora的分層融合不同，會比較少人研究，而我的建議就是最蠢的方法，一層一層去試。比方說，把第一層alpha設(shè)為1，其他設(shè)為0，生成一張，以此類推，找到不影響畫面整體布局的層。

確定好不影響整體畫面的層之后，開始調(diào)alpha，下圖是一個我的alpha表。每一個alpha后面都是一個模型。當然可以用測試圖來看這一個模型有沒有繼續(xù)檢驗下去的必要。

做完這些之后，應(yīng)該得到幾個temp的模型，然后就進入模型檢驗環(huán)節(jié)，測試集涵蓋很多不同畫風的圖片以確保模型的泛化性。

過了測試集，可以將隨機種子設(shè)為-1，來看模型的泛化性。走完這一路，終于可以獲得了一個不錯的模型，但這只是GhostMix和另一個模型比如BRA的流程。如果需要換成是chilloutmix或者perfectworld等其他模型，請重新來一遍。這次很幸運，我只試了4個模型就找到了對的模型，所以才做了47個版本。BTW，本來想融合BRA的，最終倒在了最后泛化性這里……

所以之前有人問我，V2.0是不是比V1.2更好的時候，我都會給出非?？隙ǖ拇鸢?，原因就在這里。無他，唯測得多爾。而且這一切還是建立在一張3060ti的顯卡上....我覺得看到這里的同學，應(yīng)該能理解我說的累是真的累....

如果想支持我，可以在愛發(fā)電給我買一杯咖啡：Ghost_Shell正在創(chuàng)作Stable Diffusion模型GhostMix的制作者 | 愛發(fā)電 (afdian.net)

現(xiàn)在的目標是眾籌換把3060ti換成4070更好的去做模型，PS:學生黨不準給我打錢，好好吃喝，生活更重要。