造夢(mèng)師手記:挑戰(zhàn)Midjourney,融合近百Stable Diffsion大模型


經(jīng)常被問(wèn)到,Stable Diffsion和Midjourney的區(qū)別是什么?有沒(méi)有比Midjourney更好用的Stable Diffsion模型?
其實(shí)這個(gè)問(wèn)題很難回答。
二者雖然都是AI繪畫(huà)工具,但在底層邏輯上,二者是完全不同的方向。
Midjourney走的是付費(fèi)路線,大模型是“黑盒”,通過(guò)用戶(hù)的反饋不斷的更新升級(jí),收費(fèi)盈利,給付費(fèi)用戶(hù)提供更好地服務(wù);
Stable Diffsion走的是開(kāi)源路線,原生大模型放出沒(méi)幾天,就會(huì)被廣大開(kāi)源愛(ài)好者們拋棄,因?yàn)殚_(kāi)發(fā)者太多了,不斷的推出新的開(kāi)源大模型。
所以Stable Diffsion大模型不計(jì)其數(shù),雖然方便好用,卻也給初學(xué)者增加了門(mén)檻。
于是,有一批開(kāi)發(fā)者開(kāi)始嘗試做一個(gè)媲美Midjourney的Stable Diffsion大模型,其中,AlbedoBase XL是做的不錯(cuò)的一個(gè),目前已經(jīng)更新到1.2版本,新版在短短1天的時(shí)間,C站下載破千次。
作者在C站稱(chēng):
AlbedoBase XL(安全無(wú)害與不適宜內(nèi)容)
refiner無(wú)需使用,已包含 VAE。
保留負(fù)面提示的空缺是實(shí)現(xiàn)高品質(zhì)的方法。
目標(biāo)
穩(wěn)定擴(kuò)散 XL 具有 66 億個(gè)參數(shù),比 SD v1.5 版本多約 6.6 倍。我相信這不僅僅是一個(gè)數(shù)字,而是一個(gè)可以帶來(lái)性能顯著提升的數(shù)字。
自從我們意識(shí)到 SD v1.5 的整體性能因我們社區(qū)的爆炸性貢獻(xiàn)而得到了前所未有的提高以來(lái),已經(jīng)有一段時(shí)間了。因此,我正在完成這個(gè) AlbedoBase XL 模型,以便在這個(gè) XL 版本中也優(yōu)化地再現(xiàn) v1.5 中發(fā)生的性能提升。
我的目標(biāo)是直接測(cè)試所有公開(kāi)上傳到 Civitai 的檢查點(diǎn)和 LoRA 的性能,并通過(guò)多個(gè)過(guò)濾器后僅合并被判定為最優(yōu)的資源。這將超過(guò) Midjourney 等公司的人工智能生成圖像的性能。
截至目前,AlbedoBase XL v1.2 已經(jīng)合并了 96 個(gè)精選檢查點(diǎn)以及 244 個(gè) LoRA。
*有些人和企業(yè)通過(guò)將其作為網(wǎng)絡(luò)服務(wù)提供而成功地將我的模型貨幣化。在這里的任何支持,即使是小的,也將用于更新到更好的版本。您的協(xié)助將不勝感激。
真的能超越Midjourney嗎?
我覺(jué)得起碼有潛力了,讓我們?cè)囈幌隆?/p>
1、小魔女宅急便風(fēng)格
提示詞:
kiki from studio ghibli film kiki's delivery service,

注意為了避免生成貓耳朵(這個(gè)風(fēng)格特別容易生成貓耳朵),需要在負(fù)面提示詞增加:cat_ears
2、John Singer Sargent筆下的蓋茨比
提示詞:
8k,john singer sargent style anime illustration,1man,gatsby,

John Singer Sargent是美國(guó)印象派畫(huà)家,他生活的時(shí)代恰好是菲茨杰拉德寫(xiě)的《了不起的蓋茨比》的時(shí)代。
3、1995版《攻殼機(jī)動(dòng)隊(duì)》草雉素子
提示詞:
8k UHD ultra highly detailed,1990s anime screenshot,Ghost in the Shell 1995,retro art style of Mamoru Oshii,cyborg,wires,futuristic,beautiful 1girl,

4、女宇航員
提示詞:
cinematic photo of skinny blonde 18yo girl standing on an alien planet,sexy spacesuit,spaceship in background,RAW photo,high quality,35mm photograph,film grain,bokeh,professional,4k,highly detailed,

5、一起喝咖啡的情侶
提示詞:
professional anime illustration, boy and girl dating in a cafe, incredibly beautiful and romantic, ultra highly intricate detailed light

6、在秋天
提示詞:
a woman made of stained glass standing in an autumn forest,reflecting the light and vegetation around her as camouflage,autumn,uhd,8k,intense lighting,mysterious and luminous,award winning masterpiece,vibrant colors,piercing sun rays,extremely detailed,extreme shifts between light and dark,detailed background,cinematic,complex and multidimensional lighting,<lora:xl_more_art-full_v1:0.6>,

7、貓
提示詞:
cuteness overlord sitting in immensely cute throne in the cutest castle,elegant,highly detailed,holy,divine,sharp focus,extremely quality,intricate,cinematic light,shining,rich colors,beautiful epic,best,dramatic,full detail,coherent,symmetry,vivid,perfect composition,dynamic,vibrant,aesthetic,very inspirational,lovely,pretty,attractive,

8、滿(mǎn)月與女孩
提示詞:
Exoplanet anime,young woman holds out hand up to the star sky with a big red moon,symmetric conposition,from below,low angle shot ,<lora:comiclo_xl:1>,<lora:add-detail-xl:1>,<lora:AshleyWoodArtAIcc:1>, AshleyWoodArtAI,Exoplanet,often for alien worlds,distant stars,or space discovery.,

這張圖用了兩個(gè)LoRA,我非常喜歡的風(fēng)格,文末附LoRA下載。
C站地址:
https://civitai.com/models/140737?modelVersionId=223310
模型下載:
https://www.123pan.com/s/ueDeVv-OGKI.html
LoRA下載:
1、 comicloa1_xl
https://www.123pan.com/s/ueDeVv-RGKI.html
2、AshleyWoodArtAILccp
https://www.123pan.com/s/ueDeVv-DGKI.html