大家好,Hipster在這里。Invoke 3.0.1已經(jīng)發(fā)布,并且支持SDXL。在我們的線性UI中,我們使得在UI中直接輸入SDXL提示和使用Refiner變得非常簡單。但是SDXL在提示方式上有一點(diǎn)點(diǎn)不同。所以我們想要介紹一下如何使用我們的UI來有效地使用SDXL模型。

首先您會注意到,當(dāng)您切換到SDXL模型時(shí),您現(xiàn)在有兩個(gè)額外的提示框,即正面樣式提示和負(fù)面樣式提示。我們在線性UI中的SDXL實(shí)現(xiàn)方式是提供了一個(gè)主題提示框和一個(gè)樣式提示框,可以把它們組合在一起以獲得模型的最佳結(jié)果。

當(dāng)您使用SDXL時(shí),除非您確切知道您在做什么以及想要如何將提示傳遞給文本編碼器,否則我們強(qiáng)烈建議使用“連接基本提示與樣式”按鈕。這會在傳遞給第二個(gè)編碼器時(shí)把您的主題和樣式組合在一起。坦白地說,這需要一些適應(yīng)過程,但是對于SDXL來說,樣式提示是最重要的字段之一。如果樣式提示包含太多內(nèi)容,您可能會失去很多連貫性。您也要確保不要在負(fù)面提示中過分提示。SDXL模型似乎真的不喜歡負(fù)面提示字段中有太多內(nèi)容。所以真正把注意力集中在您不想看到的東西上,并盡量使其具有樣式化的性質(zhì)。

關(guān)于SDXL模型還有幾件事我想提出。如果您使用FP16精度,您需要確保下載固定的VAE,與原始SDXL基礎(chǔ)1.0模型一起發(fā)布的VAE文件在FP16運(yùn)行中是損壞的,并且還生成了這種真正奇怪的羅曼蒂克異化,一些人認(rèn)為它是一個(gè)水印。所以我們建議使用修復(fù)版本,它同時(shí)支持FP16并消除了圖像上那種奇怪的掃描線外觀。將新的VAE添加到Invoke中非常簡單。只需將其放入auto和port文件夾中,它應(yīng)該會在您的下一次刷新中出現(xiàn)在您的VAE框中。

使用SDXL時(shí),您會想從1024 x 1024或具有大致相同像素?cái)?shù)量的寬高開始。比如,如果您降低到896,您可能需要提高高度到1152。如果您降低到768,您需要提高到1280,等等。您真正需要確保它與SDXL模型訓(xùn)練的原始圖像大致相同的像素大小,以獲得所需的圖像連貫性。在本視頻中,我們將回到1024 x 1024。

最后,您可以切換Refiner模型的開關(guān)。我們發(fā)現(xiàn),特別是隨著一些fine tune的出現(xiàn),基礎(chǔ)模型就可以很好地工作。Refiner確實(shí)有能力為圖像添加許多非常好的細(xì)節(jié),但有時(shí)它可能有點(diǎn)薄弱。它不喜歡許多調(diào)度程序,您真的需要琢磨一套可靠的設(shè)置組合才能使它發(fā)揮作用。 所以Refiner是需要更多適應(yīng)和試驗(yàn)的東西。只要有心理準(zhǔn)備,在掌握它之前會有一些奇怪的圖像產(chǎn)生。

在UI中選擇的步驟數(shù)將是使用Refiner運(yùn)行的步驟數(shù)。Refiner開始有點(diǎn)像圖片到圖片的去噪強(qiáng)度功能。這實(shí)際上是在圖像中仍有一些噪聲時(shí)告訴基礎(chǔ)模型在什么步驟結(jié)束,以便它可以傳遞給Refiner運(yùn)行所選步驟數(shù)量。通常,您會希望它在0.7到0.8之間,以便基礎(chǔ)模型在結(jié)構(gòu)上基本完成圖像,真正留下最后潤色的工作給Refiner。并且您需要確保為Refiner選擇的步驟數(shù)大致與基于原始步驟數(shù)75%完成的估計(jì)剩余步驟數(shù)相匹配。在這種情況下,我的原始步驟數(shù)是40,75%是大約10步。您可以在周圍進(jìn)行一些額外的步驟。這個(gè)功能是完全可自定義的。但類似這樣的設(shè)置是我會推薦的。

我發(fā)現(xiàn)在SDXL中使用歐拉調(diào)度器非常成功。一些Dpm plus plus調(diào)度器的結(jié)果看起來有點(diǎn)奇怪,我正在研究原因。但就目前而言,我推薦使用歐拉或祖?zhèn)鳉W拉。

我們再創(chuàng)建一個(gè)Invoke。在未來幾周內(nèi),我們預(yù)計(jì)會有許多SDXL微調(diào)模型可用。我們已經(jīng)開始看到一些模型被發(fā)布。我看到的第一個(gè)是新的DreamShape XL模型。根據(jù)您的下載位置,如果您添加safetensors文件,您可以使用模型管理器像任何其他模型一樣進(jìn)行轉(zhuǎn)換。

如果您想輕松開始SDXL提示,可以查看我們的貢獻(xiàn)者KeyTurn在GitHub上創(chuàng)建的SDXL提示風(fēng)格參考,詳情中會有鏈接。您也可以在我們的Discord上找到更多信息?，F(xiàn)在我們來試一個(gè)。我把提示參考刪除了,因?yàn)檫@些是在Clip Drop網(wǎng)站上使用的樣式,他們是將主題提示注入到樣式中。我們實(shí)際上只是保持他們并將那兩個(gè)配對?，F(xiàn)在我們有了積極的,我也會在這里添加否定的。我還有一些其他的一般否定詞匯,我會把它們加進(jìn)來。如果您覺得有用可以參考。

就是這樣。我知道我一直在重復(fù),但我們還有更多即將到來的內(nèi)容。敬請期待。一如既往,感謝您的觀看。