親愛(ài)的冒險(xiǎn)者,從這個(gè)視頻開(kāi)始,我們就要來(lái)學(xué)習(xí)對(duì)當(dāng)前AI生成至關(guān)重要的技術(shù),ControlNet(控制網(wǎng)絡(luò))。

簡(jiǎn)單來(lái)說(shuō),我們使用AI是因?yàn)槲覀兿氲玫揭粋€(gè)讓自己滿意的生成結(jié)果。所以我們需要添加控制手段,讓AI生成的結(jié)果朝著我們想要的方向進(jìn)行。

除了以上方法之外,在生活中還有更多描述我們想要東西的方式。也就是說(shuō),我們最終生成的條件可以來(lái)自其他方向。

比如,像我們的姿勢(shì),描述一個(gè)什么樣的姿勢(shì);或者一些線稿,我的線這樣畫(huà),里面你幫我填色;又或者是一些深度、法相之類的信息。

總而言之,在當(dāng)前的AI處理流程中,我們希望引入更多類型的條件來(lái)控制最終的生成結(jié)果。

ControlNet 技術(shù)就此應(yīng)運(yùn)而生,我們可以用它來(lái)實(shí)現(xiàn)引入更多條件類型,以對(duì)整個(gè) AI 流程進(jìn)行更精確的控制。

ControlNet 的使用非常簡(jiǎn)單。我們只需找到 ControlNet 的主節(jié)點(diǎn),把它添加到提示詞或采樣器中即可。

ControlNet 節(jié)點(diǎn)處理?xiàng)l件后再傳給處理器。很明顯,ControlNet 的作用是將更多條件引入整個(gè)處理流程。因此我們可以看到它下方有兩個(gè)接口來(lái)輸入相關(guān)條件內(nèi)容。

這里我們做一個(gè)簡(jiǎn)單示范。比如我們希望通過(guò)一張線稿來(lái)控制最終的生成結(jié)果。可以先導(dǎo)入圖像,找到一張線稿,連接到 ControlNet 應(yīng)用中;然后根據(jù)圖像加載配套的 ControlNet 模型。在這里找到加載器,ControlNet 加載器,點(diǎn)擊。如果裝的是整合包,ControlNet 模型一應(yīng)俱全。根據(jù)情況選擇一個(gè)加載器,連接到處理節(jié)點(diǎn)上。

此時(shí)原有結(jié)構(gòu)中介入了線稿條件的影響。對(duì)于線稿圖像,需要連接能處理線稿的 ControlNet 模型。如果直接生成,可以看到由于外部條件的介入,使用了線稿方式控制,最終生成效果與線稿極為相似。所以,我們實(shí)現(xiàn)了通過(guò)圖像和配套模型輸入條件,控制最終輸出的方法。

ControlNet 還有一個(gè)額外知識(shí)點(diǎn),即 CTR 預(yù)處理器。 不同類型的模型對(duì)輸入圖像有不同需求。但我們不總是有處理好的線稿或其他圖像。對(duì)于普通圖像,我們?cè)撊绾翁幚沓善ヅ淠Ｐ偷膱D像呢?所以,需要根據(jù)模型選擇合適的預(yù)處理器。 如果不知道該選哪個(gè),可以查看手冊(cè)。

比如使用的模型適用于模糊線預(yù)處理器,我們就新建一個(gè)預(yù)處理器,找到邊緣線,選擇模糊線(后續(xù)會(huì)詳細(xì)介紹)。把它連接到圖像上,為了預(yù)覽結(jié)果,找到 Blender 中的預(yù)覽連接上。點(diǎn)擊運(yùn)行節(jié)點(diǎn),我們就能得到處理后的圖像。由于選擇了匹配的 ControlNet 模型,它可以作用于當(dāng)前圖像,從而實(shí)現(xiàn)所需的控制。

以上是 ControlNet 的處理流程介紹,以及對(duì)其基本結(jié)構(gòu)的示范,希望對(duì)你有幫助。