Stable?Diffusion已成為當(dāng)下最受歡迎的人工智能創(chuàng)作工具之一，能夠根據(jù)文本提示快速生成圖片。然而，由于生成過程具有隨機(jī)性，控制精度是一個(gè)問題。為了應(yīng)對(duì)這個(gè)挑戰(zhàn)，研究者設(shè)計(jì)了ControlNet模塊，通過在圖片生成的各個(gè)階段添加控制點(diǎn)，使得結(jié)果更為符合預(yù)期。盡管如此，ControlNet的高參數(shù)量和巨大計(jì)算量成為了一個(gè)瓶頸。為此，海德堡大學(xué)近期推出了ControlNet-XS模型，它僅使用了原模型1%的參數(shù)量，但卻實(shí)現(xiàn)了更為優(yōu)秀的控制效果。

鏈接：https://github.com/vislearn/ControlNet-XS

ControlNet-XS通過深度的編碼網(wǎng)絡(luò)，能夠捕獲圖片中復(fù)雜的語義信息。與此同時(shí)，它采用了簡(jiǎn)化的解碼網(wǎng)絡(luò)，以更為精準(zhǔn)地添加控制點(diǎn)。

通過這種創(chuàng)新的結(jié)構(gòu)設(shè)計(jì)，ControlNet-XS在保持控制效果的同時(shí)，大幅減少了參數(shù)量和計(jì)算量，不僅降低了模型的運(yùn)行要求，還提高了其控制性能。

性能提升:

相較于ControlNet,?ControlNet-XS在編碼階段獲取了更豐富的圖片特征，解碼階段利用特征也更為高效。

參數(shù)量的減少高達(dá)99%，但控制圖片生成的能力卻有所提升，這體現(xiàn)了ControlNet-XS在模型設(shè)計(jì)和優(yōu)化上的成功。

作者觀點(diǎn)：在學(xué)術(shù)層面，如何做輕量化和小型化方面的研究是一個(gè)恒久的主題，啥時(shí)候做都可以，而且對(duì)開發(fā)者非常友好。

在商業(yè)層面，ControlNet-XS可能會(huì)推動(dòng)人工智能創(chuàng)作工具的發(fā)展，使得這類工具在低端硬件上也能運(yùn)行流暢，從而降低技術(shù)應(yīng)用的門檻，拓寬其應(yīng)用范圍。

特邀作者：早稻田大學(xué)計(jì)算機(jī)系在讀博士 王軍杰??