通常來說，diffusion模型都需要幾十步降噪才可以成功從噪聲圖片擴(kuò)散到高質(zhì)量的圖片。但是谷歌提出了UFOGen（Ultra-Fast?One-Step?Large?Scale?Text-to-Image?Generation?via?Diffusion?GANs），通過融合擴(kuò)散模型和GAN（生成對抗網(wǎng)絡(luò)）目標(biāo)，實現(xiàn)了在單步驟內(nèi)根據(jù)文本描述生成高質(zhì)量圖像的能力。UFOGen解決了傳統(tǒng)擴(kuò)散模型中多步推理的高計算成本問題，成為首批實現(xiàn)一步文本至圖像生成的模型之一。此外，UFOGen在多種下游任務(wù)中展現(xiàn)了其多功能性。

論文：https://arxiv.org/abs/2311.09257

Readpaper：https://readpaper.com/paper/4823094766841364481

詳細(xì)介紹

UFOGen模型架構(gòu)：

UFOGen結(jié)合了擴(kuò)散模型和生成對抗網(wǎng)絡(luò)（GAN）的特點(diǎn)。擴(kuò)散模型以其生成高質(zhì)量圖像的能力而聞名，而GAN以其生成速度快和效率高著稱。

在UFOGen中，擴(kuò)散模型的角色是提供一個穩(wěn)健的圖像生成過程，而GAN的目標(biāo)則是優(yōu)化這個過程，使其更加高效和快速。

圖像質(zhì)量與多樣性：

UFOGen不僅提高了生成速度，還保持了圖像的高質(zhì)量。這意味著生成的圖像在細(xì)節(jié)和真實感方面與傳統(tǒng)多步驟模型相媲美。

此外，模型還能處理多樣的文本輸入，生成各種風(fēng)格和主題的圖像，顯示出極高的適應(yīng)性和多樣性。

可以看出來，比起以蒸餾為代表的LCM，UFOGen使用的步數(shù)更少并且質(zhì)量更好。

下游應(yīng)用潛力：

UFOGen的快速和高效特性使其在多種應(yīng)用場景中具有巨大潛力，例如實時圖像生成、個性化內(nèi)容創(chuàng)作、虛擬現(xiàn)實等。

在這些應(yīng)用中，UFOGen能夠根據(jù)用戶的具體需求快速生成圖像，為用戶提供更加豐富和個性化的體驗。比如，可以應(yīng)用到image-to-image和Control?Net中。

觀點(diǎn)

學(xué)術(shù)：UFOGen的出現(xiàn)可能會引發(fā)人工智能領(lǐng)域?qū)尾缴赡Ｐ偷母嘌芯?，推動生成模型的效率和質(zhì)量向更高水平發(fā)展。它為未來的研究提供了一個新的方向，即如何在保持生成質(zhì)量的同時減少計算資源的消耗。

商業(yè)：在商業(yè)應(yīng)用方面，UFOGen的高效性和多功能性使其在廣告、娛樂、設(shè)計等行業(yè)具有巨大的應(yīng)用潛力。特別是在需要快速生成大量個性化內(nèi)容的場景中，UFOGen可以大幅提高效率和降低成本。

特邀作者：日本早稻田大學(xué)計算機(jī)系博士生 王軍杰