DDIM模型為宋佳銘博士所提出，該模型主要解決了DDPM取樣步數(shù)過高，導(dǎo)致模型推論時(shí)間過長之問題。DDIM主要憑藉著將擴(kuò)散過程以【非馬爾可夫鍊】形式處理，得到了類似跳步加速的可行性。

其實(shí)擴(kuò)散過程是馬爾可夫鍊這個(gè)假設(shè)，在DDPM模型的前向過程中讀者若仔細(xì)看方程式的結(jié)構(gòu)，就會(huì)看出有些許不對勁的地方。DDPM在前向過程中存在著一則眾所周知的<nice property>[1]，基於疊加噪聲均為高斯噪聲之假設(shè)，便能夠依靠x0與epsilon單步從0跳躍到t求得時(shí)間t下的xt sample。

等一下。。不是說在馬爾可夫鍊假設(shè)下，xt 只依賴 xt-1 嗎?。。為什麼現(xiàn)在 xt 可以用 x0 直接跳躍表示，而且所有係數(shù)都跟 xt-1 沒有關(guān)係? 這是馬爾可夫鍊嗎? 是的，他還是馬爾可夫鍊，只是碰巧你可以透過 alpha 與 beta 的精巧設(shè)計(jì)，得到一個(gè)從 x0 直接推出 xt 的捷徑。但若從公式關(guān)係說 xt 與 x0 相關(guān)，從公式看來也並沒有錯(cuò)。?

那~這下可好玩了，既然正向擴(kuò)散時(shí) xt 與 x0 相關(guān)，那逆向擴(kuò)散兩者有沒有關(guān)係捏? 我們知道在DDPM下，逆向擴(kuò)散時(shí)U-NET幫我們預(yù)測的是 epsilon t，也就是當(dāng)初單步跳躍到 t 時(shí)所用的 epsilon。並且，在固定 alpha 的情況下，知道 xt 與 epsilon t 就等於知道 x0。也就是說，只要知道現(xiàn)在的時(shí)間 t ，猜出目前 xt?圖中的噪聲就等效於猜出了原圖! 【只需猜噪音】，這就是DDPM設(shè)計(jì)超越DPM之處。

但若更進(jìn)一步思考。。咦? 那我為什麼要這麼麻煩，我在時(shí)間 T 的時(shí)候第一次猜的時(shí)候猜了個(gè)?epsilon t，那我不是直接用這 epsilon t 計(jì)算出 x0 就直接算完了嗎??

。。。。。。。。。。。。。

最好是可以啦!! 整個(gè)畫面滿是高斯白噪聲，你竟然一看就可以看出哪些是部分是雜訊哪些部份是原圖，這只有用背的才背得出來吧 (咦? overfitting?) 所以逆向擴(kuò)散單步是不切實(shí)際的，估計(jì)即使能產(chǎn)生像樣的圖，模型也毫無生成性可言。所以逆向擴(kuò)散的時(shí)候還是需要多步推論，但現(xiàn)在我們有一個(gè)大膽的想法：

原本逆擴(kuò)散是馬爾可夫鍊，我們必須走藍(lán)線。現(xiàn)在整個(gè)過程不是馬爾可夫鍊了，我們乾脆在 xt 的時(shí)候就直接估 x0。。。等一下! 我知道我剛剛說過單步不切實(shí)際，那我估出 x0 之後我再單步擴(kuò)散到 xt-1 這總行吧~ :) 我的老天，這招實(shí)在太天才了~??所以整個(gè)逆推的過程變成：

1. U-NET看著 xt 猜出 epsilon t
2. 從epsilon t 推出 x0
3. 從x0 向前推出 xt-1

這就是DDIM論文中最神妙的Eq.7。Eq.7將 sigma t 帶入beta t-1 (也就是 sqrt(1 - alpha t-1))的時(shí)候，執(zhí)行的就是上述的步驟。?

那你會(huì)問，可是sigma t不是只能帶傅老師你說的 beta t-1啊~ 那 sigma t 帶入其他數(shù)值時(shí)含意又是甚麼? OK，如果你仔細(xì)看公式，就會(huì)發(fā)現(xiàn)其實(shí)有一股雜訊躲在平均值裡面，他就是 sigma t。若今天不確定 x0 時(shí)，整組公式的噪聲值其實(shí)是要平方後相加，這樣 eps t 與 eps 兩項(xiàng)就會(huì)整併為?sqrt(1 - alpha t-1)，吻合單步擴(kuò)散至 t-1 時(shí)的公式。也就是說不管sigma t是多少，這兩股雜訊整併後的強(qiáng)度是一樣的。

所以，sigma只是 eps t 與 eps 間取權(quán)重之用的參數(shù)而已。其具體意義就是再次單步前向擴(kuò)散時(shí)，該使用新的 eps，或是U-NET估算出來應(yīng)是前次使用的?eps t。若我們完全放棄以權(quán)重調(diào)和 eps & eps t 的想法，那我們會(huì)將 sigma t設(shè)為0，也就得到了DDIM。

[1]?Lilian Weng, What are Diffusion Models??https://lilianweng.github.io/posts/2021-07-11-diffusion-models/