無公式介紹擴(kuò)散模型的技術(shù)
前向擴(kuò)散：原圖被一次次從正態(tài)分布中抽樣生成的噪聲給淹沒。宛如一點(diǎn)墨水?dāng)U散在大海里；
反向擴(kuò)散：隨機(jī)生成初始化符合正態(tài)分布的圖像作為噪聲分布預(yù)測模型的第一次輸入。模型一次次的根據(jù)當(dāng)次圖像預(yù)測噪聲分布，生成相同分布的噪聲，并讓當(dāng)前圖像減去這個(gè)噪聲，一開始可以設(shè)置較大的剔除比例來大幅減去噪聲，為了收斂，越到后期被減的噪音比例越低。宛如一次次的預(yù)測并剔除各種海水中的分子，獲得那滴墨水。
潛空間：如果直接操作原圖，那么計(jì)算量太大。上述的原圖可以用（自編碼器）模型來壓縮編碼到一個(gè)很小的尺寸即為圖像的潛空間，然后擴(kuò)散操作相同，在最后需要將潛空間中的圖像信息使用（自編碼器）模型解碼成正常圖片。由于初始化的輸入需要符合正態(tài)分布，所以，編碼器的輸出也要向正態(tài)分布空間擬合。
正態(tài)分布的好處：
采樣需要：必須要確定分布，方便隨機(jī)初始化初始輸入，且標(biāo)準(zhǔn)正態(tài)分布的采樣方式相對簡單且易于計(jì)算；
插值和平滑過渡：標(biāo)準(zhǔn)正態(tài)分布具有連續(xù)性和光滑性的特點(diǎn)，這對于在潛在空間中進(jìn)行插值和遍歷非常有用。通過在標(biāo)準(zhǔn)正態(tài)分布中插值兩個(gè)隨機(jī)采樣的編碼向量，可以獲得介于它們之間的一系列編碼值，從而在生成圖像時(shí)呈現(xiàn)出平滑且連續(xù)的過渡。
過擬合和泛化：通過將潛在編碼向量約束為標(biāo)準(zhǔn)正態(tài)分布，可以限制模型的容量，并避免過擬合。標(biāo)準(zhǔn)正態(tài)分布是一種常見的先驗(yàn)假設(shè)，即認(rèn)為大部分?jǐn)?shù)據(jù)應(yīng)當(dāng)位于潛在空間的中心附近。這種先驗(yàn)假設(shè)有助于模型更好地泛化到未見過的數(shù)據(jù)。
潛在空間的連續(xù)表示：通過將潛在編碼向量約束為標(biāo)準(zhǔn)正態(tài)分布，可以使?jié)撛诳臻g呈現(xiàn)出更加連續(xù)和光滑的特性。這有助于模型在生成圖像時(shí)產(chǎn)生更平滑和自然的變化，同時(shí)也提供了更豐富的探索空間。
文字引導(dǎo)：（CFG數(shù)值控制強(qiáng)度）。前面的技術(shù)沒有文字提示的話，產(chǎn)生的結(jié)果不會(huì)具有偏向性。通過（CLIP）模型可以將文字信息編碼到低維空間，并與圖像的潛空間進(jìn)行交互（CrossAttention）。關(guān)于交互的內(nèi)容可以有很多種，比如圖像的深度信息與潛空間進(jìn)行交互。
噪聲控制：圖生圖中，需要向潛空間中添加隨機(jī)噪聲的目的是改變潛空間的特征信息，如果不加的話，優(yōu)秀的解碼器模型就會(huì)根據(jù)輸入圖像的潛空間特征信息，得到與輸入圖像高度一致的輸出圖像，畢竟這是解碼器的優(yōu)化目標(biāo)。
變分自編碼器（VAE）中解碼器的損失函數(shù)包括兩個(gè)部分：重構(gòu)損失和正則化項(xiàng)。
重構(gòu)損失（Reconstruction Loss）：重構(gòu)損失用于度量解碼器的重構(gòu)能力，即解碼器生成圖像與原始輸入圖像之間的差異。一般使用均方誤差（Mean Square Error，MSE）或交叉熵（Cross Entropy）作為重構(gòu)損失。其目標(biāo)是最小化生成圖像與原始圖像之間的差異，以使解碼器能夠還原原始數(shù)據(jù)。
正則化項(xiàng)（Regularization Term）：為了確保潛在空間的連續(xù)性和光滑性，通常會(huì)引入一個(gè)正則化項(xiàng)。常見的正則化項(xiàng)是KL散度（Kullback-Leibler Divergence），用于度量潛在編碼向量與先驗(yàn)分布（一般是高斯分布或均勻分布）之間的差異。KL散度有助于約束潛在空間的分布，使其更接近預(yù)設(shè)的標(biāo)準(zhǔn)正態(tài)分布
下圖是合成技術(shù)：
公式講解
訓(xùn)練時(shí)候t時(shí)刻圖像與前一時(shí)刻t-1圖像的關(guān)系公式：
B站不能寫公式。
