解決問(wèn)題：

超低光環(huán)境下的真實(shí)視頻去噪問(wèn)題。主要亮點(diǎn)在于其建模噪聲的思路可以借鑒。

主要：

使用GAN模型，基于真實(shí)clean-noise圖片對(duì)，生成"噪聲生成"模型，使用該模型去模擬拍攝過(guò)程中生成的噪聲。再對(duì)拍攝的clean圖像添加該噪聲，使用一個(gè)BasicVSR網(wǎng)絡(luò)進(jìn)行監(jiān)督視頻去噪。

其噪聲模型建模思想源自于下面這兩篇文章：

starlight 的主要流程：

1. 基于自己拍的靜態(tài)圖片對(duì)，用GAN建模真實(shí)噪聲模型。

2. GAN生成噪聲加到clean的視頻序列上成對(duì)，用網(wǎng)絡(luò)做視頻去噪。

*? GAN的噪聲建模成功，有一定理論上的依據(jù)，而且從結(jié)果上看效果好。局限：要成對(duì)的數(shù)據(jù)來(lái)學(xué)習(xí)噪聲分布，噪聲模型只能模仿單一參數(shù)設(shè)置的噪聲。在原文代碼中，是使用的自行設(shè)置超參數(shù)的形式在添加噪聲，是一個(gè)極強(qiáng)的先驗(yàn)，而后續(xù)的U-Net可以理解成添加了大量參數(shù)的網(wǎng)絡(luò)，使其能“過(guò)擬合”到特定的數(shù)據(jù)分布下，可以預(yù)想到的是這個(gè)模型的泛化性會(huì)極差，不過(guò)文章故事講的還挺完整。

Thinking：

1. 原論文基于照片對(duì)建模噪聲模型，并使用直接相加的方式應(yīng)用到視頻去噪中。

2. 建模方式可以不一樣，比如此文章就比之前的模型多加入了clipping , fixed pattern noise, and banding noise。

3. 是否可以基于視頻噪聲去建模，連續(xù)幀的噪聲分布或許具有一定關(guān)系，這是用圖片對(duì)建模無(wú)法考慮到的，剛好我們手里有這樣的數(shù)據(jù)集可以使用。

4. 他的噪聲建模在特定相機(jī)和參數(shù)設(shè)置下， 可以擴(kuò)大Noise Generator的模型，使其適用于多個(gè)攝像機(jī)增益/ISO。

5.他使用的方法--- WGAN-gp比較簡(jiǎn)單，可以改進(jìn)，用其他GAN模型（recycle？）或者normalizing flow model嘗試。

6.他是兩階段，是否可以整合成單階段。