寫(xiě)在前面：
應(yīng)K佬的要求，寫(xiě)一篇專欄討論一下關(guān)于動(dòng)漫長(zhǎng)片超分辨率處理質(zhì)量控制的方法。這個(gè)視頻壓制雜談的專欄就當(dāng)是開(kāi)的新坑的吧。隨緣更新。本期著重講技術(shù)，盡量不講代碼和環(huán)境。

起因：

UP本人和朋友在測(cè)試使用Vapoursynth的壓制流程壓制4K動(dòng)漫番劇長(zhǎng)片的時(shí)候，如果只是單一使用一種算法或一種模型處理整個(gè)長(zhǎng)片的話，畫(huà)面會(huì)在一些模型處理不好的地方造成崩壞。例如，在這個(gè)使用場(chǎng)景，我們對(duì)整個(gè)片段都使用Real-Cugan算法的保守模型處理，但這會(huì)在部分地方造成瑕疵，具體可以下面對(duì)比圖的兩邊房屋的樹(shù)葉紋路

處理后紋路的虛化會(huì)被銳成一條顯眼的線條?，F(xiàn)在這種情況還算好的了，當(dāng)畫(huà)面的細(xì)節(jié)很小但是是那種不可抹去的細(xì)節(jié)的時(shí)候崩壞就會(huì)更嚴(yán)重。

而當(dāng)我們換一個(gè)更加保守的參數(shù)的話這種情況就會(huì)有所好轉(zhuǎn)，但又會(huì)造成影片的其他較長(zhǎng)的片段沒(méi)有足夠“清晰”的效果。

解決方法討論：

方法一：（全都要）

我們的想法是在長(zhǎng)片的大多數(shù)畫(huà)面都使用單獨(dú)一種超分辨率算法，然后在一些特定崩壞的畫(huà)面單獨(dú)分離片段使用更加保守的參數(shù)進(jìn)行處理，最后再拼接回去。特定片段使用特定的算法和參數(shù)如圖所示，這里只是簡(jiǎn)單舉個(gè)例子，需要按幀先把分段分割為幾部分，然后分別對(duì)這幾個(gè)部分使用不同的超分辨率算法以及參數(shù)，最后拼接為處理后的長(zhǎng)片片段。

清晰度和細(xì)節(jié)保留這兩個(gè)方向在現(xiàn)在的動(dòng)漫超分辨率算法下是不能都同時(shí)拉滿的，但是二者可以犧牲其中一方讓另一方獲得更好的效果。例如調(diào)整Real-cugan算法的Alpha強(qiáng)度的值。上面的例子可以全片使用保守模型，然后Real-cugan的Alpha值拉到0.3或.4左右就可以很好的保留細(xì)節(jié)，并且會(huì)有一點(diǎn)相對(duì)于原片好的清晰度。個(gè)人常用的有0.7或0.8。

特別注意：

在疊加超分辨率函數(shù)API的時(shí)候，腳本里對(duì)于Real-cugan這樣吃一定顯存的算法來(lái)說(shuō)，有一行代碼調(diào)用就會(huì)疊加一次顯存，它們之間不是顯存復(fù)用，調(diào)用次數(shù)只要多一點(diǎn)點(diǎn)就算是3090也扛不住。

在VS-mlrt的github的issue還沒(méi)找到如何釋放顯存的方式。所以在處理的時(shí)候得想辦法對(duì)所有崩壞的幀進(jìn)行抽取統(tǒng)一歸類，對(duì)不同類進(jìn)行不同的超分，再以此分割，拼接，最后出片子。然而這對(duì)于一部長(zhǎng)片來(lái)說(shuō)肯定是費(fèi)時(shí)費(fèi)力還費(fèi)腦子的工作。雖然可以叫上幾個(gè)人一起對(duì)崩壞的幀進(jìn)行分類，調(diào)整參數(shù)來(lái)加快處理速度（“人工”智能）。（實(shí)際上只需要人工鑒別崩壞場(chǎng)景并標(biāo)注對(duì)應(yīng)幀數(shù)，后續(xù)的代碼都可以寫(xiě)個(gè)腳本自動(dòng)生成）這是我目前能想到最好也是最累的方法了。

在issue里面好像提到了走pytorch的Real-cugan渲染不存在這樣的問(wèn)題，但由于速度和體積原因，個(gè)人已經(jīng)刪掉了torch的環(huán)境，具體請(qǐng)自行測(cè)試。

題外話：

絕大多數(shù)片子一般來(lái)說(shuō)一個(gè)超分算法一個(gè)模型處理到底也能有很好的超分辨率效果。而且不仔細(xì)查看細(xì)節(jié)的話幾乎找不到瑕疵。只是在一些細(xì)節(jié)狂魔的動(dòng)漫里，直接套一種算法的效果確實(shí)會(huì)有很多瑕疵。這種思路不僅僅可以用在超分辨率上面，對(duì)于基礎(chǔ)的畫(huà)面修復(fù)也可以采用類似的思路解決質(zhì)量控制的問(wèn)題。

歡迎其他大佬一起交流技術(shù)。上述有什么沒(méi)說(shuō)清楚的地方歡迎補(bǔ)充，有說(shuō)錯(cuò)的地方也歡迎提出，我會(huì)視情況修正。