老視頻修復(fù)畫質(zhì)完整教程：Topaz Video Enhance AI 提升分辨率＋RIFE 補(bǔ)幀
最近在B站聽伍佰的時(shí)候，發(fā)現(xiàn)有不少UP主制作了4K畫質(zhì)修復(fù)版 Live 視頻??
這些二十多年前的視頻，在4K畫質(zhì)下，似乎多了一份莫名的感動(dòng)...
我后來突然就很好奇，他們是怎么制作的這些視頻？畢竟我也收藏有不少老片*
做了些研究，阿虛發(fā)現(xiàn)實(shí)現(xiàn)的方法還不少，比如：
如今有專業(yè)的視頻修復(fù)公司，比如之前的4K修復(fù)版開國大典，其實(shí)是花費(fèi)了600個(gè)人的修復(fù)團(tuán)隊(duì)將24萬幀畫面一幀一幀上色修復(fù)的
國外一家名為 VideoGorillas 的公司開發(fā)了 Bigfoot、SUPER RESOLUTION 等AI修復(fù)技術(shù)，不過該公司只承接商業(yè)合作，并未對(duì)外提供可操作的軟件
AI影片《老北京100年前影片修復(fù)》制作者「大谷Spitzer」分享了他的工作流程：視頻補(bǔ)幀使用DAIN（Python），分辨率倍增部分使用 ESRGAN（Python），上色應(yīng)用了 DeOldify（Jupyter Notebook），此外用 VirtualDub（C++）做了一些老電影降噪處理
可以看出上面的方法，要么掏出你的人民幣，要么有過硬的編程技術(shù)，對(duì)于我們多數(shù)人來說，是沒有可操作性的?????♂?
不過呢，阿虛后續(xù)又深入研究了億下，發(fā)現(xiàn)其實(shí)也是有我們一般人可學(xué)會(huì)的流程的????
▍1 提升視頻畫質(zhì)
大家應(yīng)該知道，簡單來看待視頻，其實(shí)就是「一幀幀連續(xù)的圖片」配上對(duì)應(yīng)的「音頻」
那說直白點(diǎn)，如果你想要提升視頻分辨率且不怕麻煩的話，完全可以將音畫分離，視頻導(dǎo)出為一幀一幀，然后用 Waifu2x 等軟件將每一幀都放大，最后重新合并畫面與音頻：https://mp.weixin.qq.com/s/p0ClpJuiNHunkJ7IgyTtCQ
不過上述方法實(shí)在過于麻煩了，好在有這么一家公司—— Topaz
開發(fā)了一款名為 Topaz Video Enhance AI 的軟件，可以讓我們一鍵化實(shí)現(xiàn)上述步驟
● 1.1 Topaz Video Enhance AI簡介
Topaz Video Enhance AI 基于人工智能，喂以數(shù)以千計(jì)視頻的訓(xùn)練其數(shù)據(jù)模型，可以將模糊視頻智能銳化，從素材中推斷細(xì)節(jié)以讓視頻變得清晰
最關(guān)鍵的是，不僅功能牛逼，使用上也做到了小白一鍵化操作！
Topaz Video Enhance AI 的安裝包，請(qǐng)關(guān)注微信公眾號(hào)：阿虛同學(xué)，發(fā)送以下關(guān)鍵詞，后臺(tái)即會(huì)自動(dòng)回復(fù)下載地址了：
視頻清晰化
安裝和??過程阿虛就略過了，在安裝包中阿虛有詳細(xì)說明
這里用伍佰1996夏夜晚風(fēng)演唱會(huì)DVD原盤的480P視頻做測試：
在右邊可以直接快速設(shè)置AI模型與想放大的視頻倍數(shù)：
● 1.2 AI模型的選擇
最主要影響視頻處理結(jié)果的就是AI模型了，所以這里費(fèi)篇幅多說一點(diǎn)?????
Topaz Video Enhance AI 2.1版的模型大致分為４個(gè)系列：Artemis系列，Dione系列，Gaia系列，Theia系列：
Artemis系列比較適合修復(fù)畫面本身噪點(diǎn)不多，已經(jīng)被輕微后處理過的視頻，比如演唱會(huì)DVD原盤這種，視頻本身在制作時(shí)經(jīng)過了輕微的磨皮和調(diào)試，會(huì)有不少特寫鏡頭，這樣的視頻用Artemis系列修出來，特寫鏡頭清晰的不可思議！
Dione系列是v1.9才推出的模型，算法不算太成熟，雖然能夠處理隔行掃描視頻，但是當(dāng)視頻中有運(yùn)動(dòng)的主體時(shí)，運(yùn)動(dòng)主體的橫紋時(shí)常有殘留，運(yùn)動(dòng)速度越快殘留可能性越高。而且當(dāng)人臉在畫面中占比不是很大時(shí)，眼睛經(jīng)常修不好，會(huì)有類似水紋的橫紋存在！
Gaia系列主要用于修復(fù)CG動(dòng)畫和數(shù)碼制作的動(dòng)畫，顏色不復(fù)雜、線條明顯的手繪動(dòng)畫用Gaia-CG／采用特別材質(zhì)，如水彩、丙烯等的動(dòng)畫用Gaia-HQ
Theia系列是可以自己調(diào)整參數(shù)的模型，但對(duì)于多數(shù)人來說，自己手動(dòng)調(diào)參的門檻過高，一遍一遍試錯(cuò)其實(shí)非常費(fèi)時(shí)間，除非是你實(shí)在特別喜歡某個(gè)視頻非要試出個(gè)最完美的參數(shù)又另說
以上評(píng)價(jià)綜合了這幾位作者的觀點(diǎn)，如果想深入掌握 Topaz Video Enhance AI 建議仔細(xì)研讀一下這幾篇文章：
B站作者@日出和日出的第一道光：https://www.bilibili.com/read/cv10545545（圖文對(duì)比）
B站作者@菊長大人：https://www.bilibili.com/read/cv11874826（有視頻對(duì)比）
B站作者@ZHY2020：https://www.bilibili.com/read/cv10766442/
● 1.3 逐行掃描＆隔行掃描
這里簡單說一下逐行掃描＆隔行掃描
其實(shí)目前大多數(shù)視頻都是逐行掃描，隔行掃描更多出現(xiàn)在「老視頻」
然后怎么樣判斷視頻是逐行掃描還是隔行掃描呢 ? ?
如果你是從網(wǎng)上下載的視頻文件：文件名標(biāo)注1080P就是逐行掃描，而隔行掃描是1080i
更準(zhǔn)確一點(diǎn)的確認(rèn)辦法是在視頻播放器中，比如 Potplayer
右鍵查看「屬性」，找到「文件信息」，即可以看到下面這個(gè)視頻是逐行掃描（progressive）的，而如果是隔行掃描，那顯示的單詞會(huì)是 interlaced
● 1.4 處理前后效果對(duì)比
OK，上面你看懂了之后，應(yīng)該能判斷出阿虛的這個(gè)「伍佰1996夏夜晚風(fēng)演唱會(huì)DVD原盤的480P的視頻」應(yīng)該選用 Artemis 系列的模型 ?
然后要根據(jù)放大前視頻的質(zhì)量來選擇AI模型：一般360P、480P建議選低質(zhì)量模型，720P建議中等質(zhì)量，1080P則選高質(zhì)量：
對(duì)于其他設(shè)置：
「裁剪以填充幀」這個(gè)選項(xiàng)建議關(guān)閉
如果是真人視頻，顆粒數(shù)量和大小推薦「均設(shè)置0.8」或者「均設(shè)置0」；而動(dòng)畫CG視頻則均建議設(shè)置為0
以上都設(shè)置好之后，在軟件左邊設(shè)置區(qū)（一定建議設(shè)置短一點(diǎn)，比如阿虛只設(shè)置了8幀的區(qū)間），然后點(diǎn)擊預(yù)覽
然后如果你是第一次使用某個(gè)AI模型，將會(huì)彈出以下窗口
因?yàn)檐浖枰?lián)網(wǎng)下載模型，所以請(qǐng)耐心耐心耐心耐心耐心耐心等待！? ? ?
而且模型下載完之后，還需要一幀一幀處理你剛剛選擇的區(qū)間（所以上面建議各位少設(shè)置幾幀）
總之一直耐心等待到出結(jié)果，我們就可以預(yù)覽到視頻處理前后的區(qū)別：
上圖你可能不太看得出區(qū)別，你可以在軟件右上角，切換畫面顯示大小
處理過后，的確是肉眼可見畫質(zhì)有提升
不過畢竟是后期修復(fù)而來的，畫面放大到一定程度還是能明顯看到處理痕跡的，常見的就比如這種類油畫質(zhì)感
總而言之，在你預(yù)覽后對(duì)處理效果滿意的話，就可以回到軟件主界面，在界面右下角「設(shè)置視頻輸出目錄」并開始正式處理視頻了?
● 1.5 版本選擇
阿虛上文雖然是以2.1版中文版進(jìn)行的介紹，不過這是為了方面大家理解
其實(shí)加上上文沒提到的軟件設(shè)置界面，整個(gè)軟件也沒多少英文設(shè)置！
在掌握用法后其實(shí)更建議用最新的2.2版
2.2版的好處是處理效率更有提升＋新增了智能算法選擇推薦＋不少算法都又有進(jìn)行更新（比如Artemis、Dinoe）
而且阿虛這邊的2.2版省去了2.1版的安裝等步驟，直接解壓就可用！
唯一缺點(diǎn)僅是2.2版目前只有英文版！
● 1.6 關(guān)于處理耗時(shí)
然后必須要說一下，這款軟件非常吃電腦配置！
首先系統(tǒng)要求WIN10（僅限64位），要求最小電腦內(nèi)存8GB（推薦16GB，且越大越好）
然后在CPU模式下：推薦英特爾i7或更高（4GHz及以上）；AMD則推薦銳龍7或者更高（4GHz及以上）
如果是GPU模式下：建議顯卡顯存要有6GB或更多
方便大家參考，這里稍微列一下不同配置網(wǎng)友處理視頻所花費(fèi)的時(shí)間??：
2.1.1版本，960×464至1920×928，GT940MX顯卡平均2－3秒一幀
（阿虛說：可以看出版本的提升軟件性能大有優(yōu)化，GT940MX屬于排行倒數(shù)的顯卡了）我用的是GTX1050Ti，i7-H的，可以用，1080轉(zhuǎn)4K，一個(gè)3－4分鐘的視頻要算7個(gè)小時(shí)
A卡 R9380，720P轉(zhuǎn)換2K，大概1.15秒一幀
（阿虛說：約36分鐘處理1分鐘長的視頻）RX5700表示很淦，現(xiàn)在軟件無法調(diào)用A卡，AMD3600進(jìn)行720×480轉(zhuǎn)1440×960（200%）16分鐘的視頻要17小時(shí)多
酷睿i9＋顯卡RTX 3080＋內(nèi)存32g，11分鐘720P轉(zhuǎn)1080P要兩個(gè)小時(shí)，平均每幀0.3秒
（阿虛說：約9分鐘處理1分鐘長的視頻）
▍2 視頻補(bǔ)幀
目前電影普遍是每秒24幀，多數(shù)網(wǎng)上的視頻則是每秒30幀
但估計(jì)不少人早就是144Hz的電腦屏幕了，甚至手機(jī)應(yīng)該都是120Hz的吧？所以說目前視頻的幀率已經(jīng)遠(yuǎn)遠(yuǎn)趕不上廣大人民群眾的需求了??
為了最大程度利用顯示屏的性能，我們可以做的便就是對(duì)視頻進(jìn)行補(bǔ)幀了
補(bǔ)幀對(duì)視頻最明顯的體驗(yàn)提升就是在運(yùn)動(dòng)畫面上：
光是圖片大家不太能體驗(yàn)出來，不過可以想象一下打游戲30幀和60幀的區(qū)別，有畫面了嗎？??
● 2.1 常見視頻補(bǔ)幀算法
關(guān)于視頻補(bǔ)幀的算法我們目前主流的有幾種
第一種就是英偉達(dá)公布的Super SloMo算法，不過遺憾的是論文發(fā)布時(shí)并沒有將代碼和數(shù)據(jù)集公開，所以只能在視頻中感受一下它的強(qiáng)大了
雖然官方?jīng)]公布算法，但是一位在德州上學(xué)的大佬在GitHub上開源了他對(duì) Super-SloMo的 PyTorch實(shí)現(xiàn)：https://github.com/avinashpaliwal/Super-SloMo
但這個(gè)算法用的人比較少，而且因?yàn)闆]有Windows打包版，使用門檻也頗高
第二種就是來自上海交大的一個(gè)DAIN插幀算法：https://github.com/baowenbo/DAIN
雖然也有基于此算法的GUI版本工具Dain-App：https://github.com/BurguerJohn/Dain-App
不過此算法極度吃顯卡及顯存資源，低端Ｎ卡不建議使用，AMD顯卡更是直接不支持
但好在，我們現(xiàn)在又有了新的補(bǔ)幀算法選擇：
● 2.2 RIFE算法
RIFE算法效率更高，重影更低，最重要的是補(bǔ)幀時(shí)間大大縮小，原本用DAIN補(bǔ)幀一部25分鐘左右的720P動(dòng)漫一般要十幾二十個(gè)小時(shí)，而RIFE只要四小時(shí)左右
更關(guān)鍵的是基于RIFE算法的帶GUI版軟件還很多！
比如 Flowframes：https://nmkd.itch.io/flowframes（這款軟件缺點(diǎn)就是全英文界面，且在線安裝很慢，優(yōu)點(diǎn)是要求的驅(qū)動(dòng)版本不高，一般能省去更新驅(qū)動(dòng)的步驟）
不過相對(duì)來說阿虛更推薦有中文界面的 Squirrel-RIFE Video Frame Interpolation：https://github.com/YiWeiHuang-stack/Squirrel-RIFE
Github目前處于半墻狀態(tài)，建議了解《Github加速下載教程》https://mp.weixin.qq.com/s/ZHZT5qPT13aTQeyHk-ozKg
如果你實(shí)在對(duì)到 Github下載有困難，可以關(guān)注微信公眾號(hào)：阿虛同學(xué)，發(fā)送以下關(guān)鍵詞，后臺(tái)即會(huì)自動(dòng)回復(fù)這款軟件的下載地址：
視頻補(bǔ)幀
軟件使用非常簡單，一鍵式操作，拖入視頻，設(shè)置「視頻原始幀率」和「補(bǔ)幀倍率」，再設(shè)置好輸出文件夾，最后點(diǎn)擊「一鍵補(bǔ)幀」就行了
但注意，N卡想要使用這款軟件，需要所安裝的驅(qū)動(dòng)版本大于等于460.89（20201225發(fā)布）?
你可以直接到NVIDIA官網(wǎng)手動(dòng)搜索驅(qū)動(dòng)程序自行下載最新版驅(qū)動(dòng)：https://www.nvidia.cn/geforce/drivers/
如果你搞不懂怎么搜，你可以直接「GEFORCE 驅(qū)動(dòng)程序」來幫你自動(dòng)更新到最新版N卡驅(qū)動(dòng)：
另外A卡雖然也能用該軟件，但只能調(diào)用CPU進(jìn)行處理，效率就慢得多了！
▍3 播放器插幀
但如果不是為了制作高清視頻收藏或者分享出去，只是為了提升一下本地觀看體驗(yàn)的話，其實(shí)我們有實(shí)時(shí)給視頻插幀的辦法??
● 3.1 PotPlayer自帶
用 PotPlayer 給視頻插幀最簡單，成本也低，只需要吃CPU，不怎么需要顯卡，可謂懶人最佳的選擇*
這款播放器的去廣告版可以在儲(chǔ)物間（axutongxue.com）4－11欄直接下載
只需要在視頻播放時(shí)在 PotPlayer 右鍵 ? 圖像處理 ? 勾選「倍幀」，即可實(shí)現(xiàn)將30幀的視頻翻倍到60幀
我們?cè)?PotPlayer 中按 Tab 鍵，即可快速查看當(dāng)前視頻信息，可以看到視頻原幀率30，在播放時(shí)的確有了60幀（因?yàn)槭菍?shí)時(shí)處理所以會(huì)有上下波動(dòng)）
不過呢，目前 PotPlayer 最多就能將視頻處理成60幀，阿虛專門試過本身就是60幀的視頻，再開啟 PotPlayer 的倍幀，實(shí)際也依然只有60幀，不會(huì)變成120幀
● 3.2 在Potplayer中開啟SVP
但 PotPlayer 自身的插幀效果一般，真想要體驗(yàn)絲滑的插幀效果，基本上是用SVP
SVP 這款插幀軟件關(guān)注微信公眾號(hào)：阿虛同學(xué)，發(fā)送以下關(guān)鍵詞，后臺(tái)即會(huì)自動(dòng)回復(fù)下載地址：
視頻插幀
具體安裝過程阿虛有在壓縮包中提供，這里為節(jié)省篇幅就略過，這里就說一下怎么在 PotPlayer 中啟用 SVP
在 PotPlayer 中右鍵 ? 選項(xiàng)
然后找到濾鏡 ? 全局濾鏡優(yōu)先權(quán) ? 添加系統(tǒng)濾鏡 ? 選擇ffdshow raw video filter 并確認(rèn)
然后還要點(diǎn)一下 ffdshow raw video filter，選擇「強(qiáng)制使用」并點(diǎn)擊「應(yīng)用」
如果你的電腦有獨(dú)顯，還需要以下操作
在選項(xiàng)中找到濾鏡 ? 視頻解碼器 ? 內(nèi)置解碼器／DXVA 設(shè)置 ? 勾選硬件加速并把DXCA2 Copy-Back 切換為獨(dú)顯，最后點(diǎn)擊確定
以上步驟完成之后，一定要重啟電腦 ? 重啟電腦 ? 重啟電腦 ?
重啟之后，如果想要對(duì)視頻進(jìn)行補(bǔ)幀，需要先打開SVP
第一次啟動(dòng)SVP它會(huì)自行根據(jù)對(duì)電腦配置的測試來設(shè)置參數(shù)，當(dāng)然你也可以自行進(jìn)行設(shè)置：
總而言之以上都搞定之后，再啟用 PotPlayer 打開視頻就能感受補(bǔ)幀效果了！
如果一切都操作正確的話，影片播放前幾秒， PotPlayer 左下角是會(huì)出現(xiàn) SVP 啟用的標(biāo)志的
好家伙，直接給我補(bǔ)到144幀，把我顯示器的配置直接拉滿！
可惜的就是這種補(bǔ)幀后的絲滑體驗(yàn)沒辦法通過文章展示了，這個(gè)真的只有靠自己肉眼才感受的出來了?????♂?
大家就能靠自己實(shí)操后體驗(yàn)了
對(duì)于老視頻提升畫質(zhì)、提高幀率阿虛也只是淺顯的進(jìn)行了一下研究，像是如何對(duì)黑白視頻上色這里就沒深入研究了（考慮到應(yīng)用場景比較少暫時(shí)可能也不準(zhǔn)備寫）
不過阿虛原來寫過一篇對(duì)黑白圖片上色的文章，感興趣的話倒是可以去復(fù)習(xí)一下：https://mp.weixin.qq.com/s/SjSg29iDkfAX7_DNOcSqdw
