前排提示：

非超分資深愛好，本文也非硬核技術(shù)文，只是跑一下Real-CUGAN這個通用動漫圖像超分辨率模型，且本次只介紹Windows版的N卡使用情況（手上沒A卡，無法測試）。

建議用知乎看，可以目錄跳轉(zhuǎn)：https://zhuanlan.zhihu.com/p/542478974

準(zhǔn)備階段：

Github項目原址：https://github.com/bilibili/ailab/tree/main/Real-CUGAN

官方網(wǎng)頁體驗Demo：https://real-cugan.animesales.xyz/

更新情況：

補充：8月GUI版本推出了3.20.1版本

官方給出的下載渠道：

眾所周知的原因，為了良好的下載體驗，個人上傳到了阿里云盤、夸克網(wǎng)盤供下載（會放在評論區(qū)）。

環(huán)境需要：

官方要求系統(tǒng)cuda版本≥10.0，通過打開NVIDIA控制面板可查看系統(tǒng)cuda版本。

下載與更新：

官方提供了命令行模式（后簡稱基礎(chǔ)版）和GUI（圖形頁面）版本。下方紅框內(nèi)為本次提供以及使用的兩個GUI版本（第二個框內(nèi)的第三方版可以不下載，下文介紹原因）。

對于基礎(chǔ)版，按照官方建議，20系以前的顯卡下載小包，30系顯卡只能下載大包，（紅框為GUI版，藍(lán)框為基礎(chǔ)版，區(qū)分大、小包看文件體積）。

除了本體，官方之后提供了兩個更新包，535內(nèi)含Pro模型。但是官方?jīng)]有詳說如何進(jìn)行更新，所以更新方法是個人摸索的，經(jīng)過測試，兩個更新包均可在基礎(chǔ)版上跑起來。而對于GUI版，個人暫未找到535更新包的使用方法。

根據(jù)體驗，更推薦使用基礎(chǔ)版。

關(guān)于下載，簡單小結(jié)下：

如果使用基礎(chǔ)版，本體請根據(jù)自己的顯卡型號下載大包或者小包。因為大、小包都是227版本（updated_weights）已經(jīng)內(nèi)置，更新包下載535即可。

如果使用GUI版，本體下載“SAE0.0.3”。更新包選擇下載227（updated_weights）。

解壓注意：

官方介紹與注意事項說明，下載后直接解壓即可（需在純英文、無空格路徑內(nèi)），建議直接釋放在磁盤根目錄。

基礎(chǔ)版更新：

以基礎(chǔ)版大包為例，解壓后內(nèi)容。

535更新包解壓內(nèi)容。

根據(jù)官方的“readme”，將三個尾綴py的文件復(fù)制進(jìn)以下目錄：

“\RealCUGAN-Release\RealCUGAN_for_win10_torch1.10.0cu111_20220227\runtime”

然后將“weights_prow”文件夾放在以下位置即可：

“\RealCUGAN-Release\RealCUGAN_for_win10_torch1.10.0cu111_20220227\”

GUI版更新

GUI版解壓后內(nèi)容。

因為GUI版放出得比較早，最初搭載的模型數(shù)量少，需要手動添加更新。

上文提到的“updated_weights”文件解壓后內(nèi)容。

全部復(fù)制粘貼到這個路徑內(nèi)“SAE.0.0.3\Package\ncnn\sr\realCUGAN\models”。

執(zhí)行階段：

個人使用的平臺：

CPU：I7-12700?

GPU：RTX2060

系統(tǒng)：Win11教育版—21H2—22000.795

CUDA：11.6.134

基礎(chǔ)版使用

使用前需前往“https://notepad-plus-plus.org”下載個notepad++，當(dāng)然有Vscode、JetBrains等也可以。總之需要用其打開腳本文件。

基礎(chǔ)版使用只有兩步

1、修改config.py配置參數(shù)

2、雙擊go.bat運行。

對于純小白可能有點頭大，但實際上“#”開頭之后的內(nèi)容都是注釋，不起作用，真正需要、可以改動的內(nèi)容不過10行左右。

4-5行是超分的倍率，1920*1080超分到3840*2160，長寬均x2，即倍率為2，就將“scale=”后的數(shù)字改為2，現(xiàn)在能超分的倍率為2、3、4倍。

6-12行是模型路徑的選擇， model_path有三行，分別對應(yīng)超分倍率，超分倍率為2就改path2那一行。

接著是雙引號內(nèi)的內(nèi)容，代表具體模型的選擇，weights_v3對應(yīng)的是文件夾weights_v3內(nèi)的模型，現(xiàn)在可選三種模型，分別為降噪版(denoise)、無降噪版(no-denoise)、保守版(conservative)，各版本優(yōu)劣看官方解釋，這里不贅述。

同時每個版本又有不同的級別（強度），點開weights_v3文件夾可見，官方目前3倍4倍超分只有3個模型，2倍有4個不同降噪強度模型和1個保守模型。紅框內(nèi)降噪版(denoise)后1x、2x、3x即降噪等級。

使用的時候，可以將整個.pth文件重名復(fù)制（文件全名），粘貼到model_path2 = "weights_v3/的后方（注意保留引號）。

如果使用pro版，就需要替換掉斜杠前方weights_v3路徑，改為weights_pro，接著在斜杠后方輸入模型。

13-14行是半精度開關(guān)，開啟防止爆顯存。

15-16行是tile參數(shù)選擇，數(shù)字越大顯存需求越低，相對地可能會小幅降低推理速度 。

在GUI版里可以看到實際上有0-4五檔。

17-19行是緩存模式選擇，依然是和顯存有關(guān)。（從這里開始行數(shù)可能錯位，因為我將解釋換行顯示了一行）

20-22行是AI修復(fù)強度選擇，一般默認(rèn)就好，調(diào)整也是往避免AI痕跡的方向去調(diào)整。

23-24行是選擇超分對象，圖片就是image，視頻就是video，

25-32行是圖像的輸入輸出設(shè)置，其中divice是顯卡在系統(tǒng)內(nèi)的設(shè)備號，有多張顯卡時可以指定顯卡進(jìn)行超分。顯卡設(shè)備號可以在任務(wù)管理器內(nèi)查到。

個人只使用了超視頻的功能，沒有超過圖片。關(guān)于輸入輸出路徑，如果自定義位置多次失敗，可以嘗試把文件放在“input_dir”內(nèi)輸入，“output_dir”作為輸出。

33-37行是超視頻的輸入輸出路徑，個人建議把文件放在“input_dir”內(nèi)輸入，“output_dir”作為輸出，因為之前總是卡在著這里報錯。

38-43行是顯卡相關(guān)設(shè)置，nt是線程數(shù)，每張卡的線程數(shù)，如果顯存夠用，建議填寫>=2。

n_gpu是使用顯卡張數(shù)，這里官方標(biāo)識了別亂動。42-43行未找到說明。

44-46行是編碼參數(shù)設(shè)置，CRF為21時就已經(jīng)足夠清晰了。

https://zhuanlan.zhihu.com/p/250590703

最后一個空位根據(jù)自己CPU的戰(zhàn)斗力去選擇四擋參數(shù)slow，medium，fast，faster

設(shè)置完成后，記得“Ctrl+S”保存，然后點擊共go.bat開始運行超分。

正常情況下是這樣的，會以10幀為單位展示進(jìn)度。

以我的設(shè)置（從上面大概能看出）分別對兩段偶像大師的視頻進(jìn)行超分，

720超4k（原長1分半）耗時約33分鐘。

體積18.2MB—136MB，總比特率1647kps——12274kps。

1080超4K（原長2分半）耗時約40-50分鐘。

體積35.4MB—136MB，總比特率2031kps——13067kps。

GUI版使用(0.0.3)

點擊SAE.bat啟動。

界面如圖，分為三個一級界面，首頁、超分設(shè)置、輸出。

輸入輸出就不多說了，記得要勾選任務(wù)，視頻超分目前只能導(dǎo)出mov格式。

超分設(shè)置，這里的使用教程確實是一份空白的pdf，可以在Package中看到。

這里的內(nèi)容基本都對應(yīng)基礎(chǔ)版的內(nèi)容，選擇算法模型，選擇超分倍率這里改成了百分比。

然后是根據(jù)顯存大小選擇切割塊大小。此處根據(jù)個人配置設(shè)置，盡可能追求顯存利用率、速度、質(zhì)量的平衡。一般而言，影響最大的還是算法模型的選擇。

設(shè)置完成后回到首頁點擊一鍵壓制即可。

輸出頁則會顯示進(jìn)程，以及報錯。

如圖的設(shè)置下，進(jìn)行1080超4k（同一個視頻），未計時，但印象里比基礎(chǔ)版要慢些。

成片巨大，體積35.4MB—8.6GB?？偙忍芈?031kps——511861kps。需要進(jìn)行再壓制。

GUI版使用(3.20.1)

8月初，官方更新發(fā)布了GUI版本的3.20.1。

https://github.com/Justin62628/Squirrel-RIFE/releases/tag/v3.20.1

依然是點擊SAE.bat啟動。

原本的3個一級界面變?yōu)?個，超分設(shè)置被下放。加入了速度和質(zhì)量滑塊。

視頻輸出支持了MP4和MKV格式。

超分設(shè)置界面，加入了黑邊設(shè)置，以及可以選擇負(fù)載顯卡。

砍去了初版的自定義切割塊。

無需升級包，自帶了各類模型。

提示了超分模型倍數(shù)，根據(jù)倍數(shù)選擇模型。

轉(zhuǎn)移分辨率，可設(shè)置在超分前再對原視頻進(jìn)行一次縮放。

第三方GUI版使用

第三方的GUI版本，跑到后面GPU調(diào)用失敗轉(zhuǎn)CPU了，掛了一個晚上到睡覺也還是90%。

可選參數(shù)也不多，只嘗試了一次1080超4K（同上視頻），也懶得繼續(xù)試了。

Topaz Video Enhance AI

除此之外，還用Topaz Video Enhance AI2.63超了一次，當(dāng)然也是同一個1080視頻。

設(shè)置如下圖。

耗時約26分鐘，體積35.4MB—727MB，總比特率2031kps——41901kps。

這個軟件的三個版本1.7、2.0、2.6.3也將通過阿里云分享，放在評論區(qū)。

對比

接下來對5個視頻進(jìn)行同幀對比。

原片

基礎(chǔ)版——denoisex1

基礎(chǔ)版——pro-conservative

GUI版——conservative

Topaz——scale_2x_ahq-12

原片2

基礎(chǔ)版——denoisex1_2

基礎(chǔ)版——pro-conservative_2

GUI版——conservative_2

Topaz——scale_2x_ahq-12_2

總體而言，Topaz和Real-CUGAN的conservative模型的處理比較好。Topaz的銳化不強烈，能相對保持原視頻“紋理”，破壞小，文件體積可控。本次在GUI版上采用conservative模型，而如果在基礎(chǔ)版上使用，文件體積應(yīng)該能壓下來。

但是在易用性和優(yōu)化方面，個人認(rèn)為Topaz Video Enhance AI還是更好的選擇，B站這個模型可以拿去超分圖片。