Real-ESRGAN 是由騰訊 ARC 實(shí)驗(yàn)室發(fā)布的一個(gè)盲圖像超分辨率模型，它的目標(biāo)是開發(fā)出實(shí)用的圖像/視頻修復(fù)算法，Real-ESRGAN 是在 ESRGAN 的基礎(chǔ)上使用純合成數(shù)據(jù)來(lái)進(jìn)行訓(xùn)練的，基本上就是通過(guò)模擬高分辨率圖像變低分辯率過(guò)程中的各種退化，然后再通過(guò)低清圖倒推出它的高清圖，簡(jiǎn)單說(shuō)你也可以把它理解為一個(gè)圖像/視頻修復(fù)、放大工具。

Real-ESRGAN 目前提供了五種模型，分別是 realesrgan-x4plus（默認(rèn)）、reaesrnet-x4plus、realesrgan-x4plus-anime（針對(duì)動(dòng)漫插畫圖像優(yōu)化，有更小的體積）、realesr-animevideov3（針對(duì)動(dòng)漫視頻）和 realesrgan-x4plus-anime-6B，你可以根據(jù)你要處理的圖片或視頻選擇合適的模型進(jìn)行使用。

下面可以先看幾個(gè)例子。

大部分情況下放大后可以得到滿意的結(jié)果，但 Real-ESRGAN 也不是完美的，還是存在一些問(wèn)題，在處理某些畫面時(shí)可能會(huì)產(chǎn)生一些異常變化。

上圖在放大后將原圖本該模糊的部分區(qū)域處理的更清晰了（畫面下側(cè)），而且處理的并不均勻，虛實(shí)關(guān)系不正確。

上圖在放大后畫面靠上的部分出現(xiàn)了深淺不一的豎紋。

上圖在放大后某些區(qū)域出現(xiàn)了明顯的分界，部分畫面虛實(shí)關(guān)系錯(cuò)亂，部分畫面處理后有些失真。

雖然存在一些問(wèn)題，但是整體來(lái)看 Real-ESRGAN 的處理能力還是非常強(qiáng)大的，在大部分情況下都能有不錯(cuò)的效果，Real-ESRGAN 團(tuán)隊(duì)也在繼續(xù)優(yōu)化產(chǎn)品，相信隨著版本的更新 Real-ESRGAN 也會(huì)越來(lái)越完善。

目前你可以通過(guò)以下三種方式運(yùn)行 Real-ESRGAN。

1.?Real-ESRGAN 的 Colab Demo（https://colab.research.google.com/drive/1k2Zod6kSHEvraybHl50Lys0LerhyTMCo?usp=sharing，僅支持 realesrgan-x4plus 模式），Real-ESRGAN 動(dòng)漫視頻的 Colab Demo（https://colab.research.google.com/drive/1yNl9ORUxxlL4N0keJa2SEPB61imPQd1B?usp=sharing，僅支持 realesr-animevideov3 模式）。

2. 支持 Intel / AMD / Nvidia 顯卡的綠色版 exe 文件： Windows 版 / Linux 版 / macOS 版，詳情請(qǐng)移步這里（https://github.com/xinntao/Real-ESRGAN）。NCNN 的實(shí)現(xiàn)在 Real-ESRGAN-ncnn-vulkan（https://github.com/xinntao/Real-ESRGAN-ncnn-vulkan）。

3. 通過(guò)搭建?Python 環(huán)境運(yùn)行，詳情請(qǐng)移步這里（https://github.com/xinntao/Real-ESRGAN）。

由于這些 exe 文件會(huì)把圖像分成幾個(gè)板塊，然后分別進(jìn)行處理，再合成導(dǎo)出，輸出的圖像可能會(huì)有一點(diǎn)割裂感（而且可能跟 PyTorch 的輸出不太一樣），所以本人不建議使用本地可執(zhí)行文件直接運(yùn)行 Real-ESRGAN。

如上圖所示（截取了部分畫面），右側(cè)使用 macOS 綠色版放大的圖片上下有明顯的分界線，交界處附近上面清晰下面模糊，因?yàn)槭欠謮K處理再合并，所以出現(xiàn)了這種問(wèn)題，根據(jù)畫面內(nèi)容有的時(shí)候會(huì)比較明顯，有的時(shí)候不這么明顯，這個(gè)缺陷我是不可以接受的，所以我不推薦使用本地綠色版。如果你想嘗試可以在這里（https://github.com/xinntao/Real-ESRGAN）查看相關(guān)信息。

因?yàn)橥ㄟ^(guò)搭建 Python 環(huán)境運(yùn)行 Real-ESRGAN 門檻有一點(diǎn)高，大部分人都很難操作，所以這里也不做講解，有需要的人可以直接在這里（https://github.com/xinntao/Real-ESRGAN）查看相關(guān)指導(dǎo)。

這里重點(diǎn)講一下 Google Colab 版本的操作。（請(qǐng)先登入谷歌賬號(hào)）

01. 打開 Real-ESRGAN Inference Demo（https://colab.research.google.com/drive/1k2Zod6kSHEvraybHl50Lys0LerhyTMCo?usp=sharing），點(diǎn)擊「復(fù)制到云端硬盤」或點(diǎn)擊「文件」選擇「在云端硬盤中保存一份副本」。

02. 副本創(chuàng)建完成會(huì)出現(xiàn)「筆記本的副本已完成」彈窗，點(diǎn)擊「在新標(biāo)簽頁(yè)中打開」。

03. 點(diǎn)擊「“Real-ESRGAN Inference Demo.ipynb”的副本」修改筆記本名稱（不改也可以，以后就能直接從自己的云端硬盤打開這個(gè)文件運(yùn)行 Real-ESRGAN 了）。

04. 一共有五個(gè)步驟，步驟四是顯示對(duì)比圖，就是會(huì)把處理前后的圖片放在一起展示出來(lái)，沒(méi)啥用處，可以點(diǎn)擊單元格「4. Visualization」，點(diǎn)擊單元格右上角的垃圾桶圖標(biāo)，刪除單元格。

05. 點(diǎn)擊「1. Preparations」下方的運(yùn)行按鈕（在「已隱藏一個(gè)單元格」前面）運(yùn)行準(zhǔn)備程序。（點(diǎn)擊單元格前面的小三角可以展開和收起單元格）

06.「1. Preparations」運(yùn)行完成后點(diǎn)擊「2. Upload Images」下方的運(yùn)行按鈕，點(diǎn)擊「選擇文件」從本地選擇你要放大的圖片并點(diǎn)擊「打開」（可多選），然后會(huì)開始上傳圖片，此單元格下方會(huì)顯示上傳進(jìn)度。

07. 圖片上傳完成后展開「3. Inference」單元格，在圖中位置將數(shù)字改為你要將圖片放大的倍數(shù)（X3.5 是備注說(shuō)明，下面那個(gè) 3.5 是命令語(yǔ)句，默認(rèn)放大 3.5 倍），然后點(diǎn)擊「3. Inference」的運(yùn)行按鈕運(yùn)行該單元格。（運(yùn)行完成后單元格左上角會(huì)出現(xiàn)綠色對(duì)鉤）

注意默認(rèn)是開啟面部修復(fù)功能的，在放大一些包含人臉的圖片時(shí)有可能會(huì)造成五官的變化，在進(jìn)行一些人物照片修復(fù)的時(shí)候可能會(huì)比較有用，但是對(duì)一些偏向?qū)憣?shí)類的插畫就會(huì)起到反作用，會(huì)使面部畫風(fēng)與其他部分產(chǎn)生差異，并且會(huì)改變?cè)瓐D的五官形態(tài)，如果想關(guān)閉面部修復(fù)功能只要?jiǎng)h除「--face_enhance」再運(yùn)行即可。

08. 點(diǎn)擊「5. Download Results」的運(yùn)行按鈕運(yùn)行該單元格，運(yùn)行完成會(huì)開始自動(dòng)下載處理好的圖片，該單元格下方會(huì)顯示下載進(jìn)度，完成后圖片就以壓縮包的形式下載到本地了。

如果還有圖片需要處理直接重復(fù) 06.-08. 即可，也就是單元格 「2. Upload Images（上傳圖片）、3. Inference（執(zhí)行命令）、5. Download Results（下載文件）」。

如果需要處理視頻可以打開 Real-ESRGAN Inference Demo (anime videos)（https://colab.research.google.com/drive/1yNl9ORUxxlL4N0keJa2SEPB61imPQd1B?usp=sharing），然后參考處理圖片的步驟操作即可，注意這個(gè)模型是針對(duì)動(dòng)漫視頻設(shè)計(jì)的，所以處理動(dòng)漫視頻效果較好，處理其他視頻也可以，但效果不一定理想。

首先「2. (Optional) Inference the Demo Video、3. (Optional) Visulize the Input Video and Enhanced Video、6. Visulize the Input Video and Enhanced Video」這三個(gè)單元格可以直接刪除。（沒(méi)啥用處）

然后先運(yùn)行「1. Preparations」準(zhǔn)備工作，再運(yùn)行「4. Upload Anime Videos」上傳視頻，之后在「5. Inference」修改放大倍數(shù)及文件名并執(zhí)行命令，最后修改輸出文件名稱并運(yùn)行「7. Download Results」下載文件。

如果還有其他視頻要處理可以重新執(zhí)行「4. Upload Anime Videos、5. Inference、7. Download Results」。

注意處理視頻有幾個(gè)地方需要手動(dòng)修改，如下圖所示，upload/ 后方需要按你的文件名修改，名稱和后綴都要保持和你上傳的視頻文件一致，results/ 后方也要與你的視頻文件名保持一致，如圖所示，上傳的視頻文件為 111.mp4，則三處名稱都為 111，兩處有后綴的后綴保持一致，右側(cè)的三個(gè)數(shù)字也要保持一致，第一個(gè) 2 表示放大的倍數(shù)，第二、三個(gè) 2 是輸出文件的文件名稱后綴，如需放大其他倍數(shù)可手動(dòng)修改。

注意所有上傳的文件名稱可以包含中文，但最好不要包含標(biāo)點(diǎn)符號(hào)，否則可能會(huì)引發(fā)語(yǔ)義錯(cuò)誤。上傳視頻可能會(huì)有點(diǎn)慢，請(qǐng)耐心等待。

以上就是這次教程的全部?jī)?nèi)容了，Real-ESRGAN 是一個(gè)很強(qiáng)大的圖像/視頻修復(fù)、放大工具，感謝開發(fā)者們，感謝 Xintao Wang、Liangbin Xie、Chao Dong、Ying Shan。