流媒體革命!NVIDIA RTX VSR視頻超分辨率技術(shù)初體
自從GeForce?8800系列第一次引入CUDA以及它所代表的GPU計(jì)算以來(lái),AI逐漸從科幻小說(shuō)的幻想中走向現(xiàn)實(shí)世界。無(wú)論是在棋盤(pán)上干碎柯潔的圍棋AI?AlphaGo還是這幾天不斷占據(jù)互聯(lián)網(wǎng)熱榜的ChatGPT,背后都是各種AI算法作為支撐。
而對(duì)于游戲玩家來(lái)說(shuō),AI進(jìn)步帶來(lái)的最大變化可能就是NVIDIA隨著RTX?20系Turing架構(gòu)GPU引入的DLSS技術(shù)。通過(guò)使用預(yù)訓(xùn)練的AI,DLSS允許用戶(hù)渲染一個(gè)較低分辨率的畫(huà)面并將它上采樣到設(shè)定的輸出分辨率,通過(guò)降低顯卡硬性負(fù)載的方式來(lái)提升游戲幀數(shù)。而隨著時(shí)代的發(fā)展,DLSS技術(shù)的效果表現(xiàn)也不斷得到打磨,甚至隨著RTX?40系A(chǔ)da架構(gòu)GPU的發(fā)布我們還得到了能夠進(jìn)一步無(wú)中生有提升幀數(shù)表現(xiàn)的DLSS幀生成功能,無(wú)論是性能表現(xiàn)還是畫(huà)面表現(xiàn)都得到了顯著提高。
DLSS的目的是提升幀數(shù)+畫(huà)質(zhì),但如果我們反其道而行之呢?不去提升幀率,而是通過(guò)AI將視頻本身進(jìn)行超采樣呢?這就要提到我們這期視頻的主角-RTX視頻超分辨率(下文簡(jiǎn)稱(chēng)RTX VSR技術(shù))了。
“RTX 視頻超分辨率 (RTX Video Super Resolution) ”是AI圖像處理放大技術(shù),允許GeForce用戶(hù)在1440p或4K以AI增強(qiáng)的清晰度觀看更高分辨率的視頻。GeForce RTX 30和40系列GPU將處理Chrome或Edge瀏覽器上的低分辨率視頻,以提升視頻質(zhì)量。
原理
RTX VSR技術(shù)最大的應(yīng)用場(chǎng)景是流媒體領(lǐng)域,也就是我們平時(shí)在各種網(wǎng)絡(luò)平臺(tái)觀看的直播與視頻。無(wú)論是視頻上傳時(shí)的標(biāo)準(zhǔn)化的轉(zhuǎn)碼還是對(duì)所有視頻統(tǒng)一進(jìn)行存儲(chǔ)、管理直到最后分發(fā)到用戶(hù)的設(shè)備上,這全套流程的成本都十分昂貴,因此幾乎所有流媒體平臺(tái)都選擇了壓縮碼率的方式來(lái)節(jié)約算力、帶寬與成本。這個(gè)過(guò)程中由于視頻碼率降低,最終的視頻上可能會(huì)呈現(xiàn)一些肉眼可見(jiàn)的偽影、殘像或噪點(diǎn),這就是信息丟失。盡管這些信息丟失大概率并不影響觀眾去完整理解視頻,但它們?nèi)匀皇鞘钟绊懹^看體驗(yàn)的。
除了有損壓縮外,另外一個(gè)問(wèn)題是低分辨率,這一點(diǎn)尤其在直播中最為明顯。在線(xiàn)直播不僅需要將主播電腦發(fā)出的視頻流實(shí)時(shí)復(fù)制到多個(gè)觀眾的設(shè)備中,還需要讓所有參與者都能看到其他觀眾發(fā)出的彈幕與禮物,因此對(duì)直播平臺(tái)也提出了更高的要求。為了為更多用戶(hù)提供服務(wù),直播平臺(tái)一般只會(huì)提供相對(duì)較低分辨率的視頻流,例如1080P甚至更低,這在高分辨率顯示器上的觀看體驗(yàn)顯然是不佳的。

對(duì)于這兩項(xiàng)常見(jiàn)的問(wèn)題,RTX VSR技術(shù)都可以通過(guò)GeForce?30系或40系顯卡中的RTX?Tensor?Cores與AI算法來(lái)嘗試修復(fù)這些信息,并為用戶(hù)提供更高分辨率且高清的畫(huà)面。通過(guò)將NVIDIA?Tensor Core與最先進(jìn)的AI圖像處理技術(shù)相結(jié)合,智能銳化和強(qiáng)化特征和邊緣,同時(shí)消除惱人的壓縮偽影。RTX VSR將適用于大多數(shù)在瀏覽器中播放的視頻,無(wú)論是通過(guò)斗魚(yú),虎牙,嗶哩嗶哩等平臺(tái)觀看您喜愛(ài)的主播的直播,還是觀看他們其它的視頻內(nèi)容。
