AI 支持的升級(jí)功能增強(qiáng)了 Google Chrome 和 Microsoft Edge 瀏覽器中的流媒體視頻內(nèi)容。

隨著 RTX 視頻超分辨率 (VSR) 的發(fā)布，通過(guò) Google Chrome 和 Microsoft Edge 瀏覽器在 PC 上流式傳輸視頻今天獲得了 GeForce RTX 大小的升級(jí)。

今天近 80% 的互聯(lián)網(wǎng)帶寬是流媒體視頻。其中 90% 的內(nèi)容以 1080p 或更低的分辨率流式傳輸，包括來(lái)自 Twitch.tv、YouTube、Netflix、Disney+ 和 Hulu 等熱門(mén)來(lái)源的內(nèi)容。

然而，當(dāng)觀眾使用高于 1080p 的顯示器時(shí)（許多 PC 用戶也是如此），瀏覽器必須縮放視頻以匹配顯示器的分辨率。大多數(shù)瀏覽器使用基本的放大技術(shù)，這會(huì)導(dǎo)致最終圖像柔和或模糊。

借助 RTX VSR，GeForce RTX 40 和 30 系列 GPU 用戶可以利用 AI 將低分辨率內(nèi)容升級(jí)至 4K，以匹配其顯示分辨率。人工智能消除了塊狀壓縮偽影并提高了視頻的銳度和清晰度。

就像戴上一副處方眼鏡可以立即捕捉到世界的焦點(diǎn)一樣，RTX 視頻超分辨率讓 GeForce RTX 40 和 30 系列 PC 上的觀眾可以清晰地看到流媒體視頻的世界。

RTX VSR 現(xiàn)在作為最新的 GeForce Game Ready 驅(qū)動(dòng)程序的一部分提供，它為Atomic Heart和THE FINALS封閉測(cè)試版等新游戲發(fā)布提供最佳體驗(yàn)。

人工智能升級(jí)的演變

人工智能升級(jí)是通過(guò)深度學(xué)習(xí)模型將低分辨率圖像預(yù)測(cè)高分辨率版本，從而將低分辨率媒體轉(zhuǎn)換為高分辨率的過(guò)程。為了以高精度做出這些預(yù)測(cè)，必須在無(wú)數(shù)不同分辨率的圖像上訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。

然后，部署的 AI 模型可以拍攝低分辨率視頻，并產(chǎn)生令人難以置信的清晰度和增強(qiáng)的細(xì)節(jié)，這是傳統(tǒng)縮放器無(wú)法重現(xiàn)的。邊緣看起來(lái)更清晰，頭發(fā)看起來(lái)更凌亂，風(fēng)景以驚人的清晰度流行。

2019 年， SHIELD TV發(fā)布了該技術(shù)的早期版本。這是一項(xiàng)突破，改進(jìn)了針對(duì)電視的流媒體內(nèi)容，主要范圍從 480p 到 1080p，并針對(duì) 10 英尺的觀看體驗(yàn)進(jìn)行了優(yōu)化。

PC 觀眾通常比電視觀眾坐得更靠近他們的顯示器，因此需要更高級(jí)別的處理和改進(jìn)以進(jìn)行升級(jí)。借助 GeForce RTX 40 和 30 系列 GPU，用戶現(xiàn)在擁有配備 Tensor Core 的極其強(qiáng)大的 AI 處理器，可通過(guò) RTX VSR 實(shí)現(xiàn)新一代 AI 升級(jí)。

RTX 視頻超分辨率的工作原理

RTX VSR 是 AI 像素處理領(lǐng)域的一項(xiàng)突破，可在邊緣檢測(cè)和特征銳化之外顯著提高流媒體視頻內(nèi)容的質(zhì)量。

塊狀壓縮偽影是流媒體視頻中的一個(gè)長(zhǎng)期存在的問(wèn)題。無(wú)論是服務(wù)器、客戶端還是內(nèi)容本身的故障，問(wèn)題往往會(huì)隨著傳統(tǒng)的升級(jí)而被放大，給觀看流媒體內(nèi)容的人留下不太愉快的視覺(jué)體驗(yàn)。

RTX VSR 減少或消除由壓縮視頻引起的偽影——例如塊效應(yīng)、邊緣周?chē)恼疋弬斡?、高頻細(xì)節(jié)的沖刷和平坦區(qū)域的條帶——同時(shí)減少丟失的紋理。它還可以銳化邊緣和細(xì)節(jié)。

該技術(shù)使用深度學(xué)習(xí)網(wǎng)絡(luò)，可在單次通過(guò)中執(zhí)行放大和壓縮偽影減少。網(wǎng)絡(luò)分析較低分辨率的視頻幀并預(yù)測(cè)目標(biāo)分辨率下的殘差圖像。然后將此殘差圖像疊加在傳統(tǒng)的放大圖像之上，校正偽影錯(cuò)誤并銳化邊緣以匹配輸出分辨率。

深度學(xué)習(xí)網(wǎng)絡(luò)在具有各種壓縮級(jí)別的廣泛內(nèi)容上進(jìn)行訓(xùn)練。它了解低分辨率或低質(zhì)量視頻中存在的壓縮偽影類(lèi)型，這些壓縮偽影在未壓縮圖像中不存在，作為網(wǎng)絡(luò)訓(xùn)練的參考。采用廣泛的視覺(jué)評(píng)估以確保生成的模型對(duì)幾乎所有現(xiàn)實(shí)世界和游戲內(nèi)容都有效。

入門(mén)

RTX VSR 需要 GeForce RTX 40 或 30 系列 GPU，并且可以處理幾乎所有在 Google Chrome 和 Microsoft Edge 中流式傳輸?shù)膬?nèi)容。

該功能還需要更新到今天可用的最新GeForce Game Ready 驅(qū)動(dòng)程序，或 3 月份發(fā)布的下一個(gè)NVIDIA Studio 驅(qū)動(dòng)程序。Chrome（版本 110.0.5481.105 或更高版本）和 Edge（版本 110.0.1587.56）最近都已更新以支持 RTX VSR。

要啟用它，請(qǐng)啟動(dòng) NVIDIA 控制面板并打開(kāi)“調(diào)整視頻圖像設(shè)置”。選中“RTX 視頻增強(qiáng)”下的超分辨率框，然后從 1 到 4 中選擇一個(gè)質(zhì)量——從對(duì) GPU 性能的最低影響到最高級(jí)別的升級(jí)改進(jìn)。