AI圖像放大技術(shù)的演變

隨著 RTX 視頻超分辨率 （RTX Video Super Resolution） （VSR） 的發(fā)布，GeForce RTX GPU 將提升 PC 版 Google Chrome 和 Microsoft Edge 瀏覽器上視頻內(nèi)容的質(zhì)量。

如今，近 80% 的互聯(lián)網(wǎng)流量來自于直播視頻。其中 90% 的內(nèi)容在 1080p 或更低的分辨率下傳輸，包括斗魚，虎牙，嗶哩嗶哩等熱門平臺(tái)上的直播視頻。

然而，當(dāng)觀眾（如 PC 用戶）使用高于 1080p 分辨率的顯示器時(shí)，瀏覽器必須縮放視頻以匹配顯示器的分辨率。大多數(shù)瀏覽器使用基礎(chǔ)的放大技術(shù)，這導(dǎo)致最終的圖像色彩不夠亮麗或畫面模糊。

通過 RTX VSR，GeForce RTX 40 和 30 系列 GPU 用戶可以利用 AI 將較低分辨率的內(nèi)容提升到 4K，與他們的顯示器分辨率相匹配。該技術(shù)中的 AI 可消除塊狀的壓縮偽影，提高視頻的銳度和清晰度。

就像戴上有度數(shù)的眼鏡可以瞬間聚焦全世界一樣，RTX 視頻超分辨率 （RTX Video Super Resolution） 讓 GeForce RTX 40 和 30 系列 PC 的用戶能以清晰的畫面觀看視頻直播。

玩家現(xiàn)可通過下載最新版 GeForce Game Ready 驅(qū)動(dòng)獲取 RTX VSR 支持，該驅(qū)動(dòng)還為《原子之心》（Atomic Heart）和 THE FINALS 封測(cè)版等新推出的全新游戲帶來最佳體驗(yàn)。

AI 圖像放大技術(shù) （AI upscaling） 的演變

AI圖像放大技術(shù) （AI upscaling） 是將低分辨率圖像轉(zhuǎn)換為高分辨率圖像的過程，其通過將低分辨率圖像輸入深度學(xué)習(xí)模型來預(yù)測(cè)生成高分辨率圖像。為提升預(yù)測(cè)準(zhǔn)確性，神經(jīng)網(wǎng)絡(luò)模型必須在不同分辨率下用無數(shù)圖像進(jìn)行訓(xùn)練。

然后，部署的 AI 模型可以為低分辨率的視頻帶來令人難以置信的清晰度和豐富細(xì)節(jié)，這是傳統(tǒng)的縮放技術(shù)無法重建的。AI 模型使邊緣更銳利，毛發(fā)更真實(shí)，風(fēng)景更清晰。

2019年，該技術(shù)的早期版本和 SHIELD TV 同時(shí)發(fā)布。該突破改進(jìn)了針對(duì)電視的串流內(nèi)容，針對(duì)從480p 分辨率到 1080p 分辨率的視頻流，并優(yōu)化120 寸屏幕的觀看體驗(yàn)。

由于 4K 顯示器不得不拉伸低分辨率圖像以適應(yīng)屏幕，導(dǎo)致視覺效果變得模糊。使用 AI 提升直播視頻質(zhì)量，讓低分辨率的圖像無與倫比的清晰。

PC 觀眾通常比電視觀眾更靠近顯示器，因此需要更高等級(jí)的處理和細(xì)化來實(shí)現(xiàn)圖像放大。用戶可在GeForce RTX 40 和 30 系列 GPU 所擁有的極其強(qiáng)大的 Tensor Cores AI 處理器作用下，通過 RTX VSR 開啟新一代的 AI 圖像放大體驗(yàn)。

RTX 視頻超分辨率 （RTX Video Super Resolution） 如何工作

RTX VSR是 AI 圖像處理的一個(gè)突破，它超越了傳統(tǒng)的邊緣檢測(cè)和特征銳化技術(shù)，極大地提升直播視頻內(nèi)容的質(zhì)量。

塊狀的壓縮偽影是直播視頻長(zhǎng)期存在的問題。無論是服務(wù)器、客戶端還是內(nèi)容本身的錯(cuò)誤，在傳統(tǒng)的圖像放大中上述問題往往被放大，給直播觀眾帶來不太愉快的觀看體驗(yàn)。

RTX VSR 可減少或消除因壓縮視頻而產(chǎn)生的偽影， 如塊效應(yīng)、邊緣的振鈴偽影、高頻細(xì)節(jié)的消失和平坦區(qū)域的帶狀現(xiàn)象， 同時(shí)減少紋理?yè)p失。它還能銳化邊緣和豐富細(xì)節(jié)。

該技術(shù)使用深度學(xué)習(xí)網(wǎng)絡(luò)，在單次推理中進(jìn)行圖像放大和減少壓縮偽影。該網(wǎng)絡(luò)分析低分辨率的視頻幀并預(yù)測(cè)目標(biāo)分辨率下的殘差圖像。然后，殘差圖像被疊加到傳統(tǒng)的圖像增強(qiáng)上，糾正偽影錯(cuò)誤并銳化邊緣以匹配輸出分辨率。

該深度學(xué)習(xí)網(wǎng)絡(luò)使用不同壓縮程度的內(nèi)容進(jìn)行訓(xùn)練。它學(xué)習(xí)那些在未壓縮圖像中不存在，但存在于低分辨率或低質(zhì)量視頻中的壓縮偽影的類型，把這些偽影及其未壓縮圖像作為網(wǎng)絡(luò)訓(xùn)練的參考。深度學(xué)習(xí)網(wǎng)絡(luò)還進(jìn)行廣泛的視覺評(píng)估，確保生成的模型適用于幾乎所有的真實(shí)世界和游戲內(nèi)容。

啟用 RTX VSR

RTX VSR 需要使用 GeForce RTX 40 或 30 系列 GPU，并且?guī)缀踹m用于 Google Chrome 和 Microsoft Edge 瀏覽器中的所有視頻內(nèi)容。

欲使用該功能，請(qǐng)更新到最新的 GeForce Game Ready 驅(qū)動(dòng)（現(xiàn)已發(fā)布），或?qū)⒂?3 月份發(fā)布的下一個(gè)NVIDIA Studio 驅(qū)動(dòng)。Chrome 瀏覽器（110.0.5481.105 或更高版本）和 Edge 瀏覽器（110.0.1587.56 版）近期已新增 RTX VSR 支持。

要開啟該技術(shù)，請(qǐng)打開 NVIDIA 控制面板，并打開”調(diào)整視頻圖像設(shè)置”。勾選”RTX 視頻增強(qiáng)”下的超分辨率框，并選擇質(zhì)量 1 到 4 中的一個(gè)等級(jí)——質(zhì)量等級(jí)表示圖像增強(qiáng)的質(zhì)量并且也有賴于 GPU 性能。

審核編輯：湯梓紅