Arm精銳超級分辨率技術(shù)解析

作者：Arm 開發(fā)者生態(tài)系統(tǒng)戰(zhàn)略總監(jiān) Peter Hodges

近日，Arm 推出了 Arm 精銳超級分辨率技術(shù) (Arm Accuracy Super Resolution, Arm ASR)，這是一款面向移動設(shè)備進行優(yōu)化升級的出色開源超級分辨率（下文簡稱“超分”）解決方案。本文將為你介紹我們所采用的方法，并歡迎你一同加入我們的技術(shù)探索旅程。

制作精良的游戲能夠帶領(lǐng)玩家踏上一段動人的旅程。游戲開發(fā)者套件里有許多工具可以為此增添助力，例如引人入勝的音樂、富有想象力的操控模式和圖形效果等。就圖形技術(shù)而言，手游中圖像的精細(xì)程度令人震撼。游戲被渲染到包含數(shù)百萬像素的屏幕上，并以驚人的 60Hz 或更高的刷新率顯示呈現(xiàn)。

推動游戲開發(fā)更上一層樓是行業(yè)永無止境的追求?，F(xiàn)代手游通過復(fù)雜的光照和著色器，不斷突破極限，以實現(xiàn)開發(fā)者的愿景。然而代價在于，這不僅加重了 GPU 的負(fù)載，還會消耗更多電力。即使是在高端 PC 上，我們也認(rèn)識到超分技術(shù)正是我們所追尋的答案。

Arm 精銳超級分辨率技術(shù)

通過超分技術(shù)，一幀的內(nèi)容得以在某些階段先以較低分辨率渲染，然后應(yīng)用該技術(shù)從低分辨率放大到高分辨率。這一技術(shù)并非在幀渲染的每個環(huán)節(jié)都使用，否則可能會在渲染全屏效果或用戶界面時產(chǎn)生不美觀的瑕疵。然而，在管線的早期階段，該技術(shù)可以發(fā)揮顯著作用，并作為流程的一環(huán)提供抗鋸齒效果。

圖：將超分技術(shù)集成到幀中

后處理技術(shù)示例

在眾多可用的解決方案中，AMD 超級分辨率銳畫技術(shù) 2 (FSR 2) 引起了我們的關(guān)注。作為 GPUOpen 的一部分，該開源項目始于 2016 年，采用相對寬松的 MIT 許可證，旨在提供可移植的解決方案，以緩解 PC 和游戲主機之間存在的性能差異。這引發(fā)了我們的關(guān)注和思考：優(yōu)秀的移動端解決方案應(yīng)該具備哪些特性？

超分技術(shù)的類型

超分技術(shù)主要分為空間類和時域類。最先問世和被開發(fā)者采用的是空間類技術(shù)。

空間類超分會逐幀生成結(jié)果，其工作原理理解起來更加簡單，對游戲引擎的要求也相對較低，例如 FSR 1 和驍龍游戲超級分辨率 (GSR) 就是這一類的代表。但該技術(shù)的缺點在于，開發(fā)者在選擇渲染分辨率時不能過于激進，否則最終圖像可能會出現(xiàn)模糊。不過，這種技術(shù)的算力成本相對較低。

而時域類超分則更為復(fù)雜，它通過整合多個幀的信息來生成最終結(jié)果。通常來說，它能夠從較低分辨率生成更高質(zhì)量的圖像。但這對游戲引擎提出了額外的輸入要求。例如，必須提供深度和運動矢量信息，并且最好有反應(yīng)性遮罩，以便處理如粒子效果等缺乏深度或運動信息的元素。

邁向時域類超分技術(shù)

我們決定直接選用時域類超分技術(shù)，來應(yīng)對常見的圖形性能挑戰(zhàn)，并為手游開發(fā)者帶來優(yōu)勢。我們以 AMD FSR 2 為基礎(chǔ)，它能夠提供不錯的效果，但實現(xiàn)成本相對較高，僅適用于 PC 和高端游戲主機。我們的解決方案源自 FSR 2，因此開發(fā)者能夠繼續(xù)使用熟悉的 API 和配置選項。

在研究過程中，我們采用了大家熟悉的小餐館場景，并且增加了更多的局部重疊光源和主光源衰減，以此模擬實際的計算挑戰(zhàn)，大約需要渲染 280 萬個三角形。

針對搭載 Arm Immortalis-G720 GPU 和采用 2800x1260 顯示分辨率的商用移動設(shè)備，我們對收集的結(jié)果進行分析后，發(fā)現(xiàn) GPU 性能得到了顯著提升。

圖：使用 Arm ASR、FSR 2、FSR 1 和 GSR 時的

原生分辨率和提升性能的幀率分析

同樣重要的是，這項技術(shù)能夠穩(wěn)定保持在相對較低的溫度下，渲染出高質(zhì)量的結(jié)果。而以原生分辨率進行渲染時，不可避免地會出現(xiàn)明顯的發(fā)熱升溫，這會有損游戲中的用戶體驗，并縮短游戲時間。

Arm ASR 的性能表現(xiàn)

Arm ASR 的出色性能得益于一系列高效的著色器代碼，不僅減輕了 GPU 的負(fù)載，也降低了帶寬需求。

圖：FSR 2 和 Arm ASR 的 GPU 性能分析

性能的提升往往也同樣意味著節(jié)省能耗，由此可以延長電池續(xù)航時間，這對于用戶的日常使用是一大利好。在我們與 MediaTek 的協(xié)作中，證實了這一推測，在搭載天璣 9300 芯片的手機上進行了測試并得到了以下結(jié)果。

圖：原生全分辨率 (1080p)、Arm ASR 質(zhì)量、平衡和性能模式下從 540p 提升到 1080p，以及原生半分辨率 (540p) 的功耗對比

Arm 游戲內(nèi)容團隊一直在努力制作一款虛幻引擎 (Unreal Engine) 演示，以挑戰(zhàn)未來移動端 GPU 的性能極限。我們也期待將 Arm ASR 應(yīng)用于此類內(nèi)容演示中。

這個演示場景中包含了許多精致入微的細(xì)節(jié)，這正是因為我們在 Arm ASR 中支持了穩(wěn)健對比度自適應(yīng)銳化 (RCAS) 技術(shù)，AMD FSR 1 和 FSR 2 也采用了這項技術(shù)。效果顯而易見。

與開源社區(qū)共享成果

我們對這項工作成果深感自豪，并希望基于 MIT 開源許可協(xié)議與開發(fā)者社區(qū)進行成果共享，使得每一位開發(fā)者都能親身感受 Arm ASR 的優(yōu)勢，并在自己的項目中嘗試應(yīng)用。