komeda全新架構(gòu)顯示技術(shù)框架助力圖像處理技術(shù)變革

此前幾個(gè)月，我們推出了新一代顯示處理器特別的預(yù)覽，代號(hào)為“Cetus”。當(dāng)時(shí)，我們已經(jīng)明確討論過(guò)該款顯示處理器可以為整體的圖形流水線和Mali多媒體家族（包括圖形，視頻和顯示處理器）所帶來(lái)的改善，尤其我們的技術(shù)在該領(lǐng)域所取得的重大飛躍。隨著Mali-D71顯示處理器正式發(fā)布（即當(dāng)時(shí)的 Cetus），我們現(xiàn)在可以詳細(xì)介紹這款名為“Komeda”的全新架構(gòu)，以及它為支持最新、最復(fù)雜用戶場(chǎng)景所提供的令人驚嘆的顯示技術(shù)框架。

我們此前已經(jīng)就相對(duì)上一代產(chǎn)品的技術(shù)創(chuàng)新所帶來(lái)的驚人回報(bào)和相應(yīng)的架構(gòu)技術(shù)變革展開了深入討論。此次，我們將討論具體的性能提升以及為終端用戶所帶來(lái)的改善。

全新變化



首先，Mali-D71 通過(guò)在固定功能硬件中進(jìn)行迭加、旋轉(zhuǎn)、高品質(zhì)縮放、gamma/de-gamma和其他先進(jìn)的圖像處理任務(wù)，減少需要 GPU 處理的工作負(fù)載。這一切是在多媒體流水線最后階段完成的，即在它向屏幕發(fā)送最后的輸出內(nèi)容之前， 這意味著GPU 根本不用參與這些操作。此外，完成這些運(yùn)作只需經(jīng)過(guò)內(nèi)存一次，而不是來(lái)回多次，這樣就大幅提升了系統(tǒng)的節(jié)電效能。舉個(gè)更具體的例子，為了一臺(tái)1440p 設(shè)備縮放4K視頻層，將其與復(fù)雜的沉浸式UI圖形層進(jìn)行合成，對(duì)比利用GPU軟件進(jìn)行同樣的操作，SoC可節(jié)電30%。

與前代產(chǎn)品相比，Mali-D71以并行模式運(yùn)轉(zhuǎn)時(shí)可在同樣的面積里事項(xiàng)兩倍的性能。與前代產(chǎn)品不同的是，當(dāng)Mali-D71驅(qū)動(dòng)單塊顯示屏?xí)r，可以重復(fù)使用第二個(gè)顯示核心的資源。這樣一來(lái)，它可以迭加、旋轉(zhuǎn)和縮放的圖層數(shù)量加倍，但并不會(huì)增加整體面積。這就意味著在與前代產(chǎn)品相同的芯片面積內(nèi)，Mali-D71可以提供新的增強(qiáng)功能，比如縮放拆分操作、未壓縮層的AFBC編碼、更快的AFBC解碼和MMU優(yōu)化。當(dāng)Mali-D71顯示處理器與同時(shí)發(fā)布的CoreLink MMU-600一起使用時(shí)，集成的轉(zhuǎn)換緩沖單元(TBU)以及兩者通過(guò) DTI接口實(shí)現(xiàn)的緊密耦合大幅降低了MMU延遲。

此外，實(shí)現(xiàn)4倍的延遲容忍度。相較于前代產(chǎn)品Mali-DP650，Mali-D71 在實(shí)現(xiàn)同樣的顯示性能時(shí)，容許系統(tǒng)總線上4倍的延遲。Mali-D71 實(shí)現(xiàn)了內(nèi)存子系統(tǒng)的大幅優(yōu)化。它允許的待處理請(qǐng)求的數(shù)量加倍，從實(shí)時(shí)路徑中移除了未經(jīng)壓縮的旋轉(zhuǎn)，將未經(jīng)壓縮的線性層轉(zhuǎn)換成AFBC1.2 tiled層，從而實(shí)現(xiàn)更高效的旋轉(zhuǎn)。這對(duì)于必須將4K幀以60-120 fps的幀率輸出的高性能顯示處理來(lái)說(shuō)十分重要。為了做到這一點(diǎn)，顯示處理器需要最大程度地利用占有系統(tǒng)總線上的時(shí)間，在顯示屏空白時(shí)以毫秒為單位預(yù)取像素，確保緩沖區(qū)一直保有足夠的內(nèi)容。如果顯示屏沒有及時(shí)接收到像素，它就會(huì)因缺乏內(nèi)容出現(xiàn)丟幀的問(wèn)題，導(dǎo)致屏幕上出現(xiàn)毛刺或明顯偽差，影響畫質(zhì)。

最后，Mali-D71將像素吞吐量增加了一倍，以呈現(xiàn)極致的VR 4K120效果。它在全新的并行模式下驅(qū)動(dòng)單塊顯示屏?xí)r可以做到這一點(diǎn)。當(dāng)只需要為一個(gè)顯示進(jìn)行輸出時(shí)，并行模式將圖像一分為二，高效地利用兩套資源各處理一半的圖像。對(duì)于 4K60 及以下工作負(fù)載，并行模式可以將時(shí)鐘頻率降低一半，從而支持更低電壓，實(shí)現(xiàn)節(jié)電效能。對(duì)于4K120 工作負(fù)載而言，并行模式是強(qiáng)制性要求，從而針對(duì)相同的目標(biāo)頻率實(shí)現(xiàn)了像素吞吐量的加倍。如果不采用并行模式，只可能達(dá)到4K60，所以通過(guò)并行處理將幀處理需求減半的能力意味著功耗減半或是性能加倍。

背后的重要意義

Arm實(shí)際上并不生產(chǎn)實(shí)體產(chǎn)品，我們的IP要變成芯片還得花點(diǎn)時(shí)間，更不必說(shuō)真正的設(shè)備出產(chǎn)了。而這意味著我們必須始終領(lǐng)先趨勢(shì) (至少) 一步，并關(guān)注最新科技對(duì)現(xiàn)狀所帶來(lái)的顛覆性影響，才能使基于Arm的產(chǎn)品擁抱這些科技趨勢(shì)。在顯示行業(yè)涌現(xiàn)出來(lái)的具體趨勢(shì)當(dāng)中，有些會(huì)對(duì)我們打算利用全新的Komeda顯示架構(gòu)和已經(jīng)推出的整體解決方案實(shí)現(xiàn)的性能和特性產(chǎn)生較大影響。針對(duì)這些趨勢(shì)的討論，你可以點(diǎn)擊此處查看我的一位同事近期所做的更詳細(xì)介紹，而我將主要討論Arm全新顯示解決方案是如何應(yīng)對(duì)這些挑戰(zhàn)的。

1. 高動(dòng)態(tài)范圍
在顯示領(lǐng)域，最先出現(xiàn)的必備要素就是高動(dòng)態(tài)范圍 (HDR)。HDR 內(nèi)容在更廣的動(dòng)態(tài)范圍里被編碼，以呈現(xiàn)更加細(xì)膩的色彩和對(duì)比度。這就使得圖像上的暗黑區(qū)域變得更暗、更加層次豐富，較亮的區(qū)域則變得更明快、更清晰、更飽和，避免它們像我們有時(shí)在亮光下在圖像上看到的一樣變得模糊。越來(lái)越多的內(nèi)容創(chuàng)建者利用HDR提供極致的觀看體驗(yàn)，可如果不能將它們恰當(dāng)?shù)仫@示出來(lái)，就是在浪費(fèi)時(shí)間。Mali-D71搭配Assertive Display 5，從你較為青睞的內(nèi)容供應(yīng)商比如Netflix和亞馬遜 Video那里獲取HDR內(nèi)容，之后在任何類型的面板上 (即便是SDR) 都可以以HDR畫質(zhì)進(jìn)行顯示。Mali-D71本身獲取HDR視頻和圖形UI 的重疊區(qū)，將它們?nèi)谌胍詷?biāo)準(zhǔn)伽馬編碼且?guī)暾虻膯螏?，然后發(fā)送給Assertive Display 5轉(zhuǎn)換成正確的色彩范圍，用于SDR顯示。

這意味著如果你用的只是一款普通的顯示處理器，那么內(nèi)容創(chuàng)建者在以HDR10格式設(shè)計(jì)作品時(shí)所花費(fèi)的心血全部付諸東流。有了Mali-D71，你就可以重現(xiàn)同樣令人嘆為觀止的HDR畫質(zhì)，在更低規(guī)格的顯示器上也不例外，完整保留這些內(nèi)容的藝術(shù)匠心。



2. VR
正如我們之前多次討論過(guò)的那樣，移動(dòng)VR提出又一項(xiàng)技術(shù)挑戰(zhàn)。對(duì)顯示處理器以及系統(tǒng)其他部分來(lái)說(shuō)，僅僅滿足實(shí)時(shí)延遲和數(shù)據(jù)吞吐量方面的要求就已經(jīng)很困難了，更不必說(shuō)顯示設(shè)備在靠近眼睛時(shí)，對(duì)像素質(zhì)量有更高的要求了。這里就要說(shuō)一說(shuō)我們之前提到過(guò)的延時(shí)容忍度，還有并行模式的節(jié)電及性能提升。但是，借助搭配全新的CoreLink MMU-600，Mali-D71能夠真正物盡其用。MMU-600將內(nèi)存子系統(tǒng)進(jìn)行優(yōu)化，使得 Mali-D71可以最大限度地利用經(jīng)過(guò)優(yōu)化的內(nèi)存子系統(tǒng)去驅(qū)動(dòng)最高性能的VR顯示器達(dá)到4K120fps 的水平，從而在系統(tǒng)總線上能夠容忍更長(zhǎng)的延遲。

3. 多窗口顯示
由于人們使用手機(jī)的頻率越來(lái)越高，那么我們對(duì)多任務(wù)處理的需求也就越來(lái)越高。目前的臺(tái)式機(jī)已經(jīng)可以幫我們實(shí)現(xiàn)坐在電腦前時(shí)，一半顯示屏用來(lái)顯示在線會(huì)議，另一邊則顯示電子郵件或是Facebook內(nèi)容?，F(xiàn)在，我們希望可以在移動(dòng)設(shè)備上進(jìn)行同等程度的多任務(wù)處理。這意味著顯示子系統(tǒng)的功能需要更強(qiáng)大，以便同時(shí)開展這些不同的活動(dòng)。前幾代的顯示處理器可以最多處理4層數(shù)據(jù)，Mali-D71則提升了一倍，可以在單一顯示模式下處理8個(gè)Android迭加層。再加上拆分屏幕的功能，這就意味著 Mali-D71可以不費(fèi)吹灰之力就可以處理你的UI、導(dǎo)航欄、狀態(tài)信息以及幾個(gè)完全不同的應(yīng)用程序。



4. 屏幕，屏幕，屏幕
和科技行業(yè)里的許多事情一樣，一致性才是王道。要想調(diào)整你的應(yīng)用程序和游戲，讓它們?cè)诙鄠€(gè)平臺(tái)上運(yùn)行，這一點(diǎn)很難。顯示面板也是如此，顯示面板基礎(chǔ)的技術(shù)、性能點(diǎn)是如此之多，要知道顯示處理器可能需要從顯示面板獲取那些信息 (反之亦然) 以達(dá)到最佳工作狀態(tài)真的很難，但這正是 Arm合作伙伴生態(tài)系統(tǒng)大顯身手的地方。通過(guò)與行業(yè)里各式各樣的專家合作，我們可以鎖定各種面板供應(yīng)商，確保我們的顯示解決方案可以獲取可用信息，優(yōu)化內(nèi)容，在各種面板上呈現(xiàn)最佳的觀看體驗(yàn)。

顯示生態(tài)系統(tǒng)給予我們前所未有的機(jī)會(huì)與專家合作，為用戶創(chuàng)造最佳的體驗(yàn)。

VR和HDR使用場(chǎng)景需要WQHD+和4K分辨率以及90/120的幀率，這給消費(fèi)電子產(chǎn)品市場(chǎng)在功耗、成本和上市時(shí)間等方面都提出了新的挑戰(zhàn)。Arm的Mali-D71顯示處理器和 Synopsys公司通過(guò)芯片驗(yàn)證且配置VESA DSC編碼器的DesignWare MIPI DSI Host Controller IP和MIPI D-PHY IP提供了一個(gè)完整的顯示解決方案，確保這些關(guān)鍵IP部件無(wú)縫集成到不同數(shù)據(jù)傳輸模式和顯示面板特性的應(yīng)用處理器上。
——Synopsys 公司高級(jí)產(chǎn)品營(yíng)銷經(jīng)理Hezi Saar

Mali-D71可以為新一代基于顯示屏的移動(dòng)產(chǎn)品 (比如AR/VR頭盔) 實(shí)現(xiàn)前所未有的 4K120像素吞吐量。利用Mali-D71和Hardent公司的VESA DSC組合解決方案，你可以在既定的移動(dòng)功耗范圍內(nèi)，通過(guò)視覺無(wú)損壓縮將傳輸帶寬減少3倍，從而實(shí)現(xiàn)讓用戶覺得更加身臨其境的VR體驗(yàn)。
——Hardent 公司 IP 產(chǎn)品副總裁Alain Legault

Arm和Analogix正在積極開展合作，為頭戴式VR/AR應(yīng)用的處理器和顯示驅(qū)動(dòng)IC制定一項(xiàng)協(xié)議，優(yōu)化工作負(fù)載，終極目標(biāo)就是提供一款整個(gè)AR/VR系統(tǒng)的性能、成本和功耗等方面都堪稱最優(yōu)的解決方案。
——Analogix 公司首席技術(shù)官朱寧


Arm 完整的顯示解決方案
今天我們發(fā)布了第一套完整的Arm 顯示解決方案，以支持在下一代高端設(shè)備上運(yùn)行的所有最新的使用場(chǎng)景。雖然這些產(chǎn)品的功能都很出眾，但是只有當(dāng)這三樣產(chǎn)品合力去達(dá)成我們之前討論過(guò)的性能點(diǎn)，才能實(shí)現(xiàn)最大效益。全新的架構(gòu)，再加上預(yù)先優(yōu)化的軟件棧和集成的CoreLink MMU-600和Assertive Display 5技術(shù)，未來(lái)設(shè)備上的顯示效果必將大放異彩。