基于多核媒體處理器，靈活實(shí)施HD視頻轉(zhuǎn)碼標(biāo)準(zhǔn)戰(zhàn)略

基于多核媒體處理器，靈活實(shí)施HD視頻轉(zhuǎn)碼標(biāo)準(zhǔn)戰(zhàn)略

電信行業(yè)內(nèi)真正有趣的玩笑很少，不過有一條卻以其諷刺性的幽默讓人聽后不禁莞爾：關(guān)于標(biāo)準(zhǔn)最大的好處，就是有如此多的標(biāo)準(zhǔn)可供人們選擇。這句話不僅適用于視頻領(lǐng)域，通信、傳輸系統(tǒng)以及技術(shù)接口等領(lǐng)域亦是如此。

本文首先會(huì)簡要介紹一些最常用的視頻標(biāo)準(zhǔn)，然后討論諸如LSI等芯片制造商們所采用的多內(nèi)核且基于媒體處理器的靈活方法。LSI在面向語音/視頻媒體網(wǎng)關(guān)市場開發(fā)產(chǎn)品方面積累了豐富的行業(yè)經(jīng)驗(yàn)，包括借助新一代媒體網(wǎng)關(guān)提供針對(duì)任意設(shè)備間視頻通信和實(shí)時(shí)協(xié)作應(yīng)用的可擴(kuò)展的產(chǎn)品系列。

奠定基礎(chǔ)

過去十年來，視頻的重要性一直在與日俱增。消費(fèi)廣告形式的轉(zhuǎn)變是其中第一個(gè)也可能是最重要的促進(jìn)因素。不過從目前來看，電視的收視率已經(jīng)下降到了歷史最低點(diǎn)，電視廣告的效果和影響力出現(xiàn)了下滑，然而廣告費(fèi)用卻始終居高不下。因此，廣告商正著力為其廣告開支尋找新的流向，其中最受廣告商青睞的一個(gè)方向，就是蓬勃發(fā)展的在線視頻點(diǎn)播。

這種變化的原因顯而易見。因?yàn)?a target="_blank">信息可以實(shí)現(xiàn)極其精細(xì)的傳輸，而且成本遠(yuǎn)遠(yuǎn)低于傳統(tǒng)方法，所以將視頻作為一種基于網(wǎng)絡(luò)的應(yīng)用(借助互聯(lián)網(wǎng))，其大受歡迎也就不足為奇了。此外，無處不在的寬帶、現(xiàn)代個(gè)人電腦的強(qiáng)大功能以及多媒體內(nèi)容涌現(xiàn)出的驚人廣度、深度與豐富性也為視頻的逐步流行助了一臂之力。

受到市場追捧的任何新興技術(shù)同時(shí)也都會(huì)促進(jìn)創(chuàng)新，進(jìn)而轉(zhuǎn)化為產(chǎn)品和服務(wù)的差異化、對(duì)爭做第一的追求以及消費(fèi)成本的降低。但創(chuàng)新以及對(duì)獨(dú)樹一幟的追求往往會(huì)導(dǎo)致為滿足市場需求而各自為政，同時(shí)也不可避免地導(dǎo)致產(chǎn)品互不兼容。這種不兼容性會(huì)減緩市場發(fā)展，因?yàn)橛脩魮?dān)心選擇的產(chǎn)品或服務(wù)最后會(huì)走上錯(cuò)誤的技術(shù)路線。

標(biāo)準(zhǔn)化機(jī)構(gòu)有責(zé)任協(xié)調(diào)開發(fā)商所采納的不同方案。平衡是解決問題的關(guān)鍵所在。標(biāo)準(zhǔn)化組織必須制定“為產(chǎn)品開發(fā)提供統(tǒng)一方案”的建議，同時(shí)為實(shí)施闡釋留出足夠的空間，以避免創(chuàng)新陷入僵化和畫地為牢的境地。

當(dāng)前大多數(shù)視頻標(biāo)準(zhǔn)均是由國際電聯(lián)(ITU)與動(dòng)態(tài)圖像專家組(MPEG)這兩個(gè)機(jī)構(gòu)制定。ITU 從傳輸視頻流的網(wǎng)絡(luò)角度制定標(biāo)準(zhǔn)，而MPEG則是從所傳輸?shù)漠a(chǎn)品角度來制定標(biāo)準(zhǔn)。二者均得到了廣泛應(yīng)用且具有良好的兼容性。

ITU 標(biāo)準(zhǔn)

ITU發(fā)布的視頻標(biāo)準(zhǔn)位于相關(guān)標(biāo)準(zhǔn)的‘H’卷，包括H.261、H.263與H.264等。本節(jié)將對(duì)上述標(biāo)準(zhǔn)進(jìn)行逐一介紹。

H.261

H.261 最初是針對(duì) ISDN 時(shí)代的有限數(shù)據(jù)速率（特別是 64kbps 的倍數(shù)）而開發(fā)的視頻編碼標(biāo)準(zhǔn)。在一些文件中該標(biāo)準(zhǔn)也被稱為 Px64，其中 P 代表 1~30 之間的任何一個(gè)數(shù)字（30 是ISDN 基本速率線路或 E-1 設(shè)備所能夠提供的最大信道數(shù)）。

H.263

H.263 是專為執(zhí)行中等質(zhì)量視頻會(huì)議與視頻電話應(yīng)用的視頻壓縮而制定的視頻編碼標(biāo)準(zhǔn)。H.263 最初用于傳輸 20kbps 的低帶寬視頻，基本建立在 H.261 設(shè)計(jì)方案的基礎(chǔ)之上，不過僅需 H.261 的一半帶寬即可實(shí)現(xiàn)同等質(zhì)量。因此，H.263 在實(shí)施頻率方面已經(jīng)有效取代了 H.261。與 H.261 一樣，H.263 也依靠實(shí)時(shí)傳輸協(xié)議 (RTP) 傳輸視頻信號(hào)。

H.261 僅支持兩種分辨度，但 H.263 卻可支持 5 種。除了 CIF 與 QCIF，H.263 還可支持 SQCIF、4CIF 與 16CIF。

H.264

H.264是ITU系列中的新一代標(biāo)準(zhǔn)，由ITU和國際標(biāo)準(zhǔn)化組織(ISO)聯(lián)合制定，也被稱為 MPEG-4 Part 10標(biāo)準(zhǔn)。H.264/MPEG-4又稱為高級(jí)視頻編碼( AVC)標(biāo)準(zhǔn)，旨在支持視頻會(huì)議、視頻電話等高端視頻應(yīng)用，具有數(shù)字壓縮視頻(諸如低碼率互聯(lián)網(wǎng)流、HDTV廣播、數(shù)字影院等)等功能。

H.264包含的高效視頻編碼工具能夠進(jìn)一步提高編碼效率。相對(duì)于以往標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)在速率失真方面有顯著的優(yōu)勢(根據(jù)相關(guān)應(yīng)用，平均增益可高達(dá)50%)。它針對(duì)特定應(yīng)用需求提供了多個(gè)類別?；绢惏ㄡ槍?duì)視頻會(huì)議與移動(dòng)應(yīng)用優(yōu)化的工具；擴(kuò)展類針對(duì)流媒體應(yīng)用；而主類和高級(jí)類則針對(duì)廣播以及存儲(chǔ)應(yīng)用。

H.264在算法概念上分為兩層：視頻編碼層(VCL)代表了視頻壓縮的內(nèi)容；網(wǎng)絡(luò)適配層(NAL)根據(jù)網(wǎng)絡(luò)能力對(duì)視頻壓縮數(shù)據(jù)進(jìn)行打包和傳送。另外它還為RTP等傳輸協(xié)議以及存儲(chǔ)系統(tǒng)提供頭信息。

可擴(kuò)展視頻編解碼器 (SVC) 標(biāo)準(zhǔn)是對(duì) H.264 的最新擴(kuò)展，用于傳輸在時(shí)間、空間和視頻質(zhì)量方面具有可擴(kuò)展性的編碼流。該 SVC 擴(kuò)展引入了一個(gè)原始 H.264 中不存在的概念 ——把視頻碼流分成幾層?；A(chǔ)層對(duì)視頻流最基本的時(shí)間、空間和質(zhì)量的表達(dá)進(jìn)行編碼。增強(qiáng)層利用基礎(chǔ)層作為起點(diǎn)，對(duì)附加信息進(jìn)行編碼，從而在解碼過程中把編碼結(jié)果用于重構(gòu)高質(zhì)量、高分辨率或高幀率的視頻版本。通過對(duì)基礎(chǔ)層以及需要的后續(xù)增強(qiáng)層進(jìn)行解碼，解碼器能夠以所希望的特征產(chǎn)生一種視頻流。編碼視頻流可被刪節(jié)以限制帶寬占用或降低解碼計(jì)算要求。刪節(jié)過程僅指從編碼視頻流提取所需各層，而對(duì)視頻流本身不做其它任何處理。因此，可以根據(jù)端點(diǎn)解碼器的功能（如顯示尺寸、計(jì)算資源等）來實(shí)現(xiàn)最佳體驗(yàn)質(zhì)量 (QoE)。

MPEG 標(biāo)準(zhǔn)

MPEG 視頻標(biāo)準(zhǔn)系列包含 MPEG-1、MPEG-2、MPEG-3 與 MPEG-4四個(gè)主要協(xié)議。

MPEG-1

MPEG-1 是一種由聯(lián)合圖像專家組與 CCITT（即現(xiàn)在的 ITU-T）的電話專家組共同制定的視頻和音頻有損壓縮標(biāo)準(zhǔn)，旨在用于把數(shù)字視頻與 CD 級(jí)音頻壓縮到 1.5Mb/s，壓縮比分別為 26:1 和 6:1。依據(jù)此標(biāo)準(zhǔn)，可以在信號(hào)質(zhì)量無過多損失的情況下傳輸高度壓縮的視頻與音頻。

MPEG-2

源于 MPEG-1 標(biāo)準(zhǔn)的 MPEG-2支持有損音頻與視頻壓縮。MPEG-2 是廣播、有線和直播衛(wèi)星電視系統(tǒng)中數(shù)字電視傳輸最常用的標(biāo)準(zhǔn)。另外，它還適用于電影的格式化，以便于 DVD 的發(fā)行。MPEG-2 是一種國際標(biāo)準(zhǔn)，其個(gè)別部分（第 1 與第 2 部分）是與 ITU 聯(lián)合制定的。雖然 MPEG-2 廣泛應(yīng)用于電視與 DVD 系統(tǒng)，但它并未對(duì)此類環(huán)境做出全面的規(guī)定。該標(biāo)準(zhǔn)為本地化闡釋保留了大量余地。

MPEG-3

人們普遍認(rèn)為 MPEG-3 就是音樂編碼的流行標(biāo)準(zhǔn) MP3（其區(qū)別在于 MPEG-1 第 3 層），但事實(shí)恰恰與此相反。MPEG-3 規(guī)定了一系列專門用于以 20～40Mb/s 的速率傳輸 1080p HDTV 信號(hào)的音頻與視頻編碼標(biāo)準(zhǔn)。當(dāng) HDTV 問世時(shí)，大家發(fā)現(xiàn)當(dāng)時(shí)的 MPEG 標(biāo)準(zhǔn)似乎稍顯不足，因此選擇 MPEG-3 作為臨時(shí)解決方案。1992 年，HDTV 作為一種特殊服務(wù)配置文件被添加到了 MPEG-2 之中，MPEG-3 隨之成為 MPEG-2 的一部分。

MPEG-4

隨著多媒體應(yīng)用在 20 世紀(jì) 90 年代后期和 21 世紀(jì)初期的日益普及，人們越發(fā)需要一種能夠滿足此類應(yīng)用特殊需求的壓縮標(biāo)準(zhǔn)，在這種背景下，MPEG-4 應(yīng)運(yùn)而生。

MPEG-4 于 1998 年問世，很快即成為用于基于 Web 的流媒體、基于 CD 的音頻內(nèi)容、語音和廣播電視的專用標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)提供許多 MPEG-1 與 MPEG-2 已經(jīng)規(guī)定的相同功能，但另外針對(duì)渲染數(shù)字圖形的特殊要求而增加了一些新規(guī)范，包括對(duì)用于 3D 圖形渲染和數(shù)字版權(quán)管理 (DRM) 的虛擬現(xiàn)實(shí)標(biāo)記語言 (VRML) 的支持。該標(biāo)準(zhǔn)的許多部分都是經(jīng)過精心設(shè)計(jì)的，而且得到了廣泛應(yīng)用。MPEG-4 第 2 部分得到了 DivX?、Xvid?、Nero Digital? 與 QuickTime? 以及 H.264 所含高級(jí)視頻編碼 (AVC) 的廣泛采納。另外該部分也已應(yīng)用到了 HD DVD 與 Blu-ray Disc? 之中。

幾種外圍標(biāo)準(zhǔn)

由于VC-1、Flash視頻等新視頻標(biāo)準(zhǔn)已經(jīng)在技術(shù)領(lǐng)域站穩(wěn)腳跟，因此值得一提。VC-1是之前討論的許多標(biāo)準(zhǔn)中所采用的編解碼格式的變體。VC-1由業(yè)界眾多公司編寫而成，不過普遍認(rèn)為它是由微軟開發(fā)，它被視為H.264的替代標(biāo)準(zhǔn)。VC-1針對(duì)交錯(cuò)式視頻內(nèi)容進(jìn)行了優(yōu)化，因此成為廣播與視頻行業(yè)更適用的解決方案。盡管VC-1剛問世不久，但藍(lán)光與高清 DVD均采用了 VC-1，而且 Windows Vista也支持VC-1解碼器，從而使其在市場中占據(jù)了有利地位。

Flash視頻采用Adobe Flash Player播放，可支持H.264視頻及AAC音頻等各種編解碼格式輸出。此格式廣泛應(yīng)用于互聯(lián)網(wǎng)視頻分配，而且已被YouTube以及Yahoo!等各大網(wǎng)站所采用。

文章開頭提到的笑話并非是玩笑，看起來，有多少種需要傳輸?shù)囊曨l就有多少種視頻格式化和傳輸標(biāo)準(zhǔn)。這種現(xiàn)象好的一面，是各種標(biāo)準(zhǔn)組織已經(jīng)展開緊密合作，從而減少了新標(biāo)準(zhǔn)數(shù)量，更多關(guān)聯(lián)標(biāo)準(zhǔn)得以涌現(xiàn)。不過，制造商似乎也一直面臨著同樣的挑戰(zhàn)。面對(duì)如此多的標(biāo)準(zhǔn)，他們該如何快速、高效地實(shí)現(xiàn)產(chǎn)品上市？如何才能確定哪個(gè)標(biāo)準(zhǔn)會(huì)是最好的，以及該按照哪個(gè)標(biāo)準(zhǔn)設(shè)計(jì)自己的產(chǎn)品？顯然，他們可以設(shè)計(jì)出符合多種標(biāo)準(zhǔn)的產(chǎn)品，但這需要采用某種媒體網(wǎng)關(guān)以確保實(shí)現(xiàn)全面的互操作性。

值得注意的是，即使采用的標(biāo)準(zhǔn)再好，實(shí)際產(chǎn)品仍然會(huì)受到成本與上市時(shí)間的限制，因此往往不得不進(jìn)行折中，如：硬接線邏輯可以滿足HD視頻編解碼器的復(fù)雜需求，但卻缺乏靈活性。為了實(shí)現(xiàn)更壓縮水平，視頻編解碼標(biāo)準(zhǔn)的復(fù)雜性在不斷提高，因此需要更高的靈活性來處理部分兼容的實(shí)施方案。一種方法是采用技術(shù)體系中的最低等級(jí)，顯然，為了適應(yīng)視頻以及視頻用戶的不斷變化，視頻標(biāo)準(zhǔn)過去幾年已經(jīng)有所發(fā)展。視頻最初存在于廣播或有線電視領(lǐng)域，但現(xiàn)在它以適合一系列廣泛設(shè)備的各種格式逐步進(jìn)入互聯(lián)網(wǎng)。當(dāng)然，其挑戰(zhàn)是為各種設(shè)備與平臺(tái)提供一切內(nèi)容并且使其能夠播放這些內(nèi)容，這并非易事。一部分解決方案源于市場中能夠處理上述繁雜功能的多種成功的操作系統(tǒng)的發(fā)展。雖然靈活性與功能非常出色，但是這些操作系統(tǒng)實(shí)現(xiàn)上述目的需要付出高功率和低密度的代價(jià)，不過，如果所需要的正是低密度應(yīng)用，并且功率不是問題時(shí)，那么就值得付出上述代價(jià)。

多媒體是現(xiàn)在的熱門，而隨著支持互聯(lián)網(wǎng)接入、游戲、視頻以及電視的寬帶手機(jī)問世，形勢已經(jīng)發(fā)生了改變。其它應(yīng)用對(duì)網(wǎng)絡(luò)以及聯(lián)網(wǎng)設(shè)備的需求同樣巨大，如用戶生成的內(nèi)容以及社交網(wǎng)絡(luò)等。為此，在電信領(lǐng)域大獲成功的半導(dǎo)體公司針對(duì)這種需求開發(fā)了支持各種視頻分辨率(如：QCIF、CIF以及HD)以及具有支持各種標(biāo)準(zhǔn)的靈活性的視頻處理架構(gòu)。

為了成功處理高分辨率視頻，設(shè)計(jì)人員必須將功耗作為一種關(guān)鍵設(shè)計(jì)要素。視頻是各種應(yīng)用中功耗需求最高的應(yīng)用之一，因?yàn)闈M足QoS要求以及觀眾期望的輸出，需要大量的處理工作。實(shí)現(xiàn)最高功率性能需要采用低功耗技術(shù)。視頻應(yīng)用可通過采用具有高效管線設(shè)計(jì)的多內(nèi)核媒體處理器來滿足可編程性以及低功耗的需求。

可編程多核媒體處理器

隨著多種視頻與音頻格式的出現(xiàn)，支持它們及其應(yīng)用的設(shè)備也在變得日益復(fù)雜，從而催生了成本更高且更為復(fù)雜的半導(dǎo)體設(shè)計(jì)方案。視頻屬于要求極高的應(yīng)用，所呈現(xiàn)的高質(zhì)量信號(hào)需要進(jìn)行特別處理，因此在部署視頻專用產(chǎn)品時(shí)必須考慮一系列功能?？删幊潭嗪私鉀Q方案不但靈活，而且功耗較低。

視頻編碼過程中一大部分實(shí)時(shí)周期實(shí)際上是用于控制與數(shù)據(jù)處理。例如，理想方案是在單次運(yùn)算中同時(shí)處理用于轉(zhuǎn)換和過濾的控制敏感型數(shù)據(jù)。通過增強(qiáng)控制和修改流程指令，如高效硬件環(huán)路、并行條件計(jì)算以及高效預(yù)加載，可以獲得更佳的解決方案。

另外，還應(yīng)盡可能采用效率最高的方式處理解析、運(yùn)動(dòng)矢量預(yù)測、內(nèi)插、運(yùn)動(dòng)補(bǔ)償、CABAC運(yùn)算及其它計(jì)算強(qiáng)度高的任務(wù)。事件處理或管理中的每個(gè)元素所要求的計(jì)算形式都有少許不同。此類考慮決定了系統(tǒng)的整體架構(gòu)。所有任務(wù)都采用單一處理器內(nèi)核會(huì)導(dǎo)致整體架構(gòu)效率低下。例如，如果需要更高時(shí)鐘頻率或更多內(nèi)核，則需要更昂貴、耗電更高的器件。通過讓每種處理采用專用可編程內(nèi)核，可以優(yōu)化計(jì)算任務(wù)并提高整體系統(tǒng)效率。提供多個(gè)內(nèi)核、高級(jí)處理和高數(shù)據(jù)吞吐量的媒體處理器，能夠?qū)崿F(xiàn)具有滿足當(dāng)前與未來多媒體需求所需性能與靈活性組合的解決方案。

媒體格式豐富的應(yīng)用要求能夠跨越多個(gè)通道的高密度DSP功能，值得慶幸的是，滿足該種應(yīng)用需求的多核多媒體處理器已經(jīng)問世。在為新一代媒體應(yīng)用挑選多核媒體處理器時(shí)應(yīng)當(dāng)考慮一系列重要特性。表 1 列出了這些特性及相關(guān)重要說明。

表 1. 多媒體專用多核DSP重要特性。

多層編碼器架構(gòu)

典型視頻轉(zhuǎn)碼器實(shí)施方案需要HD解碼器(SD、720p或1080p)，有可能要調(diào)整圖像尺寸、將YUV輸出分配到其它內(nèi)核或器件，并以CIF、SD、720p或1080p分辨度進(jìn)行視頻編碼。本部分主要介紹完整的解／編碼轉(zhuǎn)碼技術(shù)，相同工作原理也適用于高效轉(zhuǎn)碼器，其解碼器參數(shù)(如：運(yùn)動(dòng)矢量)等常被用于編碼器來降低編碼器復(fù)雜性。

高清視頻編碼，即1080p(1920x1080)與 720p(1280x720)分辨度的任務(wù)非?？量?，其需要多個(gè)媒體處理內(nèi)核，以便實(shí)時(shí)實(shí)現(xiàn)30FPS～60FPS。該任務(wù)甚至可以跨越多個(gè)多核DSP器件。本文主要針對(duì)H.264展開討論，不過相同原理同樣適用于H.263與MPEG4編碼器?？梢圆捎脙煞N方式實(shí)現(xiàn)DSP內(nèi)核之間的任務(wù)劃分。

圖 1. H.264 編碼器方框圖。

一種選擇是在DSP內(nèi)核之間進(jìn)行功能分配，盡可能均勻地在內(nèi)核之間分配計(jì)算負(fù)載。例如，如圖1所示，一個(gè)內(nèi)核負(fù)責(zé)幀間預(yù)測與幀內(nèi)預(yù)測，另一個(gè)內(nèi)核負(fù)責(zé)實(shí)現(xiàn)變換與量化，而第三個(gè)內(nèi)核則負(fù)責(zé)運(yùn)行去塊效應(yīng)濾波器與熵編碼工作。實(shí)際上，功能劃分存在多種缺陷。負(fù)載均衡需要在內(nèi)核之間實(shí)現(xiàn)更高級(jí)的通信與協(xié)調(diào)。均衡內(nèi)核之間的計(jì)算負(fù)載難度更高，因?yàn)槊總€(gè)功能塊都具有很高的復(fù)雜性。當(dāng)圖像分辨率從CIF提高到HD時(shí)，無法采用功能劃分架構(gòu)實(shí)現(xiàn)可擴(kuò)展性。

能夠克服上述問題的另一種視頻編碼器實(shí)施方案，是適用于可擴(kuò)展多核器件的多層架構(gòu)。該方案還適用于多器件架構(gòu)，其中多個(gè)多核器件通過sRIO、PCIe等高速互連總線進(jìn)行連接。

在這種架構(gòu)中，編碼器的實(shí)施分配到多個(gè) DSP 內(nèi)核。每個(gè)宏塊條都分配到一個(gè)DSP內(nèi)核。其中每個(gè)內(nèi)核都提供一些特定功能，如：速率控制與幀內(nèi)圖像處理。事實(shí)上，無法預(yù)先進(jìn)行比特預(yù)算并分配到各個(gè)宏塊條，因?yàn)椴煌陦K條可能具有不同的圖像復(fù)雜性，而在圖像分割塊之間采用差異很大的Qp值會(huì)造成合成圖像的層邊界出現(xiàn)偽影。在H.264中，宏塊條NAL可以包含任意數(shù)量的宏塊，因此與H.263不同，圖像分割塊的形狀無需符合GOB邊界。每個(gè)宏塊條的頭部(slice header)均包含宏塊條數(shù)據(jù)中編碼的第一個(gè)宏塊的編號(hào)。

圖2. HD 編碼器多層處理。

在多宏塊條架構(gòu)中(如圖2所示)，DSP內(nèi)核從sRIO接口(連接另一個(gè)多核媒體處理器)接收YUV格式的原始視頻。該媒體處理器可實(shí)施H.264解碼器。這種多處理器架構(gòu)可以充分利用 sRIO的靈活性優(yōu)勢，動(dòng)態(tài)地將一個(gè)多核媒體處理器中已經(jīng)解碼的宏塊條分配給另一個(gè)多核媒體處理器中的DSP內(nèi)核，從而進(jìn)行深入處理。

sRIO是一種點(diǎn)對(duì)點(diǎn)技術(shù)，可以很靈活地連接多個(gè)器件來傳輸數(shù)據(jù)或處理通用數(shù)據(jù)集。每個(gè)器件都在其它器件的I/O空間自主地進(jìn)行“寫”操作。每個(gè)sRIO在各個(gè)方向都可支持高達(dá) 10Gbps的吞吐能力。把sRIO與高效DMA通道完美結(jié)合，可實(shí)現(xiàn)：

* 并行進(jìn)行視頻處理與數(shù)據(jù)傳輸

* 協(xié)調(diào)執(zhí)行

* 通過共享存儲(chǔ)器(DPS內(nèi)核位于同一器件的情況下)或通過高速sRIO接口(DSP內(nèi)核位于不同器件的情況下)實(shí)現(xiàn)數(shù)據(jù)共享。

圖3. 高吞吐量、低時(shí)延多核器件互連示例。

圖3說明，高速串行I/O在復(fù)雜視頻處理任務(wù)中的潛在應(yīng)用。圖中顯示用于擴(kuò)展多個(gè)器件中多核器件處理能力的連接方案，其可以實(shí)現(xiàn)更復(fù)雜的視頻處理運(yùn)算或支持更多視頻轉(zhuǎn)碼通道。采用sRIO開關(guān)能夠?qū)崿F(xiàn)更靈活的器件間通信，不過如果處理流處于相鄰器件之間，也可以不采用這種開關(guān)。與PCIe開關(guān)相比，sRIO由于其數(shù)據(jù)包開銷較低，因此一般成本更低、性能更高、且時(shí)延更短。

多核解碼器架構(gòu)

視頻解碼器的實(shí)現(xiàn)一般需要獨(dú)立于編碼器。也就是說，解碼器結(jié)構(gòu)必須通用，以處理不同編碼器方案，如單NAL或多NAL實(shí)現(xiàn)方案。H.264解碼器涉及串行操作和并行操作，而且一項(xiàng)重要任務(wù)是在多個(gè)內(nèi)核DSP間實(shí)現(xiàn)高效分配。高效的多核實(shí)現(xiàn)架構(gòu)是可分成眾多串行操作。

熵解碼器是一種包含串行操作和局部循環(huán)的功能塊，無法分配給運(yùn)行在多個(gè)內(nèi)核中的并行任務(wù)。即使考慮采用上下文自適應(yīng)二進(jìn)制算術(shù)編碼(CABAC)等先進(jìn)技術(shù)，熵解碼器的復(fù)雜性也低于重組塊。隨著DSP內(nèi)核功能日益提高，可在單個(gè)DSP內(nèi)核中實(shí)現(xiàn)解碼功能。

圖 4. H.264解碼器方框圖。

圖4為一種多核架構(gòu)，其采用單個(gè)DSP內(nèi)核實(shí)現(xiàn)熵解碼，且將重組塊的計(jì)算強(qiáng)度更高的任務(wù)分配給多個(gè)DSP內(nèi)核。這種數(shù)據(jù)分配技巧可將任務(wù)間通信保持在指定內(nèi)核上并實(shí)現(xiàn)更有效的高速緩存性能。此架構(gòu)的另一個(gè)優(yōu)勢，是具有從SD到HD的可擴(kuò)展性，同時(shí)實(shí)現(xiàn)DSP 內(nèi)核間更均勻的負(fù)載均衡?？梢钥紤]采用不同實(shí)現(xiàn)方案，如：每內(nèi)核單行或每內(nèi)核多列。數(shù)據(jù)分配還有利于整體時(shí)延的最優(yōu)化，因?yàn)槭遣捎昧魉€方式實(shí)現(xiàn)解碼，所以只要收到來自相鄰宏塊的數(shù)據(jù)就能夠執(zhí)行宏塊的解碼。