FPGA如何讓視頻編碼與AI非常簡單的結(jié)合

Aupera是一家專注于視頻數(shù)據(jù)應(yīng)用的新一代系統(tǒng)解決方案的創(chuàng)業(yè)公司，Aupera資深AI工程師Narges Afsham博士接受LiveVideoStack采訪時(shí)表示，在FPGA中集成視頻編碼與AI是水到渠成的。

LiveVideoStack：針對視頻云服務(wù)市場，您認(rèn)為國內(nèi)外有哪些不同？

Narges Afsham：我們可以發(fā)現(xiàn)過去這幾年直播流及短視頻剪輯市場的發(fā)展，中國擁有無與倫比的用戶數(shù)量，面臨視頻云服務(wù)市場，相應(yīng)提出更多挑戰(zhàn)及復(fù)雜性，包括更高的并發(fā)率、更多樣的終端設(shè)備及更復(fù)雜的網(wǎng)絡(luò)條件等。另外，視頻內(nèi)容理解是中國必須具備運(yùn)行視頻云服務(wù)的能力，無論是使用人力資源還是技術(shù)資源。雖然我們發(fā)現(xiàn)大玩家如Facebook、Instagram等，正一窩蜂地提供越來越多的相關(guān)視頻服務(wù)，包括Facebook直播、Facebook點(diǎn)播、以及他們最新推出的多人AR視頻游戲，這都要求視頻云服務(wù)提供商在處理海量視頻流及數(shù)據(jù)時(shí)，持續(xù)不斷突破技術(shù)壁壘和瓶頸。我個(gè)人認(rèn)為中國有更多的用戶群推動(dòng)視頻云服務(wù)提供商不斷改進(jìn)服務(wù)，視頻云服務(wù)提供商集中在滿足大規(guī)模用戶的需求，提供更優(yōu)化的服務(wù)，而美國視頻云服務(wù)提供商在提供視頻相關(guān)的新應(yīng)用和技術(shù)方面更有創(chuàng)新性一些。

LiveVideoStack：能否介紹下Aupera與Xilinx合作開發(fā)的視頻處理系統(tǒng)平臺(tái)Aup2600系列的應(yīng)用情況。

Narges Afsham：Aup2600系列是Aupera基于Xilinx最新MPSoC FPGA設(shè)備開發(fā)的新一代視頻處理系統(tǒng)平臺(tái)，該系統(tǒng)架構(gòu)基于分布式計(jì)算架構(gòu)對視頻處理進(jìn)行設(shè)計(jì)及優(yōu)化，在處理大規(guī)模視頻流方面突破了CPU的瓶頸。對于直播流轉(zhuǎn)碼及音視頻混合流任務(wù)，相對傳統(tǒng)X86服務(wù)器，該系統(tǒng)在并發(fā)流量處理方面實(shí)現(xiàn)20-30倍的效率。更重要的是，系統(tǒng)可升級(jí)實(shí)現(xiàn)視頻AI相關(guān)應(yīng)用，無需改變硬件及附加，這正是它令人激動(dòng)的地方。系統(tǒng)FPGA資源已被保留用于AI實(shí)踐，只需要一小部分實(shí)現(xiàn)視頻編解碼任務(wù)，你能想象其中蘊(yùn)含的潛力。通過我們的系統(tǒng)，我們能實(shí)現(xiàn)對現(xiàn)實(shí)的實(shí)時(shí)視頻內(nèi)容理解，及視頻編解碼及AI應(yīng)用在同一芯片組內(nèi)完成。

LiveVideoStack：為什么視頻編碼/轉(zhuǎn)碼與AI應(yīng)用可以在FPGA上結(jié)合在一起？具體的應(yīng)用場景是什么？

Narges Afsham：視頻工程師將受益于硬件加速編解碼及它動(dòng)態(tài)高效的QP分配，機(jī)器學(xué)習(xí)工程師受益于在硬件實(shí)現(xiàn)算法的推理速度，將它們集合統(tǒng)一在FPGA是非常自然的，這也極大地減少了開發(fā)周期。

LiveVideoStack：Aupera基于FPGA的視頻編解碼融合AI的解決方案有哪些獨(dú)特的優(yōu)勢嗎？

Narges Afsham：大大提升大規(guī)模海量視頻并行處理的效率，對視頻質(zhì)量及視覺效果都有所改善，更重要的是系統(tǒng)升級(jí)實(shí)現(xiàn)AI相關(guān)應(yīng)用，不需要添加或修改硬件，并能做到視頻流的實(shí)時(shí)分析。

LiveVideoStack：業(yè)界公眾的AI主流芯片，除了CPU以外，還有GPU、FPGA和ASIC。我們都知道FPGA比ASIC有更高的靈活性，比通用CPU和GPU有更高的效率。越來越多的企業(yè)選擇FPGA作為AI計(jì)算平臺(tái)，如微軟，亞馬遜，百度等，谷歌最近曝光的專用于人工智能深度學(xué)習(xí)計(jì)算的TPU，其實(shí)是一款A(yù)SIC。對此，您怎么看FPGA＋AI，還有ASIC或通用CPU＋AI？

Narges Afsham：這一切都是基于應(yīng)用程序的具體要求。GPU、CPU及FPGA在延遲、能效比 、開發(fā)時(shí)間，甚至是芯片大小都不同。GPU浮點(diǎn)運(yùn)算強(qiáng)，設(shè)計(jì)靈活性強(qiáng)。

Xilinx MPSoC集成CPU與FPGA于一體，與普通FPGA相比有更高的靈活性，功能更加強(qiáng)大，特別適用于數(shù)據(jù)中心的大規(guī)模應(yīng)用，以及邊緣節(jié)點(diǎn)的低功耗應(yīng)用。

同時(shí)，我們都將目睹機(jī)器學(xué)習(xí)算法和網(wǎng)絡(luò)的快速發(fā)展，幾乎每天都有改變或更新，從靈活性及可配置性方面，F(xiàn)PGA比ASIC性能好得多。