周小鵬:努力讓 FPGA支持更多開源庫和框架

本文為對聯(lián)捷科技研發(fā)總監(jiān)周小鵬的郵件采訪整理而成，探討了FPGA與CPU和ASIC的優(yōu)勢與不足。對于用戶而言，F(xiàn)PGA在云端應(yīng)用兼顧了速度和靈活性。未來，聯(lián)捷科技考慮對更多圖片和視頻Codec支持。在LiveVideoStackCon2019上海音視頻技術(shù)大會上，周小鵬將詳細(xì)介紹FPGA異構(gòu)計算在多媒體處理中的應(yīng)用。

LiveVideoStack：周小鵬你好，簡單介紹下自己的工作經(jīng)歷，以及在聯(lián)捷科技負(fù)責(zé)的工作內(nèi)容和感興趣的技術(shù)方向。

周小鵬：從事FPGA和系統(tǒng)開發(fā)有10年時間，大概有7年時間是從事多媒體方面的應(yīng)用和開發(fā)。在聯(lián)捷科技主要負(fù)責(zé)FPGA加速的整個后臺開發(fā)，感興趣的方向包括多媒體處理和FPGA異構(gòu)計算。

LiveVideoStack：能否簡單介紹下聯(lián)捷科技，其核心技術(shù)和服務(wù)的業(yè)務(wù)場景是？

周小鵬：聯(lián)捷科技的核心技術(shù)是基于FPGA的多媒體加速處理，主要的業(yè)務(wù)場景是圖像轉(zhuǎn)碼、圖像處理、視頻轉(zhuǎn)碼。

LiveVideoStack：我們知道相對于ASIC而言，F(xiàn)PGA擁有更好的靈活性，可以針對客戶需求進(jìn)行優(yōu)化。能否從一線的FPGA技術(shù)專家的角度，介紹下FPGA的優(yōu)勢與不足？

周小鵬：FPGA的開發(fā)相對于ASIC來講開發(fā)難度要低一些，另外，現(xiàn)在FPGA的開發(fā)也有一些高層建模的技術(shù)出現(xiàn)，來提升開發(fā)效率。FPGA的優(yōu)勢主要是可以實現(xiàn)深度流水和混合數(shù)據(jù)指令流，來實現(xiàn)計算加速，另外FPGA還有豐富的接口，也能給應(yīng)用帶來系統(tǒng)級的整合好處。不足的地方是，F(xiàn)PGA的開發(fā)效率還是比CPU低，另外應(yīng)用生態(tài)不夠健全。

LiveVideoStack：FPGA對于主流的圖像、視頻處理框架或庫（比如FFmpeg，OpenCV等）支持的如何？

周小鵬：FPGA本身沒有支持這些主流框架和庫，這就是我們現(xiàn)在做的工作。

LiveVideoStack：對于一名視頻工程師而言，基于FPGA的設(shè)備做應(yīng)用開發(fā)（比如使用FFmpeg轉(zhuǎn)碼），和在x86平臺上實現(xiàn)有什么區(qū)別？開發(fā)難度是否更高？

周小鵬：對于應(yīng)用工程師而言，沒有區(qū)別。我們會把FPGA的加速細(xì)節(jié)屏蔽，我們會把FPGA加速功能，在軟件層做成FFmpeg的plugin。

LiveVideoStack：您如何看FPGA在圖像、視頻處理領(lǐng)域的未來？一些ASIC實現(xiàn)了更好的圖像處理畫質(zhì)，由于ASIC天然的低功耗、高效率等優(yōu)勢，F(xiàn)PGA的優(yōu)勢體現(xiàn)在哪里？

周小鵬：圖像、視頻處理的應(yīng)用場景其實很多，ASIC和FPGA應(yīng)該都會有各自使用場景。比如，在端側(cè)，低功耗、高效率是必須的，ASIC會是更好的選擇。而在云端，除了性能要求高，更看重靈活性，這點FPGA比ASIC更容易達(dá)到。

LiveVideoStack：Codec呈現(xiàn)出群雄爭霸的局面，聯(lián)捷的產(chǎn)品支持了哪些Codec？未來考慮或計劃支持哪些新的Codec？

周小鵬：當(dāng)前圖像支持了JPEG、WebP、HEIF之間的互轉(zhuǎn)，還有Lepton等用于無損存儲的Codec；視頻支持H.264、H.265。未來也會考慮支持AV1，AVIF，AVS2等。

LiveVideoStack：最后，能否劇透下你在LiveVideoStackCon2019上海音視頻技術(shù)大會上的分享？

周小鵬：主要是分享我們在產(chǎn)品開發(fā)和推廣中的一些問題和解決方法。