什么是硬件加速引擎？

什么是硬件加速引擎

普通計(jì)算機(jī)用指令運(yùn)算速度衡量計(jì)算性能，而超算則通常用浮點(diǎn)運(yùn)算速度來(lái)衡量其性能。但不管是指令運(yùn)算還是浮點(diǎn)運(yùn)算，都脫離不了CPU進(jìn)行流水線式的指令計(jì)算。盡管我們可以通過(guò)用先進(jìn)工藝、采用超標(biāo)量流水線結(jié)構(gòu)處理器，甚至是多核的陣列來(lái)提升CPU的計(jì)算性能，但這仍然沒(méi)有突破“重圍”，我們一直在一畝三分地徘徊。

我們?cè)趥€(gè)人電腦上打開過(guò)多的應(yīng)用時(shí)，由于CPU數(shù)量及性能受限，無(wú)法承載過(guò)多的應(yīng)用，電腦會(huì)逐漸變得很卡。但單純提高CPU的性能，空間受限制，且代價(jià)很大。除非是超算中心等首先以性能為目標(biāo)，對(duì)能耗比不那么敏感的應(yīng)用，否則消費(fèi)類芯片核心競(jìng)爭(zhēng)力仍以能功耗及性能為王，承載到芯片上就是PPA（Power Performance Area）。

摩爾定律的終結(jié)，我們很難再單一的從CPU身上榨出更多的性能。如果我們將某些復(fù)雜耗時(shí)的計(jì)算，采用專用芯片實(shí)現(xiàn)，在完成后再將結(jié)果返回給CPU，這樣我們就實(shí)現(xiàn)了專用的加速引擎。典型的以個(gè)人電腦為例，采用獨(dú)立顯卡的配置遠(yuǎn)比僅有集成顯卡電腦有著更好的體驗(yàn)感，因?yàn)镹vdia/AMD顯卡的GPU，專用圖形圖像加速運(yùn)算，降低了CPU的負(fù)荷，提高了整機(jī)處理應(yīng)用的能力。

至此，我們的主角終于上場(chǎng)了，世界的最后一塊拼圖，也終于完整了，如下圖所示，為CPU計(jì)算加速的方法，終點(diǎn)是最新工藝下，集成硬件加速器的多核超標(biāo)量流水線處理器。

而我們最后入場(chǎng)的觀眾，即上圖中紅色部分，就是硬件加速引擎。正如前文所述，顯然從CPU的一畝三分地，已經(jīng)很難再開出質(zhì)變的花，但硬件加速引擎的引入，讓我們進(jìn)入了硬件加速的新時(shí)代。

我們?cè)偈崂硪幌滦绿岢龅母拍睿河布铀僖?，也稱為硬件加速器，是一種采用專用加速芯片/模塊，替代CPU完成復(fù)雜耗時(shí)的大算力操作，其過(guò)程不需要或者僅少量CPU的參與。

典型的以GPU、DSP、ISP、NPU為例，就是專用的硬件加速引擎。硬件加速引擎的出現(xiàn)，一方面提升了SOC的整體計(jì)算性能，另一方面也降低了同等應(yīng)用場(chǎng)景，對(duì)CPU的性能需求。舉例，apple在2021年WWDC上發(fā)布了采用自研SOC的全新Macbook系列產(chǎn)品，使用的就是最新自研的號(hào)稱地表最強(qiáng)的M1芯片，其規(guī)模達(dá)到了160億門晶體管，如下圖所示：

M1采用了當(dāng)時(shí)最新的5nm工藝制程，集成8核的CPU，號(hào)稱在同等功耗下，達(dá)到了2倍目前CPU的最快性能。更為重要的是，M1還集成了眾多專用的硬件加速引擎，協(xié)助CPU完成了很多復(fù)雜耗時(shí)的運(yùn)算，統(tǒng)計(jì)分析主要如下表所示：

勾勒了一個(gè)粗糙的M1的架構(gòu)圖（其實(shí)很多多媒體芯片也是類似的），如下所示，我們簡(jiǎn)單梳理一下相關(guān)模塊的工作流程。

以一個(gè)AI人臉識(shí)別的視頻拍攝的場(chǎng)景為例，整體計(jì)算的流水線如下圖所示，當(dāng)然每一步還需要CPU參與配置調(diào)度，以及DDR讀寫緩存。其中上半部分，采用ISP→NPU→Encode→DDR流水線，實(shí)現(xiàn)了實(shí)時(shí)AI人看臉識(shí)別視頻的存儲(chǔ)；下半部分，實(shí)現(xiàn)了實(shí)時(shí)人臉檢測(cè)的顯示。

再以體驗(yàn)一個(gè)在線游戲?yàn)槔?，采用下圖的流水線，實(shí)現(xiàn)了游戲的實(shí)時(shí)解碼，圖形圖像的加速運(yùn)算，以及實(shí)時(shí)顯示功能。這個(gè)過(guò)程同樣每個(gè)模塊需要DDR參與讀寫，此外，除了少量CPU的配置及調(diào)度，CPU很少參與計(jì)算，主要由專用硬件加速引擎完成實(shí)時(shí)的運(yùn)算。因此專業(yè)的事情，專用的模塊做，CPU可以用來(lái)做更為復(fù)雜的操作，比如文件管理，資源優(yōu)化等。

上述例子，CPU與硬件加速引擎協(xié)同工作，一起打造了一款號(hào)稱地表最強(qiáng)的SOC。這里我們?cè)倥e一個(gè)例子，以采用硬件加速引擎的方式，降低了產(chǎn)品對(duì)CPU的性能要求，從而采用低成本的ARM，在提升性的前提下進(jìn)一步降低成本。如下圖所示，為海思Hi3516A監(jiān)控芯片的硬件架構(gòu)框圖。

該芯片采用單核A7內(nèi)核作為處理器，主頻運(yùn)行在600MHz，框圖左側(cè)為SoC的高速模塊，右下角為SoC的低速模塊，中下部分AES/DES/3DES為加解密模塊，右上角的CVBS/BT1120為顯示接口，MIPI/LVDS/Hispi圖像采集接口，以上這些組成了SoC的Boot最小系統(tǒng)，以及基本輸入輸出單元。

但這是一款I(lǐng)PC監(jiān)控芯片，主要用以實(shí)現(xiàn)視頻圖像采集，編碼傳輸?shù)裙δ?，為了減小CPU的開銷，協(xié)同完成一些復(fù)雜的視頻運(yùn)算，Hi3516A集成了幾個(gè)重要的硬件加速引擎，使得其在低碼率，高圖像質(zhì)量，低功耗方面持續(xù)引領(lǐng)行業(yè)水平。如下表所示，為Hi3516A芯片繼承的硬件加速引擎，主要如下：

IPC芯片可以用規(guī)格較低的Cortex A9系列CPU，得益于芯片集成了如上表中專用的硬件加速引擎。采用專用計(jì)算模塊完成了圖像處理、視頻編碼、顯示后處理等功能，使得CPU只需要參與配置及調(diào)度，同時(shí)才有了資源去處理復(fù)雜的操作系統(tǒng)任務(wù)。

我們總是不斷在追求更快，所以我們窮盡一切辦法去達(dá)成目標(biāo)。硬件加速引擎在傳統(tǒng)CPU無(wú)法實(shí)現(xiàn)質(zhì)變的基礎(chǔ)上，實(shí)現(xiàn)了計(jì)算能力的突破。硬件加速引擎雖然有其專用的局限性，但協(xié)同CPU處理，可以以更低的成本及功耗，實(shí)現(xiàn)更高的性能，這是當(dāng)前也是未來(lái)計(jì)算芯片的大勢(shì)所趨。

至此，相信你已經(jīng)理解了硬件加速引擎的非凡意義，我們也可終于可以提出我們的主題——圖像加速引擎。Hi3516A中的硬件加速引擎都是圖像相關(guān)的，本書也將介紹一些基于圖像算法方面的加速，就是我寫本書的初衷。

本書將從傳統(tǒng)圖像加速算法入手，從原理到實(shí)現(xiàn)，介紹圖像算法的理論及設(shè)計(jì)，并且基于Matlab與FPGA開發(fā)，講解如何進(jìn)行硬件加速實(shí)現(xiàn)的流程方法。本書適合從事軟件圖像開發(fā)的朋友，可以提升你對(duì)圖像算法硬件加速的認(rèn)知；本書同樣也事業(yè)FPGA開發(fā)的朋友，可以讓你全流程了解如何采用FPGA加速實(shí)現(xiàn)一個(gè)圖像算法。

在接下來(lái)的篇幅，我將從格式轉(zhuǎn)換、濾波、增強(qiáng)、二值化、銳化、縮放等傳統(tǒng)基礎(chǔ)圖算法入手，從原理到Matlab設(shè)計(jì)、FPGA加速實(shí)現(xiàn)進(jìn)行由淺入深的詳細(xì)介紹。接著，以深度學(xué)習(xí)LeNet為例，介紹如何在FPGA實(shí)現(xiàn)最簡(jiǎn)單的硬件加速卷積神經(jīng)網(wǎng)絡(luò)。最后，作為畫龍點(diǎn)睛之筆，我們站上更高的層次，介紹一下傳統(tǒng)ISP和新興的AISP的基本理論概念，以及未來(lái)圖像硬件加速的發(fā)展走向。

審核編輯：湯梓紅