通用加速器引擎 - 基于FPGA異構(gòu)加速的OCR識(shí)別技術(shù)解析

3. 通用加速器引擎

針對(duì)CNN以及LSTM這兩類最常用的深度學(xué)習(xí)算法，我們?cè)O(shè)計(jì)了兩種加速架構(gòu)；每種架構(gòu)能夠通過(guò)“指令集+基本算子”的形式，能夠較為靈活的支持各類模型變種。

?

?

3.1 CNN計(jì)算引擎

CNN模型的核心計(jì)算是Kernel在input feature map滑窗進(jìn)行3D卷積計(jì)算，Kernel數(shù)據(jù)復(fù)用率高，整體計(jì)算密度大。

CNN加速器當(dāng)前版本基于Xilinx Ku115芯片設(shè)計(jì)，PE計(jì)算單元由4096個(gè)工作在500MHz的MAC dsp核心構(gòu)成。KU115芯片由兩個(gè)DIE對(duì)堆疊而成，加速器平行放置了兩組處理單元PE。每個(gè)PE由4組32x16=512的MAC計(jì)算DSP核心組成的XBAR構(gòu)成。

計(jì)算架構(gòu)設(shè)計(jì)的關(guān)鍵在于提高數(shù)據(jù)復(fù)用率來(lái)提升DSP計(jì)算效率，實(shí)現(xiàn)模型權(quán)重復(fù)用和各layer feature map的復(fù)用。

其基本組織框架如下圖所示：

?

圖3：CNN計(jì)算引擎架構(gòu)

3.2 LSTM計(jì)算引擎

LSTM模型的核心是向量*矩陣及對(duì)應(yīng)各gate的激活函數(shù)。權(quán)重矩陣數(shù)據(jù)量大，同時(shí)時(shí)間序列上數(shù)據(jù)存在前后依賴關(guān)系，模型中可挖掘的的計(jì)算并行度小。

LSTM加速器當(dāng)前版本基于Xilinx Ku115芯片設(shè)計(jì)，PE計(jì)算單元由4096個(gè)工作在300MHz的MAC dsp核心構(gòu)成。對(duì)于核心PE單元，我們將其細(xì)分為64個(gè)bank，每一個(gè)bank由64個(gè)級(jí)聯(lián)的DSP組成，利用DSP特性完成向量乘法過(guò)程中的乘累加過(guò)程。

計(jì)算架構(gòu)設(shè)計(jì)的關(guān)鍵在于降低訪存消耗。在控制部分，需要控制好ROW A和Col B的數(shù)據(jù)pipeline輸入，保證計(jì)算數(shù)據(jù)之間的匹配；在PE輸出端需要把控好激活函數(shù)的并行性，保證模型計(jì)算流水線的高效性。

其基本組織框架如下圖所示：

?

圖4：LSTM計(jì)算引擎架構(gòu)

4. 性能對(duì)比

對(duì)于使用者而言，F(xiàn)PGA平臺(tái)性能、開發(fā)周期以及易用性究竟如何呢？

性能
CNN加速平臺(tái)，峰值計(jì)算性能為4Tops，模型inference latency為GPU P4的1/10。

LSTM模型中，峰值計(jì)算性能為2.4Tops，F(xiàn)PGA 2us內(nèi)可以完成一次核心矩陣為1024*512的計(jì)算過(guò)程（8次1*1024與1024*512向量乘矩陣及相關(guān)的激活函數(shù)）。

易用性
FPGA加速器對(duì)底層加速過(guò)程進(jìn)行封裝，向上對(duì)加速平臺(tái)的業(yè)務(wù)方提供易用SDK。業(yè)務(wù)方調(diào)用簡(jiǎn)單的API函數(shù)即可完成加速操作，對(duì)業(yè)務(wù)自身邏輯幾乎無(wú)任何改動(dòng)。

如果線上模型需要改動(dòng)，只需調(diào)用模型初始化函數(shù)，將對(duì)應(yīng)的模型指令集初始化FPGA即可，加速業(yè)務(wù)可以在幾秒內(nèi)進(jìn)行切換。

硬件加速開發(fā)周期
底層CNN加速平臺(tái)以及LSTM加速平臺(tái)，架構(gòu)通過(guò)模型映射指令集的方式進(jìn)行加速。

對(duì)于經(jīng)典模型及標(biāo)準(zhǔn)layer自研的算法變種，現(xiàn)有加速架構(gòu)已經(jīng)可以支持，可以在一天內(nèi)通過(guò)編譯器實(shí)現(xiàn)模型對(duì)應(yīng)指令集，實(shí)現(xiàn)部署上線；

對(duì)于自研的特殊模型，例如不對(duì)稱卷積算子或LSTM特殊結(jié)構(gòu)，需要根據(jù)實(shí)際模型結(jié)構(gòu)在本平臺(tái)上進(jìn)行相關(guān)算子迭代開發(fā)，開發(fā)周期可縮短在一到兩周之內(nèi)進(jìn)行支持。

5. 結(jié)語(yǔ)

目前OCR技術(shù)在證件識(shí)別、快遞單掃描、信息安全審核等領(lǐng)域有著廣泛的應(yīng)用。架構(gòu)平臺(tái)部FPGA團(tuán)隊(duì)研發(fā)的OCR硬件加速解決方案，提供低成本、實(shí)時(shí)性AI計(jì)算加速，將持續(xù)助力公司內(nèi)各業(yè)務(wù)發(fā)展。在云端，2017年初，我們?cè)隍v訊云首發(fā)了國(guó)內(nèi)第一臺(tái)FPGA公有云服務(wù)器，我們將會(huì)逐步把基礎(chǔ)AI加速能力推出到公有云上。AI異構(gòu)加速的戰(zhàn)場(chǎng)很大很精彩，為公司內(nèi)及云上業(yè)務(wù)提供最優(yōu)的解決方案是架平FPGA團(tuán)隊(duì)持續(xù)努力的方向。