基于FPGA的CNN加速項(xiàng)目案例解析

人工智能（AI）長(zhǎng)期以來(lái)一直是科幻作家和學(xué)者的主題。將人腦的復(fù)雜性復(fù)制到計(jì)算機(jī)中的挑戰(zhàn)催生了新一代的科學(xué)家、數(shù)學(xué)家和計(jì)算機(jī)算法開(kāi)發(fā)人員。持續(xù)的研究現(xiàn)在已經(jīng)讓位于人工智能的使用，通常被稱(chēng)為深度學(xué)習(xí)或機(jī)器學(xué)習(xí)，這些應(yīng)用正越來(lái)越成為我們世界的一部分。雖然基本概念已經(jīng)存在很長(zhǎng)時(shí)間，但商業(yè)現(xiàn)實(shí)從未完全實(shí)現(xiàn)。近年來(lái)，數(shù)據(jù)的生成速度飛速發(fā)展，開(kāi)發(fā)人員不得不長(zhǎng)時(shí)間思考如何編寫(xiě)算法來(lái)從中提取有價(jià)值的數(shù)據(jù)和統(tǒng)計(jì)數(shù)據(jù)。還，另一個(gè)關(guān)鍵因素是高度可擴(kuò)展級(jí)別的計(jì)算資源的可用性，這是云自愿提供的。例如，您口袋里的智能手機(jī)可能會(huì)使用 Google 的 Now（“OK Google”）或 Apple 的 Siri 語(yǔ)音命令應(yīng)用程序，這些應(yīng)用程序使用深度學(xué)習(xí)算法（稱(chēng)為（人工）神經(jīng)網(wǎng)絡(luò)）的強(qiáng)大功能來(lái)實(shí)現(xiàn)語(yǔ)音識(shí)別和學(xué)習(xí)能力。然而，除了與手機(jī)通話(huà)的樂(lè)趣和便利之外，還有大量工業(yè)、汽車(chē)和商業(yè)應(yīng)用程序現(xiàn)在受益于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的強(qiáng)大功能。稱(chēng)為（人工）神經(jīng)網(wǎng)絡(luò)，以實(shí)現(xiàn)語(yǔ)音識(shí)別和學(xué)習(xí)能力。然而，除了與手機(jī)通話(huà)的樂(lè)趣和便利之外，還有大量工業(yè)、汽車(chē)和商業(yè)應(yīng)用程序現(xiàn)在受益于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的強(qiáng)大功能。稱(chēng)為（人工）神經(jīng)網(wǎng)絡(luò)，以實(shí)現(xiàn)語(yǔ)音識(shí)別和學(xué)習(xí)能力。然而，除了與手機(jī)通話(huà)的樂(lè)趣和便利之外，還有大量工業(yè)、汽車(chē)和商業(yè)應(yīng)用程序現(xiàn)在受益于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的強(qiáng)大功能。

卷積神經(jīng)網(wǎng)絡(luò)

在查看其中一些應(yīng)用程序之前，讓我們先研究一下神經(jīng)網(wǎng)絡(luò)的工作原理以及它需要哪些資源。當(dāng)我們一般談?wù)撋窠?jīng)網(wǎng)絡(luò)時(shí)，我們應(yīng)該更準(zhǔn)確地將它們描述為人工神經(jīng)網(wǎng)絡(luò)。作為軟件算法實(shí)現(xiàn)，它們基于人類(lèi)和動(dòng)物的生物神經(jīng)網(wǎng)絡(luò)——中樞神經(jīng)系統(tǒng)。多年來(lái)，人們構(gòu)想了幾種不同類(lèi)型的神經(jīng)網(wǎng)絡(luò)架構(gòu)，其中卷積神經(jīng)網(wǎng)絡(luò) （CNN） 得到了最廣泛的采用。造成這種情況的主要原因之一是他們的架構(gòu)方法使它們非常適合使用基于 GPU 和 FPGA 設(shè)備的硬件加速器提供的并行化技術(shù)。CNN 受歡迎的另一個(gè)原因是它們適合處理具有大量空間連續(xù)性的數(shù)據(jù)，其中圖像處理應(yīng)用程序非常適合?？臻g連續(xù)性是指特定位置附近的像素共享相似的強(qiáng)度和顏色屬性。CNN 由不同的層構(gòu)成，每個(gè)層都有特定的目的，并且在它們的操作中使用了兩個(gè)不同的階段。第一部分是指令或訓(xùn)練階段，它允許處理算法了解它擁有哪些數(shù)據(jù)以及每條數(shù)據(jù)之間的關(guān)系或上下文。CNN 是作為結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的學(xué)習(xí)框架創(chuàng)建的，計(jì)算機(jī)創(chuàng)建的神經(jīng)元形成連接和中斷網(wǎng)絡(luò)。模式匹配是 CNN 背后的一個(gè)關(guān)鍵概念，

?

?

?

圖 1：CNN 的層方法（來(lái)源：Wikipedia – credit Aphex34 1）。

更多關(guān)于 CNN 工作原理的信息可以在Cadence 1a的一篇論文中找到，以及一個(gè)有用的視頻1b，該視頻錄制在最近的 IEEE 協(xié)會(huì)關(guān)于計(jì)算新前沿的會(huì)議上。當(dāng)Microsoft 研究團(tuán)隊(duì)1c贏得 ImageNet 計(jì)算機(jī)視覺(jué)挑戰(zhàn)時(shí)，CNN 對(duì)圖像處理應(yīng)用程序的有用性的證據(jù)獲得了進(jìn)一步的尊重。

CNN 的第二階段是執(zhí)行階段。由不同的層節(jié)點(diǎn)組成，關(guān)于什么可能的圖像可能變得越來(lái)越抽象的命題。卷積層從圖像源中提取低級(jí)特征，以檢測(cè)圖像中的線條或邊緣等特征。其他層，稱(chēng)為池化層，用于通過(guò)平均或“池化”圖像特定區(qū)域的共同特征來(lái)減少變化。然后可以將其傳遞給進(jìn)一步的卷積和池化層。CNN 層的數(shù)量與圖像識(shí)別的準(zhǔn)確性相關(guān)，盡管這增加了系統(tǒng)性能需求。如果內(nèi)存帶寬可用，這些層可以以并行方式運(yùn)行，CNN 中計(jì)算最密集的部分是卷積層。

開(kāi)發(fā)人員面臨的挑戰(zhàn)是他們?nèi)绾翁峁┳銐蚋叩挠?jì)算資源來(lái)運(yùn)行 CNN，以確定在應(yīng)用程序的時(shí)間限制內(nèi)所需的不同圖像分類(lèi)的數(shù)量。例如，工業(yè)自動(dòng)化應(yīng)用程序可能會(huì)使用計(jì)算機(jī)視覺(jué)來(lái)識(shí)別需要將零件傳送到傳送帶上的下一個(gè)階段。在神經(jīng)網(wǎng)絡(luò)識(shí)別出零件之前暫停該過(guò)程會(huì)破壞流程并減慢生產(chǎn)速度。

實(shí)現(xiàn) CNN

加速部分 CNN 正在進(jìn)行的“強(qiáng)化”學(xué)習(xí)和執(zhí)行階段將顯著加速這項(xiàng)主要是數(shù)學(xué)任務(wù)。憑借其高內(nèi)存帶寬和計(jì)算能力，GPU 和 FPGA 是這項(xiàng)工作的潛在候選者。具有任何馮諾依曼架構(gòu)所表現(xiàn)出的緩存瓶頸的傳統(tǒng)微處理器可以運(yùn)行算法，但將層抽象任務(wù)移交給硬件加速器。雖然 GPU 和 FPGA 都提供了顯著的并行處理能力，但 GPU 固定架構(gòu)的性質(zhì)意味著 FPGA 具有靈活且可動(dòng)態(tài)重新配置的架構(gòu)更適合 CNN 加速任務(wù)。使用非常精細(xì)的方法，本質(zhì)上是在硬件中實(shí)現(xiàn) CNN 算法，與 GPU 的軟件衍生算法方法相比，F(xiàn)PGA 架構(gòu)有助于將延遲保持在絕對(duì)最小值，并且更具確定性。FPGA 的另一個(gè)優(yōu)點(diǎn)是能夠在設(shè)備結(jié)構(gòu)中“硬化”功能塊，例如 DSP。這種方法進(jìn)一步加強(qiáng)了網(wǎng)絡(luò)的確定性。就資源使用而言，F(xiàn)PGA 非常高效，因此每個(gè) CNN 層都可以在 FPGA 結(jié)構(gòu)內(nèi)構(gòu)建，并且它自己的內(nèi)存靠近它。

?

?

圖 2：圖像處理 CNN 概述（來(lái)源：Cadence 2）。

圖 2 突出顯示了為工業(yè)圖像處理應(yīng)用程序設(shè)計(jì)的 CNN 的關(guān)鍵組件塊，中間的兩個(gè)塊代表 CNN 的核心。

使用 C 語(yǔ)言的OpenCL 2a并行編程擴(kuò)展來(lái)補(bǔ)充基于 FPGA 的 CNN 加速應(yīng)用程序的開(kāi)發(fā)。適用于卷積神經(jīng)網(wǎng)絡(luò)的 FPGA 器件的一個(gè)示例是英特爾可編程解決方案集團(tuán) （PSG）的Arria 10系列器件，其正式名稱(chēng)為Altera。

為了幫助開(kāi)發(fā)人員開(kāi)展基于 FPGA 的 CNN 加速項(xiàng)目，英特爾 PSG 提供了 CNN 參考設(shè)計(jì)。這使用 OpenCL 內(nèi)核來(lái)實(shí)現(xiàn)每個(gè) CNN 層。數(shù)據(jù)使用通道和管道從一層傳遞到下一層，該功能允許數(shù)據(jù)在 OpenCL 內(nèi)核之間傳遞，而無(wú)需消耗外部?jī)?nèi)存帶寬。卷積層是使用 FPGA 中的 DSP 模塊和邏輯實(shí)現(xiàn)的。硬化塊包括浮點(diǎn)功能，可進(jìn)一步提高設(shè)備吞吐量，而不必影響可用內(nèi)存帶寬。

圖 3 所示的框圖突出顯示了可以使用 FPGA 作為加速處理單元的示例圖像處理和分類(lèi)系統(tǒng)。

?

?

圖 3：使用 FPGA 進(jìn)行加速的圖像分類(lèi)系統(tǒng)框圖（來(lái)源：FPGA 上的深度學(xué)習(xí)，過(guò)去、現(xiàn)在和未來(lái)3）。

英特爾 PSG 還在其網(wǎng)站4上提供了許多有關(guān)將 FPGA 卷積神經(jīng)網(wǎng)絡(luò)用于工業(yè)、醫(yī)療和汽車(chē)應(yīng)用的主題的有用文檔和視頻。為深度學(xué)習(xí)應(yīng)用程序選擇框架是關(guān)鍵的第一步。為了幫助開(kāi)發(fā)人員，有越來(lái)越多的工具，例如OpenANN （openann.github.io），這是一個(gè)用于人工神經(jīng)網(wǎng)絡(luò)的開(kāi)源庫(kù)，以及諸如deeplearning.net和Embedded-vision.com等信息豐富的社區(qū)站點(diǎn)。包括對(duì)使用 OpenCL 的支持的流行深度學(xué)習(xí)設(shè)計(jì)框架包括Caffe（caffe.berkeleyvision.org），基于 C++ 和基于 Lua 的 Torch。DeepCL 是另一個(gè)完全支持 OpenCL 的框架，盡管它尚未獲得前兩者的用戶(hù)群。

結(jié)論

工業(yè)市場(chǎng)熱衷于利用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)可以為許多制造和自動(dòng)化控制應(yīng)用帶來(lái)的特性。由于德國(guó)的工業(yè) 4.0 等舉措以及更廣泛的工業(yè)物聯(lián)網(wǎng)概念，這一重點(diǎn)得到了進(jìn)一步的推動(dòng)。與高質(zhì)量的視覺(jué)相機(jī)、CPU 和 FPGA 解決方案以及相關(guān)控制相結(jié)合，卷積神經(jīng)網(wǎng)絡(luò)可用于自動(dòng)執(zhí)行大量制造過(guò)程檢查，從而提高產(chǎn)品質(zhì)量、可靠性和工廠安全性。

憑借其動(dòng)態(tài)可配置的邏輯結(jié)構(gòu)、高內(nèi)存帶寬和功率效率，F(xiàn)PGA 非常適合加速 CNN 的卷積層和池化層。在大量社區(qū)驅(qū)動(dòng)的開(kāi)源框架和并行代碼庫(kù)（如 OpenCL）的支持下，未來(lái)在此類(lèi)應(yīng)用中使用 FPGA 是安全的。FPGA 提供了一種高度可擴(kuò)展和靈活的解決方案，可以滿(mǎn)足許多工業(yè)部門(mén)的不同應(yīng)用需求。