面向TTA架構(gòu)ASIP設(shè)計的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化論文免費下載

　　近年來，依托電子芯片技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)被設(shè)計得更深更大，以應(yīng)對更加復(fù)雜和抽象的場景。隨之而來的問題是深府神經(jīng)網(wǎng)絡(luò)在訓(xùn)練和推理都依托大規(guī)模的浮點運算實現(xiàn)，對存儲資源的占用和設(shè)備功耗的需求產(chǎn)生了很高的需求。基于傳輸觸發(fā)架構(gòu)（TransportTriggered Architecture，TTA）的專用指令集處理器（ApplicationSpecific Instruction Set Processor，ASIP）既能夠提供專用集成電路級別的高性能和低功耗，又能夠提供處理器級別的指令集靈活性，是解決該問題的途徑之一。

　　量化與加速是深度神經(jīng)網(wǎng)絡(luò)硬件實現(xiàn)時常用的兩項技術(shù)，卷積神經(jīng)網(wǎng)絡(luò)是最有代表性和最通用的深度神經(jīng)網(wǎng)絡(luò)。本文的主要工作即圍繞這兩項技術(shù)，進(jìn)行面向TTA架構(gòu)ASIP設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化，具體內(nèi)容包含以下兩個部分：

　　其一，本文針對基于TTA架構(gòu)的神經(jīng)網(wǎng)絡(luò)ASIP的需求，提出了一套端到端完整的8比特量化方案。該方案結(jié)合權(quán)重、激活值和梯度的各自特點，為它們制定了相應(yīng)的量化策略，包括了對稱仿射的權(quán)重量化、帶動態(tài)上限的激活值量化、變精度的梯度量化以及一種近似的批量歸一化算法。在多數(shù)據(jù)集、多模型結(jié)構(gòu)的實驗中，該方案都取得了與全精度網(wǎng)絡(luò)相當(dāng)?shù)木龋I(lǐng)先于部分當(dāng)下常用的量化方案。

　　其二，本文將查找表資源融入到卷積運算中，提出了一種基于乘法結(jié)合律的卷積運算的加速方案。該方案針對面向TTA架構(gòu)的量化卷積功能單元，提供了符合量化卷積特性的卷積核分塊、循環(huán)展開、數(shù)據(jù)交換規(guī)則，并展示了基于TTA架構(gòu)的神經(jīng)網(wǎng)絡(luò)加速器的整體結(jié)構(gòu)。對比傳統(tǒng)卷積方案，該方案緩解了有限的乘法器資源對于神經(jīng)網(wǎng)絡(luò)并行計算的限制，在并行度與計算能效比兩方面都有所提升。

　　本文中，量化方案是加速方案的基礎(chǔ)，加速方案是量化方案的補充，二者共同構(gòu)成了本文的優(yōu)化工作，為基于TTA架構(gòu)的深度神經(jīng)網(wǎng)絡(luò)的ASIP實現(xiàn)提供了支持。