AI芯片大戰(zhàn)后，ARM的“just enough”是否真是最合適的選擇？

最近，ARM進(jìn)一步公開了ML Procesor的一些信息。EETimes的文章“Arm Gives Glimpse of AI Core”[1] 和 AnandTech的文章“ARM Details “Project Trillium” Machine Learning Processor Architecture”分別從不同角度進(jìn)行了介紹，值得我們仔細(xì)分析。

ARM公開它的ML Processor是在今年春節(jié)前夕，當(dāng)時(shí)公布的信息不多，我也簡(jiǎn)單做了點(diǎn)分析（AI芯片開年）。

這次ARM公開了更多信息，我們一起來看看。首先是關(guān)鍵的Feature和一些重要信息，2018年中會(huì)Release。

頂層架構(gòu)

與最初公布的基本框圖相比，我們這次看到了更細(xì)化的模塊框圖和連接關(guān)系，如下圖所示。

MLP的頂層對(duì)外來看是個(gè)比較典型的硬件加速器，它有本地的SRAM，通過一個(gè)ACE-Lite接口和外部交互數(shù)據(jù)和主要的控制信息（指令）。另外應(yīng)該還有一些控制信號(hào)，估計(jì)在這里略去了（可以參考Nvidia的NVDLA）。

在上圖中綠色箭頭應(yīng)該表示的是數(shù)據(jù)流，紅色表示控制流。MLP中的CE共享一套DMA，Control Unit和Sync Unit，它的基本處理流程大概是這樣的： 1. 配置Control Unit和DMA Engine；2. DMA Engine從外部（如DDR）讀入數(shù)據(jù)存在本地的SRAM中；3. Input Feature Map Read模塊和Weight Read模塊分別讀入待運(yùn)算的feature map和weight，處理（比如Weight的解壓縮），并發(fā)送到MAC Convolution Engine（后面簡(jiǎn)稱為MCE）；4. MCE執(zhí)行卷積等操作，并把結(jié)果傳輸給Programmable Layer Engine（后面簡(jiǎn)稱為PLE）；5. PLE執(zhí)行其它處理，并將結(jié)果寫回本地SRAM；6. DMA Engine把結(jié)果傳輸?shù)酵獠看鎯?chǔ)空間（如DDR）。

? ? ? ?在頂層標(biāo)出的Broadcast接口，實(shí)現(xiàn)在多個(gè)Compute Engine（后面簡(jiǎn)稱為CE）之間廣播feature map數(shù)據(jù)的功能。因此，基本的卷積運(yùn)算模式是，相同的feature map廣播到多個(gè)CE，不同的CE使用不同的weight來和這些feature map進(jìn)行運(yùn)算。

從目前的配置來看，MLP包括16個(gè)compute engine，每個(gè)有128個(gè)MAC，即一共有16x128=2048個(gè)MAC，每個(gè)cycle可以執(zhí)行4096個(gè)操作。如果要實(shí)現(xiàn)ARM所說的4.6TOPS的總的處理能力，則需要時(shí)鐘周期達(dá)到1.12GHz左右。由于這個(gè)指標(biāo)是針對(duì)7nm工藝，實(shí)現(xiàn)問題不大。

MCE實(shí)現(xiàn)高效卷積

在MLP的架構(gòu)中，MCE和PLE是最重要的功能模塊。MCE提供主要的運(yùn)算能力（處理90%的運(yùn)算），應(yīng)該也是MLP中面積和功耗最大的部分。因此，MCE設(shè)計(jì)優(yōu)化的一個(gè)主要目標(biāo)就是實(shí)現(xiàn)高效的卷積操作。具體來講，MLP的設(shè)計(jì)主要考慮了以下一些方法，這些方法大部分我們之前也都討論過。

? ? ? ? 一個(gè)比較有趣的點(diǎn)是上面提到的“varied internal precision”。目前還不太清楚其具體的含義。不過對(duì)應(yīng)用來說看到的應(yīng)該是固定的8bit數(shù)據(jù)類型。至于對(duì)低精度Inference的支持，[1]中提供的信息是， “The team is tracking research on data types down to 1-bit precision, including a novel 8-bit proposal from Microsoft. So far, the alternatives lack support in tools to make them commercially viable, said Laudick.” 因此在第一版的MLP中，應(yīng)該也不會(huì)看到低精度或者Bit-serial MAC了（參考AI芯片開年中對(duì)ISSCC2018出現(xiàn)的Bit-serial Processing的介紹）。

此外，數(shù)據(jù)的壓縮和對(duì)工藝的優(yōu)化也是提高整體效率的主要手段。特別是工藝的優(yōu)化，結(jié)合ARM的工藝庫，應(yīng)該有比較好的效果，這也是ARM有優(yōu)勢(shì)的地方。

PLE實(shí)現(xiàn)高效的可編程性

如下圖所示，PLE的結(jié)構(gòu)基本是在一個(gè)ARM MCU基礎(chǔ)上擴(kuò)展了Vector處理和NN處理的指令。在討論可編程性的時(shí)候，其出發(fā)點(diǎn)主要是NN算法和架構(gòu)目前還在不斷演進(jìn)。

? ? ? ? 我們前面已經(jīng)分析了整個(gè)MLP的基本工作流程，MCE在完成了運(yùn)算之后把結(jié)果傳輸給PLE。從這里可以看出，MCE應(yīng)該是把結(jié)果發(fā)送到Vector Register File（VRF），然后產(chǎn)生中斷通知CPU。之后，CPU啟動(dòng)Vector Engine對(duì)數(shù)據(jù)進(jìn)行處理。具體如下圖所示。

? ? ? ? 對(duì)于做專用處理器的同學(xué)來說，這種scalar CPU+vector engine的架構(gòu)并不陌生。這里，本地SRAM，VRF和PLE之外的Maing SRAM Unit（CE中的SRAM）之間有Load/Store單元和uDMA實(shí)現(xiàn)數(shù)據(jù)的傳輸，數(shù)據(jù)流也是比較靈活的。綜合來看， 在MLP中，每個(gè)CE中都有一個(gè)PLE和MCE配合，即每個(gè)MCE（128個(gè)MAC）就對(duì)應(yīng)一個(gè)可編程架構(gòu)。 因此，ARM MLP的可編程性和靈活性是要遠(yuǎn)高于Google TPU1和Nvidia的NVDLA的。當(dāng)然，靈活性也意味著更多額外的開銷，如[1]中指出的，“The programmable layer engine (PLE) on each slice of the core offers “ just enough programmability to perform [neural-net] manipulations ””。High-efficient Programmability是MLP的一個(gè)主要賣點(diǎn)之一，而ARM的“just enough”是否真是最合適的選擇，還有待進(jìn)一步觀察。