解決算力需求的主流方法？數(shù)據(jù)流架構(gòu)讓AI芯片利用率提升10倍以上

電子發(fā)燒友網(wǎng)報道（文/李彎彎）現(xiàn)在各種應用場景對算力的需求越來越大，為了滿足需求，各廠商不斷提升AI芯片的峰值算力，而傳統(tǒng)指令集架構(gòu)的芯片利用率卻難以提升，大多數(shù)在10-40%，這讓芯片的實測性能大打折扣，那么如何突破呢?

與指令集架構(gòu)不同，數(shù)據(jù)流架構(gòu)的顯著特點就是依托數(shù)據(jù)流的流動次序控制計算執(zhí)行次序，而非指令執(zhí)行次序，因此把它用在AI上可以讓芯片利用率大幅提升，芯片利用率直至逼近100%。

數(shù)據(jù)流架構(gòu)如何提升芯片利用率

目前市場上的芯片主要有兩種架構(gòu)形式：一種是大家熟知的指令集架構(gòu)，主要包括X86架構(gòu)、ARM架構(gòu)、精簡指令集運算RISC-V開源架構(gòu)，以及SIMD架構(gòu)；另外一種就是數(shù)據(jù)流架構(gòu)。

指令集架構(gòu)采用馮諾依曼計算方式，通過指令執(zhí)行次序控制計算順序，并通過分離數(shù)據(jù)搬運與數(shù)據(jù)計算提供計算通用性。數(shù)據(jù)流架構(gòu)采用數(shù)據(jù)流引擎計算，它允許編譯器同時調(diào)度多個順序循環(huán)和功能，具有更高的吞吐量和更低的延遲，顯著特點是能夠大幅提升芯片利用率。

如下圖左側(cè)，指令集架構(gòu)首先執(zhí)行函數(shù)A，完成之后再執(zhí)行函數(shù)B，依次類推直至執(zhí)行完所有程序。下圖右側(cè)，在數(shù)據(jù)流架構(gòu)的情形下，編譯器可以安排每個函數(shù)在數(shù)據(jù)可用時立即執(zhí)行，這樣可以大大縮短等待和間隔的時間。

雖然數(shù)據(jù)流架構(gòu)沒有指令集架構(gòu)那么廣為人知，然而不可忽視的是，目前數(shù)據(jù)流架構(gòu)已經(jīng)在專用硬件中成功應用，比如數(shù)字信號處理、網(wǎng)絡路由、圖形處理、遙感檢測、以及數(shù)據(jù)庫處理等，在許多軟件體系結(jié)構(gòu)中，包括數(shù)據(jù)庫引擎設計和并行計算框架，它也占據(jù)重要地位。

1994年，帝國理工學院教授、英國皇家工程院院士、鯤云科技聯(lián)合創(chuàng)始人和首席科學家Wayne Luk陸永青院士率先將數(shù)據(jù)流架構(gòu)定制化并運用到AI領(lǐng)域。如今國內(nèi)外對數(shù)據(jù)流技術(shù)的關(guān)注日益增多，包括國外的SambaNova、Groq、Wave computing，以及國內(nèi)的鯤云科技。鯤云科技已經(jīng)于去年量產(chǎn)了全球首款數(shù)據(jù)流AI芯片CAISA，脫胎于斯坦福大學的SambaNova，產(chǎn)品處于小規(guī)模試用階段，而前谷歌TPU核心團隊創(chuàng)辦的Groq，現(xiàn)在還未推出產(chǎn)品。

數(shù)據(jù)流架構(gòu)如何提升芯片利用率？我們通過全球唯一量產(chǎn)數(shù)據(jù)流AI芯片的公司鯤云科技來看一下，鯤云的核心技術(shù)就是他們的定制數(shù)據(jù)流CAISA架構(gòu)，這是一款為深度學習神經(jīng)網(wǎng)絡定制的高性能AI計算架構(gòu)。CAISA架構(gòu)通過數(shù)據(jù)流流動次序來控制計算順序，消除指令操作導致的額外時間開銷，讓CNN網(wǎng)絡的算子級數(shù)據(jù)流圖可以實現(xiàn)高效流水線運算。同時CAISA可并行執(zhí)行數(shù)據(jù)訪問和數(shù)據(jù)計算，進一步減少計算單元的空閑時間，最大化地利用芯片的計算資源，從而提供更高的實測算力。

圖片來自鯤云科技官網(wǎng)

鯤云科技合伙人、首席運營官王少軍博士在接受電子發(fā)燒友網(wǎng)采訪時表示，之所以投身于定制數(shù)據(jù)流架構(gòu)芯片的研發(fā)，首先是鯤云科技有數(shù)據(jù)流架構(gòu)技術(shù)研發(fā)基礎(chǔ)，公司創(chuàng)始團隊來自數(shù)據(jù)流技術(shù)的源頭實驗室，該實驗室是全球三大定制計算實驗室之一，從90年代開始就深耕數(shù)據(jù)流架構(gòu)與不同領(lǐng)域的領(lǐng)域?qū)Ｓ眉軜?gòu)研發(fā)，具備深厚的研發(fā)和迭代積累。

其次更為重要的是底層芯片技術(shù)存在算力瓶頸，隨著摩爾定律發(fā)展，依靠摩爾定律提升芯片性能的成本越來越高，比如一款5nm芯片的研發(fā)成本就高達數(shù)億美元，針對特定領(lǐng)域?qū)崿F(xiàn)領(lǐng)域?qū)Ｓ眉軜?gòu)的性能獲益會越來越高，直到大幅領(lǐng)先通用計算芯片，鯤云科技認為在算力猛增的時代，行業(yè)需要一顆高算力性價比的人工智能專用芯片，數(shù)據(jù)流架構(gòu)的重大意義在于它突破了傳統(tǒng)芯片架構(gòu)對芯片利用率的約束，最大化發(fā)揮芯片本身的峰值性能。

因此鯤云科技在早期數(shù)據(jù)流架構(gòu)技術(shù)的積累下，針對人工智能領(lǐng)域開發(fā)出CAISA架構(gòu)，并最終實現(xiàn)從0到1完成首顆數(shù)據(jù)流AI芯片量產(chǎn)。

鯤云CAISA芯片利用率高達95.4%

鯤云科技于去年6月正式量產(chǎn)了全球首款數(shù)據(jù)流AI芯片CAISA，芯片利用率達到95.4%，面向數(shù)據(jù)中心和邊緣端AI推斷應用，該芯片采用28nm工藝，這個制程并不高，不過因為芯片利用率高，即使在比較低的制程情況下，CAISA芯片也可以帶來很高的實測性能。

同時鯤云科技還基于CAISA芯片推出三款高性能計算平臺，包括面向邊緣端的星空X3加速卡、面向數(shù)據(jù)中心的星空X9加速卡、面向邊緣AI應用的星空X6A邊緣小站。星空X3加速卡面向8-16路視頻實時結(jié)構(gòu)化分析，星空X6A邊緣小站面向8路視頻處理應用。

目前CAISA芯片及加速卡產(chǎn)品已在多領(lǐng)域?qū)崿F(xiàn)應用，包括智慧安監(jiān)、智能制造、智慧電力、智慧城市等。王少軍博士認為，對于這些場景，特別是國民生產(chǎn)支柱行業(yè)而言，“降本增效”是剛需，比如在油田的應用場景，傳統(tǒng)的安防監(jiān)控系統(tǒng)已經(jīng)比較成熟，端側(cè)的攝像頭監(jiān)控系統(tǒng)基本部署完成，但視頻結(jié)構(gòu)化利用率低，單純依靠人工巡檢，作業(yè)區(qū)域廣，環(huán)境復雜，耗時長，數(shù)據(jù)采集維度單一，人工識別難度大，而且預警不及時，漏報概率高，事后取證難。

針對這些行業(yè)痛點，鯤云科技提供算法算力平臺一體化方案，基于數(shù)據(jù)流AI芯片的底層算力優(yōu)勢，以及算力和算法聯(lián)合優(yōu)化的技術(shù)優(yōu)勢，對現(xiàn)場接入的500路視頻進行數(shù)據(jù)處理，對漏油、安全帽、工服、抽煙、打電話、人員闖入和采油設備運行狀態(tài)進行識別，可以做到從視頻流獲取到輸出報警時間為1s，為油區(qū)的生產(chǎn)情況提供更可靠的安全保障。在油田智能化升級過程中，數(shù)據(jù)流AI芯片就凸顯出了其市場價值，可以充分利舊、快速部署、控制成本。

未來解決算力需求的主流方法

數(shù)據(jù)流AI芯片的商用落地，證實了數(shù)據(jù)流和深度學習融合的價值，王少軍博士認為數(shù)據(jù)流架構(gòu)具備成為下一代計算平臺的潛力。他談到，在計算平臺的演進過程中，十倍核心性能指標的提升，是計算架構(gòu)代際更替的主要指標，比如，從X86到RISC計算平臺，能效比提升了10倍以上；從X86到CUDA計算平臺，峰值算力也提升了超過10倍。

從歷史脈絡來看，相對上一代主流算力平臺，新的算力平臺在某個指標上需要高出10倍，才能實現(xiàn)實測性能的大幅提升，隨著摩爾定律的放緩，業(yè)界越來越關(guān)注下一代芯片應該如何發(fā)展，而底層架構(gòu)創(chuàng)新是這幾年業(yè)界的共識，行業(yè)需要新的技術(shù)路線來實現(xiàn)底層算力的突破。

王少軍博士認為，下一代有望帶來10倍以上突破的指標就是芯片利用率，這可能是未來解決算力需求的主流方法，而數(shù)據(jù)流架構(gòu)可以實現(xiàn)這一點，鯤云科技認為未來會有更多新興AI芯片廠商加入到數(shù)據(jù)流AI技術(shù)路線中。對于現(xiàn)有芯片廠商來說，技術(shù)路線的選擇是公司的一大核心戰(zhàn)略，而其已有的開發(fā)生態(tài)和技術(shù)積累使其很難轉(zhuǎn)換賽道，但有些玩家也看到了數(shù)據(jù)流技術(shù)的價值，比如英偉達就推出了TensorCore，在指令集架構(gòu)的基礎(chǔ)上，該模塊采用了數(shù)據(jù)流技術(shù)的原理，來提升其在特定領(lǐng)域的芯片利用效率。

總結(jié)

整體來說，數(shù)據(jù)流架構(gòu)可以大幅提升芯片利用率，鯤云定制數(shù)據(jù)流CAISA新芯片的量產(chǎn)商用，也證實了數(shù)據(jù)流與深度學習融合的價值，給AI帶來了一個新的技術(shù)研究方向，相信未來會有更多AI芯片廠商加入到數(shù)據(jù)流架構(gòu)技術(shù)的研究中。

現(xiàn)在AI芯片在很多場景都有落地剛需，尤其在邊緣端，很多場景還存在“碎片化”需求，因此廠商除了考慮提升芯片利用率，做到更高算力性價比之外，還需要思考如何提升更通用、軟件易用性等，全面提升芯片性能，促進專用AI芯片規(guī)?；慨a(chǎn)，賦能各產(chǎn)業(yè)智能化升級。