AI芯片之xPU技術(shù)架構(gòu)分析

從廣義上講，能運(yùn)行AI?算法的芯片都叫AI?芯片。CPU、GPU、FPGA、NPU、ASIC?都能執(zhí)行AI?算法，但在執(zhí)行效率層面上有巨大的差異。CPU?可以快速執(zhí)行復(fù)雜的數(shù)學(xué)計(jì)算，但同時(shí)執(zhí)行多項(xiàng)任務(wù)時(shí)，CPU?性能開始下降，目前行業(yè)內(nèi)基本確認(rèn)CPU?不適用于AI?計(jì)算。 內(nèi)容來(lái)源“AI芯片第一極：GPU性能、技術(shù)全面分析”。 CPU+xPU?的異構(gòu)方案成為大算力場(chǎng)景標(biāo)配，GPU為應(yīng)用最廣泛的?AI?芯片。目前業(yè)內(nèi)廣泛認(rèn)同的AI?芯片類型包括GPU、FPGA、NPU?等。 由于CPU?負(fù)責(zé)對(duì)計(jì)算機(jī)的硬件資源進(jìn)行控制調(diào)配，也要負(fù)責(zé)操作系統(tǒng)的運(yùn)行，在現(xiàn)代計(jì)算系統(tǒng)中仍是不可或缺的。GPU、FPGA?等芯片都是作為?CPU?的加速器而存在，因此目前主流的AI計(jì)算系統(tǒng)均為CPU+xPU?的異構(gòu)并行。CPU+GPU?是目前最流行的異構(gòu)計(jì)算系統(tǒng)，在HPC、圖形圖像處理以及AI?訓(xùn)練/推理等場(chǎng)景為主流選擇。IDC?數(shù)據(jù)顯示，2021?年中國(guó)?AI?芯片市場(chǎng)中，GPU?市占率為?89%。

NPU?在人工智能算法上具有較高的運(yùn)行效率。為了適應(yīng)某個(gè)特定領(lǐng)域中的常見(jiàn)的應(yīng)用和算法而設(shè)計(jì)，通常稱之為“特定域架構(gòu)（Domain Specific Architecture，DSA）”芯片，NPU（神經(jīng)網(wǎng)絡(luò)處理器）屬于其中一種，常被設(shè)計(jì)用于神經(jīng)網(wǎng)絡(luò)運(yùn)算的加速。以華為手機(jī)?SoC?麒麟?970?為例，NPU?對(duì)圖像識(shí)別神經(jīng)網(wǎng)絡(luò)的運(yùn)算起到了顯著加速效果，使其圖像識(shí)別速度明顯優(yōu)于同代競(jìng)品的表現(xiàn)。

目前已量產(chǎn)的?NPU?或搭載?NPU?模塊的芯片眾多，其他知名的芯片包括谷歌?TPU、華為昇騰、特斯拉?FSD、特斯拉?Dojo?等。各家廠商在計(jì)算核心的設(shè)計(jì)上有其差異，例如谷歌?TPU?的脈動(dòng)陣列，華為昇騰的達(dá)芬奇架構(gòu)。

以谷歌?TPU?及計(jì)算核心結(jié)構(gòu)脈動(dòng)陣列為例，對(duì)比其相較于?CPU、GPU?的區(qū)別：

CPU?和GPU?均具有通用性，但以頻繁的內(nèi)存訪問(wèn)導(dǎo)致資源消耗為代價(jià)。CPU?和?GPU?都是通用處理器，可以支持?jǐn)?shù)百萬(wàn)種不同的應(yīng)用程序和軟件。對(duì)于?ALU?中的每一次計(jì)算，CPU、GPU?都需要訪問(wèn)寄存器或緩存來(lái)讀取和存儲(chǔ)中間計(jì)算結(jié)果。由于數(shù)據(jù)存取的速度往往大大低于數(shù)據(jù)處理的速度，頻繁的內(nèi)存訪問(wèn)，限制了總吞吐量并消耗大量能源。

谷歌TPU?并非通用處理器，而是將其設(shè)計(jì)為專門用于神經(jīng)網(wǎng)絡(luò)工作負(fù)載的矩陣處理器。TPU?不能運(yùn)行文字處理器、控制火箭引擎或執(zhí)行銀行交易，但它們可以處理神經(jīng)網(wǎng)絡(luò)的大量乘法和加法，速度極快，同時(shí)消耗更少的能量，占用更小的物理空間。

TPU?內(nèi)部設(shè)計(jì)了由乘法器和加法器構(gòu)成的脈動(dòng)陣列。在計(jì)算時(shí)，TPU?將內(nèi)存中的參數(shù)加載到乘法器和加法器矩陣中，每次乘法執(zhí)行時(shí)，結(jié)果將傳遞給下一個(gè)乘法器，同時(shí)進(jìn)行求和。所以輸出將是數(shù)據(jù)和參數(shù)之間所有乘法結(jié)果的總和。在整個(gè)海量計(jì)算和數(shù)據(jù)傳遞過(guò)程中，完全不需要訪問(wèn)內(nèi)存。

這就是為什么TPU?可以在神經(jīng)網(wǎng)絡(luò)計(jì)算上以低得多的功耗和更小的占用空間實(shí)現(xiàn)高計(jì)算吞吐量。

脈動(dòng)陣列本質(zhì)上是在硬件層面多次重用輸入數(shù)據(jù)，在消耗較小的內(nèi)存帶寬的情況下實(shí)現(xiàn)較高的運(yùn)算吞吐率。

脈動(dòng)陣列結(jié)構(gòu)簡(jiǎn)單，實(shí)現(xiàn)成本低，但它靈活性較差，只適合特定運(yùn)算。然而，AI?神經(jīng)網(wǎng)絡(luò)需要大量卷積運(yùn)算，卷積運(yùn)算又通過(guò)矩陣乘加實(shí)現(xiàn)，正是脈動(dòng)陣列所適合的特定運(yùn)算類型。

脈動(dòng)陣列理論最早在1982?年提出，自谷歌2017?年首次將其應(yīng)用于?AI?芯片TPU?中，這項(xiàng)沉寂多年的技術(shù)重回大眾視野，多家公司也加入了脈動(dòng)陣列行列，在自家加速硬件中集成了脈動(dòng)陣列單元。

NPU?已經(jīng)在?AI?運(yùn)算加速領(lǐng)域獲得了廣泛應(yīng)用。在數(shù)據(jù)中心獲得大規(guī)模應(yīng)用的?NPU?案例即?TPU，已被谷歌用于構(gòu)建數(shù)據(jù)中心的超級(jí)計(jì)算機(jī)，執(zhí)行特定神經(jīng)網(wǎng)絡(luò)的訓(xùn)練任務(wù)。在用戶端，手機(jī)、汽車、智能安防攝像頭等設(shè)備開始搭載AI?計(jì)算功能，通常是利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型執(zhí)行圖像處理等工作，此時(shí)NPU?通用性差的劣勢(shì)被縮小，高算力、高能耗比的優(yōu)勢(shì)被放大，因而得到了廣泛的應(yīng)用。在終端設(shè)備中，NPU?常以模塊的形式包含在?SoC?內(nèi)部，對(duì)?AI?運(yùn)算進(jìn)行加速，例如特斯拉自動(dòng)駕駛芯片?FSD?均包含?NPU。

模型訓(xùn)練需要規(guī)?；乃懔π酒渴鹩谥悄芊?wù)器，CPU?不可或缺，但性能提升遭遇瓶頸，CPU+xPU?異構(gòu)方案成為大算力場(chǎng)景標(biāo)配。其中?GPU?并行計(jì)算優(yōu)勢(shì)明顯，CPU+GPU?成為目前最流行的異構(gòu)計(jì)算系統(tǒng)，而NPU?在特定場(chǎng)景下的性能、效率優(yōu)勢(shì)明顯，推理端應(yīng)用潛力巨大，隨著大模型多模態(tài)發(fā)展，硬件需求有望從GPU?擴(kuò)展至周邊編解碼硬件。

AI?加速芯片市場(chǎng)上，英偉達(dá)憑借其硬件產(chǎn)品性能的先進(jìn)性和生態(tài)構(gòu)建的完善性處于市場(chǎng)領(lǐng)導(dǎo)地位，在訓(xùn)練、推理端均占據(jù)領(lǐng)先地位。根據(jù)?Liftr Insights?數(shù)據(jù)，2022?年數(shù)據(jù)中心AI?加速市場(chǎng)中，英偉達(dá)份額達(dá)82%。

編輯：黃飛

?