Tenstorrent推出AI芯片Grayskull，兼顧高效能和高擴(kuò)展性的創(chuàng)新架構(gòu)

5月14日消息，長期神秘的加拿大AI芯片初創(chuàng)企業(yè)Tenstorrent終于在今年有了新動(dòng)向，4月7日，Tenstorrent發(fā)布其首款A(yù)I芯片Grayskull，算力最高可達(dá)368TOPS，相當(dāng)于是高通2019年12月發(fā)布的旗艦手機(jī)SoC驍龍865算力的24倍。

相較市面上現(xiàn)有AI芯片產(chǎn)品，Grayskull不僅能兼顧高算力和低能耗，還具備高度可擴(kuò)展的特點(diǎn)，可擴(kuò)展到10萬個(gè)節(jié)點(diǎn)，支持從小型嵌入式設(shè)備到大型數(shù)據(jù)中心的AI推理和訓(xùn)練任務(wù)。

一、兼顧高效能和高擴(kuò)展性的創(chuàng)新架構(gòu)

Tenstorrent在2016年創(chuàng)立，總部位于加拿大多倫多市。在創(chuàng)辦Tenstorrent之前，其創(chuàng)始人兼CEO Ljubisa Bajic曾在NVIDIA芯片制造部門擔(dān)任高級(jí)架構(gòu)師，還曾在AMD擔(dān)任IC設(shè)計(jì)師和架構(gòu)師。

Bajic不認(rèn)為像NVIDIA這樣的芯片公司會(huì)很快消失，但是該公司遲早會(huì)研發(fā)不是GPU的AI芯片產(chǎn)品。

Bajic總結(jié)，當(dāng)今對(duì)人工神經(jīng)網(wǎng)絡(luò)的研究主要集中于兩個(gè)陣營：一是傾向于在CPU、GPU等硬件上進(jìn)行密集的矩陣計(jì)算，當(dāng)前已大規(guī)模落地；二是對(duì)脈沖神經(jīng)網(wǎng)絡(luò)（SNN，Spiking neural network）的研究，目前尚處研究階段，還未實(shí)現(xiàn)廣泛應(yīng)用。

密集矩陣算法能夠提高芯片密集計(jì)算能力，但是能耗較高，常通過以太網(wǎng)擴(kuò)展到其他機(jī)器進(jìn)行通信。

SNN通過電活動(dòng)的尖峰來傳遞信息，運(yùn)作方式更接近自然神經(jīng)元。每次根據(jù)神經(jīng)網(wǎng)絡(luò)的行為，只有一定比例的神經(jīng)元會(huì)被激活，這致使網(wǎng)絡(luò)運(yùn)行時(shí)能耗較低、條件執(zhí)行效率較高。

但SNN無法保證硬件效率。Bajic解釋，訓(xùn)練SNN時(shí)，設(shè)計(jì)人員試圖用微分方程來直接描述自然神經(jīng)元的運(yùn)作過程，然后盡可能在硬件上實(shí)現(xiàn)這些運(yùn)作方式?！皩?duì)于工程師來說，這個(gè)過程基本上就是把許多標(biāo)量處理器核心連接到標(biāo)量網(wǎng)絡(luò)上?！盉ajic說。

據(jù)Bajic介紹，Tenstorrent希望能夠設(shè)計(jì)出兼顧硬件效率、條件執(zhí)行效率、存儲(chǔ)效率和高度可擴(kuò)展性（超過10萬個(gè)芯片）的產(chǎn)品。

二、動(dòng)態(tài)消除不必要計(jì)算，大幅節(jié)省功耗和運(yùn)算時(shí)間

如何才能兼顧上述特性呢？研究人員設(shè)計(jì)了一個(gè)能實(shí)現(xiàn)細(xì)粒度條件執(zhí)行、動(dòng)態(tài)稀疏處理的完全可編程體系結(jié)構(gòu)，可將較大數(shù)據(jù)組的復(fù)雜計(jì)算任務(wù)分解成多個(gè)較小數(shù)據(jù)組的計(jì)算，由芯片上的各個(gè)內(nèi)核進(jìn)行獨(dú)立的處理。為了避免性能損失，Tenstorrent在這些數(shù)據(jù)組上啟動(dòng)了控制流。

“在運(yùn)行較小矩陣時(shí)，我們可以加上‘if’語句來判別是否運(yùn)行它們，如果要運(yùn)行它們，還可以決定是用較低精度、全精度或是兩者之間的其他精度?！盉ajic說。通過動(dòng)態(tài)消除不必要的計(jì)算，該方法打破了計(jì)算/帶寬需求與模型大小之間的直接聯(lián)系，使得模型可以適應(yīng)于已提出的確切輸入，并對(duì)模型進(jìn)行訓(xùn)練。

這種創(chuàng)新的設(shè)計(jì)方法一方面實(shí)現(xiàn)了非常出色的能效，但另一方面也帶來了關(guān)于軟件和可擴(kuò)展性的挑戰(zhàn)。

首先需要與硬件適配的新軟件堆棧。Bajic稱：“問題在于，這個(gè)領(lǐng)域內(nèi)許多公司推出的軟件堆棧都假設(shè)有一套固定的維度和固定的工作要運(yùn)行。因此，為了能夠在運(yùn)行時(shí)啟用適配功能，需要硬件和軟件堆棧都能支持它。”

而Tenstorrent的設(shè)計(jì)將許多決策程序從編譯時(shí)轉(zhuǎn)到運(yùn)行時(shí)，以實(shí)現(xiàn)正確大小的輸入。“當(dāng)我們?cè)谶\(yùn)行時(shí)去除一些東西后，我們確切地知道了這些東西有多大了。所以要跟上硬件的能力，對(duì)軟件來說是相當(dāng)大的挑戰(zhàn)。”Bajic說道。

其次是可擴(kuò)展性。創(chuàng)建可擴(kuò)展到10萬個(gè)節(jié)點(diǎn)的體系架構(gòu)，意味著在沒有共享內(nèi)存空間的情況下進(jìn)行操作，緩存一致性會(huì)致使難以擴(kuò)展到超過幾百個(gè)節(jié)點(diǎn)，這是Tentorrent想要避開的麻煩。

具體而言，Tenstorrent使用一系列Tensix內(nèi)核來通過網(wǎng)絡(luò)實(shí)現(xiàn)通信。Tensix內(nèi)核陣列與一個(gè)定制的雙2D環(huán)形片上網(wǎng)絡(luò)（NoC）集成在一起，這些網(wǎng)絡(luò)可以在芯片外擴(kuò)展，從而創(chuàng)建包含成百上千個(gè)處理器的大型芯片到芯片集群，并且最小化了用于調(diào)度粗粒度數(shù)據(jù)傳輸?shù)能浖?fù)擔(dān)。

每個(gè)Tensix內(nèi)核的算力約為3TOPS，包含1個(gè)高利用率的數(shù)據(jù)包處理器、1個(gè)可編程的單指令流多數(shù)據(jù)流（SIMD）、1個(gè)密集數(shù)學(xué)計(jì)算模塊、5個(gè)高效且靈活的單流（single-issue）的精簡指令集（RISC）。

這5個(gè)RISC內(nèi)核是相同的，但不一定同時(shí)運(yùn)行相同的代碼。它們具有基本的算術(shù)和邏輯運(yùn)算能力，并且可以管理流控制，還會(huì)爭(zhēng)奪共享計(jì)算引擎中更先進(jìn)的硬件資源，在該硬件資源上執(zhí)行矩陣、卷積和矢量/ SIMD操作。 此外，每個(gè)Tensix內(nèi)核還具有1MB的本地靜態(tài)隨機(jī)存取存儲(chǔ)器（SRAM）。

假設(shè)一個(gè)神經(jīng)網(wǎng)絡(luò)層有兩個(gè)需要相乘的矩陣，該神經(jīng)網(wǎng)絡(luò)層的輸入被分解成“以太網(wǎng)大小的塊”，即子張量，然后將這些張量幀化為一組固定長度的數(shù)據(jù)包，分布在多個(gè)Tensix內(nèi)核中。

每個(gè)數(shù)據(jù)包都會(huì)進(jìn)入內(nèi)核的SRAM緩沖區(qū)中，觸發(fā)軟件去找到數(shù)據(jù)包并運(yùn)行一個(gè)硬件解包引擎，硬件解包引擎去除所有的數(shù)據(jù)包幀、解釋其含義、解壓縮數(shù)據(jù)包，在RISC內(nèi)核的指導(dǎo)下發(fā)送到計(jì)算引擎。再往下進(jìn)行，這些數(shù)據(jù)包被重新打包并存儲(chǔ)在SRAM緩沖區(qū)中，以準(zhǔn)備傳輸?shù)较乱粋€(gè)Tensix內(nèi)核中。

靈活的并行化和完整的可編程性可實(shí)現(xiàn)運(yùn)行時(shí)適應(yīng)和工作負(fù)載平衡，從而有助于節(jié)省功耗并縮短運(yùn)行時(shí)間，從而顯著節(jié)省成本。

三、Grayskull芯片：一顆相當(dāng)于24顆驍龍865

基于其架構(gòu)設(shè)計(jì)理念，Tenstorrent可打造能執(zhí)行推理和訓(xùn)練任務(wù)的高性能芯片，可支持小至小型嵌入式設(shè)備、大至大型數(shù)據(jù)中心的工作負(fù)載部署。

Tenstorrent研發(fā)的首款推理芯片Grayskull包含120個(gè)Tensix內(nèi)核、120MB本地SRAM和8個(gè)通道的LPDDR4，支持高達(dá)16GB的外部DRAM和16通道的PCI-E Gen4。

在75W總線供電的PCIe卡上，Grayskull的算力最高可達(dá)到368TOPS。預(yù)計(jì)今年晚些時(shí)候，Tenstorrent將推出功耗為300W的訓(xùn)練設(shè)備。

相比之下，高通2019年發(fā)布的驍龍865芯片算力為15TOPS。也就是說，一顆Grayskull芯片就能完成約24顆驍龍865芯片才能完成的運(yùn)算量。

在條件執(zhí)行的情況下，使用BERT-Base的SQuAD 1.1數(shù)據(jù)集，Grayskull芯片可實(shí)現(xiàn)高達(dá)23345句/秒的性能，使其性能比當(dāng)今的領(lǐng)先解決方案高出26倍。

結(jié)語：第二代Tensix核心芯片或于秋季發(fā)布

許多機(jī)構(gòu)和研究者都在推進(jìn)AI芯片的設(shè)計(jì)、研發(fā)。AI芯片可以優(yōu)化許多領(lǐng)域的生產(chǎn)流程，比如，或可用于提升疾病追蹤模型、疫苗研發(fā)工具的效率，還可推動(dòng)情感人工智能等新興領(lǐng)域的發(fā)展。

這些研究存在一個(gè)共同的問題——如何節(jié)約總擁有成本（TCO）。在Bajic看來，許多現(xiàn)有AI芯片方案非常耗電，而通過架構(gòu)創(chuàng)新，兼顧高性能和低功耗的AI芯片將推動(dòng)AI在你的智能可穿戴設(shè)備上完成運(yùn)算任務(wù)。

在推出Grayskull芯片的同時(shí)，Tenstorrent也在推進(jìn)第二代Tensix核心芯片的研發(fā)。第二代Tensix核心芯片被稱為Wormhole，核心架構(gòu)和Grayskull相同，且使用很多以太網(wǎng)鏈接來進(jìn)一步擴(kuò)展系統(tǒng)規(guī)模，預(yù)計(jì)于2020年秋季發(fā)布。

責(zé)任編輯：gt