Jim Keller究竟在做什么芯片

01為什么是 RISC-V？

由行業(yè)偶像Jim Keller掌舵的初創(chuàng)公司Tenstorrent組建了一支一流的AI和CPU工程師團(tuán)隊(duì)，制定了涉及通用處理器和人工智能加速器的宏偉計(jì)劃。

目前，該公司正在研發(fā)業(yè)界首款能夠同時處理客戶端和HPC工作負(fù)載的8寬解碼RISC-V內(nèi)核，該內(nèi)核將首先用于面向數(shù)據(jù)中心的128核高性能CPU。該公司還有多代處理器的路線圖，我們將在下面介紹。

我們最近與Tenstorrent的首席CPU架構(gòu)師Wei-Han Lien就公司的愿景和路線圖進(jìn)行了交談。Lien 擁有令人印象深刻的背景，曾在 NexGen、AMD、PA-Semi、Apple 工作過，最著名的可能是他在Apple的A6、A7（世界上第一款64位Arm SoC）和M1 CPU微架構(gòu)和實(shí)施方面的工作。

公司有許多在 x86 和 Arm 設(shè)計(jì)方面擁有豐富經(jīng)驗(yàn)的世界級工程師，有人可能會問為什么 Tenstorrent 決定開發(fā) RISC-V CPU，因?yàn)檫@種指令集架構(gòu) (ISA) 的數(shù)據(jù)中心軟件堆棧不如 x86和Arm 的全面。Tenstorrent 給我們的答案很簡單：x86 由 AMD 和 Intel 控制，而 Arm 由 Arm Holding 控制，這限制了創(chuàng)新的步伐。

“世界上主要只有兩家公司可以生產(chǎn) x86 CPU，”Wei-Han Lien 說?！坝捎?x86 許可限制，創(chuàng)新基本上由一兩家公司控制。當(dāng)公司變得非常大時，它們就會變得官僚化，創(chuàng)新的步伐 [ 放緩 ]。[...] Arm 有點(diǎn)類似。他們聲稱他們就像一家 RISC-V 公司，但如果你看一下他們的規(guī)范，[它] 變得如此復(fù)雜。它實(shí)際上也有點(diǎn)由一位架構(gòu)師主導(dǎo)。[…] Arm 有點(diǎn)規(guī)定所有可能的場景，甚至是架構(gòu)[許可]合作伙伴?！?br />
相比之下，RISC-V發(fā)展迅速。據(jù)Tenstorrent稱，由于它是一個開源ISA，因此使用它進(jìn)行創(chuàng)新更容易、更快速，尤其是在涉及新興和快速開發(fā)的 AI 解決方案時。

“我一直在為 [Tenstorrent 的] AI 解決方案尋找配套的處理器解決方案，然后我們想要 BF16 數(shù)據(jù)類型，然后我們?nèi)フ褹rm說，'嘿，你能支持我們嗎？'他們說‘不’，這可能需要兩年的內(nèi)部討論以及與合作伙伴的討論等等，”Lien 解釋道。“但我們和 SiFive 談過；他們只是把它放在那里。所以，沒有限制，他們?yōu)槲覀兘ㄔ炝怂?，這是自由的。”

一方面，Arm Holding 的方法確保了高質(zhì)量的標(biāo)準(zhǔn)和全面的軟件堆棧，但這也意味著 ISA 創(chuàng)新的步伐變慢，這對于AI處理器等新興應(yīng)用來說可能是一個問題，這些應(yīng)用旨在得到快速發(fā)展。

02一個微架構(gòu)，一年五個 CPU IP

由于Tenstorrent著眼于并解決整個AI應(yīng)用，它不僅需要不同的片上系統(tǒng)或系統(tǒng)級封裝，還需要各種CPU微架構(gòu)實(shí)現(xiàn)和系統(tǒng)級架構(gòu)來實(shí)現(xiàn)不同的功率和性能目標(biāo)。這正是Wei-Han Lien 的部門所致力于解決的問題。 不起眼的消費(fèi)電子SoC和強(qiáng)大的服務(wù)器處理器幾乎沒有共同之處，但可以共享相同的ISA和微體系結(jié)構(gòu)（管實(shí)現(xiàn)方式不同）。這就是Lien的團(tuán)隊(duì)發(fā)揮作用的地方。Tenstorrent 表示，公司CPU團(tuán)隊(duì)開發(fā)了一種無序 RISC-V 微架構(gòu)，并以五種不同的方式實(shí)現(xiàn)它，以解決各種應(yīng)用程序的問題。

Tenstorrent現(xiàn)在有五種不同的RISC-V CPU核心IP——具有兩寬、三寬、四寬、六寬和八寬解碼——用于其自己的處理器或許可給感興趣的各方。對于那些需要非?；镜腃PU的潛在客戶，該公司可以提供具有兩個寬度執(zhí)行的小內(nèi)核，但對于那些需要更高性能的邊緣、客戶端PC和高性能計(jì)算的客戶，它有六個寬度的Alastor和八個寬Ascalo 內(nèi)核。

每個帶八位解碼的亂序Ascalon ( RV64ACDHFMV) 內(nèi)核都有六個ALU、兩個FPU和兩個256位向量單元，使其非常強(qiáng)大?？紤]到現(xiàn)代x86設(shè)計(jì)使用四寬 (Zen 4) 或六寬 (Golden Cove) 解碼器，我們正在尋找一個非常強(qiáng)大的內(nèi)核。

Wei-Han Lien 是負(fù)責(zé)蘋果“寬”CPU 微架構(gòu)的設(shè)計(jì)師之一，該架構(gòu)每個時鐘最多可執(zhí)行8條指令。例如，Apple的A14和M1 SoC具有八個寬的高性能 Firestorm CPU內(nèi)核，在推出兩年后，它們?nèi)匀皇菢I(yè)內(nèi)最節(jié)能的設(shè)計(jì)之一。Lien 可能是業(yè)界“寬”CPU微架構(gòu)方面最好的專家之一，據(jù)我們所知，他是唯一一位領(lǐng)導(dǎo)工程師團(tuán)隊(duì)開發(fā)八寬RISC-V高性能CPU內(nèi)核的處理器設(shè)計(jì)師。

除了各種RISC-V通用內(nèi)核外，Tenstorrent還擁有為神經(jīng)網(wǎng)絡(luò)推理和訓(xùn)練量身定制的專有 Tensix 內(nèi)核。每個 Tensix 內(nèi)核包含五個RISC內(nèi)核、一個用于張量運(yùn)算的數(shù)組數(shù)學(xué)單元、一個用于矢量運(yùn)算的SIMD單元、1MB或 2MB的 SRAM，以及用于加速網(wǎng)絡(luò)數(shù)據(jù)包運(yùn)算和壓縮/解壓縮的固定功能硬件。Tensix內(nèi)核支持多種數(shù)據(jù)格式，包括BF4、BF8、INT8、FP16、BF16，甚至 FP64。

03令人印象深刻的路線圖

目前，Tenstorrent 有兩種產(chǎn)品：一種稱為Grayskull的機(jī)器學(xué)習(xí)處理器，可提供約315 INT8 TOPS的性能，可插入PCIe Gen4插槽，以及網(wǎng)絡(luò)Wormhole ML處理器，具有約 350 INT8 TOPS 的性能并使用GDDR6 內(nèi)存子系統(tǒng)，一個PCIe Gen4 x16接口，并具有與其他機(jī)器的400GbE連接。

這兩種設(shè)備都需要一個主機(jī)CPU，可以作為附加板使用，也可以在預(yù)構(gòu)建的 Tenstorrent 服務(wù)器中使用。一臺包含32個 Wormhole ML卡的4U Nebula服務(wù)器在6kW時提供大約12 INT8 POPS的性能。

今年晚些時候，該公司計(jì)劃推出其第一個獨(dú)立的CPU+ML解決方案——Black Hole——結(jié)合了24個SiFive X280 RISC-V內(nèi)核和多個第三代Tensix內(nèi)核，這些內(nèi)核使用兩個在機(jī)器的相反方向運(yùn)行的2D環(huán)面網(wǎng)絡(luò)互連學(xué)習(xí)工作量。該設(shè)備將提供1 INT8 POPS的計(jì)算吞吐量（與其前身相比性能提升約三倍）、八個GDDR6內(nèi)存通道、1200 Gb/s以太網(wǎng)連接和PCIe Gen5通道。

此外，該公司期待為雙芯片解決方案以及未來使用添加2TB/s 的die to die接口。該芯片將采用6nm級制造工藝（我們預(yù)計(jì)它是臺積電N6，但 Tenstorrent 尚未證實(shí)這一點(diǎn)），但在600mm2時，它將比臺積電12nm級節(jié)點(diǎn)生產(chǎn)的前代產(chǎn)品更小. 需要記住的一件事是，Tenstorrent 尚未開發(fā)出其 Blackhole，其最終功能集可能與公司今天披露的不同。

明年，該公司將發(fā)布其終極產(chǎn)品：名為Grendel的多小芯片解決方案，該解決方案具有自己的Ascalon通用內(nèi)核，具有自己的RISC-V微架構(gòu)，具有八位解碼器以及用于ML工作負(fù)載的基于 Tensix 的小芯片。

Grendel 是 Tenstorrent 將于明年發(fā)布的終極產(chǎn)品集：多chiplet 解決方案包括一個具有高性能 Ascalon 通用內(nèi)核的 Aegis chiplet 和一個或多個具有用于 ML 工作負(fù)載的 Tensix 內(nèi)核的 chiplet。根據(jù)業(yè)務(wù)需求（以及公司的財(cái)務(wù)能力），Tenstorrent 可以使用 3nm 級工藝技術(shù)實(shí)現(xiàn)AI chiplet，從而利用更高的晶體管密度和Tensix核心數(shù)，或者它可以繼續(xù)使用 Black Hole chiplet進(jìn)行AI工作負(fù)載（甚至將一些工作分配給24個 SiFive X280內(nèi)核，該公司表示）。小芯片將使用上述 2TB/s 互連相互通信。

Aegis小芯片具有128個通用 RISC-V八寬Ascalon內(nèi)核，組織在四個32核集群中，具有集群間一致性，將使用3nm級工藝技術(shù)制造。事實(shí)上，Aegis CPU小芯片將率先使用3納米級制造工藝，這可能會使該公司在高性能CPU設(shè)計(jì)方面名列前茅。 同時，Grendel 將使用LPDDR5內(nèi)存子系統(tǒng)、PCIe和以太網(wǎng)連接，因此它將提供比公司現(xiàn)有解決方案明顯更高的推理和訓(xùn)練性能。說到Tensix內(nèi)核，需要注意的是，雖然Tenstorrent的所有AI內(nèi)核都被稱為Tensix，但這些內(nèi)核實(shí)際上是在進(jìn)化的。

“[Tensix]的變化是漸進(jìn)的，但它們確實(shí)存在，”該公司創(chuàng)始人Ljubisa Bajic 解釋道?！癧他們添加了]新的數(shù)據(jù)格式、FLOPS/SRAM 容量的變化比率、SRAM 帶寬、片上網(wǎng)絡(luò)帶寬、新的稀疏特性以及一般特性。”

有趣的是，不同的Tenstorrent幻燈片提到了Black Hole和Grendel產(chǎn)品的不同內(nèi)存子系統(tǒng)。這是因?yàn)樵摴疽恢痹趯ふ易罡咝У膬?nèi)存技術(shù)，并且因?yàn)樗@得了DRAM控制器和物理接口 (PHY) 的許可。因此，它在選擇確切的內(nèi)存類型時具有一定的靈活性。事實(shí)上，Lien 表示，Tenstorrent也在為未來的產(chǎn)品開發(fā)自己的內(nèi)存控制器，但對于2023~2024年的解決方案，它打算使用第三方的MC和PHY。同時，出于本考慮，目前Tenstorrent不打算使用任何奇特的內(nèi)存，例如HBM。

04商業(yè)模式：銷售解決方案和許可IP

雖然 Tenstorrent 有五個不同的CPU IP（盡管基于相同的微架構(gòu)），但它只有 AI/ML 產(chǎn)品在流水線中（如果不考慮完全配置的服務(wù)器）使用SiFive的 X280 或 Tenstorrent 的八寬 Ascalon CPU 內(nèi)核. 因此，有理由問為什么它需要這么多的CPU內(nèi)核實(shí)現(xiàn)。

對這個問題的簡短回答是，Tenstorrent 有一個獨(dú)特的商業(yè)模式，包括 IP 許可（以 RTL、硬宏，甚至 GDS 形式）、銷售小芯片、銷售附加 ML 加速卡或具有 CPU 和 ML 小芯片的 ML 解決方案，并銷售包含這些卡的完全配置的服務(wù)器。 構(gòu)建自己的 SoC 的公司可以授權(quán) Tenstorrent 開發(fā)的 RISC-V 核心，廣泛的 CPU IP 組合使公司能夠競爭需要不同級別性能和功率的解決方案。

服務(wù)器供應(yīng)商可以使用 Tenstorrent 的 Grayskull 和 Wormhole 加速器卡或 Blackhole 和 Grendel ML 處理器來構(gòu)建他們的機(jī)器。同時，那些不想構(gòu)建硬件的實(shí)體可以購買預(yù)構(gòu)建的 Tenstorrent 服務(wù)器并進(jìn)行部署。

這種商業(yè)模式看起來有些爭議，因?yàn)樵谠S多情況下，Tenstorrent 與自己的客戶競爭并將競爭。然而，歸根結(jié)底，如Nvidia 等廠商提供了基于這些主板的附加卡和預(yù)制服務(wù)器，而且戴爾或 HPE 等公司似乎并不太擔(dān)心這一點(diǎn)，因?yàn)樗鼈優(yōu)樘囟蛻籼峁┙鉀Q方案，而不僅僅是積木。

05總結(jié)

大約兩年前，隨著 Jim Keller 的聘用，Tenstorrent 一躍成為人們關(guān)注的焦點(diǎn)。在兩年內(nèi)，該公司招募了一批頂尖工程師，他們正在為數(shù)據(jù)中心級 AI/ML 解決方案和系統(tǒng)開發(fā)高性能 RISC-V 內(nèi)核。開發(fā)團(tuán)隊(duì)的成就包括全球首個八位 RISC-V 通用 CPU 內(nèi)核，以及可用于 AI 和 HPC 應(yīng)用的適當(dāng)系統(tǒng)硬件架構(gòu)。

該公司有一個全面的路線圖，包括基于 RISC-V 的高性能 CPU 小芯片和先進(jìn)的 AI 加速器小芯片，它們有望為機(jī)器學(xué)習(xí)提供功能強(qiáng)大的解決方案。請記住，AI 和 HPC 是有望實(shí)現(xiàn)爆炸式增長的主要大趨勢，提供 AI 加速器和高性能 CPU 內(nèi)核似乎是一種非常靈活的商業(yè)模式。

AI 和 HPC 市場競爭激烈，因此當(dāng)您想與老牌競爭對手（AMD、英特爾、Nvidia）和新興玩家（Cerebras、Graphcore）競爭時，必須聘請一些世界上最優(yōu)秀的工程師。與大型芯片開發(fā)商一樣，Tenstorrent 擁有自己的通用 CPU 和 AI/ML 加速器硬件，這是得天獨(dú)厚的優(yōu)勢。同時，由于該公司使用 RISC-V ISA，因此目前無法解決一些市場和工作負(fù)載，至少就 CPU 而言是這樣。

審核編輯：劉清