AWS推出由AWS設(shè)計(jì)的AWS Trainium2芯片系列

一年多來，我們一直期待Amazon Web Services在今年的re:Invent大會(huì)上為其本土服務(wù)器推出 Graviton4 處理器。正如預(yù)期，AWS首席執(zhí)行官Adam Selipsky推出了第四代 Graviton CPU系列，包括去年針對(duì)HPC工作負(fù)載的超頻Graviton3E處理器。

Selipsky在主題演講期間沒有強(qiáng)制舉起Graviton4 芯片，這很奇怪。

Graviton4 提高了各種工作負(fù)載的性價(jià)比和能效標(biāo)準(zhǔn)

正如我們所預(yù)料的那樣，Graviton4 也基于 Arm Ltd 的“Demeter”Neoverse V2 內(nèi)核，該內(nèi)核與 Nvidia 的“Grace”CG100 CPU 一樣基于 Armv9 架構(gòu)。（Nvidia 官方并沒有給 Grace 一個(gè)與其 GPU 命名方案一致的產(chǎn)品名稱，所以我們就暫且這樣命名。C代表CPU，G代表Grace。）我們?cè)?017年對(duì)Demeter V2核心進(jìn)行了深入研究。9月份，Arm發(fā)布了“Genesis”計(jì)算子系統(tǒng)，與之前由AWS部署在Graviton3和Graviton3E處理器中使用的“Zeus”V1 內(nèi)核相比，V2 內(nèi)核的每時(shí)鐘指令數(shù)提高了13%。

顯然，這在 IPC中并不是一個(gè)大的跳躍，因?yàn)楹诵臄?shù)量也在跳躍，這就是為什么我們還假設(shè) AWS已經(jīng)放棄了代工合作伙伴臺(tái)積電用于蝕刻 Graviton3 和 Graviton3E 芯片的5納米工藝，而是更密集且有些成熟的4納米工藝。同樣的4N工藝還用于制造 Nvidia 的 Grace CPU 及其“Hopper”GH100 GPU——這兩款產(chǎn)品都席卷了生成式 AI 世界。

Graviton4 封裝上有 96 個(gè) V2 核心，比 Graviton3 和 Graviton3E 提升了 50%，而且與 8 個(gè) DDR5 內(nèi)存控制器相比，Graviton4 上有 12 個(gè) DDR5 控制器，并且Graviton4使用的 DDR5內(nèi)存速度頻率提升了16.7%，達(dá)到5.6 GHz。通過數(shù)學(xué)計(jì)算，Graviton4 每個(gè)插槽的內(nèi)存帶寬為536.7 GB/秒，比之前的Graviton3和Graviton3E處理器提供的307.2 GB/秒高出 75%。

在 Selipsky 的演示以及 AWS 發(fā)布的有關(guān) Graviton4 的有限規(guī)格中，該公司表示通用 Web 應(yīng)用程序在 Graviton4 上的運(yùn)行速度比在 Graviton3 上快 30%（不是 Graviton3E，它超頻且很熱），但數(shù)據(jù)庫的運(yùn)行速度將提高 40%，大型 Java 應(yīng)用程序的運(yùn)行速度將提高 45%。現(xiàn)在，這可能意味著AWS已經(jīng)在V2核心中實(shí)現(xiàn)了同步多線程 (SMT)，為每個(gè)核心提供兩個(gè)線程，就像英特爾和 AMD 的 X86 處理器以及一些 Arm 芯片過去所做的那樣。

我們不這么認(rèn)為，下面的比較顯著特征表顯示每個(gè)套接字有 96 個(gè)線程，而不是 192 個(gè)線程。我們認(rèn)為每個(gè)套接字有 96 個(gè)線程，并且每個(gè)核心的二級(jí)緩存加倍至2MB對(duì)Java和數(shù)據(jù)庫應(yīng)用程序的性能產(chǎn)生了巨大的影響。您可以通過添加雙向SMT獲得3倍的vCPU，但這不會(huì)為您提供3倍的內(nèi)存。與 Graviton3 芯片相比，它的內(nèi)存仍然只有 1.5 倍。

AWS 在其博客中提到的有關(guān)使用 Graviton4 芯片的新 R8g 實(shí)例的其他內(nèi)容也讓我們猶豫不決：“R8g 實(shí)例提供了更大的實(shí)例大小，比當(dāng)前一代 R7g 實(shí)例多出 3 倍的 vCPU 和 3 倍的內(nèi)存。”

R8g 擁有 96 個(gè)核心和十幾個(gè)內(nèi)存控制器（均比 Graviton3 提升了 1.5 倍），您只會(huì)期望 R8g 的 vCPU 數(shù)量是使用 Graviton3 芯片的 R7g 實(shí)例的 1.5 倍，而內(nèi)存容量僅是使用 Graviton3 芯片的 R7g 實(shí)例的 1.5 倍。因此，我們認(rèn)為這是 Graviton 系列的第一個(gè)雙插槽實(shí)現(xiàn)。這也是我們認(rèn)為 Graviton4 芯片擁有大約 9500 萬到 1 億個(gè)晶體管的原因之一，而不是您預(yù)期的 8250 萬個(gè)晶體管（如果 AWS 只是在 Graviton3 設(shè)計(jì)中添加 50% 的核心并保持不變）。我們認(rèn)為，L2 緩存加倍、增加四個(gè) DDR5 內(nèi)存控制器以及一對(duì)現(xiàn)在也進(jìn)行線速加密的 I/O 控制器也增加了晶體管預(yù)算。

Graviton4在另一個(gè)方面也值得注意。過去，Neoverse模塊以32核或64核模塊完成，Arm建議使用具有UCI-Express或CCIX互連的小芯片來構(gòu)建更大的處理器復(fù)合體。制作自己的 Arm CPU設(shè)計(jì)的公司總是可以實(shí)現(xiàn)單片芯片，出于延遲和功耗的原因，您會(huì)這樣做。這些互連不是免費(fèi)的，尤其是具有 96 個(gè)內(nèi)核的芯片，其產(chǎn)量會(huì)比 32 個(gè)內(nèi)核或 64 核心低得多。這也是有代價(jià)的。

因此，從上面的芯片照片來看，我們認(rèn)為 Graviton4 是一個(gè)雙小芯片封裝，其中一個(gè)小芯片與另一個(gè)小芯片旋轉(zhuǎn)了 180 度。這可能就是為什么封裝上中央核心復(fù)合體左側(cè)和右側(cè)的存儲(chǔ)控制器小芯片彼此偏移的原因。

我們認(rèn)為 Graviton4 與前幾代芯片的比較如下：

誠然猜測(cè)，我們認(rèn)為 Graviton4 的性能比 Graviton3E 稍差，但達(dá)到該目標(biāo)所需的功耗卻低了近一半，并且內(nèi)存容量高出 50%，帶寬高出 75%，功耗大約為 130 瓦。功率包絡(luò)具有更低且更理想的 2.7 GHz 時(shí)鐘速度。

根據(jù)我們估計(jì)的這些數(shù)字（粗體紅色斜體顯示），Graviton4 芯片的每瓦性能（按 ECU 性能單位測(cè)量）與 Graviton3 大致相同，這幾乎是您在工藝適度縮減的情況下所希望的一切。

隨著更多細(xì)節(jié)的出現(xiàn)，我們將更新這個(gè)故事。

還有一件事：AWS 在其公告中表示（但 Selipsky 并沒有在他的主題演講中吹噓），迄今為止，它已在其機(jī)群中部署了超過 200 萬個(gè) Graviton 處理器，并擁有超過 50,000 個(gè)客戶使用過它們。

這是一個(gè)非?？捎^的 CPU 數(shù)量，如果 AWS 沒有開始內(nèi)部生產(chǎn) Graviton，這些芯片將全部來自 Intel、AMD，甚至可能來自 Ampere Computing。但他們沒有。這就是為什么將您的業(yè)務(wù)計(jì)劃固定給超大規(guī)模提供商和云構(gòu)建商是一個(gè)冒險(xiǎn)的提議。

Trainum2旨在云中提供最高性能、最節(jié)能的AI模型訓(xùn)練基礎(chǔ)設(shè)施

此外，AWS還在大會(huì)上推出了由 AWS 設(shè)計(jì)的AWS Trainium2 芯片系列。

Graviton4 和 Trainium2 標(biāo)志著 AWS 芯片設(shè)計(jì)的最新創(chuàng)新。隨著每一代芯片的推出，AWS 都提供了更好的性價(jià)比和能效，除了采用 AMD、Intel 和 NVIDIA 等第三方最新芯片的芯片/實(shí)例組合之外，還為客戶提供了更多選擇，以運(yùn)行幾乎任何應(yīng)用程序或Amazon Elastic Compute Cloud (Amazon EC2) 上的工作負(fù)載。

據(jù)了解，Trainium2 的設(shè)計(jì)速度比第一代 Trainium 芯片快 4 倍，并且能夠部署在多達(dá) 100,000 個(gè)芯片的 EC2 UltraCluster 中，從而可以在一個(gè)簡單的環(huán)境中訓(xùn)練基礎(chǔ)模型 (FM) 和大型語言模型 (LLM)。時(shí)間的一小部分，同時(shí)將能源效率提高了 2 倍。

AWS 計(jì)算和網(wǎng)絡(luò)副總裁 David Brown 表示：“硅支撐著每個(gè)客戶工作負(fù)載，使其成為 AWS 創(chuàng)新的關(guān)鍵領(lǐng)域?！薄巴ㄟ^將我們的芯片設(shè)計(jì)重點(diǎn)放在對(duì)客戶重要的實(shí)際工作負(fù)載上，我們能夠?yàn)樗麄兲峁┳钕冗M(jìn)的云基礎(chǔ)設(shè)施。Graviton4 標(biāo)志著我們?cè)诙潭涛迥陜?nèi)推出的第四代芯片，是我們?yōu)楦鞣N工作負(fù)載打造的最強(qiáng)大、最節(jié)能的芯片。隨著人們對(duì)生成式 AI 興趣的高漲，Tranium2 將幫助客戶以更低的成本和更高的能源效率更快地訓(xùn)練他們的 ML 模型。”

當(dāng)今新興的生成式人工智能應(yīng)用背后的 FM 和 LLM 接受過海量數(shù)據(jù)集的培訓(xùn)。這些模型使客戶能夠通過創(chuàng)建各種新內(nèi)容（包括文本、音頻、圖像、視頻甚至軟件代碼）來完全重新想象用戶體驗(yàn)。當(dāng)今最先進(jìn)的 FM 和 LLM 的參數(shù)范圍從數(shù)千億到數(shù)萬億不等，需要可靠的高性能計(jì)算能力，能夠擴(kuò)展到數(shù)萬個(gè)機(jī)器學(xué)習(xí)芯片。AWS 已經(jīng)提供了最廣泛、最深入的采用 ML 芯片的 Amazon EC2 實(shí)例選擇，包括最新的 NVIDIA GPU、Trainium 和 Inferentia2。如今，包括 Databricks、Helixon、Money Forward 和 Amazon Search 團(tuán)隊(duì)在內(nèi)的客戶使用 Trainium 來訓(xùn)練大規(guī)模深度學(xué)習(xí)模型，充分利用 Trainium 的高性能、規(guī)模、可靠性和低成本。但即使擁有當(dāng)今最快的加速實(shí)例，客戶也希望獲得更高的性能和規(guī)模，以便以更低的成本更快地訓(xùn)練這些日益復(fù)雜的模型，同時(shí)減少他們使用的能源量。

Trainium2 芯片專為 FM 和 LLM 的高性能訓(xùn)練而設(shè)計(jì)，參數(shù)高達(dá)數(shù)萬億個(gè)。與第一代 Trainium 芯片相比，Trainium2 的訓(xùn)練性能提高了 4 倍，內(nèi)存容量提高了 3 倍，同時(shí)能效（性能/瓦特）提高了 2 倍。Trainium2 將在 Amazon EC2 Trn2 實(shí)例中提供，單個(gè)實(shí)例中包含 16 個(gè) Trainium 芯片。Trn2 實(shí)例旨在使客戶能夠在下一代 EC2 UltraCluster 中擴(kuò)展多達(dá) 100,000 個(gè) Trainium2 芯片，與 AWS Elastic Fabric Adapter (EFA) 拍級(jí)網(wǎng)絡(luò)互連，提供高達(dá) 65 exaflops 的計(jì)算能力，并為客戶提供對(duì)超級(jí)計(jì)算機(jī)的按需訪問一流的性能。憑借這種規(guī)模，客戶可以在數(shù)周而不是數(shù)月內(nèi)培訓(xùn) 3000 億個(gè)參數(shù)的 LLM。通過以顯著降低的成本提供最高的橫向擴(kuò)展 ML 訓(xùn)練性能，Trn2 實(shí)例可以幫助客戶解鎖并加速生成 AI 的下一波進(jìn)步。

一家人工智能安全和研究公司Anthropic表示，“我們正在與 AWS 密切合作，使用 Trainium 芯片開發(fā)未來的基礎(chǔ)模型。Trainium2 將幫助我們大規(guī)模構(gòu)建和訓(xùn)練模型，對(duì)于我們的一些關(guān)鍵工作負(fù)載，我們預(yù)計(jì)它的速度至少比第一代 Trainium 芯片快 4 倍。我們與 AWS 的合作將幫助各種規(guī)模的組織釋放新的可能性，因?yàn)樗麄儗?Anthropic 最先進(jìn)的人工智能系統(tǒng)與 AWS 安全、可靠的云技術(shù)結(jié)合使用?！?/p>

來源：EETOP

審核編輯：劉清