英偉達GH200、特斯拉Dojo超級算力集群，性能爆棚！算力之爭加??！

電子發(fā)燒友網(wǎng)報道（文/李彎彎）今年8月，在計算機圖形學頂會SIGGRAPH 2023現(xiàn)場，英偉達發(fā)布了新一代GH200 Grace Hopper平臺，該平臺專為處理大語言模型、推薦系統(tǒng)、矢量數(shù)據(jù)庫等全球最復雜的生成式 AI 工作負載而構建。

日前，這款GH200 Grace Hopper超級芯片首次亮相MLPerf行業(yè)基準測試，在此次測試中，具有更高的內(nèi)存帶寬和更大的內(nèi)存容量的GH200與H100 GPU相比，性能高出17%。要知道，英偉達的H100 GPU產(chǎn)品性能在業(yè)界已經(jīng)是處于遙遙領先的水平。

相比于H100 GPU，英偉達新一代GH200性能高出17%

英偉達在去年3月推出了第一代Grace Hopper超級芯片平臺，首次將CPU和GPU融合在一個平臺上。相比較之下，其今年8月推出的新一代產(chǎn)品配備了HBM3e，內(nèi)存容量和帶寬都有顯著提高。HBM3e內(nèi)存是一種新型的高帶寬內(nèi)存技術，可以在更小的空間內(nèi)提供更高的數(shù)據(jù)傳輸速率。

具體來看，HBM3e比當前的HBM3快50%，可提供總計10TB/s的帶寬。這使得新平臺能夠運行比上一版本大3.5倍的模型，同時憑借快3倍的內(nèi)存帶寬提升性能。

黃仁勛此前表示，為了滿足對生成式AI不斷激增的需求，數(shù)據(jù)中心需要能夠滿足特定需求的加速計算平臺。全新GH200 Grace Hopper超級芯片平臺以出色的內(nèi)存技術和帶寬，提高了吞吐量，在不影響性能的情況下可連接多GPU 以整合性能，并且具有可以輕松部署到整個數(shù)據(jù)中心的服務器設計。

此外，新平臺可以通過 NVIDIA NVLink與其他超級芯片連接，使它們能夠協(xié)同工作，從而部署當下大型生成式AI模型。

新平臺和芯片的加持，能讓大模型訓練的成本得到有效降低。據(jù)黃仁勛介紹，一臺服務器可以同時裝載兩個GH200超級芯片。而投資800萬美元Grace Hopper，相當于8800個價值1億美元的x86 GPU，意味著成本降低12倍，能耗降低20倍。

在此次MLPerf行業(yè)基準測試，英偉達這款GH200 Grace Hopper超級芯片將其性能之高展示無余。MLPerf是影響力廣泛的國際AI性能基準評測，其推理性能評測涵蓋使用廣泛的六大AI場景，比如計算機視覺、自然語言處理、推薦系統(tǒng)、語音識別等，每個場景采用最主流的AI模型作為測試任務，每一任務又分為數(shù)據(jù)中心和邊緣兩類場景。

其由MLCommons由來自學術界、研究實驗室和行業(yè)的人工智能領導者組成的聯(lián)盟開發(fā)，旨在對硬件、軟件和服務的訓練和推理性能“構建公平和有用的基準測試”。

據(jù)介紹，此次MLPerf Inference v3.1基準測試是繼4月發(fā)布3.0版本之后的又一次更新，值得注意的是，這次更新包含了兩個第一次：引入基于60億參數(shù)大語言模型GPT-J的推理基準測試和改進的推薦模型。

GPT-J是來自EleutherAI的OpenAI GPT-3的開源替代品，現(xiàn)已在MLPerf套件中用作衡量推理性能的基準。與一些更先進的人工智能模型（如1750億參數(shù)的GPT-3）相比，60億參數(shù)的GPT-J屬于相當輕量的模型，但它非常適合推理基準的角色。該模型總結了文本塊，并可在延遲敏感的在線模式和吞吐量密集型的離線模式下運行。

GH200 Grace Hopper超級芯片在GPT-J工作負載方面取得了優(yōu)異的成績，在離線和服務器場景中的每加速器性能都達到了最高水平。

包括特斯拉，眾多企業(yè)積極構建算力芯片和集群

隨著人工智能技術的發(fā)展，尤其是近年來生成式AI及大模型應用的快速拓展，市場對算力的需求快速增加。我們知道，無論是AI訓練還是推理，都需要大量的算力作為支撐。而目前在大模型的訓練和推理方面，英偉達的GPU占據(jù)重要位置。

今年以來，英偉達的A100和H100兩款芯片訂單不斷增加，價格也在一直上漲。根據(jù)其最新的第二財季報告，其凈利潤達到61.88億美元，與去年同期相比增長422%，較上一財季增長203%。據(jù)業(yè)內(nèi)人士推測，英偉達H100芯片明年出貨量還要至少增加兩倍。

在AI迅猛發(fā)展的當下，除了英偉達，國內(nèi)外企業(yè)都在積極研發(fā)AI芯片，構建自己的算力集群，比如英特爾、AMD此前都針對AI大模型推出了相應的大算力芯片產(chǎn)品。國內(nèi)的不少GPGPU企業(yè)及云服務廠商也都在積極布局。

此外，作為全球知名的自動駕駛企業(yè)，特斯拉也早已開始研發(fā)自己的算力芯片，打造自己的超級計算機。最近，特斯拉的股票大漲，摩根士丹利分析師認為，特斯拉超級計算機Dojo釋放人工智能提升業(yè)績的巨大潛力，成為其股價走強的主因之一。

在產(chǎn)品形態(tài)上，特斯拉的Dojo最終落地單位是一個名為ExaPOD的超級計算集群。它集成了3000顆基于7nm制程工藝的D1芯片，包含120個訓練模塊，最終能夠實現(xiàn)高達 1.1 EFlops（百億億次浮點運算）的BF16/CFP8峰值算力；1.3TB高速 SRAM；13TB高帶寬 DRAM。

在2021年的特斯拉AI Day上，Dojo超算項目負責人Ganesh Venkataramana展示了集成了25個D1芯片的訓練模塊，他表示特斯拉找到的一個關鍵答案是用臺積電的InFO_SoW整合扇出技術。這是一種芯片先進封裝技術，相比于傳統(tǒng)的打線封裝，InFO技術的基本優(yōu)勢是可以實現(xiàn)多個芯片集成封裝，加速信號傳遞。

特斯拉打算利用Dojo對海量視頻數(shù)據(jù)進行無監(jiān)督學習，加速Autopilot和完全自動駕駛（FSD）系統(tǒng)的迭代，同時為其人形機器人Optimus提供算力支持。

在2022年9月的AI Day上，特斯拉公布Dojo已建立完整的散熱盤上系統(tǒng)。同時也宣布了未來路線圖，表示AI團隊正在研發(fā)新版本的Dojo超算組件。

據(jù)今年7月20日的報道，特斯拉Dojo超算已在今年7月開始量產(chǎn)，而總算力達100ExaFLOPs的超算系統(tǒng)將于2024年底量產(chǎn)。

特斯拉之前已經(jīng)構建基于英偉達GPU的大型超級計算機，而如今其自主研發(fā)并推出D1芯片，有助于其減少對英偉達GPU的依賴。

小結

從目前的情況來看，英偉達在AI訓練和推理中占據(jù)極大的市場份額，在大模型領域更是占據(jù)絕對優(yōu)勢，國內(nèi)外大部分企業(yè)都依賴英偉達A100、H100等產(chǎn)品，而如今其GH200在性能上更強，在大模型訓練方面又能夠幫助企業(yè)降低成本，必然會受到一眾企業(yè)追捧。

當然除了英偉達，國外內(nèi)還有眾多企業(yè)也在通過自己的方式，研究并發(fā)布適合AI訓練和部署芯片，為AI行業(yè)的發(fā)展構建算力集群?？梢钥吹?，在生成式AI、大模型的發(fā)展下，作為基礎支撐的算力尤為重要。