全球最大芯片締造者，艱難替代英偉達(dá)

據(jù)路透社報道，Cerebras Systems 周四表示，已簽署一項價值約 1 億美元的協(xié)議，為阿拉伯聯(lián)合酋長國科技集團(tuán) G42 提供三臺人工智能 (AI) 超級計算機中的第一臺。

此次交易達(dá)成之際，世界各地的云計算提供商正在尋找 Nvidia 公司芯片的替代品。Nvidia 公司是人工智能計算市場的領(lǐng)導(dǎo)者，由于 ChatGPT 和其他服務(wù)的迅速普及，其產(chǎn)品供不應(yīng)求。Cerebras 是幾家尋求挑戰(zhàn) Nvidia 的初創(chuàng)公司之一。

總部位于硅谷的 Cerebras 表示，G42 已同意購買三套其所謂的 Condor Galaxy 系統(tǒng)，所有這些系統(tǒng)都將在美國建造，以加快部署速度。第一個將于今年上線，另外兩個將于 2024 年初上線。

總部位于阿布扎比的 G42 是一家科技集團(tuán)，擁有 9 家運營公司，其中包括數(shù)據(jù)中心和云服務(wù)業(yè)務(wù)，該公司表示計劃使用 Cerebras 系統(tǒng)向醫(yī)療保健和能源公司出售人工智能計算服務(wù)。G42 已從美國科技投資公司 Silver Lake 籌集了 8 億美元，該公司得到了阿聯(lián)酋主權(quán)財富基金 Mudabala 的支持。

G42 Cloud 首席執(zhí)行官 Talal AlKaissi 告訴路透社，“Cerebras 擁有他們所謂的‘白手套’服務(wù)，讓我們可以輕松”在其機器上構(gòu)建人工智能系統(tǒng)。

“我們希望將一些過剩產(chǎn)能與 Cerebras 批發(fā)給來自世界各地的開源人工智能社區(qū)的客戶，特別是在美國的生態(tài)系統(tǒng)中。”

Cerebras 首席執(zhí)行官安德魯·費爾德曼 (Andrew Feldman) 表示，完成周四宣布的三個系統(tǒng)中第一個系統(tǒng)的合同價值約 1 億美元。

“我們想說的是，這份價值 1 億美元的合同將帶領(lǐng)我們完成禿鷹銀河 1 號項目……這就是整個單元、構(gòu)建模塊。”

G42 Cloud 的 AlKaissi 拒絕就交易條款發(fā)表評論。

Cerebras 對大型人工智能芯片有宏偉計劃

炒作人工智能芯片是一回事，但證明其在商業(yè)市場上的可用性是一個更大的挑戰(zhàn)。?

一些仍在證明其芯片可行性的人工智能芯片公司正在建立自己的人工智能計算基礎(chǔ)設(shè)施，以教育客戶并證明其芯片的可行性。Cerebras Systems 則締造了世界上最大的芯片，他們目前正在建立人工智能數(shù)據(jù)中心，將其實驗性人工智能巨型處理器從實驗室提供給商業(yè)客戶

Cerebras 去年因其硬件協(xié)助 Covid-19 研究而獲得了令人垂涎的戈登貝爾獎，該公司的硬件在學(xué)術(shù)界和國家實驗室中享有盛譽，但商業(yè)擴張將使其硬件與基于英偉達(dá) GPU 構(gòu)建的計算基礎(chǔ)設(shè)施展開競爭。主要云提供商包括谷歌、亞馬遜、微軟和甲骨文。?

這家只有幾百名員工的公司正在尋求中東云提供商 G42（一家人工智能和云計算公司）的幫助，以創(chuàng)建人工智能基礎(chǔ)設(shè)施。兩家公司正在合作，到今年年底在美國本土建立三個商業(yè)人工智能數(shù)據(jù)中心。?

Group 42 在審查了 Cerebras 的初創(chuàng)公司后才從該公司購買了人工智能系統(tǒng)。?

“我們在構(gòu)建和管理大型超級計算機方面擁有豐富的經(jīng)驗。我們擁有實施大規(guī)模生成式人工智能模型的經(jīng)驗。我們在操作清理和管理龐大數(shù)據(jù)集方面擁有深厚的專業(yè)知識，”Cerebras 首席執(zhí)行官安德魯·費爾德曼 (Andrew Feldman) 告訴 HPCwire。

但 Cerebras 在為其系統(tǒng)吸引商業(yè)客戶方面面臨著艱巨的道路。它很難取代英偉達(dá)，因為英偉達(dá)在人工智能市場的軟件和硬件領(lǐng)域占據(jù)主導(dǎo)地位。包括微軟和 Facebook 在內(nèi)的大型商業(yè)企業(yè)都將人工智能的未來押在了 Nvidia 的 GPU 上。

Nvidia 還擁有自己的 GPU 數(shù)據(jù)中心，稱為 Launchpad，開發(fā)人員可以在這里制作人工智能應(yīng)用程序的原型。英特爾還利用自己的人工智能芯片建立了云服務(wù)，供開發(fā)人員和客戶進(jìn)行原型設(shè)計和運行應(yīng)用程序。英特爾的開發(fā)云最近添加了數(shù)據(jù)中心 GPU Max 1100，供開發(fā)人員測試人工智能應(yīng)用程序。?

Cerebras 和 G42 建造的三個數(shù)據(jù)中心將提供 12 exaflops FP-16 性能的聚合 AI 計算能力。Cerebras 在 Condor Galaxy 品牌下創(chuàng)建了三個新系統(tǒng)，每個系統(tǒng)都將提供 4 exaflops 的性能。

第一個系統(tǒng)名為 Condor Galaxy-1 (CG-1)，已部署在加州數(shù)據(jù)中心，將擁有 5400 萬個核心。該公司將在明年增加更多的數(shù)據(jù)中心。

Feldman 表示，“到 2024 年底，它將擴展到……9 臺 exaflops 機器，總共 36 exaflops”。

CG-1 AI 巨型集群匯集了 64 個 CS-2 系統(tǒng)，這是在 Cerebras 的 AI 芯片上運行的現(xiàn)有服務(wù)器產(chǎn)品。CS-2 已在美國能源部阿貢國家實驗室和匹茲堡超級計算中心使用。

G42 被認(rèn)為是中東云和人工智能領(lǐng)域的重量級企業(yè)，它將向想要訓(xùn)練大型語言模型的公司出售計算能力。G42 的目標(biāo)客戶是醫(yī)療保健、金融服務(wù)和制造等垂直行業(yè)的商業(yè)客戶。

去年年底，OpenAI 的LLM ChatGPT 證明了大模型的前景，該項目在幾個月內(nèi)就獲得了 1 億用戶。從那時起，谷歌、微軟和其他公司都爭先恐后地在搜索和生產(chǎn)力應(yīng)用程序中實現(xiàn)自己的大語言模型。

大公司正在構(gòu)建自己的模型，但由于 Nvidia GPU 短缺，計算能力稀缺。這為 Cerebras 這樣的公司創(chuàng)造了機會，其人工智能芯片已被商業(yè)組織研究人員撰寫的許多學(xué)術(shù)論文使用和引用。

“我們支持多達(dá) 6000 億個參數(shù)，可擴展至 100 萬億個參數(shù)，”Feldman 說。谷歌和微軟尚未報告LLM中支持其搜索和生產(chǎn)力應(yīng)用程序的參數(shù)數(shù)量。

G42 得到穆巴達(dá)拉的支持，穆巴達(dá)拉由阿聯(lián)酋政府資助。穆巴達(dá)拉在 2019 年大規(guī)模拋售之前還擁有 AMD 的股權(quán)。費爾德曼在他的服務(wù)器初創(chuàng)公司 SeaMicro 于 2014 年被該芯片制造商吸收后，曾受雇于 AMD。

考慮到半導(dǎo)體和人工智能在貿(mào)易和政策中的重要性，阿聯(lián)酋政府與 Cerebras-G42 伙伴關(guān)系的潛在聯(lián)系會帶來陰謀論，但費爾德曼表示，沒有任何擔(dān)憂。

“我們構(gòu)建了最快的人工智能處理器，我們構(gòu)建了最快的人工智能系統(tǒng)。當(dāng)然，我們與[美國]商務(wù)部和監(jiān)管機構(gòu)合作。我們正在與他們合作。我們了解規(guī)則是什么，”費爾德曼說。

Cerebras 的 CG-1 執(zhí)行模型依賴于一種稱為“權(quán)重流”的技術(shù)，該技術(shù)將內(nèi)存、計算和網(wǎng)絡(luò)分解為單獨的集群。AI計算主要取決于模型的大小，系統(tǒng)擁有內(nèi)存和計算技術(shù)可以分別擴展。所有數(shù)據(jù)處理均在 Cerebras 的主 AI 芯片 WSE-2 上完成，該芯片擁有 850,000 個內(nèi)核、2.6 萬億個晶體管、40GB SRAM 內(nèi)存和每秒 20 PB 的帶寬。

Feldman 表示，解耦使得 CG-1 系統(tǒng)能夠隨著更多系統(tǒng)的添加而以線性方式擴展。線性擴展是可能的，因為內(nèi)存和計算元件獨立運行，這與 GPU 的大型部署不同，在 GPU 中，每個芯片都有自己的內(nèi)存和緩存。稱為 MemoryX 的系統(tǒng)級技術(shù)單獨存儲模型參數(shù)，并將其傳送到計算核心。

“你有數(shù)千個小型 GPU，每個 GPU 都有不同的參數(shù)塊。因此，您已經(jīng)獲取了 1000 億個參數(shù)，您必須跟蹤它們的位置。我們有一個集中的參數(shù)存儲，”費爾德曼說。

一種名為 SwarmX 的類似技術(shù)在集群級別協(xié)調(diào)計算和內(nèi)存管理 - 它從 MemoryX 獲取參數(shù)并通過互連結(jié)構(gòu)將其廣播到多個 CS-2，互連結(jié)構(gòu)是芯片中的多個 100GbE 通道。

Cerebras 的 AI 芯片與 GPU 一樣，具有許多可加速傳統(tǒng)科學(xué)計算的理想屬性。G42 客戶使用 Cerebras 系統(tǒng)進(jìn)行傳統(tǒng) HPC 存在風(fēng)險，這可能會擾亂該初創(chuàng)公司對人工智能市場的關(guān)注。

但費爾德曼堅稱該芯片是為人工智能計算而設(shè)計的，而不是傳統(tǒng)的高性能計算。

“我們?yōu)槿斯ぶ悄艽蛟炝诉@臺機器。我們不支持 64 位雙精度。我們確實做了一些 HPC 工作……而這正是人工智能和 HPC 的交叉點。”Feldman 說道。

在美國，能源部的國家能源技術(shù)實驗室正在使用 Cerebras 系統(tǒng)來實施脫碳計劃，但該芯片為他們提供了在其計算堆棧中測試人工智能的借口。

“我們與他們進(jìn)行了一些合作，他們正在對計算流體動力學(xué)進(jìn)行大型模擬。但我認(rèn)為我們確實做到了這一點，并針對人工智能進(jìn)行了優(yōu)化，”費爾德曼說。

Cerebras 還發(fā)布了許多開源大語言模型，試圖為其芯片構(gòu)建底層軟件基礎(chǔ)設(shè)施。Nvidia 還擁有強大的軟件實力，許多 AI 代碼庫都轉(zhuǎn)向其專有的 CUDA 軟件堆棧，該堆?？梢岳脙H在 A100 和 H100 GPU 中提供的功能。?

在硬件方面，Cerebras 還面臨來自 AMD（最近推出了用于 AI 的 MI300X GPU）和英特爾（擁有名為 Gaudi 的 AI 加速器）的挑戰(zhàn)。這些芯片都沒有獲得大量的商業(yè)銷售。

審核編輯：劉清