Cerebras發(fā)布WSE-3 AI芯片，性能翻倍達4萬億晶體，能耗不變

初創(chuàng)芯片設計公司 Cerebras Systems發(fā)布了第三代 WSE-3 AI 芯片，此款芯片利用臺積電5納米制程技術制造，晶體管數量較上一代 WSE-2 明顯提高，達到驚人的4萬億個。新一代 CS-3 系統(tǒng)搭載 WSE-3芯片，能耗不變的前提下，處理能力高達原版的2倍。據Cerebras執(zhí)行總裁 Andrew Feldman表明，此次突破是向實現摩爾定律更近一步。

該款 WSE-3 AI 芯片幾乎完全由一塊12英寸晶圓構成，形如邊長21.5厘米之正方體。這款芯片設有90萬個 AI 內核，理論上可輸出每秒125百億次浮點運算（PFLOPS）的超強算力，其計算速度超過了大約62個 NVIDIA H100 GPU 的總和。

Cerebras主要分為三批推出芯片，分別于2019年、2021年以及即將到來的2024年初問世。三批均采用臺積電16nm、7nm及5nm工藝生產。具體來看，這些芯片中的晶體管數量不斷增長，其中FLOPS計算性能提升最快，AI核心數目、內存儲器容量及內部帶寬則保持較為平穩(wěn)的增勢。

單個 WSE-3芯片使得CS-3計算系統(tǒng)訓練達到24萬億參量的神經網絡模型，相當于最強 LLM 規(guī)模的十倍，例如 OpenAI 的 GPT-4 以及谷歌的 Gemini。CS-3系統(tǒng)也具備卓越的可擴充性，最多能容納2048臺設備連接。這樣的大規(guī)模計算集群僅需一天便可完成訓練含有700億參量的 Llama 模型任務。

CS-3計算系統(tǒng)上市后受到廣泛關注與追捧，其企業(yè)客戶、云服務運營商甚至政府機構紛紛下單預約。另外，鑒于此前成功合作開發(fā)的 Condor Galaxy 1（CG-1）和 CG-2，Cerebras 及阿拉伯聯(lián)合酋長國 G42 公司已經著手建設最新款的 CG-3 超級計算機。坐落于德州達拉斯市的 CG-3計劃裝配64臺CS-3計算系統(tǒng)，共有5760萬個AI核心，預計AI計算能力達到8 ExaFLOPS（EFLOPS）。

一旦加入已經在加州運行的 CG-1和 CG-2系統(tǒng)，整個 Condor Galaxy 計算網絡的性能預計能夠達到令人難以置信的16 EFLOPS。這個包含從 CG-1到CG-9共九臺超級計算機在內的分布式計算網絡有望于2024年底正式投入使用，共同為 G42 公司內部團隊及云服務團隊提供強大支持。G42公司首席技術官 Kiril Evtimov公開表示，現有的 Condor Galaxy 計算網絡已成功支持業(yè)內不少尖端開源模型的深度學習訓練。