Cerebras推WSE-3芯片，性能翻倍，助力超大規(guī)模AI模型訓(xùn)練

據(jù)報(bào)道，硅谷晶圓芯片創(chuàng)企 Cerebras 近日公布了其 WSE-3 芯片型號(hào)，聲稱在保持相同能耗的基礎(chǔ)上，性能較前作 WSE-2 提升逾一倍。主要技術(shù)規(guī)格如下：

首先，WSE-3采用臺(tái)積電最新的5nm工藝制作（目前領(lǐng)先業(yè)界）。其次，該芯片擁有超過(guò)4萬(wàn)億個(gè)晶體管以及90萬(wàn)個(gè)AI核心，配合44GB片上SRAM高速緩存及三種可選片外存儲(chǔ)方案（分別是1.5TB、12TB與1.2PB）。此外，WSE-3還具備125 PFLOPS的AI運(yùn)算能力。

Cerebras指出，新款CS-3系統(tǒng)基于WSE-3芯片設(shè)計(jì)，最高支持1.2PB的內(nèi)存容量，適于訓(xùn)練比GPT-4及Gemini更大的未來(lái)模型。借助獨(dú)特的邏輯內(nèi)存空間技術(shù)，能將24000T模型參數(shù)集中儲(chǔ)存，大幅減輕了開(kāi)發(fā)者負(fù)擔(dān)。

尤為值得關(guān)注的是，CS-3強(qiáng)大的卓越的訓(xùn)練性能使其成為滿足大規(guī)模AI需求的最佳選擇，甚至可以在單日內(nèi)完成70B模型的精煉。借助最大規(guī)模的2048套CS-3系統(tǒng)集群，僅僅一天便能夠完成長(zhǎng)毛羊 70B 神經(jīng)網(wǎng)絡(luò)（Netrep Tempo）模型的深度學(xué)習(xí)。同時(shí)，CS-3系統(tǒng)在用戶友好性設(shè)計(jì)方面也表現(xiàn)出色，與GPU相比，大模型訓(xùn)練中的編碼量降低高達(dá)97%，更多人可以輕松掌握超大規(guī)模AI處理技能。

值得一提的是，阿聯(lián)酋G42財(cái)團(tuán)已經(jīng)表態(tài)將創(chuàng)建含64套 CS-3系統(tǒng)在內(nèi)的Condor Galaxy 3超級(jí)計(jì)算機(jī)，預(yù)計(jì)綜合AI運(yùn)算能力可達(dá)8 exaFLOPs。