AI大模型這股東風(fēng)，RISC-V該如何乘？

電子發(fā)燒友網(wǎng)報道（文/吳子鵬）說起AI大模型的訓(xùn)練和推理，很多人的第一想法肯定是英偉達(dá)芯片，那么背后也就是ARM架構(gòu)。統(tǒng)計數(shù)據(jù)顯示，在AI芯片領(lǐng)域，英偉達(dá)一家獨(dú)占七成市場份額；如果單獨(dú)看AI大模型訓(xùn)練芯片，正如花旗研究分析師Christopher Danely提到的，英偉達(dá)的市場占比超過九成。

實(shí)際上，即便是谷歌、亞馬遜、Meta、IBM及其他一些企業(yè)提供的AI芯片，背后的架構(gòu)也基本是ARM架構(gòu)。那么，目前同樣大火的RISC-V架構(gòu)是否能夠在AI大模型市場捕捉到機(jī)會呢？

RISC-V在AI大模型領(lǐng)域的嘗試

當(dāng)然，雖然在芯片性能方面還無法和ARM架構(gòu)芯片正面抗衡，不過RISC-V架構(gòu)陣營也沒有坐以待斃，而是在積極探索進(jìn)入AI大模型市場的機(jī)會，且已經(jīng)有一些成果。

在今年的世界互聯(lián)網(wǎng)大會烏鎮(zhèn)峰會上，希姆計算聯(lián)合國鑫發(fā)布基于RISC-V架構(gòu)打造的大模型系列一體機(jī)，包括2U4卡、4U8卡機(jī)，支持部署6B、7B、13B參數(shù)規(guī)模的大模型。

這就是很好的聯(lián)動，希姆計算成立于2019年4月，成立之初就確立了基于RISC-V指令集設(shè)計數(shù)據(jù)中心高性能芯片的技術(shù)路線、由專用計算（DSA，領(lǐng)域?qū)Ｓ眉軜?gòu)）向通用計算（CPU）逐步演進(jìn)的發(fā)展戰(zhàn)略。目前，該公司已經(jīng)有一款加速卡產(chǎn)品——STCP920。

STCP920是希姆計算基于RISC-V架構(gòu)打造的人工智能計算加速卡，混合支持FP16/INT8數(shù)據(jù)類型。算力表現(xiàn)為：半精度浮點(diǎn)運(yùn)算速度(FP16)為128TFLOPS；整數(shù)運(yùn)算速度(INT8)為256 TOPS。內(nèi)存類型為LPDDR4X，內(nèi)存帶寬為119.4GB/S。

國鑫則是中國領(lǐng)先的服務(wù)器解決方案供應(yīng)商，具有全產(chǎn)業(yè)鏈的自主研發(fā)能力和生產(chǎn)能力，是目前中國屈指可數(shù)的集研發(fā)、生產(chǎn)、銷售、服務(wù)于一體的服務(wù)器和存儲軟硬件廠商之一。目前，該公司在智算中心方面的服務(wù)器主要還是基于英特爾和AMD的芯片產(chǎn)品。

再看另一個案例，來自芯至科技。該公司今年才開始正式運(yùn)營，不過卻在助推RISC-V進(jìn)入大模型運(yùn)算方面做出了突出的成績。根據(jù)該公司官網(wǎng)信息，芯至科技在今年發(fā)布了全球首款Risc-V based GPGPU SIMT核——焦山核（Turbocore）V100。

焦山核V100全面支持SIMT，支持RV32G指令集，支持Tensor擴(kuò)展指令集，支持類CUDA編程模型，提供硬件任務(wù)調(diào)度，指令并行度為32Threads*128?？杀挥糜贕PGPU進(jìn)行AI推理等多種場景，單核性能不低于16T Int8/GHz，預(yù)計采用12nm工藝流片，頻率將不低于1.2GHZ。

芯至科技聯(lián)合創(chuàng)始人、首席芯片架構(gòu)師兼副總裁尹文此前表示，AI大模型落地到推理側(cè)的新機(jī)會與RISC-V架構(gòu)創(chuàng)新不謀而合，Scaler小標(biāo)量+SIMT大算力的指令集/微架構(gòu)融合將是未來RISC-V發(fā)力的重點(diǎn)，能以相對低的成本，為AI推理側(cè)應(yīng)用提供高效支持。

尹文這種“RISC-V可以做線程級并行AI計算”的想法，和英特爾是不謀而合的。英特爾Piuma是一個定制RISC內(nèi)核的特殊芯片，它的特殊之處在雖然只有8個核心，但是卻有528個線程，單核擁有66個線程。另外，Piuma芯片還具有非?？植赖幕ヂ?lián)能力，最多可以實(shí)現(xiàn)131072個Piuma芯片互連，讓一個芯片集群擁有1680萬個核心，這會帶來非?？植赖臄?shù)據(jù)并行能力。雖然英特爾沒有說這是RISC-V內(nèi)核，但是技術(shù)上是一脈相通的，給行業(yè)發(fā)展提供了一個全新的思路。

另外，我們看一下阿里平頭哥，該公司最近連發(fā)了三顆RISC-V處理器內(nèi)核——首次實(shí)現(xiàn)AI矩陣擴(kuò)展的C907、滿足Vector1.0標(biāo)準(zhǔn)的C920，以及實(shí)時處理器R910。其中，C920已經(jīng)新增支持Transformer模型，C907首次實(shí)現(xiàn)了獨(dú)立矩陣運(yùn)算（Matrix）擴(kuò)展，這些內(nèi)核都表明商用RISC-V內(nèi)核確實(shí)在向著AI大模型的核心戰(zhàn)場進(jìn)展，滿足性能指標(biāo)只會是時間問題。

除了上述提到的，另外國芯科技和上海清華國際創(chuàng)新中心、智繪微電子已經(jīng)簽署了關(guān)于開源RISC-V GPGPU合作開發(fā)的備忘錄，這也是一種積極的探索。從理論上說，RISC-V的Vector擴(kuò)展支持用GPGPU方式來執(zhí)行，那么基于RISC-V實(shí)現(xiàn)GPGPU就有了可行性。

RISC-V在AI大模型領(lǐng)域的挑戰(zhàn)

根據(jù)此前的報道，在一項(xiàng)專業(yè)基準(zhǔn)測試中，專注高性能RISC-V芯片的Tenstorrent推出基于自有處理器內(nèi)核的RISC-V CPU芯片，該芯片的評分領(lǐng)先于英特爾的Sapphire Rapids、英偉達(dá)的Grace和AMD的Zen4。這說明，在傳統(tǒng)CPU方向上，RISC-V架構(gòu)已經(jīng)開始嶄露頭角，證明了RISC-V架構(gòu)做高性能芯片的能力，那么在AI大模型方面會遇到哪些挑戰(zhàn)呢？

在AI大模型這類型應(yīng)用中，RISC-V架構(gòu)第一大挑戰(zhàn)肯定是內(nèi)核本身。通過美國對于我國的AI芯片禁令就可以看出，AI芯片做大模型訓(xùn)練是有一定門檻的，低于這個門檻效果就會大打折扣，雖然RISC-V架構(gòu)已經(jīng)做了很多嘗試，不過總體性能和長期深耕GPU領(lǐng)域的ARM架構(gòu)肯定沒法比。當(dāng)然，英特爾和芯至科技這類嘗試說明，RISC-V架構(gòu)可以率先攻克大模型推理芯片市場以及終端一體機(jī)市場。

在性能背后就會牽扯出第二問題——專利。英偉達(dá)等芯片廠商以及Arm公司在高性能計算芯片領(lǐng)域儲備了大量的專利，為了追求極致的運(yùn)算性能，很多方式方法都已經(jīng)被論證過了，并形成了專利，要繞開這些專利限制實(shí)現(xiàn)高性能計算芯片，進(jìn)一步提升了相關(guān)廠商的研發(fā)難度。

第三個問題也是一個老生常談的問題，那就是生態(tài)。AI大模型這類型的應(yīng)用，無論是訓(xùn)練端還是推理端，都會是一個軟硬件結(jié)合的系統(tǒng)，尤其是具體到某一個細(xì)分領(lǐng)域的推理應(yīng)用，具有豐富的上層應(yīng)用，也就需要更高效的軟硬件融合。不過，目前對于RISC-V架構(gòu)而言，很多生態(tài)還是荒漠，比如DDK、接口、中間件這些關(guān)鍵的生態(tài)工具，基本還沒有。

小結(jié)

還記得之前平頭哥的觀點(diǎn)：RISC-V將成為AI時代的原生架構(gòu)，各行業(yè)芯片都值得用RISC-V做一次。那么，應(yīng)用于AI大模型的芯片也是如此。不過，目前應(yīng)用于這一領(lǐng)域的芯片還在高速地發(fā)展，這給RISC-V架構(gòu)增加了追趕的難度，且生態(tài)封閉的問題需要從業(yè)者有更大的勇氣和決心。目前，RISC-V在AI大模型應(yīng)用中已經(jīng)有所嘗試，接下來要做到的就是完善產(chǎn)品和生態(tài)，沒有其他捷徑可走。