Scale out成高性能計(jì)算更優(yōu)解，通用互聯(lián)技術(shù)大有可為

電子發(fā)燒友網(wǎng)報(bào)道（文/吳子鵬）從聊天機(jī)器人程序ChatGPT，到文生視頻大模型Sora，AI大模型的蓬勃發(fā)展背后，為算法模型、高質(zhì)量數(shù)據(jù)、算力基礎(chǔ)設(shè)施帶來了持續(xù)的挑戰(zhàn)?！爱?dāng)企業(yè)通過Scale out提升集群規(guī)模，就需要把數(shù)據(jù)中心從微觀到宏觀、點(diǎn)對(duì)點(diǎn)地連接起來，增強(qiáng)各個(gè)層面的互聯(lián)性能，真正有效地應(yīng)用算力資源?！?奇異摩爾創(chuàng)始人兼CEO田陌晨在接受電子發(fā)燒友采訪時(shí)表示。

伴隨著摩爾定律的放緩步伐，通過Scale up提升單處理器系統(tǒng)的性能和算力遭遇了“流水線過長(zhǎng)，延遲高、布線困難”等重重困境。Scale out作為Scale up的延續(xù)，在物理層面引入了規(guī)模性互聯(lián)，讓“算力-互聯(lián)”成為算力提升的新型抓手。研究機(jī)構(gòu)IPnest預(yù)測(cè)，2025年，“片間互聯(lián)技術(shù)”接口IP市占率有望超過處理器IP，成為排名第一的IP品類。那么，片內(nèi)、片間、網(wǎng)間的互聯(lián)技術(shù)未來會(huì)呈現(xiàn)何種特點(diǎn)？高性能計(jì)算體系將如何發(fā)展？就這些話題，我們采訪了互聯(lián)技術(shù)領(lǐng)域代表企業(yè)奇異摩爾CEO田陌晨先生。

片內(nèi)互聯(lián)：從專用到通用

理論上，芯?？杀灰曌鞴潭K，實(shí)現(xiàn)不同產(chǎn)品、代際的復(fù)用。在智算中心集群發(fā)展中，以互聯(lián)芯粒IO Die為代表的互聯(lián)芯粒在提升良率、降低制造復(fù)雜度和成本等方面所顯示出的優(yōu)勢(shì)，已成為行業(yè)發(fā)展共識(shí)。AMD的Zen系列和英特爾Clearwater Forest旗艦級(jí)數(shù)據(jù)中心處理器都是典型案例。

Intel Clearwater Forest 2

田陌晨認(rèn)為，IO Die為代表的片內(nèi)互聯(lián)技術(shù)呈現(xiàn)芯?；?、3D化發(fā)展兩大趨勢(shì)。芯?；菫榱嗽鲞M(jìn)架構(gòu)靈活性，降低芯片對(duì)先進(jìn)工藝的依賴；3D化則是通過縱向維度進(jìn)一步提升互聯(lián)密度。

目前，市場(chǎng)上的IO Die主要為AMD、英特爾等大廠主導(dǎo)，但私有協(xié)議無法兼容不同來源的芯粒，專用IO Die的封閉生態(tài)已成為其發(fā)展掣肘。受到巨大的需求推動(dòng)，通用IO芯粒開始嶄露頭角。以奇異摩爾旗下的通用互聯(lián)芯粒 Kiwi IO Die為例，產(chǎn)品集成了如D2DDDRPCIeCXL等大量存儲(chǔ)、互聯(lián)接口，最高可以支持10+Chiplets，構(gòu)建高達(dá)192 core CPU或1000T GPU的算力平臺(tái)。

奇異摩爾通用互聯(lián)芯粒 Kiwi IO Die

與其同時(shí)，受益于先進(jìn)封裝技術(shù)的進(jìn)步，IO Die也出現(xiàn)了2.5D向3D的結(jié)構(gòu)變化。Base Die可視為IO Die的3D形態(tài)，允許不同計(jì)算、存儲(chǔ)芯粒的堆疊或并排放，可顯著提升芯片單位面積晶體管的集成度，帶來更高的帶寬，更低的延遲、功耗。

市場(chǎng)上Base Die的境況與IO Die類似，雖然專用產(chǎn)品已在市場(chǎng)上展現(xiàn)了商業(yè)化價(jià)值，但技術(shù)并未擴(kuò)散，而是被少數(shù)頭部企業(yè)壟斷。在奇異摩爾為代表的創(chuàng)新企業(yè)努力下，Base Die通用市場(chǎng)開始起步。據(jù)田陌晨介紹，奇異摩爾旗下的通用互聯(lián)底座Kiwi 3D Base Die，在3D高性能通用底座方面屬全球首例，實(shí)現(xiàn)了通用互聯(lián)芯粒在帶寬、能效、搭載芯片數(shù)量等多方面的突破性進(jìn)展，能夠以20%的功耗實(shí)現(xiàn)8倍于2.5D結(jié)構(gòu)的互聯(lián)密度，最高可實(shí)現(xiàn)16顆算力芯粒堆疊。

奇異摩爾通用互聯(lián)底座Kiwi 3D Base Die

IO Die和Base Die只是互聯(lián)技術(shù)的兩個(gè)典型的例子，說明片內(nèi)互聯(lián)技術(shù)如何在計(jì)算與存儲(chǔ)之間、在龐大的智算中心和Scaling out 的浪潮中，產(chǎn)生對(duì)計(jì)算能力的更多助力。事實(shí)上，除了片內(nèi)互聯(lián)，還有許多種方法可以讓更多的數(shù)據(jù)實(shí)現(xiàn)更高好的連接和更低的成本，比如片間互聯(lián)、網(wǎng)間互聯(lián)技術(shù)的單點(diǎn)到全面突破。

亟待加速的片間互聯(lián)：D2D接口

和片內(nèi)互聯(lián)一樣，受益于算力和突飛猛進(jìn)的算力增長(zhǎng)需求，片間互聯(lián)技術(shù)亟需加速?；贑hiplet技術(shù)的Die-to-Die技術(shù)（D2D）帶來了一種更高效的計(jì)算和內(nèi)存的連接方式，可以看似毫不費(fèi)力的將計(jì)算、存儲(chǔ)芯粒集成在一起，在互聯(lián)層面上形成一個(gè)SoC級(jí)芯片。

相比傳統(tǒng)的計(jì)算芯片和存儲(chǔ)芯片的互聯(lián)方式，D2D提供了更高效、更低延遲的連接方式，是Chiplet實(shí)現(xiàn)的基礎(chǔ)，田陌晨介紹。通過Die間通信，D2D可以實(shí)現(xiàn)更高的傳輸帶寬和更高密度的集成；D2D能有效縮短數(shù)據(jù)傳輸?shù)奈锢砭嚯x，降低延遲，提高處理速度；作為先進(jìn)封裝的基礎(chǔ)，D2D可以實(shí)現(xiàn)計(jì)算和存儲(chǔ)單元的無縫連接，進(jìn)一步提高性能、降低功耗；基于D2D，企業(yè)可以更靈活地實(shí)現(xiàn)計(jì)算和存儲(chǔ)單元的多模組配置，提高系統(tǒng)可擴(kuò)展性、靈活性，降低系統(tǒng)維護(hù)成本。這些優(yōu)勢(shì)，使得D2D接口在高性能集群的Scaling out建設(shè)中，發(fā)揮了關(guān)鍵的作用。

和IO Die一樣，D2D也需要通用化的大力推進(jìn)。奇異摩爾基于UCIe標(biāo)準(zhǔn)，推出了全球首批支持 UCIe V1.1 的 Die2Die IP，互聯(lián)速度高達(dá)32GT/s，延時(shí)低至數(shù)納秒，全面支持UCIe、CXL、Streaming等主流協(xié)議，即插即用。田陌晨說，奇異摩爾所有產(chǎn)品都構(gòu)建在國際標(biāo)準(zhǔn)協(xié)議之上，致力于使各家產(chǎn)品實(shí)現(xiàn)互聯(lián)互通，構(gòu)成一個(gè)開放的Chiplet系統(tǒng)。

奇異摩爾高速互聯(lián)接口Kiwi Die2Die IP

RISC-V+Chiplet：1+1＞2

如今，Chiplet之外，RISC-V架構(gòu)也在大舉邁進(jìn)高性能計(jì)算。邊緣計(jì)算市場(chǎng)，傳統(tǒng)通用型MCU/MPU/CPU已經(jīng)難以滿足不同應(yīng)用場(chǎng)景和性能要求，RISC-V了帶來更好的PPA實(shí)現(xiàn)。RISC-V的本質(zhì)是一個(gè)開放標(biāo)準(zhǔn)，沖擊高性能運(yùn)算市場(chǎng)是發(fā)展的必然，而二者（與Chiplet）的融合，被認(rèn)為能為高性能計(jì)算市場(chǎng)開辟一場(chǎng)1+1>2的創(chuàng)新動(dòng)力。這也是RISC-V高性能處理器的代表性企業(yè)Ventana與奇異摩爾合作的深層動(dòng)因。

Ventana創(chuàng)始人兼CEO?Balaji?Baktha介紹，兩家企業(yè)聯(lián)手打造了一個(gè)可擴(kuò)展處理器架構(gòu)，可將多個(gè)Ventana?Veyron?V2與奇異摩爾的IO?Die組成不同配置的SoC。田陌晨認(rèn)為，V2與奇異摩爾IO?Die的結(jié)合，是RISC-V和Chiplet在高性能計(jì)算領(lǐng)域融合的成功案例。

“RISC-V具備開源、開放、靈活和高度可定制特性，設(shè)計(jì)了多種用于任務(wù)加速的指令集擴(kuò)展，能實(shí)現(xiàn)向量計(jì)算、加解密等任務(wù)加速，具有較高的計(jì)算性能，且簡(jiǎn)潔特性能降低芯片的功耗?！盉alaji說，“而Chiplet是構(gòu)建下一代半導(dǎo)體產(chǎn)品前進(jìn)戰(zhàn)略的重要組成部分，可以輕松構(gòu)建高性能CPU。其‘可組合性’讓用戶以最佳比例組合計(jì)算、內(nèi)存和IO，創(chuàng)造一個(gè)在性能、成本效益、工作負(fù)載等各方面都更為高效的系統(tǒng)。將RISC-V的開放式架構(gòu)與 Chiplet開放式硬件設(shè)計(jì)相結(jié)合，能有效推動(dòng)數(shù)據(jù)中心的工作流程效率，將單插槽性能發(fā)揮到極致。”

記者了解到，奇異摩爾和Ventana一直在努力將RISC-V和IO Die的組合推向下一代計(jì)算架構(gòu)的前沿，以提高數(shù)據(jù)中心服務(wù)的效率和工作負(fù)載的效率，并共同創(chuàng)建了一款高性能數(shù)據(jù)中心級(jí)RISC-V處理器，其融合了RISC-V 架構(gòu)和模塊化的Chiplet設(shè)計(jì)的優(yōu)勢(shì)，每個(gè)V2單元包括32個(gè)核心，最終實(shí)現(xiàn)最高192個(gè)內(nèi)核，這也是全球首例數(shù)據(jù)中心級(jí)的RISC-V Chiplet處理器。

回顧這次和Ventana的合作，田陌晨稱，從技術(shù)互通性角度看，基于IO Die的互聯(lián)，x86、ARM和RISC-V三大架構(gòu)都需要采用大量存儲(chǔ)訪問和外部接口，進(jìn)行大量傳輸、讀取及調(diào)度。RISC-V和Chiplet技術(shù)融合進(jìn)一步提升了計(jì)算平臺(tái)的定制特性，可以避免那些對(duì)高性能運(yùn)算有需求的客戶被鎖定在一個(gè)供應(yīng)商的生態(tài)內(nèi)，并助力企業(yè)應(yīng)對(duì)AGI所引發(fā)的架構(gòu)變革挑戰(zhàn)，這在x86和ARM的Chiplet設(shè)計(jì)中較難實(shí)現(xiàn)。

當(dāng)然，RISC-V和Chiplet技術(shù)融合，也伴隨著如Die間通信、高性能、特定領(lǐng)域等多重挑戰(zhàn)，如，為實(shí)現(xiàn)不同來源芯粒的通信，兩家公司采取了IO Die中央設(shè)計(jì)連接CPU芯粒的方案，通過Kiwi Fabric實(shí)現(xiàn)了納秒級(jí)的低延遲和高效的數(shù)據(jù)傳輸。讓整個(gè)SoC在工作流的角度上，呈現(xiàn)獨(dú)立CPU的特質(zhì)。

在性能方面，為達(dá)到現(xiàn)有ISA（x86/ARM）設(shè)定的高性能基準(zhǔn)，確保處理器微架構(gòu)可以提供世界一流性能，雙方合作的產(chǎn)品最高可實(shí)現(xiàn)192個(gè)內(nèi)核。同時(shí)，通過一致性互聯(lián)，讓所有內(nèi)核共享高性能、高速緩存和內(nèi)存。

在特定領(lǐng)域方面，通過對(duì)計(jì)算芯粒、內(nèi)存和各種加速器配比的整體規(guī)劃，為各種工作負(fù)載提供靈活的硬件配置選項(xiàng)；在CPU中內(nèi)置了端到端的RAS，確保所有總線都受到安全啟動(dòng)驗(yàn)證和級(jí)別驗(yàn)證等保護(hù)，同時(shí)克服側(cè)通道攻擊和其他漏洞，確保CPU芯粒和整個(gè)SoC層面的安全。

從計(jì)算加速到網(wǎng)絡(luò)加速

從行業(yè)動(dòng)態(tài)來看，高性能運(yùn)算從Scale up向Scale out的轉(zhuǎn)變是全方位的，在芯片設(shè)計(jì)、算力卡間、集群間無不如此。簡(jiǎn)單的說，Scale out最核心的改變就是互聯(lián)。田陌晨認(rèn)為，在Scale out所引發(fā)的巨量數(shù)據(jù)交互挑戰(zhàn)背后，是加速重點(diǎn)從計(jì)算到網(wǎng)絡(luò)的轉(zhuǎn)變和“Bandwidth, Efficiency, Workload”互聯(lián)三要素的優(yōu)化需求。

在算力集群網(wǎng)絡(luò)傳輸協(xié)議方面，傳統(tǒng)協(xié)議TCP/IP存在CPU負(fù)載重、延遲高等缺點(diǎn)，難以滿足高性能計(jì)算對(duì)網(wǎng)絡(luò)吞吐、時(shí)延的苛刻要求。RDMA能直接通過網(wǎng)絡(luò)接口訪問內(nèi)存數(shù)據(jù)，無需操作系統(tǒng)內(nèi)核的介入，讓大規(guī)模并行計(jì)算集群成為可行。計(jì)算機(jī)網(wǎng)絡(luò)協(xié)議棧將從TCP/IP過渡到RDMA，在網(wǎng)絡(luò)層面上，把一個(gè)集群變成一臺(tái)設(shè)備。

RDMA并未規(guī)定完整的協(xié)議棧，因此包含不同的分支，如英偉達(dá)的Quantum InfiniBand是專門為RDMA設(shè)計(jì)的一種超低延遲、超高吞吐量的專用網(wǎng)絡(luò)引擎。然而，業(yè)界需要一種更為通用化的解決方案。在性能方面可與InfiniBand匹敵的RoCE顯著降低了RDMA協(xié)議通信成本，被認(rèn)為能夠打破英偉達(dá)在這個(gè)領(lǐng)域的技術(shù)壟斷。

這也是奇異摩爾推出高性能網(wǎng)絡(luò)加速芯粒Kiwi NDSA（Network Domain Specific Accelerator）系列的原因所在。據(jù)介紹，Kiwi NDSA內(nèi)建RoCE V2高性能 RDMA (Remote Direct Memory Access) 和數(shù)十種卸載/加速引擎，可作為獨(dú)立芯粒，實(shí)現(xiàn)系統(tǒng)不同位置的加速。Kiwi NDSA產(chǎn)品系列包括“NDSA-RN-F”和“NDSA-RN”。前者是全球首批200/400G的高性能FPGA RDMA網(wǎng)卡，將在近期面世；后者是全球首款支持800G帶寬的RDMA NIC Chiplet產(chǎn)品，除帶寬升級(jí)到800G之外，延時(shí)也降至納秒級(jí)，并支持?jǐn)?shù)十GB的超大規(guī)模數(shù)據(jù)包。

奇異摩爾高性能網(wǎng)絡(luò)加速芯粒Kiwi NDSA

結(jié)語

在高性能計(jì)算體系全方位從Scale up向Scale out轉(zhuǎn)變的背景下，互聯(lián)技術(shù)已成為提升集群算力的新方案。以IO Die為代表的互聯(lián)芯粒正在加速其通用化進(jìn)程和2.5D至3D轉(zhuǎn)變；片間PCIe等傳統(tǒng)傳輸方式正在被低延遲、低功耗的D2D技術(shù)取代；集群互聯(lián)網(wǎng)絡(luò)則從TCP/IP轉(zhuǎn)向RDMA架構(gòu)，通用RDMA方案將迎來更廣闊的機(jī)遇?；ヂ?lián)技術(shù)和RISC-V架構(gòu)的融合，能夠助力企業(yè)更好地應(yīng)對(duì)AGI所引發(fā)的架構(gòu)變革挑戰(zhàn)，幫助高性能計(jì)算領(lǐng)域用戶實(shí)現(xiàn)Scale out。未來，對(duì)幾乎每一家高性能計(jì)算產(chǎn)業(yè)鏈上的企業(yè)來說，互聯(lián)都是一個(gè)至關(guān)重要的市場(chǎng)。