Chiplet，怎么連？

近年來，半導體工藝水平的不斷提升使芯片性能得到顯著增強，但是摩爾定律正在逐漸逼近物理極限。同時，隨著CPU、GPU、FPGA等高性能運算芯片性能的持續(xù)提升，AI、5G、云計算等應(yīng)用相繼興起，各類應(yīng)用場景對高帶寬、高算力、低延時、低功耗的需求愈發(fā)強烈。

高昂的研發(fā)費用和生產(chǎn)成本，與芯片的性能提升無法持續(xù)等比例延續(xù)。為解決這一問題，“后摩爾時代”下的芯片異構(gòu)集成技術(shù)——Chiplet應(yīng)運而生，或?qū)牧硪粋€維度來延續(xù)摩爾定律的“經(jīng)濟效益”。

Chiplet也稱作“芯?！被颉靶⌒酒保菍⒃疽粔K復雜的SoC芯片，從設(shè)計時就按照不同的功能單元進行分解，然后每個單元選擇最適合的制程工藝進行制造，再通過先進封裝技術(shù)將各個單元彼此互聯(lián)，就像“樂高積木”一樣封裝為一個SoC芯片。

Chiplet的優(yōu)勢可以歸結(jié)為幾個方面：

1）大幅提高大芯片良率。近年來，隨著高性能計算、AI等方面的運算需求，集成更多功能單元和更大的片上存儲使得芯片不僅晶體管數(shù)量暴增，芯片面積也急劇增大。芯片良率隨著芯片面積的增大而下降，掩模尺寸700mm2的設(shè)計通常會產(chǎn)生大約30%的合格芯片，而150mm2芯片的良品率約為80%。因此，通過Chiplet設(shè)計將大芯片分成更小的芯片可以有效改善良率，同時也能夠降低因為不良率而導致的成本增加。

2）降低設(shè)計的復雜度和設(shè)計成本。因為如果在芯片設(shè)計階段，就將大規(guī)模的SoC按照不同的功能模塊分解為一個個的Chiplet，那么部分Chiplet可以做到類似模塊化的設(shè)計，而且可以重復運用在不同的芯片產(chǎn)品當中。這樣不僅可以大幅降低芯片設(shè)計的難度和設(shè)計成本，同時也有利于后續(xù)產(chǎn)品的迭代，加速產(chǎn)品的上市周期。

3）降低芯片制造成本。一顆SoC中有不同的計算單元，同時也有存儲、各種I/O接口、模擬或數(shù)?；旌显@其中主要是邏輯計算單元通常依賴于先進制程來提升性能，而其他的部分對于制程工藝的要求并不高，有些即使采用成熟工藝，也能夠發(fā)揮很好的性能。所以，將SoC進行Chiplet化之后，不同的芯?？梢愿鶕?jù)需要來選擇合適的工藝制程分開制造，然后再通過先進封裝技術(shù)進行組裝，不需要全部都采用先進的制程在一塊晶圓上進行一體化制造，這樣可以極大的降低芯片的制造成本。

簡而言之，Chiplet旨在將芯片性能與芯片工藝解耦，從而解決芯片設(shè)計中面臨的復雜度大幅提升問題，以及先進制程中面臨的高成本、低良率問題。

在多種優(yōu)勢因素及市場趨勢驅(qū)動下，AMD、臺積電、英特爾、英偉達等芯片巨頭以及眾多國內(nèi)外相關(guān)企業(yè)嗅到了市場機遇，近年來開始紛紛入局Chiplet。

在這個過程中，互連成為Chiplet走向的決定因素之一。

Chiplet互聯(lián)現(xiàn)狀

多年來，業(yè)內(nèi)一直在尋找一種“真正的互連”，以便在芯片組中實現(xiàn)從裸片到裸片（Die-to-Die）的通信，更好的完成數(shù)據(jù)存儲、信號處理、數(shù)據(jù)處理等豐富的功能。如何讓芯粒之間高速互聯(lián)，是Chiplet技術(shù)落地的關(guān)鍵，也是全產(chǎn)業(yè)鏈目前面臨的一大全新挑戰(zhàn)。

芯片設(shè)計公司在設(shè)計芯粒之間的互聯(lián)接口時，首要保證的是高數(shù)據(jù)吞吐量。另外，數(shù)據(jù)延遲和誤碼率也是關(guān)鍵要求，還要考慮能效和連接距離。

到目前為止，已經(jīng)成功商用的Die-to-Die互連接口協(xié)議多達十幾種，主要分為串行接口協(xié)議和并行接口協(xié)議。串行接口及協(xié)議有LR、MR、VSR、XSR、USR等SerDes串行互連技術(shù)，PCIe、NVLink，用于Cache一致性的CXL、CCIX、TileLink、OpenCAPI，以及中國Chiplet產(chǎn)業(yè)聯(lián)盟（CCLL）推出的ACC接口標準等；并行接口及協(xié)議有AIB/MDIO（Intel）、LIPINCON（TSMC）、Infinity Fabric（AMD）、OpenHBI（Xilinx）、BoW（OCP ODSA）、INNOLINK（Innosilicon），以及用于存儲芯片堆疊互聯(lián)的HBM接口等...

比較而言，串行接口一般延遲比較大，而并行接口可以做到更低延遲，但也會消耗更多的Die-to-Die互連管腳，而且因為要盡量保證多組管腳之間延遲的一致，所以每個管腳不易做到高速率。

可以看到，這些芯片巨頭們在積極探索Chiplet技術(shù)，但同時大家又各自為戰(zhàn)，推動自己的高速互聯(lián)協(xié)議標準。

目前市面上部分現(xiàn)有互聯(lián)標準對比如下：

有觀點指出，不同工藝、功能和封裝的芯片之間沒有統(tǒng)一的通信接口，會造成嚴重的資源浪費。

對此，清華大學交叉信息研究院助理教授、北極雄芯創(chuàng)始人馬愷聲向筆者表示，在不同應(yīng)用場景中Chiplet的組合形式可能是多樣化的，例如需要傳輸?shù)臄?shù)據(jù)形態(tài)及特點、對延遲/誤碼等指標的容忍度、對封裝的要求、量產(chǎn)成本的考慮等可能均有所不同，因此Die to Die接口作為芯粒之間實現(xiàn)數(shù)據(jù)傳輸?shù)摹皹蛄骸保赡茉诓煌瑧?yīng)用場景中亦有不同的優(yōu)化方向。

他指出，我們看到業(yè)界所謂“各自為戰(zhàn)”的狀態(tài)，其實更本質(zhì)反映的是不同產(chǎn)品場景互聯(lián)的差異化需求；比如蘋果在M1/M2 Ultra上自研的Ultrafusion方案、英偉達的NVLink方案等等都是芯片廠商與封裝廠商共同深度研發(fā)的成果，但目前也均以滿足自身產(chǎn)品性能需求為首要目的。不同的互聯(lián)標準，在信號模式、傳輸速率及帶寬、封裝規(guī)格等方面均有所不同，背后均體現(xiàn)了在特定領(lǐng)域優(yōu)化的方向。

在眾多互聯(lián)標準中，Intel提出的通用Chiplet互聯(lián)標準UCIe成為行業(yè)中比較受關(guān)注的焦點。

對此，筆者在前面文章《Chiplet，邁出重要一步！》中有過介紹：UCIe旨在芯片封裝層面確立互聯(lián)互通的統(tǒng)一標準，以幫助在整個半導體行業(yè)建立一個開放的小芯片生態(tài)系統(tǒng)。

UCIe是一種分層協(xié)議，它指定了物理層、die-to-die適配層和協(xié)議層：

UCIe標準的推出旨在助力Chiplet從“清談”向“實操”邁進，從“各家各戶自說自話”向“組隊廝殺邁進”。希望巨頭們合力搭建起統(tǒng)一的Chiplet互聯(lián)標準，讓終端使用者打造SoC芯片時，可以自由搭配來自多個廠商生態(tài)系統(tǒng)中的小芯片，加速推動開放的Chiplet平臺發(fā)展。

但從目前實際進展來看，幾乎所有基于Chiplet設(shè)計的共同點是它們都是在一家公司內(nèi)完成的。這與每個人都希望能夠從小芯片商店（Chiplet store）的貨架上挑選他們想要的小芯片，然后通過SiP封裝來工作的理想情況相差甚遠。

從行業(yè)現(xiàn)狀來看，無論是UCIe，還是其他互聯(lián)方案，仿佛都未能承擔起Chiplet互聯(lián)接口標準化“橋梁”的角色，小芯片商店的夢想還很遙遠。

北極雄芯在接受筆者采訪時也表示，UCIe標準協(xié)議推出的現(xiàn)時意義在于兩個方面：一是眾多一線大廠的入局推動后摩爾時代技術(shù)路線的走向，二是為眾多芯片設(shè)計廠商在Chiplet架構(gòu)上帶來了一個可選的方案。初期的助力效應(yīng)是明顯的，我們已經(jīng)看到一些企業(yè)從UCIe接口IP、封裝方案等不同維度開始投入研發(fā)，但產(chǎn)業(yè)生態(tài)的成熟需要歷經(jīng)必不可少的周期迭代。

同時，基于UCIe依賴先進工藝、互連距離約束大等限制因素，UCIe可以在小圈子、限定場景內(nèi)有一定的統(tǒng)一性，但難以直接適用于整個Chiplet生態(tài)上。

馬愷聲指出，從目前現(xiàn)狀來看，業(yè)界圍繞UCIe開展的工作少之又少，基本還是處于“各自為戰(zhàn)”的狀態(tài)，一方面是目前沒有成熟的IP，就算有也是部分海外IP廠商只有5nm和3nm現(xiàn)成的IP；另一方面本來做Chiplet的公司也不多，就算是Intel自家的服務(wù)器芯片Sapphire Rapids，也是內(nèi)部閉源的并口，以及今年在Hot Chips上展示的硅光互連芯片，與共封裝的光接口互連是基于他們內(nèi)部更成熟的AIB方案。

可見，無論是基于什么標準，我們下一步需要看到可用的接口方案逐步推出，以及越來越多的芯片設(shè)計公司把這些標準下的接口用起來，才能真正形成行業(yè)互聯(lián)規(guī)范。

Chiplet技術(shù)的關(guān)鍵除了互連，還在于封裝。

隨著Chiplet技術(shù)的發(fā)展終究會使小芯片間的互聯(lián)達到更高的密度，要應(yīng)對先進封裝功能和密度的不斷提升，散熱、應(yīng)力和信號傳輸?shù)榷际侵卮蟮目简?。目前頭部的IDM廠商、晶圓代工廠以及封測企業(yè)都在積極推動不同類型的先進封裝技術(shù)，以搶占這塊市場。

在芯片尺寸不斷增大、架構(gòu)變得復雜的情況下，封裝結(jié)構(gòu)由原先的二維發(fā)展至三維。按封裝介質(zhì)材料和封裝工藝劃分，Chiplet的實現(xiàn)方式主要包括以下幾種：MCM、2.5D封裝、3D封裝。目前臺積電擁有CoWoS/InFO、英特爾擁有EMIB、Fovores 3D等，Chiplet使用的先進封裝多種多樣，且新的封裝形式和結(jié)構(gòu)還在不斷演進。

但是在高性能、短距離互連領(lǐng)域，一般要通過Interposer（中介層）或者Silicon Bridge（硅橋）進行互連，封裝成本比較高。

例如，在片間互連中的高線密度可能要求使用支持高線密度的基板或橋接技術(shù)。高帶寬存儲器(HBM)的啟用可能是這一趨勢的最好證明——因為HBM只能與ASIC集成在同一個封裝中，而且此時只能在2.5D的硅中間層配置中集成。

雖然硅基封裝技術(shù)已經(jīng)發(fā)展為批量制造解決方案，但成本和復雜性可能會阻止它們成為大多數(shù)低端應(yīng)用的解決方案。

Chiplet互連技術(shù)，迎來新突破

迄今為止，業(yè)界領(lǐng)先的小芯片互連需要先進封裝和昂貴的硅中介層。

而Eliyan憑借其Nulink技術(shù)，可以為die-to-die互聯(lián)在各種封裝襯底上提供功耗、性能和成本的優(yōu)勢方案。因為這種PHY接口可以讓不同的裸片直接在有機襯底上實現(xiàn)高速互聯(lián)，而不必采用CoWoS、EMIB或硅中介層等昂貴的先進封裝方式，在降低成本的同時加速產(chǎn)品制造周期。

左邊是當今常見的使用硅中介層的Chiplet互連方法；右邊是Eliyan的NuLink技術(shù)，可以以卓越的帶寬實現(xiàn)小芯片互連，而無需硅中介層。

可見，NuLink通過簡化系統(tǒng)設(shè)計降低了系統(tǒng)成本。更重要的是，Eliyan可以增加芯片之間的距離，對于生成式AI，NuLink為每個ASIC提供更多的HBM內(nèi)存，從而提高了配備HBM的GPU和ASIC的內(nèi)存密集型應(yīng)用程序的性能。

Eliyan最近還展示了其NuLink PHY的第一個工作芯片，該芯片采用5nm標準制造工藝實現(xiàn)，可以讓Chiplet與不同工藝的裸片實現(xiàn)混搭，不需要硅中介層等先進封裝技術(shù)。

NuGear消除了對大型硅中介層的需求

該芯片符合現(xiàn)有的UCIe規(guī)范，并且能夠超越當前規(guī)范的范圍，以40Gbps的速度運行，在標準有機封裝上以130um節(jié)距提供超過 2.2Tbps/mm的帶寬，同時滿足嚴格的功耗和面積要求目標。高面積效率的NuLink PHY受到凸塊限制，一旦在可用的標準封裝技術(shù)上以更精細的凸塊間距實現(xiàn)，利用其創(chuàng)新的干擾消除技術(shù)，可以提供高達3Tbps/mm的傳輸速度。

Eliyan CEO Farjadrad指出：“如今業(yè)內(nèi)的一大需求是能夠獲得足夠大的中介層，這樣就可以構(gòu)建越來越大的GPU或TPU，并帶有大內(nèi)存。”

有業(yè)內(nèi)人士表示，硅中介層的最大尺寸約為3300mm2，考慮到處理技術(shù)的尺寸限制，現(xiàn)在每個SoC只能使用6個HBM3塊。而Nulink有機基板的尺寸可以達到原來的三四倍，同時提供相同或更好的功率效率和帶寬。這導致成本更低、制造速度更快，每個封裝的計算能力更強。

例如，NVIDIA可以提供具有40GB和80GB HBM兩種型號的A100 GPU，并表明較大的內(nèi)存可提供3倍的性能優(yōu)勢。利用NuLink可將HBM數(shù)量增加兩倍，達到160GB。假設(shè)AI訓練中的內(nèi)存優(yōu)勢呈線性擴展，采用NuLink的性能將再次提高三倍。

與此同時，NuLink還為HBM DRAM提供卓越的散熱性能，消除了HBM-ASIC之間的熱串擾，允許ASIC時鐘速度提高20%，以及更簡單/低成本的冷卻。

總結(jié)來看， Eliyan消除了對先進封裝的需求，例如小芯片設(shè)計中的硅中介層尺寸有限、成品率低、成本高、難以冷卻、供應(yīng)鏈有限等所有相關(guān)限制和復雜性。NuLink技術(shù)能夠?qū)崿F(xiàn)DRAM擴展、節(jié)約材料成本、提高產(chǎn)量并縮短芯片上市時間等優(yōu)勢。

Eliyan認為，其小芯片互連產(chǎn)品可以超越英特爾和臺積電等芯片巨頭的先進封裝技術(shù)，或者有望成為英特爾、臺積電的最佳選擇，從而實現(xiàn)下一波高性能芯片架構(gòu)。NVIDIA、Intel、AMD和Google等公司可以授權(quán)NuLink IP，或從Eliyan購買NuGear小芯片，以消除硅中介層尺寸限制帶來的性能瓶頸，使他們能夠?qū)崿F(xiàn)更高性能的AI和HPC SoC。

目前Eliyan已從英特爾投資和美光資本等投資者那里籌集了4000萬美元的A輪融資，用于開發(fā)和提高NuLink芯片間互連技術(shù)的產(chǎn)量。

北極雄芯對于Eliyan的創(chuàng)新技術(shù)表示認同，從大趨勢來說，這個技術(shù)是很直觀且正確的方向之一，由于帶寬=線數(shù)×線速，當線的速率較高時，就可以減少對互連線密度的需求，從而可以從2.5D的封裝要求切換到2D上。北極雄芯的D2D互連也是這樣的出發(fā)點。

但馬愷聲也強調(diào)：“針對Eliyan的方案也還是有額外的考慮。HBM傳統(tǒng)是下圖的方式：基于HBM PHY，然后在Interposer上與HBM Stack互連，互連具體位置在HBM Stack底部的一顆Base Die，上面有HBM PHY與SoC芯片的PHY互連。由于互連線數(shù)多達1024根線，所以在HBM方案誕生時就采用Interposer 2.5D的封裝來提供40μm級別的互連密度。而當采用2D封裝，必然需要增大線速來換取更低的線密度需求。但速率的增加對于PHY的設(shè)計會引入顯著的額外延時和能耗?！?/p>

因此，Eliyan的方案是維持了帶寬的性能，但是犧牲了HBM低延時、低能耗的優(yōu)勢。此外，它這種方式需要重新設(shè)計HBM的Base Die，這對于方案的推廣也是存在難題。

綜合來看，無論是哪種互聯(lián)技術(shù)，都各有優(yōu)劣，都需要根據(jù)實際需求來進行設(shè)計和選擇。因為在實際應(yīng)用領(lǐng)域中，不同場景的數(shù)據(jù)傳輸特點帶來對所采用接口技術(shù)及封裝技術(shù)的較大需求差異。例如：

CPU等通用計算場景中，數(shù)據(jù)傳輸具有隨機性高、數(shù)據(jù)流結(jié)構(gòu)差異大、緩存一致性要求高等特點，因此在CPU Chiplet集成中往往極為重視對延遲等指標的優(yōu)化，采用并口傳輸方案，大規(guī)模走線較為依賴先進封裝技術(shù)的配套支持。

在GPGPU等面向服務(wù)器領(lǐng)域的通用并行計算場景中，數(shù)據(jù)傳輸具有單次量大、數(shù)據(jù)流結(jié)構(gòu)可預知性高、可提前搬運預載等特點，因此在Chiplet集成中需要重點對帶寬等指標進行優(yōu)化，可采用并口或串口方案，對先進封裝亦有較高的依賴。

而在特定AI加速場景中，又需綜合考慮成本敏感度、作業(yè)環(huán)境等各方面要求，采用不同的接口技術(shù)及封裝方案以滿足終端用戶的差異化的需求：如以智能駕駛領(lǐng)域為例，先進封裝方案往往并不滿足車規(guī)要求，而且量產(chǎn)成本也較高，在采用Chiplet異構(gòu)集成時往往需考慮在成熟封裝方案基礎(chǔ)上反過來優(yōu)化相應(yīng)的D2D技術(shù)。

馬愷聲強調(diào)，Chiplet互聯(lián)技術(shù)應(yīng)當基于場景需求及供應(yīng)鏈成熟度去不斷迭代升級，并不一定是追求一個大一統(tǒng)的標準。Chiplet發(fā)展的過程中，產(chǎn)業(yè)里面會有不同的公司從芯粒設(shè)計、標準開發(fā)、封裝技術(shù)等角度參與進來，最終需要真正解決下游商業(yè)痛點問題，又能兼顧性能、成本等各方面因素，自然就成為了行業(yè)標準。

而在這個過程中，也給國內(nèi)企業(yè)帶來了新的發(fā)展機遇，近年來也有廠商在此展開動作。

比如：芯動科技推出了國產(chǎn)自主標準的INNOLINK Chiplet IP和HBM2E等高性能計算平臺技術(shù)，支持高性能CPU/GPUINPU芯片和服務(wù)器；為了讓IP更具象、更靈活的被應(yīng)用在Chiplet里面，芯原提出了IP as a Chip (laaC) 的理念，旨在以Chiplet實現(xiàn)特殊功能IP從軟到硬的"即插即用”，降低較大規(guī)模芯片的設(shè)計時間和風險。

此外，早在2020年北極雄芯即與國內(nèi)上下游共同發(fā)起了“中國Chiplet產(chǎn)業(yè)聯(lián)盟”，聯(lián)盟在2023年初推出了基于國產(chǎn)封裝供應(yīng)鏈優(yōu)化的《芯?；ヂ?lián)接口標準》，旨在為GPU、AI、大型SoC等高性能異構(gòu)集成芯片提供高性能、低成本的互聯(lián)方案，目前首個接口已經(jīng)回片測試成功。

對于國內(nèi)企業(yè)應(yīng)該如何更好地參與Chiplet產(chǎn)業(yè)生態(tài)，北極雄芯認為，國內(nèi)企業(yè)應(yīng)基于國內(nèi)較大的市場需求，立足于“自主可控”供應(yīng)鏈的Chiplet商業(yè)落地模式更加符合現(xiàn)實客觀環(huán)境。在產(chǎn)業(yè)上下游共同推動國內(nèi)Chiplet產(chǎn)業(yè)生態(tài)的建立，而在這個鏈條中Chiplet芯片設(shè)計公司的作用至關(guān)重要。設(shè)計公司最貼近下游客戶的需求，能夠綜合考慮下游場景的性能、功耗、成本敏感度等因素，準確的定義各類“芯?！碑a(chǎn)品，從而反過來與上游IP廠商、晶圓廠商、封裝廠商、基板廠商共同推動供應(yīng)鏈迭代升級，實現(xiàn)“自主可控”的國內(nèi)Chiplet產(chǎn)業(yè)生態(tài)，更具有現(xiàn)實意義。

結(jié)語

據(jù)Gartner數(shù)據(jù)統(tǒng)計，基于Chiplet的半導體器件銷售收入在2020年僅為33億美元， 2022年已超過100億美元，預計2023年將超過250億美元，2024年將達到505億美元，復合年增長率高達98%，市場空間巨大。

基于Chiplet的異構(gòu)集成芯片技術(shù)代表了“后摩爾時代”復雜芯片設(shè)計的研制方向。Chiplet這種將芯片性能與工藝制程相對解耦的技術(shù)為集成電路技術(shù)的發(fā)展開辟了一個新的發(fā)展路徑。

但作為一種新興技術(shù)，Chiplet當前正處于發(fā)展階段，能否成為一種新的IP產(chǎn)品和商業(yè)模式，甚至拯救摩爾定律的救星，關(guān)鍵就在于業(yè)界能否達成統(tǒng)一的Chiplet互聯(lián)標準，建立起來一個開放和標準化的Chiplet生態(tài)。

在這個過程中，中國Chiplet學術(shù)界和產(chǎn)業(yè)界應(yīng)抓住機會，在技術(shù)研發(fā)和標準制定方面加大投入，盡快掌握核心技術(shù)。此外，芯片行業(yè)參與者需要避免單打獨斗，應(yīng)注重生態(tài)建設(shè)，早日建立業(yè)界接受的基于Chiplet的異構(gòu)集成技術(shù)標準，以便在未來國際競爭中占據(jù)一席之地。