技術(shù)與計(jì)算負(fù)載如何驅(qū)動(dòng)多芯片系統(tǒng)

為了解決未來(lái)應(yīng)用的算力需求，半導(dǎo)體產(chǎn)業(yè)內(nèi)的IP與工藝創(chuàng)新仍在持續(xù)發(fā)展，如今多晶片（multi-die）系統(tǒng)已經(jīng)變得愈發(fā)普遍。然而，負(fù)載需求已經(jīng)開(kāi)始影響到計(jì)算陣列、內(nèi)存以及DDR、HBM和UCIe的帶寬等，因?yàn)樾乱淮?a href="http://ttokpm.com/v/tag/1751/" target="_blank">硬件都已轉(zhuǎn)為面向未來(lái)的AI負(fù)載設(shè)計(jì)。

真正驅(qū)動(dòng)多芯片系統(tǒng)發(fā)展的因素

? ? SoC性能一直在迭代升級(jí)，多核設(shè)計(jì)在推動(dòng)性能提升上的重要性也是被廣泛討論的話(huà)題之一，因?yàn)椤暗羌{德縮放定律”(Dennard scaling)也被視為即將迎來(lái)終結(jié)（圖1）。

圖1：SoC性能的迭代升級(jí)

即便忽略這一趨勢(shì)，為了滿(mǎn)足性能需求，晶圓代工廠(chǎng)持續(xù)推進(jìn)下一代工藝節(jié)點(diǎn)，使其實(shí)現(xiàn)更高的頻率和更高的邏輯密度從而集成更多的處理單元，同時(shí)減少功耗面積。這一持續(xù)創(chuàng)新的趨勢(shì)可見(jiàn)圖2。

圖2：最新的IMEC工藝節(jié)點(diǎn)路線(xiàn)預(yù)測(cè)圖

除了工藝節(jié)點(diǎn)的創(chuàng)新外，多核架構(gòu)和處理器陣列也在積極克服性能迭代提升的問(wèn)題。然而，無(wú)論是多核架構(gòu)的創(chuàng)新，還是工藝節(jié)點(diǎn)的迭代升級(jí)，兩者都需要一個(gè)新的多芯片系統(tǒng)架構(gòu)。解決內(nèi)存墻的問(wèn)題無(wú)疑是多芯片系統(tǒng)的主要驅(qū)動(dòng)需求之一（見(jiàn)圖3）。下圖向我們展示了內(nèi)存密度正以每?jī)赡攴兜乃俣仍鲩L(zhǎng)，而工作負(fù)載所需的內(nèi)存密度正以每?jī)赡攴?40倍的速度增長(zhǎng)。如需了解更多詳情，可以瀏覽發(fā)表在Medium上的《AI與內(nèi)存墻》一文。

圖3：訓(xùn)練先進(jìn)模型所需的算力（單位Peta FLOPs），用來(lái)訓(xùn)練SOTA模型，包括不同的CV、NLP和語(yǔ)音模型，以及不同Transformer模型的規(guī)模擴(kuò)展速度（兩年翻750倍）；同時(shí)包括所有模型的平均規(guī)模擴(kuò)展速度（2年翻15倍）。

為了滿(mǎn)足內(nèi)存帶寬方面的性能需求，我們已經(jīng)看到當(dāng)前片外內(nèi)存市場(chǎng)被高帶寬內(nèi)存（HBM）等新技術(shù)所顛覆。業(yè)界已經(jīng)看到HBM3成為HPC市場(chǎng)的主流。這一革新仍將繼續(xù)，因?yàn)?HBM 有一個(gè)很好的未來(lái)性能提升路線(xiàn)圖。 遺憾的是，以上所表述的內(nèi)存墻僅限于片外內(nèi)存，而片上內(nèi)存系統(tǒng)在如今大多數(shù)SoC設(shè)計(jì)中都起到了至關(guān)重要的作用，所以不久的將來(lái)，這一行業(yè)的革新同樣不可避免。

當(dāng)下的設(shè)計(jì)重心

AI與安全相關(guān)的負(fù)載計(jì)算量正在急劇地提升，這也推動(dòng)了不少頻率提升之外的片上性能創(chuàng)新。其中絕大多數(shù)創(chuàng)新都集中在負(fù)載所需的處理器上。例如人工智能算法推動(dòng)了大規(guī)模乘法累加并行運(yùn)算以及創(chuàng)造性嵌套循環(huán)的設(shè)計(jì)，在減少了運(yùn)算周期的同時(shí)提高了單個(gè)周期完成的工作量。

不過(guò)，這些負(fù)載也需要更大的內(nèi)存密度來(lái)存儲(chǔ)權(quán)重、系數(shù)和訓(xùn)練數(shù)據(jù)。這就推動(dòng)了更大容量和更高帶寬的片上與片外內(nèi)存的出現(xiàn)。在片外內(nèi)存方面，業(yè)界已經(jīng)迅速普及了新一代的HBM、DDR和LPDDR內(nèi)存。然而，芯片供應(yīng)商最大的差異化方案還是體現(xiàn)在片上內(nèi)存配置上。例如，在AI加速器領(lǐng)域，每個(gè)供應(yīng)商都在力求在全局SRAM和緩存上集成更高帶寬和更高密度的內(nèi)存。利用特殊方法優(yōu)化每個(gè)處理單元的內(nèi)存配置，也是這一創(chuàng)新難題中最關(guān)鍵的一環(huán)。

從SoC性能提升退一步看，業(yè)界面臨的另一大問(wèn)題就是云端AI系統(tǒng)的功耗。圖4展示了谷歌數(shù)據(jù)中心的耗電量。顯而易見(jiàn)，設(shè)計(jì)出具備更高能效CPU的SoC是至關(guān)重要的，多家SoC初創(chuàng)公司都公開(kāi)宣傳其AI處理器其的高效性，并聲稱(chēng)可以解決這一問(wèn)題。但是，整體的系統(tǒng)性能還應(yīng)該將片外內(nèi)存計(jì)算在內(nèi)，比如DRAM的功耗往往占總功耗的18%。由于HBM的pJ/bit冠絕群雄，所以在設(shè)計(jì)中采用更低功耗的HBM越來(lái)越普遍。

圖4：谷歌數(shù)據(jù)中心耗電量

回到性能的話(huà)題上來(lái)，在討論更為廣泛的SoC系統(tǒng)時(shí)，AI加速器的片上競(jìng)爭(zhēng)點(diǎn)很明顯，往往都是如何在每一代產(chǎn)品中集成比競(jìng)品更多的SRAM和緩存。例如，英偉達(dá)等市場(chǎng)主導(dǎo)者會(huì)積極采用最新的工藝技術(shù)，每一代產(chǎn)品都集成了更大的二級(jí)緩存和更高的全局SRAM密度，以獲得AI負(fù)載下更高的性能。

針對(duì)AI負(fù)載進(jìn)行芯片設(shè)計(jì)的額外的挑戰(zhàn)

? ? 當(dāng)針對(duì)AI負(fù)載進(jìn)行芯片設(shè)計(jì)時(shí)，還有幾個(gè)因素是需要納入考量的。其中一個(gè)老生常談的問(wèn)題是內(nèi)存帶寬。許多AI SoC芯片供應(yīng)商將內(nèi)存帶寬作為關(guān)鍵的性能指標(biāo)。然而，內(nèi)存帶寬還需要結(jié)合更多因素來(lái)看。比如，從全局內(nèi)存訪(fǎng)問(wèn)數(shù)據(jù)所需的周期數(shù)可能是二級(jí)緩存的 1.9倍，而二級(jí)緩存所需的周期數(shù)幾乎是一級(jí)緩存的6倍，以下數(shù)據(jù)來(lái)源于英偉達(dá)Ampere GPU的測(cè)試數(shù)據(jù)。

全局內(nèi)存訪(fǎng)問(wèn)（最高80GB）：~380周期

L2緩存：~200周期

L1緩存或共享內(nèi)存訪(fǎng)問(wèn)（每個(gè)流處理器最高128kb）：~34周期

乘加運(yùn)算，a*b+c（FFMA）：4周期

向量核心矩陣乘法運(yùn)算：1周期

因此，要想提高這些負(fù)載的性能，在前幾代系統(tǒng)中進(jìn)一步提高L1和L2緩存就非常重要了。對(duì)于具有大規(guī)模處理并行性的AI計(jì)算負(fù)載而言，提高接近處理單元的緩存密度是最高效的設(shè)計(jì)改進(jìn)之一。 片上系統(tǒng)內(nèi)存優(yōu)化的另一種方法則涉及AI算法相關(guān)的特定知識(shí)。例如，根據(jù)這些AI算法的最大中間激活值來(lái)設(shè)計(jì)本地內(nèi)存。這就消除了片上傳輸數(shù)據(jù)的瓶頸。這種方法更適合用于邊緣側(cè)，因?yàn)檐浻布f(xié)同設(shè)計(jì)將決定效率的高低?？上У氖?，這就需要對(duì)終端應(yīng)用有著足夠深入的了解。同樣，這類(lèi)系統(tǒng)的建?？稍谔岣哂布阅苌习l(fā)揮關(guān)鍵作用，而新思恰好在為開(kāi)發(fā)者提供解決方案上具備得天獨(dú)厚的優(yōu)勢(shì)。

下一輪創(chuàng)新的側(cè)重點(diǎn)是什么？

? ? 我們已經(jīng)討論了采用DDR/LDDRP和HBM等片外內(nèi)存接口來(lái)提高內(nèi)存帶寬，但這些技術(shù)還無(wú)法跟上芯片內(nèi)集成的AI處理器算力。片外內(nèi)存的發(fā)展差距正在明顯地?cái)U(kuò)大。Meta在近年的一次OCP峰會(huì)上指出了這一趨勢(shì)（圖5）。

圖5：不斷增加的片外內(nèi)存性能差距

接口 IP 標(biāo)準(zhǔn)最近在下一代標(biāo)準(zhǔn)的進(jìn)步方面有所上升，以跟上這種性能差距。例如，下一代標(biāo)準(zhǔn)接口通常每四年發(fā)布一次，最近又加快到每?jī)赡臧l(fā)布一次。AI和安全工作負(fù)載的出現(xiàn)有助于更快地采用下一代技術(shù)。

圖6：下一代標(biāo)準(zhǔn)的發(fā)布速度逐漸加快，用于補(bǔ)全性能差距。

處理單元與內(nèi)存的差距不僅體現(xiàn)在片外內(nèi)存的進(jìn)步上，也體現(xiàn)在了片上內(nèi)存的革新上。仔細(xì)觀察工藝節(jié)點(diǎn)的演進(jìn)，我們可以發(fā)現(xiàn)三類(lèi)持續(xù)創(chuàng)新（表1）

先進(jìn)晶圓代工廠(chǎng)（如臺(tái)積電）每一代處理器的最高頻率都在提升，且他們開(kāi)發(fā)的16nm、7nm、3nm等工藝節(jié)點(diǎn)也在逐漸提高性能

每個(gè)工藝節(jié)點(diǎn)的功耗都會(huì)降低25%以上

更高的邏輯密度意味著每mm2上可集成更多的處理器，如下表所示，其密度增加了40%以上。

表1.工藝節(jié)點(diǎn)演進(jìn)帶來(lái)的革新

然而，正在放緩的創(chuàng)新是代工廠(chǎng)提供的片上SRAM/緩存等的密度改進(jìn)。規(guī)模的削減可能已經(jīng)放緩。這種減慢甚至表明，從5nm節(jié)點(diǎn)遷移到3nm節(jié)點(diǎn)可能會(huì)看到SRAM密度的輕微降低或沒(méi)有降低。這給未來(lái)的計(jì)算帶來(lái)了一個(gè)問(wèn)題，因?yàn)槿斯ぶ悄芄ぷ髫?fù)載需要每個(gè)處理元素更高效、更高密度的內(nèi)存。新思科技專(zhuān)注于這一市場(chǎng)挑戰(zhàn)，以確保在每個(gè)節(jié)點(diǎn)遷移時(shí)提高內(nèi)存的密度。

除了改善片上內(nèi)存之外，改善這種計(jì)算與內(nèi)存比的另一種方法是在分布式計(jì)算和內(nèi)存系統(tǒng)架構(gòu)中擴(kuò)展這些片上存儲(chǔ)。為了提高性能，未來(lái)的架構(gòu)必須利用多芯片系統(tǒng)，以滿(mǎn)足單個(gè)芯片上正確的處理器和內(nèi)存比的需求，并將該性能擴(kuò)展到復(fù)雜系統(tǒng)中的多芯片系統(tǒng)中。

UCIe和XSR標(biāo)準(zhǔn)的出現(xiàn)，填補(bǔ)了連接多個(gè)裸片擴(kuò)展性能的可靠標(biāo)準(zhǔn)方案空白。AI加速器產(chǎn)業(yè)幾乎都在這類(lèi)負(fù)載中用到了die-to-die互聯(lián)技術(shù)。UCIe是一種標(biāo)準(zhǔn)的并行die-to-die接口，在目前性能領(lǐng)先的multi-die系統(tǒng)中，UCIe正迅速成為主流接口。最重要的是，這些die-to-die互聯(lián)標(biāo)準(zhǔn)已經(jīng)普及到了嵌入式內(nèi)存，性能明顯優(yōu)于供特定處理單元訪(fǎng)問(wèn)的外部?jī)?nèi)存。這也是各大企業(yè)競(jìng)相角逐性能最高密度最高的嵌入式內(nèi)存陣列的原因，即為了滿(mǎn)足未來(lái)持續(xù)增長(zhǎng)的負(fù)載需求。 性能顯然是下一代單片SoC和多芯片（multi-die）系統(tǒng)架構(gòu)創(chuàng)新的主要驅(qū)動(dòng)力。

為了進(jìn)一步提高性能，業(yè)界開(kāi)發(fā)出了獨(dú)特而創(chuàng)新的AI處理器。未來(lái)的工藝節(jié)點(diǎn)為實(shí)現(xiàn)更高的處理單元密度提供了可能，所以性能的提升不可避免。然而，內(nèi)存性能也必須得到提升。最高效的內(nèi)存永遠(yuǎn)是那些布局臨近處理單元的。為了更好地?cái)U(kuò)展這些未來(lái)SoC的性能，除了靠新接口IP標(biāo)準(zhǔn)提高帶寬外，還將利用multi-die系統(tǒng)架構(gòu)。下一代接口IP比如HBM3和UCIe等都將用于提高帶寬，但創(chuàng)新型的嵌入式內(nèi)存同樣不可或缺，以便在每一代工藝節(jié)點(diǎn)上擴(kuò)展性能。

結(jié)語(yǔ)

多芯片系統(tǒng)（Multi-Die System）是業(yè)界熱度最高的話(huà)題之一。然而，要想滿(mǎn)足當(dāng)下AI與安全負(fù)載需求，解決內(nèi)存技術(shù)挑戰(zhàn)必將推動(dòng)下一代SoC架構(gòu)的創(chuàng)新。隨著工藝節(jié)點(diǎn)的演進(jìn)，這些架構(gòu)需要更高的性能和更高的內(nèi)存密度。如果內(nèi)存的擴(kuò)展速度慢于處理單元，但負(fù)載卻要求更高的內(nèi)存密度，那么就必須打造顛覆性的內(nèi)存技術(shù)。一個(gè)明確的解決方案就是多芯片系統(tǒng)（Multi-Die System），充分利用更多高帶寬和高密度的片上內(nèi)存。這些內(nèi)存與IO創(chuàng)新將得到快速應(yīng)用，以滿(mǎn)足未來(lái)負(fù)載的需求，并為即將到來(lái)的行業(yè)革新帶來(lái)機(jī)遇。