Nvidia AI芯片GPU架構(gòu)路線圖分析與解讀

Nvidia AI芯片路線圖分析與解讀、Nvidia芯片工藝洞察和推演、Nvidia AI芯片架構(gòu)分析。 基于以下兩個前提：每一代AI芯片的存儲、計算和互聯(lián)比例保持大致一致，且比上一代提升1.5到2倍以上；工程工藝演進是漸進且可預(yù)測的，不存在跳變，至少在2025年之前不會發(fā)生跳變。因此，可以對2023年的H100、2024年的B100和2025年的X100的架構(gòu)進行推演總結(jié)。

對于工程工藝的基本假設(shè)如下：到2025年，工藝將保持在3nm水平，但工藝演進給邏輯器件帶來的收益預(yù)計不會超過50%。同時，先進封裝技術(shù)預(yù)計將在2025年達到6倍 Reticle面積的水平。此外，HBM內(nèi)存容量也將繼續(xù)增長，預(yù)計在2024年將達到24GB，而在2025年將達到36GB。 在上述前提假設(shè)條件下，針對H100/H200, B100, X100 GPU可以得到如下推演結(jié)論： ? ?

1. H200是基于H100的基礎(chǔ)上從HBM3升級到HBM3e，提升了內(nèi)存的容量和帶寬。? ??

2. B100將采用雙Die架構(gòu)。如果采用異構(gòu)Die合封方式，封裝基板面積將小于當(dāng)前先進封裝4倍Reticle面積的約束。而如果采用計算Die和IO Die分離，同構(gòu)計算Die和IO Die合封的方式，封裝基板面積將超出當(dāng)前先進封裝4倍Reticle面積的約束。如果采用計算Die和IO Die分離，同構(gòu)計算Die和IO Die分開封裝的方式，則可以滿足當(dāng)前的工程工藝約束?？紤]到B100 2024年推出的節(jié)奏，以及計算Die在整個GPU芯片中的成本占比并不高，因此用異構(gòu)Die合封方式的可能性較大。 ? ?

3. 如果X100采用單Socket封裝，四個異構(gòu)Die合封裝的方式，需要在計算Die上堆疊HBM，同時需要先進封裝的基板達到6倍Reticle面積。但是，如果采用SuperChip超級芯片的方式組成雙Socket封裝模組，可以避免計算Die上堆疊HBM，并放松對先進封裝基板面積的要求，此時需要對NVLink C2C的驅(qū)動能力做增強。

?

? 基于B100雙Die架構(gòu)，采用雙Socket板級3D擴展可以實現(xiàn)與X100同等的算力。類似的方法也可以應(yīng)用到X100中進一步擴展算力。板級擴展可以降低對工程工藝的要求，以較低的成本實現(xiàn)算力擴展。雖然基于人們對于先進封裝的Chiplet芯粒架構(gòu)充滿了期待，但是其演進速度顯然無法滿足AI計算系統(tǒng)“三年三個數(shù)量級”的增長需求?[33]。在AI計算領(lǐng)域基于先進封裝Die間互聯(lián)Chiplet芯粒架構(gòu)，很可能因為無法滿足AI計算領(lǐng)域快速增長的需求而面臨“二世而亡”的窘境，業(yè)界需要重新尋找旨在提升AI算力的新技術(shù)路徑，比如SuperChip超級芯片和SuperPOD超節(jié)點。因此，類似于NVLink C2C的低時延、高可靠、高密度的芯片間互聯(lián)技術(shù)在未來AI計算芯片的Scale Up算力擴展中將起到至關(guān)重要的作用；面向AI集群Scale Out算力擴展的互聯(lián)技術(shù)也同等重要。這兩中互聯(lián)技術(shù)，前者是AI計算芯片算力擴展的基礎(chǔ)，而后者是AI計算集群算力擴展的基礎(chǔ)。

總結(jié)與思考

本文嘗試從第一性原理出發(fā)，對Nvidia的AI芯片發(fā)展路線進行了深入分析和解讀，并對未來的B100和X100芯片架構(gòu)進行了推演預(yù)測。并且，希望通過這種推演提取出未來AI計算系統(tǒng)對互聯(lián)技術(shù)的新需求。 本文以互聯(lián)技術(shù)為主線展開推演分析，同時考慮了芯片代際演進的性能提升需求和工程工藝約束。最終得出的結(jié)論是：在AI計算領(lǐng)域，基于先進封裝Die間互聯(lián)的Chiplet芯粒架構(gòu)無法滿足AI計算領(lǐng)域快速增長的需求，可能面臨“二世而亡”的窘境。低時延、高可靠、高密度的芯片間互聯(lián)技術(shù)在未來AI計算芯片的Scale Up算力擴展中將起到至關(guān)重要的作用；雖然未展開討論，同樣的結(jié)論也適用于面向AI集群Scale Out算力擴展的互聯(lián)技術(shù)。224G及以上代際中，面向計算集群的互聯(lián)技術(shù)也存在非常大的挑戰(zhàn)。需要明確指出的是，互聯(lián)技術(shù)并不是簡單地將芯片、盒子、機框連接起來的問題，它并不是一根連線而已，它需要在需求、技術(shù)、產(chǎn)業(yè)生態(tài)等各個方面進行綜合考慮，需要極具系統(tǒng)性的創(chuàng)新以及長時間的、堅持不懈的投入和努力。

除了互聯(lián)技術(shù)以外，通過對Nvidia相關(guān)技術(shù)布局的分析也引發(fā)了如下思考：

1.???真正的差異化競爭力源于系統(tǒng)性地、全面地掌握整個價值鏈中主導(dǎo)無法快速復(fù)制的關(guān)鍵環(huán)節(jié)。Nvidia在系統(tǒng)和網(wǎng)絡(luò)、硬件、軟件這三個方面占據(jù)了主導(dǎo)地位，而這三個方面恰恰是人工智能價值鏈中許多大型參與者無法有效或快速復(fù)制的重要部分。然而，要在這三個方面中的任何一方面建立領(lǐng)導(dǎo)地位都離不開長時間堅持不懈的投入和努力帶來的技術(shù)沉淀和積累。指望在一個技術(shù)單點形成突破，期望形成技術(shù)壁壘或者技術(shù)護城河的可能性為零。“重要且無法快速復(fù)制”是核心特征，其中“重要”更容易被理解，而“無法快速復(fù)制”則意味著“長時間堅持不懈的投入和努力”帶來的沉淀和積累，這是人們往往忽視的因素。

2.???開放的產(chǎn)業(yè)生態(tài)并不等同于技術(shù)先進性和競爭力。只有深入洞察特定領(lǐng)域的需求，進行技術(shù)深耕，做出差異化競爭力，才能給客戶帶來高價值，給自身帶來高利潤。Nvidia基于NVLink C2C的SuperChip超級芯片以及基于NVLink網(wǎng)絡(luò)的SuperPOD超節(jié)點就是很好的例子。真正構(gòu)筑核心競爭力的技術(shù)是不會開放的，至少在有高溢價的早期不會開放，比如Nvidia的NVLink和NVLink C2C技術(shù)，比如Intel的QPI和UPI。開放生態(tài)只是后來者用來追趕強者的借口（比如UEC），同時也是強者用來鞏固自己地位的工具（比如PCIE）。然而，真正的強者并不會僅僅滿足于開放生態(tài)所帶來的優(yōu)勢，而是會通過細分領(lǐng)域和構(gòu)筑特定領(lǐng)域的封閉生態(tài)，實現(xiàn)差異化競爭力來保持領(lǐng)先地位。

3.???構(gòu)筑特定領(lǐng)域的差異化競爭力與復(fù)用開放的產(chǎn)業(yè)生態(tài)并不矛盾。其關(guān)鍵在于要在開放的產(chǎn)業(yè)生態(tài)中找到真正的結(jié)合點，并能夠果斷地做出取舍，勇敢地拋棄不必要的負擔(dān)，只選擇開放產(chǎn)業(yè)生態(tài)中的精華部分，構(gòu)建全新的技術(shù)體系。為了構(gòu)筑特定領(lǐng)域的差異化競爭力，更應(yīng)該積極擁抱開放的產(chǎn)業(yè)生態(tài)，主動引導(dǎo)其發(fā)展以實現(xiàn)這種差異化。比如，InfiniBand與Ethernet在低時延方面的差異化并不是天生的，而是人為構(gòu)造出來的。兩者在基礎(chǔ)技術(shù)上是相同的。InfiniBand在25G NRZ代際以前抓住了低時延這一核心特征，摒棄跨速率代際兼容的需求，卸掉了技術(shù)包袱，并且在HPC領(lǐng)域找到了合適的戰(zhàn)場，因此在低時延指標(biāo)上一直碾壓Ethernet，成功實現(xiàn)了高品牌溢價。而InfiniBand在56G PAM4這一代際承襲了Ethernet的互聯(lián)規(guī)范，因此這種低時延上的競爭力就逐漸喪失了。人為制造差異化競爭力的典型例子還有：同時兼容支持InfiniBand和Ethernet的CX系列網(wǎng)卡和BlueField系列DPU；內(nèi)置在NVSwitch和InfiniBand交換機中的SHARP在網(wǎng)計算協(xié)議和技術(shù)；Nvidia基于NVLink C2C構(gòu)筑SuperChip超級芯片以及基于NVLink網(wǎng)絡(luò)構(gòu)筑SuperPOD超節(jié)點。

4.???“天下沒有免費的午餐”，這是恒古不變的真理和底層的商業(yè)邏輯。商業(yè)模式中的“羊毛出在狗身上，由豬買單”其實就是變相的轉(zhuǎn)移支付，羊毛終將是出在羊身上，只是更加隱蔽罷了。這一規(guī)律同樣適用于對復(fù)雜系統(tǒng)中的技術(shù)價值的判斷上。自媒體分析H100的BOM物料成本除以售價得到90%的毛利率是片面的，因為高價值部分是H100背后的系統(tǒng)競爭力，而不僅僅是那顆眼鏡片大小的硅片。這里包含了H100背后的海量的研發(fā)投入和技術(shù)積累。而隱藏在這背后的實際上是人才。如何對中長期賽道上耕耘的人提供既緊張又輕松的研究環(huán)境，使研究人員能安心與具有長期深遠影響的技術(shù)研究，是研究團隊面臨的挑戰(zhàn)和需要長期思考的課題。從公開發(fā)表的D2D和C2C相關(guān)文獻中可以看到，Nvidia在這一領(lǐng)域的研究投入超過十年，針對C2C互聯(lián)這一場景的研究工作也超過五年。在五到十年的維度上長期進行迭代研究，需要相當(dāng)強的戰(zhàn)略定力，同時也需要非常寬松的研究環(huán)境和持續(xù)的研究投入。

5.???在人工智能時代，通過信息不對稱來獲取差異化競爭力或獲得收益的可能性越來越低。這是因為制造信息不對稱的難度和代價不斷飆升，而其所帶來的收益卻逐漸減少。在不久的未來，制造信息不對稱的代價將會遠遠超過收益。妄圖通過壟斷信息而達到差異化的競爭力，浪費的是時間，而失去的是機會。隨著大模型的進一步演進發(fā)展，普通人可以通過人工智能技術(shù)輕松地獲取并加工海量的信息且不會被淹沒。未來的核心競爭力是如何駕馭包括人工智能在內(nèi)的工具，對未來技術(shù)走向給出正確的判斷。

6.???Nvidia并非不可戰(zhàn)勝，在激進的技術(shù)路標(biāo)背后也隱藏著巨大的風(fēng)險。如何向資本證明其在AI計算領(lǐng)域的能夠長期維持統(tǒng)治地位，保持長期的盈利能力，以維持其高股價、實現(xiàn)持續(xù)高速增長，極具挑戰(zhàn)性。一旦2025年發(fā)布的X100及其配套關(guān)鍵技術(shù)不及預(yù)期，這將直接影響投資者的信心。這是Nvidia必須面臨的資本世界的考驗，在這一點上它并沒有制度優(yōu)勢。在一些基礎(chǔ)技術(shù)層面，業(yè)界面臨的挑戰(zhàn)是一樣的。以互聯(lián)技術(shù)為例，用于AI計算芯片Scale Up算力擴展的C2C互聯(lián)技術(shù)，以及面向AI集群Scale Out算力擴展的光電互聯(lián)技術(shù)都存在非常大的挑戰(zhàn)。誰能在未來互聯(lián)技術(shù)演進的探索中，快速試錯，最快地找到最佳路徑，少犯錯誤，誰就抓住了先機。在未來的競爭中有可能實現(xiàn)超越。

作者：陸玉春

審核編輯：黃飛

?