GPU的歷史性時刻！

8月23日，GPU巨頭Nvidia發(fā)布了2023年二季度財報，其結(jié)果遠超預期?？傮w來說，Nvidia二季度的收入達到了135億美元，相比去年同期增長了101%；凈利潤達到了61億美元，相比去年同期增長了843%。Nvidia公布的這一驚人的財報一度在盤后讓Nvidia股票大漲6%，甚至還帶動了眾多人工智能相關(guān)的科技股票在盤后跟漲。

Nvidia收入在二季度如此大漲，主要靠的就是目前方興未艾的人工智能風潮。ChatGPT為代表的大模型技術(shù)從去年第三季度以來，正在得到全球幾乎所有互聯(lián)網(wǎng)公司的追捧，包括美國硅谷的谷歌、亞馬遜以及中國的百度、騰訊、阿里巴巴等等巨頭。而這些大模型能進行訓練和推理的背后，都離不開人工智能加速芯片，Nvidia的GPU則是大模型訓練和推理加速目前的首選方案。由于個大科技巨頭以及初創(chuàng)公司都在大規(guī)模購買Nvidia的A系列和H系列高端GPU用于支持大模型訓練算力，這也造成了Nvidia的數(shù)據(jù)中心GPU供不應求，當然這反映到財報中就是收入和凈利潤的驚人增長。

事實上，從Nvidia的財報中，除了亮眼的收入和凈利潤數(shù)字之外，還有一個關(guān)鍵的數(shù)字值得我們關(guān)注，就是Nvidia二季度的數(shù)據(jù)中心業(yè)務收入。根據(jù)財報，Nvidia二季度的數(shù)據(jù)中心業(yè)務收入超過了100億美元，相比去年同期增長171%。Nvidia數(shù)據(jù)中心業(yè)務數(shù)字本身固然非常驚人，但是如果聯(lián)系到其他公司的同期相關(guān)收入并進行對比，我們可以看到這個數(shù)字背后更深遠的意義。同樣在2023年第二季度，Intel的數(shù)據(jù)中心業(yè)務收入是40億美元，相比去年同期下降15%；AMD的數(shù)據(jù)中心業(yè)務收入是13億美元，相比去年同期下降11%。我們從中可以看到，在數(shù)據(jù)中心業(yè)務的收入數(shù)字上，Nvidia在2023年第二季度的收入已經(jīng)超過了Intel和AMD在相同市場收入的總和。

這樣的對比的背后，體現(xiàn)出了在人工智能時代，人工智能加速芯片（GPU）和通用處理器芯片（CPU）地位的反轉(zhuǎn)。目前，在數(shù)據(jù)中心，人工智能加速芯片/GPU事實上最主流的供貨商就是Nvidia，而通用處理器芯片/CPU的兩大供貨商就是Intel和AMD，因此比較Nvidia和Intel+AMD在數(shù)據(jù)中心領(lǐng)域的收入數(shù)字就相當于比較GPU和CPU之間的出貨規(guī)模。雖然人工智能從2016年就開始火熱，但是在數(shù)據(jù)中心，人工智能相關(guān)的芯片和通用芯片CPU相比，獲得的市場份額增長并不是一蹴而就的：在2023年之前，數(shù)據(jù)中心CPU的份額一直要遠高于GPU的份額；甚至在2023年第一季度，Nvidia在數(shù)據(jù)中心業(yè)務上的收入（42億美元）仍然要低于Intel和AMD在數(shù)據(jù)中心業(yè)務的收入總和；而在第二季度，這樣的力量對比反轉(zhuǎn)了，在數(shù)據(jù)中心GPU的收入一舉超過了CPU的收入。

這也是一個歷史性的時刻。從上世紀90年代PC時代開始，CPU一直是摩爾定律的領(lǐng)軍者，其輝煌從個人電腦時代延續(xù)到了云端數(shù)據(jù)中心時代，同時也推動了半導體領(lǐng)域的持續(xù)發(fā)展；而在2023年，隨著人工智能對于整個高科技行業(yè)和人類社會的影響，用于通用計算的CPU在半導體芯片領(lǐng)域的地位正在讓位于用于人工智能加速的GPU（以及其他相關(guān)的人工智能加速芯片）。

摩爾定律的故事在GPU上仍然在發(fā)生

眾所周知，CPU的騰飛離不開半導體摩爾定律。根據(jù)摩爾定律，半導體工藝特征尺寸每18個月演進一代，同時晶體管的性能也得大幅提升，這就讓CPU在摩爾定律的黃金時代（上世紀80年代至本世紀第一個十年）突飛猛進：一方面CPU性能每一年半就迭代一次，推動新的應用出現(xiàn)，另一方面新的應用出現(xiàn)又進一步推動對于CPU性能的需求，這樣兩者就形成了一個正循環(huán)。這樣的正循環(huán)一直到2010年代，隨著摩爾定律逐漸接近物理瓶頸而慢慢消失——我們可以看到，最近10年中，CPU性能增長已經(jīng)從上世紀8、90年代的15%年復合增長率（即性能每18個月翻倍）到了2015年后的3%年復合增長率（即性能需要20年才翻倍）。

但是，摩爾定律對于半導體晶體管性能增長的驅(qū)動雖然已經(jīng)消失，但是摩爾定律所預言的性能指數(shù)級增長并沒有消失，而是從CPU轉(zhuǎn)到了GPU上。如果我們看2005年之后GPU的性能（算力）增長，我們會發(fā)現(xiàn)它事實上一直遵循了指數(shù)增長規(guī)律，大約2.2年性能就會翻倍！

同樣是芯片，為什么GPU能延續(xù)指數(shù)級增長？這里，我們可以從需求和技術(shù)支撐兩方面來分析：需求意味著市場上是不是有應用對于GPU的性能指數(shù)級增長有強大的需求？而技術(shù)支撐則是，從技術(shù)上有沒有可能實現(xiàn)指數(shù)級性能增長？

從需求上來說，人工智能確實存在著這樣強烈需求。我們可以看到，從2012年（神經(jīng)網(wǎng)絡人工智能復興怨念開始）到至今，人工智能模型的算力需求確實在指數(shù)級增長。2012年到2018年是卷積神經(jīng)網(wǎng)絡最流行的年份，在這段時間里我們看到人工智能模型的算力需求增長大約是每兩年15倍。在那個時候，GPU主要負責的是模型訓練，而在推理部分GPU的性能一般都是綽綽有余。而從2018年進入以Transformer架構(gòu)為代表的大模型時代后，人工智能模型對于算力需求的演進速度大幅提升，已經(jīng)到了每兩年750倍的地步。在大模型時代，即使是模型的推理也離不開GPU，甚至單個GPU都未必能滿足推理的需求；而訓練更是需要數(shù)百塊GPU才能在合理的時間內(nèi)完成。這樣的性能需求增長速度事實上讓GPU大約每兩年性能翻倍的速度都相形見拙，事實上目前GPU性能提升速度還是供不應求！因此，如果從需求側(cè)去看，GPU性能指數(shù)級增長的曲線預計還會延續(xù)很長一段時間，在未來十年內(nèi)GPU很可能會從CPU那邊接過摩爾定律的旗幟，把性能指數(shù)級增長的神話續(xù)寫下去。

GPU性能指數(shù)增長背后的技術(shù)支撐

除了需求側(cè)之外，為了能讓GPU性能真正維持指數(shù)增長，背后必須有相應的芯片技術(shù)支撐。我們認為，在未來幾年內(nèi)，有三項技術(shù)將會是GPU性能維持指數(shù)級增長背后的關(guān)鍵。

第一個技術(shù)就是領(lǐng)域?qū)Ｓ茫╠omain-specific）芯片設(shè)計。同樣是芯片，GPU性能可以指數(shù)級增長而CPU卻做不到，其中的一個重要因素就是GPU性能增長不僅僅來自于晶體管性能提升和電路設(shè)計改進，更來自于使用領(lǐng)域?qū)Ｓ迷O(shè)計的思路。例如，在2016年之前，GPU支持的計算主要是32位浮點數(shù)（fp32），這也是在高性能計算領(lǐng)域的默認數(shù)制；但是在人工智能興起之后，研究表明人工智能并不需要32位浮點數(shù)怎么高的精度，而事實上16位浮點數(shù)已經(jīng)足夠用于訓練，而推理使用8位整數(shù)甚至4位整數(shù)都夠了。而由于低精度計算的開銷比較小，因此使用領(lǐng)域?qū)Ｓ糜嬎愕脑O(shè)計思路，為這樣的低精度計算做專用優(yōu)化可以以較小的代價就實現(xiàn)人工智能領(lǐng)域較大的性能提升。從Nvidia GPU的設(shè)計我們可以看到這樣的思路，我們看到了計算數(shù)制方面在過去的10年中從fp32到fp16到int8和int4的高效支持，可以說是一種低成本快速提高性能的思路。除此之外，還有對于神經(jīng)網(wǎng)絡的支持（TensorCore），稀疏計算的支持，以及Transformer的硬件支持等等，這些都是領(lǐng)域?qū)Ｓ迷O(shè)計在GPU上的很好體現(xiàn)。在未來，GPU性能的提升中，可能是有很大一部分來自于這樣的領(lǐng)域?qū)Ｓ迷O(shè)計，往往一兩個專用加速模塊的引入就能打破最新人工智能模型的運行瓶頸來大大提升整體性能，從而實現(xiàn)四兩撥千斤的效果。

第二個技術(shù)就是高級封裝技術(shù)。高級封裝技術(shù)對于GPU的影響來自兩部分：高速內(nèi)存和更高的集成度。在大模型時代，隨著模型參數(shù)量的進一步提升，內(nèi)存訪問性能對于GPU整體性能的影響越來越重要——即使GPU芯片本身性能極強，但是內(nèi)存訪問速度不跟上的話，整體性能還是會被內(nèi)存訪問帶寬所限制，換句話說就是會遇到“內(nèi)存墻”問題。為了避免內(nèi)存訪問限制整體性能，高級封裝是必不可少的，目前的高帶寬內(nèi)存訪問接口（例如已經(jīng)在數(shù)據(jù)中心GPU上廣泛使用的HBM內(nèi)存接口）就是一種針對高級封裝的標準，而在未來我們預期看到高級封裝在內(nèi)存接口方面起到越來越重要的作用，從而助推GPU性能的進一步提升。高級封裝對于GPU性能提升的另一方面來自于更高的集成度。最尖端半導體工藝（例如3nm和以下）中，隨著芯片規(guī)模變大，芯片良率會遇到挑戰(zhàn)，而GPU可望是未來芯片規(guī)模提升最激進的芯片品類。在這種情況下，使用芯片粒將一塊大芯片分割成多個小芯片粒，并且使用高級封裝技術(shù)集成到一起，將會是GPU突破芯片規(guī)模限制的重要方式之一。目前，AMD的數(shù)據(jù)中心GPU已經(jīng)使用上了芯片粒高級封裝技術(shù)，而Nvidia預計在不久的未來也會引入這項技術(shù)來進一步繼續(xù)提升GPU芯片集成度。

最后，高速數(shù)據(jù)互聯(lián)技術(shù)將會進一步確保GPU分布式計算性能提升。如前所述，大模型的算力需求提升速度是每兩年750倍，遠超GPU摩爾定律提升性能的速度。這樣，單一GPU性能趕不上模型算力需求，那么就必須用數(shù)量來湊，即把模型分到多塊GPU上進行分布式計算。未來幾年我們可望會看到大模型使用越來越激進的分布式計算策略，使用數(shù)百塊，上千塊甚至上萬塊GPU來完成訓練。在這樣的大規(guī)模分布式計算中，高速數(shù)據(jù)互聯(lián)將會成為關(guān)鍵，否則不同計算單元之間的數(shù)據(jù)交換將會成為整體計算的瓶頸。這些數(shù)據(jù)互聯(lián)包括近距離的基于電氣互聯(lián)的SerDes技術(shù)：例如在Nvidia的Grace Hopper Superchip中，使用NVLINK C2C做數(shù)據(jù)互聯(lián)，該互聯(lián)可以提供高達900GB/s的數(shù)據(jù)互聯(lián)帶寬（相當于x16 PCIe Gen5的7倍）。另一方面，基于光互聯(lián)的長距離數(shù)據(jù)互聯(lián)也會成為另一個核心技術(shù)，當分布式計算需要使用成千上萬個計算節(jié)點的時候，這樣的長距離數(shù)據(jù)交換也會變得很常見并且可能會成為系統(tǒng)性能的決定性因素之一。

我們認為，在人工智能火熱的年代，GPU將會進一步延續(xù)摩爾定律的故事，讓性能指數(shù)級發(fā)展繼續(xù)下去。為了滿足人工智能模型對于性能強烈的需求，GPU將會使用領(lǐng)域?qū)Ｓ迷O(shè)計、高級封裝和高速數(shù)據(jù)互聯(lián)等核心技術(shù)來維持性能的快速提升，而GPU以及它所在的人工智能加速芯片也將會成為半導體領(lǐng)域技術(shù)和市場進步的主要推動力。