硅谷首場AI硬件峰會干貨報(bào)告：AI芯片井噴期即將到來

（本文來自智東西微信號，本文作為轉(zhuǎn)載分享）

所有的云計(jì)算商都在開發(fā)內(nèi)部的芯片，AI芯片不僅是未來十年半導(dǎo)體行業(yè)中最有希望的增長機(jī)會之一，而且還是有可能破壞傳統(tǒng)計(jì)算市場的力量?，F(xiàn)今 99％的AI軟件尚未編寫，只有不到1％的云服務(wù)器用于AI加速（今年總計(jì)500+萬臺服務(wù)器），企業(yè)服務(wù)器活動幾乎為零。訓(xùn)練和推理工作從低基數(shù)中倍增，說明市場似乎是一致的，因?yàn)榻裉斓募铀?a target="_blank">硬件（GPU、CPU、FPGA）遠(yuǎn)遠(yuǎn)不能滿足市場的要求。

吞吐量上還需要巨大的飛躍（現(xiàn)今100倍）才能使AI無處不在。好消息是真正的架構(gòu)創(chuàng)新即將出現(xiàn)，但需要時(shí)間才能生效：2019年以后，我們將看到新的工藝技術(shù)（7nm）、新的計(jì)算架構(gòu)（芯片上的神經(jīng)網(wǎng)絡(luò)）、新的芯片互連（serdes 56/112GBs）、新的存儲器方法（HBM3、片上SRAM等）和新的封裝技術(shù)相結(jié)合，可帶來對數(shù)級性能的提升。因?yàn)椴荒芴蕾嚬に嚨目s減而進(jìn)步，AI行業(yè)正在進(jìn)行全面的創(chuàng)新。但長遠(yuǎn)來看，臺積電等主要DRAM制造商還是AI芯片產(chǎn)業(yè)的主要受益者。

本期的智能內(nèi)參，我們推薦來自Arete的研究報(bào)告，詳解AI硬件峰會對未來的預(yù)測，2大科技巨頭及創(chuàng)業(yè)公司的AI芯片布局。

AI硬件峰會的5大結(jié)論

上個(gè)月加州山景城舉辦的AI硬件峰會是目前唯一專門致力于開發(fā)用于神經(jīng)網(wǎng)絡(luò)和計(jì)算機(jī)視覺硬件加速器生態(tài)系統(tǒng)的活動。 會上，來自AI芯片初創(chuàng)企業(yè)、半導(dǎo)體公司、系統(tǒng)供應(yīng)商/ OEM、數(shù)據(jù)中心、企業(yè)、金融服務(wù)、投資者和基金經(jīng)理等 250 多位先進(jìn)技術(shù)領(lǐng)導(dǎo)者們，為新興的AI芯片市場構(gòu)建了一幅全面的架構(gòu)路線圖。

會上展示了 許多AI芯片中另類創(chuàng)業(yè)者的狀態(tài)。其中有一件事是非常明確的：從未見過如此多的公司（無論大小）進(jìn)攻這個(gè)新興芯片市場。就像今天的AI一樣，毫無疑問在接下來的幾年中，將會出現(xiàn)一個(gè)成果井噴期。繼谷歌的TPU之后，每個(gè)創(chuàng)業(yè)者都有正在研發(fā)的內(nèi)部AI芯片程序。問題是這一切需要多長時(shí)間才能影響到市場情緒？畢竟，谷歌的TPU芯片已經(jīng)到了第三代（在16年中期推出其第一個(gè)TPU之后），但仍然承載不了Tensorflow或其他框架的所有工作量。所以我們認(rèn)為，2020年是許多AI芯片問世和量產(chǎn)的開始。

AI硬件峰會的5個(gè)重要結(jié)論：

1、臺積電中幾乎所有的AI加速芯片都使用了7nm工藝。此外，我們還發(fā)現(xiàn)大量新的高速接口芯片（Serdes 56/112GBs）將在19年擴(kuò)展。

2、英偉達(dá)仍然是機(jī)器學(xué)習(xí)之王，其新的T4卡將會被廣泛接受。它將在19年繼續(xù)占據(jù)主導(dǎo)地位。但長遠(yuǎn)來看，我們?nèi)匀粨?dān)心AI會減少對CUDA和GPU的依賴。

3、英特爾有新的7nm AI芯片（由臺積電制造），我們認(rèn)為這個(gè)芯片支持112GB的Serdes和高速DRAM。它還應(yīng)該在明年的Cascade Lake服務(wù)器中支持新的DL Boost INT8，并且速度增強(qiáng)11倍。

4、所有的云計(jì)算商都在開發(fā)內(nèi)部的芯片，但問題是時(shí)機(jī)的選擇，因?yàn)橛?jì)劃的增加是私密的。這種垂直推進(jìn)是芯片制造商面臨的主要威脅。

5、在最近的5年，我們見證了新的納米線取代了數(shù)字計(jì)算的模擬計(jì)算機(jī)的進(jìn)步；硅光子學(xué)取代了Serdes（超過112 GB）和更高速內(nèi)存驅(qū)動AI的性能提升。

新的AI芯片有兩種通用思路：

1、首先是擁有更快的I/O和外部存儲器接口的能夠擴(kuò)展性能的系統(tǒng)，如英偉達(dá)，英特爾等。

2、其次是將所有數(shù)據(jù)存儲在芯片上（芯片上的神經(jīng)網(wǎng)絡(luò)），使用大量的小內(nèi)核和片上存儲器來減少對外部DRAM的需求。

后一種方法將在未來六個(gè)月內(nèi)會看到第一批商品化的芯片，但我們認(rèn)為這需要7納米工藝真正推動家用優(yōu)勢的時(shí)候（即2020年）。圍繞AI的軟件也在快速發(fā)展，云服務(wù)商也正在推出開源適配軟件，以支持在其框架中運(yùn)行的各種芯片（例如，Tensorflow XLA、Facebook Glow）。隨著新神經(jīng)網(wǎng)絡(luò)的成熟，每個(gè)人都意識到了可編程性和靈活性的重要性。隱含的目標(biāo)是在7nm的FP16上達(dá)到每瓦特至少10 TOPS（比現(xiàn)在好10倍），并且通過更好地支持稀疏性，更低的精度、更小的批量、更快的芯片互連（112GB Serdes）、更快的存儲器接口（遠(yuǎn)遠(yuǎn)超出HBM2）以及新的多芯片高級封裝真正提高效率和性能。

英特爾：AI芯片扮裝者

盡管人們普遍轉(zhuǎn)向依賴通用CPU，但對于英特爾計(jì)劃在未來幾年內(nèi)為AI引入的一些新優(yōu)化措施，大家并未給予足夠的信任。英特爾去年的AI收入大約為10億美元（2017年），至強(qiáng)CPU將繼續(xù)在AI推理和訓(xùn)練中發(fā)揮重要作用。例如，在Cascade Lake中，英特爾在架構(gòu)中提供了大量新指令，以提高推理性能（聲稱在支持INT8精度的情況下性能提升11倍）。我們預(yù)計(jì)這些擴(kuò)展將與AMD EPYC2規(guī)格區(qū)別開來。

英特爾的下一代Nervana ASIC芯片將在臺積電（7nm工藝）制造，并將擁有一些關(guān)鍵的專有接口，可顯著提升性能。雖然GPU現(xiàn)在以低速（PCIE-3）連接到CPU，預(yù)計(jì)新服務(wù)器將支持PCIE-4（16GB），但這仍然是數(shù)據(jù)輸入GPU的關(guān)鍵瓶頸。相比之下，英特爾或?qū)⒃谄鋁eon CPU和7nm Nervana芯片之間構(gòu)建專有接口，速度高達(dá)112GB。英特爾可能計(jì)劃推出一種新的高帶寬存儲器接口（對云計(jì)算商而言是一個(gè)關(guān)鍵的關(guān)注點(diǎn)），并積極參與新的多芯片封裝。雖然向AI加速的轉(zhuǎn)變將導(dǎo)致更多的CPU被卸載，但英特爾希望通過在Xeon周圍構(gòu)建外圍解決方案來獲取價(jià)值。時(shí)間將證明這是否有效，但規(guī)格的突破顯然揭示了英特爾的目標(biāo)是在2020年取代英偉達(dá)的地位。

英偉達(dá)：暫時(shí)的旗艦

英偉達(dá)的GPU目前仍然是AI計(jì)算的王者，他們擁有真正的在位優(yōu)勢（支持所有框架、所有云服務(wù)商、所有OEM），并且其新產(chǎn)品具有顯著的性能提升，我們認(rèn)為T4將得到廣泛采用并且其新的DGX2服務(wù)器今年已售罄。雖然目前幾乎沒有令人信服的替代方案，而且我們也認(rèn)為NVIDIA將繼續(xù)占據(jù)主導(dǎo)地位（至少到2019年），但有兩個(gè)主要問題影響英偉達(dá)可以在多大程度上長期維持其領(lǐng)導(dǎo)地位：

1、首先，我們認(rèn)為很明顯英偉達(dá)軟件壕溝（CUDA）將變得不那么重要，因?yàn)橄窆雀?、ONNX都努力推進(jìn)了他們的堆棧并建立了開發(fā)者生態(tài)系統(tǒng)。云服務(wù)商現(xiàn)在正在積極提供替代芯片解決方案的開源插件，以支持Tensorflow、Pytorch、CNTK、Caffe2等框架，降低了新AI處理器的入門軟件門檻。

2、其次，是英偉達(dá)訓(xùn)練和推理芯片的經(jīng)濟(jì)性，雖然它們可以為許多AI工作負(fù)載節(jié)省CPU，但是銷售的GPU卡的超高利潤率與昂貴的內(nèi)存捆綁在一起（V100每卡10萬美元，P4可能每個(gè)2萬美元）只會讓云端用戶擁抱其他架構(gòu)。

也就是說，英偉達(dá)擁有大量資源來投資競爭對手（尤其是初創(chuàng)公司），它致力于每年為AI推出一種新的架構(gòu)，它可能會在2019年下半年首先推出7nm解決方案。 V100和T4都被視為英偉達(dá)首款用于AI的轉(zhuǎn)換芯片（遠(yuǎn)離通用型GPU），因?yàn)樗鼈兪堑谝豢钪С謴埩亢诵暮透屯评砭鹊男酒↖NT8）。

預(yù)計(jì)19年新品的功能將再次大幅提升英偉達(dá)7nm AI加速芯片，將會有很多明顯的效率改進(jìn)可以大幅提高吞吐量和延遲。我們預(yù)計(jì)它的下一代將更多地是以AI為中心的ASIC而不是GPU。云客戶告訴我們，他們從V100 GPU獲得的利用率很低（低至15％），因?yàn)樗麄兠總€(gè)GPU只訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)。他們希望英偉達(dá)能夠虛擬化他們的GPU ，盡管這可能會給英偉達(dá)的GPU增長帶來壓力，甚至減少對AI計(jì)算芯片的需求。此外，今天英偉達(dá)擁有快速芯片到芯片接口（NVlink2），運(yùn)行速度為25Gbs（遠(yuǎn)遠(yuǎn)超過標(biāo)準(zhǔn)PCIE-3連接，僅8GB或PCIE-4，16GB），我們預(yù)計(jì)到19年年底英偉達(dá)將推出對56Gbs甚至112GB serdes的支持，因?yàn)橛行┨娲桨缚梢蕴嵘@些規(guī)格。我們認(rèn)為英偉達(dá)的下一代架構(gòu)將于2019年下半年發(fā)布（超越Volta / Turing），并將在很大程度上決定其在多大程度上可以繼續(xù)占領(lǐng)市場。

另類AI芯片創(chuàng)業(yè)公司的時(shí)代到來

在谷歌TPU的帶頭下，每個(gè)云服務(wù)商都有內(nèi)部的AI芯片程序，我們認(rèn)為這可能會在未來18個(gè)月內(nèi)得到驗(yàn)證。有些已經(jīng)公開表達(dá)他們的意圖，微軟甚至在峰會上有一個(gè)招聘廣告，說明它渴望建立自己的團(tuán)隊(duì)。但這些項(xiàng)目所處的狀態(tài)還不清楚：云服務(wù)商不會分享任何他們的硬件計(jì)劃細(xì)節(jié) ，所以我們不知道他們處于什么發(fā)展階段。我們認(rèn)為第一次轉(zhuǎn)換芯片將重點(diǎn)關(guān)注推理，就像谷歌兩年前對TPU所做的那樣。

來自谷歌大腦的演示展示了一種諷刺，即隨著芯片行業(yè)達(dá)到摩爾定律的極限，AI計(jì)算的增長竟還能呈指數(shù)級增長，因此架構(gòu)（和軟件協(xié)同設(shè)計(jì)）將成為關(guān)鍵的推動者。谷歌不僅將TPU用于越來越多的工作負(fù)載，而且繼續(xù)使用GPU，并將測試大量新系統(tǒng)上市。 50多家創(chuàng)業(yè)公司的工作已經(jīng)縮減，以便將他們的平臺商業(yè)化，我們預(yù)計(jì)未來12個(gè)月內(nèi)將有6家公司推出首款加速芯片，2020年開始推出第二款（7nm工藝）。一些AI初創(chuàng)公司在19年可能會達(dá)到1億美元的銷售額，但我們還看不到是否有人能在2020年之前突破這一點(diǎn)。有許多令人印象深刻的初創(chuàng)公司，但其中許多還沒有流片，因此很難對性能聲明進(jìn)行驗(yàn)證。

云服務(wù)商希望了解新的AI芯片的系統(tǒng)性能，因此他們建立了一個(gè)名為MLPerf的基準(zhǔn)測試標(biāo)準(zhǔn)。我們認(rèn)為這將是分析特定模型的訓(xùn)練時(shí)間的關(guān)鍵標(biāo)準(zhǔn) ，并且有助于與當(dāng)前市場領(lǐng)導(dǎo)者英偉達(dá)（尚未加入MLPerf）的訓(xùn)練平臺進(jìn)行比較。很明顯，許多初創(chuàng)公司從未提供產(chǎn)品給主要的云數(shù)據(jù)中心，或者已經(jīng)建立了領(lǐng)先的芯片。此外，只有少數(shù)參與者具有詳細(xì)的云計(jì)算關(guān)系或在如何圍繞關(guān)鍵型任務(wù)云計(jì)算芯片建立工程團(tuán)隊(duì)方面擁有豐富經(jīng)驗(yàn)。

云加速：巨大的市場機(jī)會

今天看一下現(xiàn)在典型的云服務(wù)器配置（2插槽，10核Xeon E5是最受歡迎的銷售平臺之一），它包含大約660平方毫米的硅芯片面積來處理主CPU計(jì)算（即兩個(gè)330平方毫米的CPU芯片，主要由英特爾提供）。但是用于AI的加速服務(wù)器（例如NVIDIA DGX-1）通常具有多達(dá)10倍的硅面積來處理加速度計(jì)算，如下圖所示。加速芯片面積與CPU芯片面積的比率僅會增加我們看到每個(gè)CPU從四個(gè)加速卡上升到每個(gè)CPU的六個(gè)和八個(gè)卡隨著時(shí)間的推移。我們認(rèn)為谷歌計(jì)劃明年增加三倍的TPU芯片。

英偉達(dá)在訓(xùn)練方面可能會繼續(xù)大幅增長，同時(shí)還有大量的AI創(chuàng)業(yè)公司。由于AI服務(wù)器目前在市場上的滲透率很低（今年購買的云服務(wù)器不到1％支持加速），臺積電的長期前景非常好。如果我們假設(shè)這種滲透率上升到100萬臺加速AI服務(wù)器（今年小于5萬），并且芯片面積保持不變（即每個(gè)AI服務(wù)器6,560平方毫米），這將轉(zhuǎn)化為大約每年20萬片晶圓，或30億美元的代工收入（假設(shè)每片晶15,000美元，收益率55％）。這就是為什么臺積電會作為AI芯片長期的主要受益者之一。

長遠(yuǎn)的新技術(shù)

峰會期間還有許多其他新興技術(shù)，未來在3到5年的視野中看起來很有趣。AI的邊緣計(jì)算顯然正在智能手機(jī)中進(jìn)行，我們堅(jiān)信每部智能手機(jī)都將在未來2-3年內(nèi)擁有專用的計(jì)算機(jī)視覺AI處理器（在相機(jī)周圍）。谷歌的Edge TPU和英偉達(dá)的DLA是早期可授權(quán)的例子，我們看到ARM現(xiàn)在提供專用的AI許可證解決方案，而Qualcomm、Hisilicon、Cambricon和MediaTek則提供一系列智能手機(jī)和物聯(lián)網(wǎng)解決方案。一系列具有增強(qiáng)AI規(guī)格的嵌入式SOC即將推出 ，適用于相機(jī)、機(jī)器人、汽車等。英偉達(dá)的Xavier就是一個(gè)例子。我們將在即將發(fā)布的報(bào)告中研究自動駕駛汽車的汽車路線圖，其中AI加速將發(fā)揮核心作用。

從長遠(yuǎn)來看，我們可以看到正在開發(fā)的一些擴(kuò)展計(jì)算性能新技術(shù)，以應(yīng)對摩爾定律的挑戰(zhàn)。其中一個(gè)更令人印象深刻的演講是來自Rain Neuromorphics和Mythic，他們看到模擬計(jì)算在5年的時(shí)間內(nèi)商業(yè)化可能，使用松散的幾何形狀，圍繞芯片內(nèi)部的納米線（如人腦中的突觸）解決功率限制。此外，Ayar Labs闡述了硅光子微型化方面的突破引起的更快的芯片互連（超過112GB Serdes）的解決方案。隨著Exascale計(jì)算機(jī)預(yù)計(jì)將在3-4年內(nèi)出現(xiàn)在我們面前，我們認(rèn)為AI正在全面推動新思路研發(fā)，將實(shí)現(xiàn)性能的指數(shù)增長。

我們認(rèn)為，隨著摩爾定律的終結(jié)，AI的發(fā)展不能指望摩爾定律帶來的性能提升，尤其是AI芯片的發(fā)展。英偉達(dá)雖然目前處于行業(yè)領(lǐng)先地位，但很有可能被英特爾或新的創(chuàng)業(yè)公司超越。不遠(yuǎn)的未來AI芯片將是一個(gè)井噴的行業(yè)，而這個(gè)行業(yè)最大的受益者將是臺積電。希望內(nèi)地的相關(guān)企業(yè)也能在這一波浪潮中抓住機(jī)遇，改變我國缺芯的局面。