關于AI芯片格局性能介紹和應用

來源：內(nèi)容來自中金公司，作者黃樂平、何玫與楊俊杰，謝謝。

AI 芯片設計是人工智能產(chǎn)業(yè)鏈的重要一環(huán)。 自 2017 年 5 月以來，各 AI 芯片廠商的新品競相發(fā)布，經(jīng)過一年多的發(fā)展，各環(huán)節(jié)分工逐漸明顯。 AI 芯片的應用場景不再局限于云端，部署于智能手機、 安防攝像頭、及自動駕駛汽車等終端的各項產(chǎn)品日趨豐富。 除了追求性能提升外， AI 芯片也逐漸專注于特殊場景的優(yōu)化。

自 2017 年 5 月以來發(fā)布的 AI 芯片一覽

目前， 人工智能產(chǎn)業(yè)鏈中，包括提供 AI 加速核的 IP 授權商，各種 AI 芯片設計公司，以及晶圓代工企業(yè)。

? 按部署的位置來分， AI 芯片可以部署在數(shù)據(jù)中心（云端），和手機，安防攝像頭，汽車等終端上。

? 按承擔的任務來分，可以被分為用于構建神經(jīng)網(wǎng)絡模型的訓練芯片，與利用神經(jīng)網(wǎng)絡模型進行推斷的推斷芯片。 訓練芯片注重絕對的計算能力，而推斷芯片更注重綜合指標， 單位能耗算力、時延、成本等都要考慮。

? 訓練芯片受算力約束，一般只在云端部署。推斷芯片按照不同應用場景，分為手機邊緣推斷芯片、安防邊緣推斷芯片、自動駕駛邊緣推斷芯片。為方便起見，我們也稱它們?yōu)槭謾C AI 芯片、安防 AI 芯片和汽車 AI 芯片。

? 由于 AI芯片對單位能耗算力要求較高，一般采用 14nm/12nm/10nm等先進工藝生產(chǎn)。臺積電目前和 Nvidia、 Xilinx 等多家芯片廠商展開合作，攻堅 7nm AI 芯片。

AI 芯片投資地圖

AI 芯片市場規(guī)模： 未來五年有接近 10 倍的增長， 2022 年將達到 352 億美元。根據(jù)我們對相關上市 AI 芯片公司的收入統(tǒng)計，及對 AI 在各場景中滲透率的估算， 2017年 AI 芯片市場規(guī)模已達到 39.1 億美元，具體情況如下：

? 2017 年全球數(shù)據(jù)中心 AI 芯片規(guī)模合計 23.6 億美元，其中云端訓練芯片市場規(guī)模 20.2億美元，云端推斷芯片 3.4 億美元。

? 2017 年全球手機 AI 芯片市場規(guī)模 3.7 億美元。

? 2017 年全球安防攝像頭 AI 芯片市場規(guī)模 3.3 億美元。

? 2017 年全球自動駕駛 AI 芯片的市場規(guī)模在 8.5 億美元。

AI 芯片市場規(guī)模及競爭格局

Nvidia 在 2017 年時指出，到 2020 年，全球云端訓練芯片的市場規(guī)模將達到 110 億美元，而推斷芯片（云端+邊緣） 的市場規(guī)模將達到 150 億美元。 Intel 在剛剛結束的 2018 DCI峰會上，也重申了數(shù)據(jù)業(yè)務驅(qū)動硬件市場增長的觀點。 Intel 將 2022 年與用于數(shù)據(jù)中心執(zhí)行 AI 加速的 FPGA 的 TAM 預測，由 70 億美元調(diào)高至 80 億美元。

而同時我們也注意到：

1）手機 SoC 價格不斷上升、 AI 向中端機型滲透都將為行業(yè)創(chuàng)造更廣闊的市場空間。

歷代 Apple 手機芯片成本趨勢

2）安防芯片受益于現(xiàn)有設備的智能化升級，芯片需求擴大。

自動駕駛算力需求加速芯片升級

3）自動駕駛方面，針對豐田公司提出的算力需求，我們看到當下芯片算力與 L5 級自動駕駛還有較大差距。 英飛凌公司給出了各自動駕駛等級中的半導體價值預測， 可以為我們的 TAM 估算提供參考。

英飛凌對各自動駕駛等級中半導體價值的預測

結合以上觀點，及我們對 AI 在各應用場景下滲透率的分析，我們預測：

? 云端訓練芯片市場規(guī)模在 2022 年將達到 172 億美元， CAGR~54%。

? 云端推斷芯片市場規(guī)模在 2022 年將達到 72 億美元， CAGR~84%。

? 用于智能手機的邊緣推斷芯片市場規(guī)模 2022 年將達到 38 億美元， CAGR~59%。

? 用于安防攝像頭的邊緣推斷芯片市場規(guī)模 2022 年將達到 18 億美元， CAGR~41%。

? 用于自動駕駛汽車的邊緣推斷芯片市場規(guī)模 2022 年將達到 52 億美元， CAGR~44%。

云端訓練芯片： TPU 很難撼動 Nvidia GPU 的壟斷地位

訓練是指通過大量的數(shù)據(jù)樣本，代入神經(jīng)網(wǎng)絡模型運算并反復迭代，來獲得各神經(jīng)元“正確”權重參數(shù)的過程。 CPU 由于計算單元少，并行計算能力較弱，不適合直接執(zhí)行訓練任務，因此訓練一般采用“CPU+加速芯片”的異構計算模式。目前 Nvidia 的 GPU+CUDA計算平臺是最成熟的 AI 訓練方案，除此還有：

AI 芯片工作流程

? 第三方異構計算平臺 OpenCL + AMD GPU 或 OpenCL+Intel/Xilinx 的 FPGA。

? 云計算服務商自研加速芯片（如 Google 的 TPU） 這兩種方案。各芯片廠商基于不同方案，都推出了針對于云端訓練的 AI 芯片。

云端訓練芯片對比

? Google

在 GPU 之外，云端訓練的新入競爭者是 TPU。 Google 在去年正式發(fā)布了其 TPU 芯片，并在二代產(chǎn)品中開始提供對訓練的支持，但比較下來， GPU 仍然擁有最強大的帶寬（900GB/s，保證數(shù)據(jù)吞吐量）和極高的深度學習計算能力（120 TFLOPS vs. TPUv2 45 TFLOPS），在功耗上也并沒有太大劣勢（TPU 進行訓練時，引入浮點數(shù)計算，需要逾 200W 的功耗，遠不及推斷操作節(jié)能）。目前 TPU 只提供按時長付費使用的方式，并不對外直接銷售，市占率暫時也難以和 Nvidia GPU 匹敵。

? Intel

雖然深度學習任務主要由 GPU 承擔，但 CPU 目前仍是云計算芯片的主體。 Intel 于 2015年底年收購全球第二大 FPGA 廠商 Altera 以后，也積極布局 CPU+FPGA 異構計算助力 AI，并持續(xù)優(yōu)化 Xeon CPU 結構。 2017 年 Intel 發(fā)布了用于 Xeon 服務器的，新一代標準化的加速卡，使用戶可以 AI 領域進行定制計算加速。得益于龐大的云計算市場支撐， Intel 數(shù)據(jù)中心組業(yè)務收入規(guī)模一直位于全球首位， 2016-17 年單季保持同比中高個位數(shù)增長。 2017年 4 季度起，收入同比增速開始爬坡至 20%左右，但相比 Nvidia 的強勁增長態(tài)勢仍有差距。

? AMD

AMD 雖未單獨拆分數(shù)據(jù)中心收入，但從其計算和圖像業(yè)務的收入增長情況來看， GPU 銷量向好。目前 AMD GPU 也開始切入深度學習訓練任務，但市場規(guī)模落后于 Nvidia。

云端推斷芯片：百家爭鳴，各有千秋

推斷是指借助現(xiàn)有神經(jīng)網(wǎng)絡模型進行運算， 利用新的輸入數(shù)據(jù)來一次性獲得正確結論的過程。 推斷過程對響應速度一般有較高要求， 因此會采用 AI 芯片（搭載訓練完成的神經(jīng)網(wǎng)絡模型）進行加速。

相比訓練芯片，推斷芯片考慮的因素更加綜合：單位功耗算力，時延，成本等等。初期推斷也采用 GPU 進行加速，但由于應用場景的特殊性，依據(jù)具體神經(jīng)網(wǎng)絡算法優(yōu)化會帶來更高的效率， FPGA/ASIC 的表現(xiàn)可能更突出。除了 Nvidia、 Google、 Xilinx、 Altera（Intel）等傳統(tǒng)芯片大廠涉足云端推斷芯片以外， Wave computing、 Groq 等初創(chuàng)公司也加入競爭。中國公司里，寒武紀、比特大陸同樣積極布局云端芯片業(yè)務。

主要云端推斷芯片對比

我們認為， 云端推斷芯片在未來會呈現(xiàn)百花齊放的態(tài)勢。 具體情況如下：

? Nvidia

在云端推斷芯片領域， Nvidia 主打產(chǎn)品為 P40 和 P4， 二者均采用 TSMC 16nm 制程。 TeslaP4 擁有 2560 個流處理器，每秒可進行 22 萬億次（TOPS） 計算（對應 INT 8）。而性能更強的 Tesla P40 擁有 3840 個流處理器，每秒可進行 47 萬億次（TOPS）計算（對應 INT 8）。從單位功耗推斷能力來看， P4/P40 雖然有進步，但仍遜于 TPU。 GPU 在推斷上的優(yōu)勢是帶寬。

? Google

Google TPU 1.0 為云端推斷而生，其運算單元對神經(jīng)網(wǎng)絡中的乘加運算進行了優(yōu)化，并采用整數(shù)運算。 TPU 1.0 單位功耗算力在量產(chǎn)云端推端芯片中最強，達 1.2TOPS/Watt，優(yōu)于主流 Nvidia GPU。 TPU 2.0 在推斷表現(xiàn)上相比于 1 代并沒有本質(zhì)提升，主要進步是引入對浮點數(shù)運算的支持，及更高的片上內(nèi)存。正如前文所述，支持訓練的 TPU 功耗也會變得更高。

? Wave Computing

Wave computing 于 2010 年 12 月成立于加州，目前累計融資 1.2 億美元，是專注于云端深度學習訓練和推理的初創(chuàng)公司。Wave computing 的一代 DPU 深度學習算力達 180 TOPS，且無需 CPU 來管理工作流。目前公司正與 Broadcomm 合作在開發(fā)二代芯片，將采用 7nm制程。

? Groq

Groq 是由 Google TPU 初始團隊離職創(chuàng)建的 AI 芯片公司，計劃在 2018 年發(fā)布第一代 AI芯片產(chǎn)品，對標英偉達的 GPU。其算力可達 400 TOPs（INT 8），單位能耗效率表現(xiàn)搶眼。

? 寒武紀科技

寒武紀在 2017 年 11 月發(fā)布云端芯片 MLU 100，同時支持訓練和推斷，但更側重于推斷。MLU 100 在 80W 的功耗下就可以達到 128 TOPS（對應 INT 8）的運算能力。

? 比特大陸

比特大陸的計算芯片 BM 1680，集成了深度學習算法硬件加速模塊（NPUs），應用于云端計算與推理。 BM1680 還提供了 4 個獨立的 DDR4 通道，用于高速數(shù)據(jù)緩存讀取，以提高系統(tǒng)的執(zhí)行速度。其典型功耗只有 25W，在單位能耗推斷效率上有一定優(yōu)勢。

應用場景#1：云端推斷芯片助力智能語音識別

云端推斷芯片提升語音識別速度。 語音識別是推斷芯片的工作場景之一，如 Amazon 的語音助手 Alexa，其“智能”來自于 AWS 云中的推斷芯片。 Alexa 是預裝在亞馬遜 Echo內(nèi)的個人虛擬助手，可以接收及相應語音命令。通過將語音數(shù)據(jù)上傳到云端，輸入推斷芯片進行計算，再返回結果至本地來達到與人實現(xiàn)交互的目的。原先云端采用 CPU 進行推斷工作，由于算力低，識別中會有 300-400ms 的延遲，影響用戶體驗。

智能音箱通過云端推斷芯片工作

而現(xiàn)今 AWS 云中采用了 Nvidia 的 P40 推斷芯片，結合 Tensor RT 高性能神經(jīng)網(wǎng)絡推理引擎（一個 C++庫），可以將延遲縮減到 7ms。 此外， AI 芯片支持深度學習，降低了語音識別錯誤率。 目前， 借助云端芯片的良好推斷能力，百度語音助手的語音識別準確度已達到 97%之高。

Nvidia 云端推斷芯片提升語音識別速度

應用場景#2：推斷芯片應用于智能搜索

RankBrain 是 Google 眾多搜索算法的一部分，它是一套計算機程序，能把知識庫中上十億個頁面進行排序，然后找到與特定查詢最相關的結果。 目前， Google 每天要處理 30 億條搜索，而其中 15%的詞語是 Google 沒有見過的。 RankBrain 可以觀察到看似無關復雜搜索之間的模式，并理解它們實際上是如何彼此關聯(lián)的， 實現(xiàn)了對輸入的語義理解。 這種能力離不開 Google 云端推斷芯片 TPU 的輔助。

推斷芯片助力深度學習實現(xiàn)語義識別

先前，在沒有深度學習情況下，單純依靠 PageRanking 及 InvertedIndex， Google 也能實現(xiàn)一定程度的對搜索詞條排序的優(yōu)化，但準確率不夠。 TPU 利用 RankBrain 中的深度學習模型，在 80%的情況下計算出的置頂詞條，均是人們最想要的結果。

TPU+RankBrain 在推斷正確率上獲得提高

用于智能手機的邊緣推斷芯片：競爭格局穩(wěn)定，傳統(tǒng)廠商持續(xù)受益

手機芯片市場目前包括：（1）蘋果，三星，華為這類采用芯片+整機垂直商業(yè)模式的廠商，以及（2）高通，聯(lián)發(fā)科，展銳等獨立芯片供應商和（3） ARM， Synopsys、 Cadence 等向芯片企業(yè)提供獨立 IP 授權的供應商。 采用垂直商業(yè)模式廠商的芯片不對外發(fā)售，只服務于自身品牌的整機，性能針對自身軟件做出了特殊優(yōu)化，靠效率取勝。獨立芯片供應商以相對更強的性能指標，來獲得剩余廠商的市場份額。

從 2017 年開始，蘋果，華為海思，高通，聯(lián)發(fā)科等主要芯片廠商相繼發(fā)布支持 AI 加速功能的新一代芯片（如下圖）， AI 芯片逐漸向中端產(chǎn)品滲透。由于手機空間有限， 獨立的AI 芯片很難被手機廠采用。在 AI 加速芯片設計能力上有先發(fā)優(yōu)勢的企業(yè)（如寒武紀）一般通過 IP 授權的方式切入。

手機 AI 芯片對比

對這些廠商來說，我們認為 AI 化的主要作用是提升芯片附加價值與產(chǎn)品單價。根據(jù) IHS的數(shù)據(jù)，隨著硬件性能的增強及針對于 AI 的運算結構不斷滲透，蘋果 A11 芯片的成本已達到 27.5 美元。

智能手機 SoC 市占率分析（2017）

芯片成本持續(xù)上漲有望帶動垂直模式廠商整機售價走高，在出貨量相同的情況下為現(xiàn)有芯片廠商貢獻更多的營業(yè)收入。高通、聯(lián)發(fā)科、展銳等獨立芯片供應商則會受益于芯片本身 ASP 的提升。

歷代 Apple 手機芯片成本趨勢

應用場景#1：推斷芯片為 AI 拍照技術提供硬件支持

智能手機通過 AI 算法+終端推斷芯片，可實現(xiàn)對于現(xiàn)實世界圖像的智能識別，并在此基礎上進行實時優(yōu)化：

1）從整個場景識別，到特殊優(yōu)化過程中，推斷芯片為算法運行提供硬件支持。

2）手機推斷芯片中 GPU、 NPU 等單元的協(xié)同工作，實現(xiàn)了對邊緣虛化更準確的處理，使小尺寸感光元件的手機獲得“單反” 級的景深效果，增加相片的層次感。

3）人臉結構的識別也離不開邊緣推斷芯片，芯片性能的提升直接導致了 AI 美顏、 3D 光效等特殊效果變得更加自然。 如果缺少終端芯片的支持，一旦運行高負載的 AI 任務手機就需要呼喚云端。而云端的相應速度不夠，導致 AI 攝影的識別率和準確率下降，用戶體驗將大打折扣。

手機 AI 芯片輔助圖片渲染優(yōu)化

應用場景#2：推斷芯片助力語音助手處理復雜命令

從“聽清”到“聽懂”，自然語言理解能力提升與推斷芯片硬件的支持分不開：多麥克風方案的普及解決了“聽清”的問題，而到“聽懂”的跨越中自然語言理解能力是關鍵。這不僅對云端訓練好的模型質(zhì)量有很高要求，也必須用到推斷芯片大量的計算。隨著對話式 AI 算法的發(fā)展，手機 AI 芯片性能的提升，語音助手在識別語音模式、分辨模糊語音、剔除環(huán)境噪聲干擾等方面能力得到了優(yōu)化，可以接受理解更加復雜的語音命令。

手機 AI 芯片輔助 Vivo Jovi 處理復雜命令

用于安防邊緣推斷芯片： 海思、安霸與 Nvidia、 Mobileye 形成有力競爭

視頻監(jiān)控行業(yè)在過去十幾年主要經(jīng)歷了“高清化”、“網(wǎng)絡化”的兩次換代，而隨著 2016年以來 AI 在視頻分析領域的突破，目前視頻監(jiān)控行業(yè)正處于第三次重要升級周期——“智能化”的開始階段。 前端攝像頭裝備終端推斷芯片，可以實時對視頻數(shù)據(jù)進行結構化處理，“云+邊緣”的邊緣計算解決方案逐漸滲透。 我們預計， 應用安防攝像頭的推斷芯片市場規(guī)模，將從 2017 年的 3.3 億美元，增長至 2022 年的 18 億美元， CAGR~41%。

應用場景：安防邊緣推斷芯片實現(xiàn)結構化數(shù)據(jù)提取，減輕云端壓力

即便采用 H.265 編碼，目前每日從攝像機傳輸?shù)皆贫说臄?shù)據(jù)也在 20G 左右，不僅給存儲造成了很大的壓力，也增加了數(shù)據(jù)的傳輸時間。 邊緣推斷芯片在安防端的主要應用，基于將視頻流在本地轉(zhuǎn)化為結構化數(shù)據(jù)。 這樣既節(jié)省云端存儲空間， 也提升系統(tǒng)工作效率?！耙曨l結構化”，簡言之即從視頻中結構化提取關鍵目標，包括車輛、人及其特征等。雖然這種對數(shù)據(jù)的有效壓縮要通過算法實現(xiàn)，但硬件的支持不可或缺。

視頻結構化數(shù)據(jù)提取實例

根據(jù)?？低?/u>提供傳統(tǒng)視頻解碼芯片廠商積極布局 AI 升級。 華為海思、安霸（Ambarella）都在近一年內(nèi)推出了支持 AI 的安防邊緣推斷芯片。海思的 HI3559A 配備了雙核神經(jīng)網(wǎng)絡加速引擎，并成為第一款支持 8k 視頻的芯片；安霸也通過集成 Cvflows 張量處理器到最新的 CV2S 芯片中，以實現(xiàn)對 CNN/DNN 算法的支持。