人工智能（AI）芯片產(chǎn)業(yè)生態(tài)梳理

從功能來看，可以分為Training(訓(xùn)練)和Inference(推理)兩個環(huán)節(jié)。

Training環(huán)節(jié)通常需要通過大量的數(shù)據(jù)輸入，或采取增強學(xué)習(xí)等非監(jiān)督學(xué)習(xí)方法，訓(xùn)練出一個復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)模型。訓(xùn)練過程由于涉及海量的訓(xùn)練數(shù)據(jù)和復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，運算量巨大，需要龐大的計算規(guī)模，對于處理器的計算能力、精度、可擴展性等性能要求很高。目前在訓(xùn)練環(huán)節(jié)主要使用NVIDIA的GPU集群來完成，Google自主研發(fā)的ASIC芯片TPU2.0也支持訓(xùn)練環(huán)節(jié)的深度網(wǎng)絡(luò)加速。

Inference環(huán)節(jié)指利用訓(xùn)練好的模型，使用新的數(shù)據(jù)去“推理”出各種結(jié)論，如視頻監(jiān)控設(shè)備通過后臺的深度神經(jīng)網(wǎng)絡(luò)模型，判斷一張抓拍到的人臉是否屬于黑名單。雖然Inference的計算量相比Training少很多，但仍然涉及大量的矩陣運算。在推理環(huán)節(jié)，GPU、FPGA和ASIC都有很多應(yīng)用價值。

從應(yīng)用場景來看，可以分成“Cloud/DataCenter(云端)”和“Device/Embedded(設(shè)備端)”兩大類。

在深度學(xué)習(xí)的Training階段，由于對數(shù)據(jù)量及運算量需求巨大，單一處理器幾乎不可能獨立完成一個模型的訓(xùn)練過程，因此，Training環(huán)節(jié)目前只能在云端實現(xiàn)，在設(shè)備端做Training目前還不是很明確的需求。

在Inference階段，由于目前訓(xùn)練出來的深度神經(jīng)網(wǎng)絡(luò)模型大多仍非常復(fù)雜，其推理過程仍然是計算密集型和存儲密集型的，若部署到資源有限的終端用戶設(shè)備上難度很大，因此，云端推理目前在人工智能應(yīng)用中需求更為明顯。GPU、FPGA、ASIC(Google TPU1.0/2.0)等都已應(yīng)用于云端Inference環(huán)境。在設(shè)備端Inference領(lǐng)域，由于智能終端數(shù)量龐大且需求差異較大，如ADAS、VR等設(shè)備對實時性要求很高，推理過程不能交由云端完成，要求終端設(shè)備本身需要具備足夠的推理計算能力，因此一些低功耗、低延遲、低成本的專用芯片也會有很大的市場需求。

按照上述兩種分類，我們得出AI芯片分類象限如下圖所示。

除了按照功能場景劃分外，AI芯片從技術(shù)架構(gòu)發(fā)展來看，大致也可以分為四個類型：

1、通用類芯片，代表如GPU、FPGA；

2、基于FPGA的半定制化芯片，代表如深鑒科技DPU、百度XPU等；

3、全定制化ASIC芯片，代表如TPU、寒武紀(jì) Cambricon-1A等；

4、類腦計算芯片，代表如IBM TrueNorth、westwell、高通Zeroth等。

從上述分類象限來看，目前AI芯片的市場需求主要是三類：

1、面向于各大人工智能企業(yè)及實驗室研發(fā)階段的Training需求(主要是云端，設(shè)備端Training需求尚不明確)；

2、Inference On Cloud，F(xiàn)ace++、出門問問、Siri等主流人工智能應(yīng)用均通過云端提供服務(wù)；

3、Inference On Device，面向智能手機、智能攝像頭、機器人/無人機、自動駕駛、VR等設(shè)備的設(shè)備端推理市場，需要高度定制化、低功耗的AI芯片產(chǎn)品。如華為麒麟970搭載了“神經(jīng)網(wǎng)絡(luò)處理單元(NPU，實際為寒武紀(jì)的IP)”、蘋果A11搭載了“神經(jīng)網(wǎng)絡(luò)引擎(Neural Engine)”。

（一）Training訓(xùn)練

2007年以前，人工智能研究受限于當(dāng)時算法、數(shù)據(jù)等因素，對于芯片并沒有特別強烈的需求，通用的CPU芯片即可提供足夠的計算能力。Andrew Ng和Jeff Dean打造的Google Brain項目，使用包含16000個CPU核的并行計算平臺，訓(xùn)練超過10億個神經(jīng)元的深度神經(jīng)網(wǎng)絡(luò)。但CPU的串行結(jié)構(gòu)并不適用于深度學(xué)習(xí)所需的海量數(shù)據(jù)運算需求，用CPU做深度學(xué)習(xí)訓(xùn)練效率很低，在早期使用深度學(xué)習(xí)算法進(jìn)行語音識別的模型中，擁有429個神經(jīng)元的輸入層，整個網(wǎng)絡(luò)擁有156M個參數(shù)，訓(xùn)練時間超過75天。

與CPU少量的邏輯運算單元相比，GPU整個就是一個龐大的計算矩陣，GPU具有數(shù)以千計的計算核心、可實現(xiàn)10-100倍應(yīng)用吞吐量，而且它還支持對深度學(xué)習(xí)至關(guān)重要的并行計算能力，可以比傳統(tǒng)處理器更加快速，大大加快了訓(xùn)練過程。

從上圖對比來看，在內(nèi)部結(jié)構(gòu)上，CPU中70%晶體管都是用來構(gòu)建Cache(高速緩沖存儲器)和一部分控制單元，負(fù)責(zé)邏輯運算的部分(ALU模塊)并不多，指令執(zhí)行是一條接一條的串行過程。GPU 由并行計算單元和控制單元以及存儲單元構(gòu)成，擁有大量的核(多達(dá)幾千個)和大量的高速內(nèi)存，擅長做類似圖像處理的并行計算，以矩陣的分布式形式來實現(xiàn)計算。同CPU不同的是，GPU的計算單元明顯增多，特別適合大規(guī)模并行計算。

在人工智能的通用計算GPU市場，NVIDIA現(xiàn)在一家獨大。2010年NVIDIA就開始布局人工智能產(chǎn)品，2014年發(fā)布了新一代PASCAL GPU芯片架構(gòu)，這是NVIDIA的第五代GPU架構(gòu)，也是首個為深度學(xué)習(xí)而設(shè)計的GPU，它支持所有主流的深度學(xué)習(xí)計算框架。2016年上半年，NVIDIA又針對神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程推出了基于PASCAL架構(gòu)的TESLA P100芯片以及相應(yīng)的超級計算機DGX-1。DGX-1包含TESLA P100 GPU加速器，采用NVLINK互聯(lián)技術(shù)，軟件堆棧包含主要深度學(xué)習(xí)框架、深度學(xué)習(xí)SDK、DIGITS GPU訓(xùn)練系統(tǒng)、驅(qū)動程序和CUDA，能夠快速設(shè)計深度神經(jīng)網(wǎng)絡(luò)(DNN)，擁有高達(dá)170TFLOPS的半精度浮點運算能力，相當(dāng)于250臺傳統(tǒng)服務(wù)器，可以將深度學(xué)習(xí)的訓(xùn)練速度加快75倍，將CPU性能提升56倍。

Training市場目前能與NVIDIA競爭的就是Google。今年5月份Google發(fā)布了TPU 2.0，TPU(TensorProcessing Unit)是Google研發(fā)的一款針對深度學(xué)習(xí)加速的ASIC芯片，第一代TPU僅能用于推理，而目前發(fā)布的TPU 2.0既可以用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，又可以用于推理。據(jù)介紹，TPU2.0包括了四個芯片，每秒可處理180萬億次浮點運算。Google還找到一種方法，使用新的計算機網(wǎng)絡(luò)將64個TPU組合到一起，升級為所謂的TPU Pods，可提供大約11500萬億次浮點運算能力。Google表示，公司新的深度學(xué)習(xí)翻譯模型如果在32塊性能最好的GPU上訓(xùn)練，需要一整天的時間，而八分之一個TPU Pod就能在6個小時內(nèi)完成同樣的任務(wù)。目前Google 并不直接出售TPU芯片，而是結(jié)合其開源深度學(xué)習(xí)框架TensorFlow為AI開發(fā)者提供TPU云加速的服務(wù)，以此發(fā)展TPU2的應(yīng)用和生態(tài)，比如TPU2同時發(fā)布的TensorFlow Research Cloud (TFRC) 。

上述兩家以外，傳統(tǒng)CPU/GPU廠家Intel和AMD也在努力進(jìn)入這Training市場，如Intel推出的Xeon Phi+Nervana方案，AMD的下一代VEGA架構(gòu)GPU芯片等，但從目前市場進(jìn)展來看很難對NVIDIA構(gòu)成威脅。初創(chuàng)公司中，Graphcore 的IPU處理器(IntelligenceProcessing Unit)據(jù)介紹也同時支持Training和Inference。該IPU采用同構(gòu)多核架構(gòu)，有超過1000個獨立的處理器；支持All-to-All的核間通信，采用BulkSynchronous Parallel的同步計算模型；采用大量片上Memory，不直接連接DRAM。

總之，對于云端的Training(也包括Inference)系統(tǒng)來說，業(yè)界比較一致的觀點是競爭的核心不是在單一芯片的層面，而是整個軟硬件生態(tài)的搭建。NVIDIA的CUDA+GPU、Google的TensorFlow+TPU2.0，巨頭的競爭也才剛剛開始。

（二）Inference On Cloud云端推理

相對于Training市場上NVIDIA的一家獨大，Inference市場競爭則更為分散。若像業(yè)界所說的深度學(xué)習(xí)市場占比(Training占5%，Inference占95%)，Inference市場競爭必然會更為激烈。

在云端推理環(huán)節(jié)，雖然GPU仍有應(yīng)用，但并不是最優(yōu)選擇，更多的是采用異構(gòu)計算方案(CPU/GPU +FPGA/ASIC)來完成云端推理任務(wù)。FPGA領(lǐng)域，四大廠商(Xilinx/Altera/Lattice/Microsemi)中的Xilinx和Altera（被Intel收購）在云端加速領(lǐng)域優(yōu)勢明顯。Altera在2015年12月被Intel收購，隨后推出了Xeon+FPGA的云端方案，同時與Azure、騰訊云、阿里云等均有合作；Xilinx則與IBM、百度云、AWS、騰訊云合作較深入，另外Xilinx還戰(zhàn)略投資了國內(nèi)AI芯片初創(chuàng)公司深鑒科技。目前來看，云端加速領(lǐng)域其他FPGA廠商與Xilinx和Altera還有很大差距。

ASIC領(lǐng)域，應(yīng)用于云端推理的商用AI芯片目前主要是Google的TPU1.0/2.0。其中，TPU1.0僅用于Datacenter Inference應(yīng)用。它的核心是由65,536個8-bit MAC組成的矩陣乘法單元，峰值可以達(dá)到92 TeraOps/second(TOPS)。有一個很大的片上存儲器，一共28 MiB。它可以支持MLP，CNN和LSTM這些常見的神經(jīng)網(wǎng)絡(luò)，并且支持TensorFLow框架。它的平均性能(TOPS)可以達(dá)到CPU和GPU的15到30倍，能耗效率(TOPS/W)能到30到80倍。如果使用GPU的DDR5 memory，這兩個數(shù)值可以達(dá)到大約GPU的70倍和CPU的200倍。TPU 2.0既用于訓(xùn)練，也用于推理，上一節(jié)已經(jīng)做過介紹。

國內(nèi)AI芯片公司寒武紀(jì)科技據(jù)報道也在自主研發(fā)云端高性能AI芯片，目前與科大訊飛、曙光等均有合作，但目前還沒有詳細(xì)的產(chǎn)品介紹。

（三）Inference On Device設(shè)備端推理

設(shè)備端推理的應(yīng)用場景更為多樣化，智能手機、ADAS、智能攝像頭、語音交互、VR/AR等設(shè)備需求各異，需要更為定制化、低功耗、低成本的嵌入式解決方案，這就給了創(chuàng)業(yè)公司更多機會，市場競爭生態(tài)也會更加多樣化。

1）智能手機

華為9月初發(fā)布的麒麟970 AI芯片就搭載了神經(jīng)網(wǎng)絡(luò)處理器NPU(寒武紀(jì)IP)。麒麟970采用了TSMC 10nm工藝制程，擁有55億個晶體管，功耗相比上一代芯片降低20%。CPU架構(gòu)方面為4核A73+4核A53組成8核心，能耗同比上一代芯片得到20%的提升；GPU方面采用了12核Mali G72 MP12GPU，在圖形處理以及能效兩項關(guān)鍵指標(biāo)方面分別提升20%和50%；NPU采用HiAI移動計算架構(gòu)，在FP16下提供的運算性能可以達(dá)到1.92 TFLOPs，相比四個Cortex-A73核心，處理同樣的AI任務(wù)，有大約50倍能效和25倍性能優(yōu)勢。

蘋果最新發(fā)布的A11仿生芯片也搭載了神經(jīng)網(wǎng)絡(luò)單元。據(jù)介紹，A11仿生芯片有43億個晶體管，采用TSMC 10納米FinFET工藝制程。CPU采用了六核心設(shè)計，由2個高性能核心與4個高能效核心組成。相比A10 Fusion，其中兩個性能核心的速度提升了25%，四個能效核心的速度提升了70%；GPU采用了蘋果自主設(shè)計的三核心 GPU 圖形處理單元，圖形處理速度與上一代相比最高提升可達(dá) 30% 之多；神經(jīng)網(wǎng)絡(luò)引擎NPU采用雙核設(shè)計，每秒運算次數(shù)最高可達(dá) 6000 億次，主要用于勝任機器學(xué)習(xí)任務(wù)，能夠識別人物、地點和物體等，能夠分擔(dān) CPU 和 GPU 的任務(wù)，大幅提升芯片的運算效率。

另外，高通從 2014 年開始也公開了NPU的研發(fā)，并且在最新兩代驍龍 8xx 芯片上都有所體現(xiàn)，例如驍龍 835 就集成了“驍龍神經(jīng)處理引擎軟件框架”，提供對定制神經(jīng)網(wǎng)絡(luò)層的支持，OEM 廠商和軟件開發(fā)商都可以基于此打造自己的神經(jīng)網(wǎng)絡(luò)單元。ARM在今年所發(fā)布的 Cortex-A75 和 Cortex-A55中也融入了自家的AI 神經(jīng)網(wǎng)絡(luò)DynamIQ技術(shù)，據(jù)介紹，DynamIQ技術(shù)在未來 3-5 年內(nèi)可實現(xiàn)比當(dāng)前設(shè)備高50倍的AI性能，可將特定硬件加速器的反應(yīng)速度提升10倍?？傮w來看，智能手機未來AI芯片的生態(tài)基本可以斷定仍會掌握在傳統(tǒng)SoC商手中。

2）自動駕駛

NVIDIA去年發(fā)布自動駕駛開發(fā)平臺DRIVE PX2，基于16nm FinFET工藝，功耗高達(dá)250W，采用水冷散熱設(shè)計；支持12路攝像頭輸入、激光定位、雷達(dá)和超聲波傳感器；CPU采用兩顆新一代NVIDIA Tegra處理器，當(dāng)中包括了8個A57核心和4個Denver核心；GPU采用新一代Pascal架構(gòu)，單精度計算能力達(dá)到8TFlops，超越TITAN X，有后者10倍以上的深度學(xué)習(xí)計算能力。Intel收購的Mobileye、高通收購的NXP、英飛凌、瑞薩等汽車電子巨頭也提供ADAS芯片和算法。初創(chuàng)公司中，地平線的深度學(xué)習(xí)處理器(BPU，BrainProcessor Unit)IP及其自研雨果(Hugo)平臺也是重點面向自動駕駛領(lǐng)域。

3）計算機視覺領(lǐng)域

Intel收購的Movidius是主要的芯片提供商，大疆無人機、?？低?/u>和大華股份的智能監(jiān)控攝像頭均使用了Movidius的Myriad系列芯片。目前國內(nèi)做計算機視覺技術(shù)的公司中，商湯科技、Face++、云從、依圖等，未來有可能隨著其自身計算機視覺技術(shù)的積累漸深，部分公司向上游延伸去做CV芯片研發(fā)。另外，國內(nèi)還有如人人智能、智芯原動等創(chuàng)業(yè)公司提供攝像頭端的AI加速IP及芯片解決方案。