英特爾新推AI芯片Nervana

在拉斯維加斯舉行的2019年國際消費(fèi)電子展上，英特爾數(shù)據(jù)中心集團(tuán)執(zhí)行副總裁Navin Shenoy宣布英特爾Nervana神經(jīng)網(wǎng)絡(luò)推理處理器將于今年投入生產(chǎn)。早在2016年，英特爾就以4.08億美元的價(jià)格從圣地亞哥收購了擁有48人的AI SAAS初創(chuàng)公司Nervana。 Nervana當(dāng)時(shí)是一家軟件公司，提供一個(gè)名為Nervana Cloud的全棧軟件即服務(wù)平臺，在一個(gè)名為Neon的開源框架基礎(chǔ)上支持定制深度學(xué)習(xí)應(yīng)用程序的開發(fā)。

據(jù)報(bào)道，Nervana當(dāng)時(shí)正致力于開發(fā)用于神經(jīng)網(wǎng)絡(luò)處理的定制芯片，他們聲稱使用這種芯片AI加速器的性能至少會領(lǐng)先GPU10倍。當(dāng)然，開發(fā)自定義處理器對于小型軟件團(tuán)隊(duì)來說是一項(xiàng)艱巨的任務(wù)，但是在它被英特爾收購后，要實(shí)現(xiàn)這一想法就變得現(xiàn)實(shí)多了?，F(xiàn)在，英特爾宣布推出第一款產(chǎn)品，用于推理的英特爾Nervana神經(jīng)網(wǎng)絡(luò)處理器，簡稱NNP-I。該公司還宣布將在今年下半年推出代號為“Spring Crest”的神經(jīng)網(wǎng)絡(luò)訓(xùn)練處理器。Nervana Engine最初是采用28nm技術(shù)開發(fā)的，計(jì)劃在發(fā)布之前升級到14nm。英特爾目前還沒有做出回應(yīng)，但我們推斷今年交付的設(shè)備將采用英特爾的14nm FinFET技術(shù)，未來或許會改用10nm。

英特爾表示Nervana正在與Facebook合作開發(fā)，這是一個(gè)很有意思的消息，因?yàn)镕acebook是“超七”數(shù)據(jù)中心公司，其加速策略一直是不公開的。谷歌開發(fā)了自己的處理器，微軟，亞馬遜和AWS等公司也在基于FPGA的加速方面投入了大量資金。和Facebook成為開發(fā)合作伙伴，應(yīng)該能讓Nervana在今年下半年全面上市時(shí)獲得可靠的端到端認(rèn)證。

神經(jīng)網(wǎng)絡(luò)訓(xùn)練和推理是計(jì)算密集型的，涉及矩陣的張量乘法和卷積。多年來，圖形處理單元（GPU）一直是人工智能訓(xùn)練加速的首選解決方案，而FPGA一直在努力開拓推理游戲中的競爭優(yōu)勢。就像現(xiàn)成的芯片一樣，GPU可以充分利用其高度并行的矢量和線性代數(shù)功能，非常適合人工智能任務(wù)。但是，由于GPU并非專為人工智能而設(shè)計(jì)，所以當(dāng)涉及到人工智能和深度學(xué)習(xí)的架構(gòu)優(yōu)化時(shí)，GPU仍然有很多問題需要解決。

類似地，F(xiàn)PGA可以通過更低的功耗為推理任務(wù)提供極高的并行性和性能，因?yàn)椴煌谟?xùn)練，推理任務(wù)可以通過降低精度的定點(diǎn)計(jì)算來完成。大型數(shù)據(jù)中心和公有云已經(jīng)開始利用FPGA集群來加速推理任務(wù)，在吞吐量、延遲和計(jì)算效率方面取得了顯著成果。然而，與GPU類似，典型的FPGA上有許多不涉及AI計(jì)算的硬件，許多可編程架構(gòu)使得FPGA作為通用設(shè)備非常棒，但作為AI處理器卻不夠理想。

Nervana是從GPU內(nèi)核的深度學(xué)習(xí)開發(fā)人員的角度來解決這個(gè)問題的，這讓他們深刻地認(rèn)識到GPU對于AI任務(wù)的局限性。該公司表示，Nervana引擎是從頭開始設(shè)計(jì)的，拋棄了GPU架構(gòu)，重新開始。他們分析了許多深層神經(jīng)網(wǎng)絡(luò)，并提出了他們認(rèn)為的最適合關(guān)鍵操作的架構(gòu)。他們還提出了一種新的數(shù)字格式——FlexPoint，它試圖最大化16位存儲的精度。

由于人工智能計(jì)算可能非常耗費(fèi)內(nèi)存，因此Nervana需要能夠快速移動(dòng)大量數(shù)據(jù)。Nervana設(shè)備包括32GB的內(nèi)置高帶寬內(nèi)存（HBM），可提供8Tb/s的內(nèi)存訪問帶寬。HBM存儲器通過芯片3D堆疊實(shí)現(xiàn)高容量。一個(gè)HBM芯片棧可以存儲8GB的數(shù)據(jù)，其中包含8個(gè)1GB的獨(dú)立內(nèi)存模塊。Nervana引擎包括4個(gè)HBM棧，提供32GB的存儲。英特爾的多模封裝技術(shù)將HBM與處理器核心陣列連接起來。我們推測這是由英特爾的2.5D嵌入式多模互連橋(EMIB)技術(shù)而不是新宣布的FOVEROS 3D封裝完成的，不過英特爾并沒有給出明確答案。

Nervana引擎由一系列“Tensor Processing Cores”組成，這些核心由HBM基板、內(nèi)存接口和高速IO組成，旨在將許多Nervana設(shè)備組合在一起，以提供超大規(guī)模的網(wǎng)絡(luò)部署。英特爾尚未給出新設(shè)備的具體性能或功耗數(shù)據(jù)，只是說功耗將達(dá)到數(shù)百瓦，和Movidius和Mobileye等邊緣目標(biāo)AI設(shè)備相比，Nervana明顯將用于數(shù)據(jù)中心。

該設(shè)備包括六條雙向高帶寬鏈路，該公司表示該芯片能夠在機(jī)箱內(nèi)部或機(jī)箱之間無縫連接。該公司表示，這使用戶能夠通過簡單地分配更多的計(jì)算，或者在不降低速度的情況擴(kuò)展模型規(guī)模，從而在當(dāng)前模型上獲得線性加速。將多臺設(shè)備連接在一起可以作為一個(gè)大處理器。

Nervana的目標(biāo)是在數(shù)據(jù)中心搶食GPU和FPGA的市場。由于英特爾在其PSG部門（前身為Altera）擁有世界上最好的FPGA技術(shù)之一，因此它認(rèn)為Nervana在推理方面超過FPGA，在訓(xùn)練方面比GPU具有更明顯的優(yōu)勢。特別是英偉達(dá)(NVIDIA)，它在AI訓(xùn)練領(lǐng)域占據(jù)著主導(dǎo)地位，顯然是Nervana瞄準(zhǔn)的目標(biāo)。

隨著更多不同領(lǐng)域的AI設(shè)備進(jìn)入市場，目前的通用處理器芯片無法滿足需求，會有越來越多的AI芯片出現(xiàn)，我們將拭目以待。