英特爾發(fā)布云端訓(xùn)練推理兩用的可編程芯片

英特爾在人工智能領(lǐng)域投入頗多，自 2015 年起，便陸續(xù)收購了 Altera、Nervana Systems、Movidius 以及 Vertex. ai，現(xiàn)在英特爾除 FPGA 產(chǎn)品線外，還推出了 Nervana 深度學(xué)習(xí)加速器，在 Hot Chips 2019 大會上，英特爾公布了 Nervana NNP 神經(jīng)網(wǎng)絡(luò)處理器的相關(guān)細(xì)節(jié)，包括云端訓(xùn)練用神經(jīng)網(wǎng)絡(luò)處理器 NNP-T 和云端推理用神經(jīng)網(wǎng)絡(luò)處理器 NNP-I，據(jù)英特爾稱，NNP-I 已經(jīng)被 Facebook 采用。

英特爾 Nervana NNP-I，為推理而專門設(shè)計，又稱 Spring Hill，利用英特爾 10nm 制作工藝與 Ice Lake 內(nèi)核。

NNP-I 基于英特爾 10nm 制作工藝的 Ice Lake 處理器架構(gòu)設(shè)計，功耗在 10-50w 之間。在數(shù)據(jù)中心推理工作負(fù)載中，NNP-I 的運算效率可達(dá) 4.8TOPs/W；推理計算引擎 ICE 則主要由深度學(xué)習(xí)計算網(wǎng)格、可編程矢量處理器、高帶寬內(nèi)存接口、超大本地緩存組成，可支持 FP16、INT8、INT 4/2/1 的浮點運算。

此外，NNP-I 提供高度可編程性，隨著 AI 在每個工作負(fù)載中普及，擁有一個易于編程的專用推理加速器，并且對包括 ONNX，nGraph，OpenVINO，C++ 等主要深度學(xué)習(xí)框架的支持，有助于公司充分利用其數(shù)據(jù)進行可編程設(shè)計。

英特爾稱，隨著人工智能領(lǐng)域?qū)?fù)雜計算的需求增長，這款新芯片將可為大型公司使用的英特爾至強（Intel Xeon）處理器提供幫助。Facebook 已經(jīng)開始使用該人工智能處理器。英特爾 Nervana NNP-T（神經(jīng)網(wǎng)絡(luò)訓(xùn)練處理器），又稱 Spring Crest，將由臺積電制造，并采用 16nm FF+ 工藝。

Nervana 在被英特爾收購之前，就已經(jīng)利用臺積電的 28nm 處理器構(gòu)建起第一代 Lake Crest 設(shè)計。因此，作為相關(guān)設(shè)計規(guī)則與制造工藝的繼承者，Spring Crest 當(dāng)中仍然保留了不少臺積電的專利成果。英特爾方面在新一代芯片中也繼續(xù)沿用臺積電的工藝，但同時將更多自己的專利成果整合到架構(gòu)當(dāng)中——包括功率控制與偏移技術(shù)——由此創(chuàng)造出這款集合了“英特爾最佳元素與 Nervana 最佳元素”的芯片。

NNP-T 的計算核心擁有 270 億晶體管，包括 24 個 Tensor Processors（TPC）。除了 TPC 外，芯片裸片中還有 60MB 的 SRAM 以及一些專用的接口，如 IPMI、I2C 及 16 條 PCI-E 4.0 通道。芯片的工作頻率為 1.1GHz，風(fēng)冷條件下功率配置為 150W 到 250W，可通過水冷獲得更強大的性能表現(xiàn)。同時 NNP-T 還擁有 OCP 卡及 PCI-E 兩種規(guī)格，以供數(shù)據(jù)中心選擇。

英特爾公司希望通過開源 nGraph 庫以及負(fù)責(zé)將各框架連接至硬件后端的編譯器，對大部分軟件復(fù)雜性進行抽象。英特爾目前正在使用的框架包括 Paddle Paddle、Pytorch 以及 TensorFlow。

一級客戶將擁有對底層硬件的訪問權(quán)限，而其他“更為廣泛”的客戶將能夠訪問內(nèi)核庫。英特爾公司將在明年開放自己的高級編程語言，允許客戶根據(jù)需求編寫出自己的內(nèi)核。此舉的主要目標(biāo)是實現(xiàn)簡化，過高的復(fù)雜性最終必將占用掉寶貴的芯片面積。因此，自定義 ISA 將非常簡單，確保英特爾將芯片區(qū)主要分配給乘法器與存儲器。此外，芯片巨頭還構(gòu)建起獨家深度學(xué)習(xí)原語指令。

英特爾公司表示，其將在今年年底之前向首批客戶提供 NNP-T 樣品，主要包括各一級云服務(wù)供應(yīng)商。接下來，2020 年 NNP-T 產(chǎn)品將正式大規(guī)模投放市場。

如今，人工智能與機器學(xué)習(xí)已經(jīng)風(fēng)靡數(shù)據(jù)中心，而隨著以 AI 訓(xùn)練類工作負(fù)載為主體的各類解決方案的快速興起，GPU 也開始成為超級計算領(lǐng)域一顆耀眼的新星。2008 年，還沒有任何一臺超級計算機使用 GPU 進行計算——其仍主要依靠久經(jīng)考驗的 CPU。但現(xiàn)在，全球超算五百強榜單當(dāng)中，有 80% 的計算能力由 GPU 貢獻而來。相信很多朋友已經(jīng)意識到，高性能計算與超級計算的發(fā)展方向正朝著更為廣泛的數(shù)據(jù)中心移動，而 AI/ML 類工作負(fù)載的激增無疑將給英特爾在數(shù)據(jù)中心領(lǐng)域的主導(dǎo)地位構(gòu)成嚴(yán)重威脅。畢竟，每安裝一塊 GPU，都會有幾塊至強處理器失去“工作崗位”。

英特爾副總裁兼人工智能產(chǎn)品集團總經(jīng)理 Naveen Rao 表示，數(shù)據(jù)中心和云計算需要訪問高性能和可擴展的通用計算，以及對復(fù)雜 AI 應(yīng)用程序的專用加速。在未來的 AI 愿景中，需要采用“從硬件到軟件再到應(yīng)用程序”的整體方法。

本次英特爾推出的 Nervana 神經(jīng)網(wǎng)絡(luò)處理器，都將用于數(shù)據(jù)中心，NNP-T 用于云端訓(xùn)練，NNP-I 用于云端推理。而且就英特爾官方數(shù)據(jù)，NNP-I 在推理上的速度已經(jīng)超過英偉達(dá) Tesla P4，雖不及 V100，但差距不大。盡管英特爾此次推出芯片的制作工藝還不是最先進的 7nm，在性能上也稍微有些不足，但英特爾的此次“亮劍”無疑給出一個強烈的信號——AI 硬件領(lǐng)域的競爭將會更加激烈。