彪悍的Graphcore第二代IPU！加速落地超大規(guī)模數(shù)據(jù)中心、金融、醫(yī)療健康等領(lǐng)域

電子發(fā)燒友網(wǎng)報(bào)道（文/黃晶晶）一家來(lái)自于英國(guó)的AI初創(chuàng)公司Graphcore，成立一年多時(shí)間里，融資超過(guò)4.5億美金，金融投資者包括紅杉資本、歐洲Atomico、以色列Pitango等，戰(zhàn)略投資者包括寶馬、Bosch、戴爾、微軟、三星等，受到資本的熱烈追捧。

最近，Graphcore發(fā)布第二代IPU芯片以及基于第二代IPU處理器的一系列的產(chǎn)品，性能對(duì)標(biāo)市面上的主流產(chǎn)品。據(jù)了解，Graphcore IPU采用大規(guī)模并行同構(gòu)眾核架構(gòu)，其IPU Core是一個(gè)SMT多線程處理器，可以同時(shí)跑6個(gè)線程，類似多線程CPU，它與GPU的SIMD/SMIT架構(gòu)不同。Graphcore IPU大量采用片上存儲(chǔ)SRAM，沒(méi)有外部DRAM。另外還采用了IPU-Fabric進(jìn)行片間互聯(lián)。Graphcore第二代IPU芯片在SRAM存儲(chǔ)容量、計(jì)算吞吐量以及通信方面又有了大幅提升。

Graphcore第二代IPU三大顛覆性技術(shù)

Graphcore第二代IPU芯片Colossus Mk2 GC200采用臺(tái)積電7nm工藝。在計(jì)算、數(shù)據(jù)與通信方面實(shí)現(xiàn)了技術(shù)突破。無(wú)論與公司第一代IPU還是目前市面上主流的GPU相比，其性能表現(xiàn)突出。Graphcore高級(jí)副總裁、中國(guó)區(qū)總經(jīng)理盧濤進(jìn)行了詳細(xì)解析。

計(jì)算

Colossus Mk2 GC200處理器是目前世界上最復(fù)雜的單一處理器，基于臺(tái)積電7納米的技術(shù)，集成將近600億個(gè)晶體管，擁有250TFlops AI-Float的算力和900MB的處理器內(nèi)存儲(chǔ)。處理器內(nèi)核從上一代的1217提升到1472個(gè)獨(dú)立的處理器內(nèi)核，這樣一個(gè)處理器有將近9000個(gè)單獨(dú)的并行線程。相對(duì)于第一代產(chǎn)品，其系統(tǒng)級(jí)的性能提升了8倍以上。

同時(shí)In-Processor-Memory從上一代的300MB提升到900MB。每個(gè)IPU的Memory帶寬是47.5TB/s。還包含了IPU-Exchange以及PCI Gen4跟主機(jī)交互的一個(gè)接口；另外有IPU-Links 320GB/s的芯片到芯片的互聯(lián)。



數(shù)據(jù)

IPU Exchange Memory是一個(gè)交換式存儲(chǔ)的概念。如果跟英偉達(dá)當(dāng)前使用HBM技術(shù)的產(chǎn)品比較，Graphcore在M2000每個(gè)IPU-Machine里面通過(guò)IPU-Exchange-Memory技術(shù)，提供了將近超過(guò)100倍的帶寬以及大約10倍的容量，這對(duì)于很多復(fù)雜的AI模型算法是非常有幫助的。

通信

此次，Graphcore專門(mén)為AI橫向擴(kuò)展設(shè)計(jì)了一個(gè)IPU-Fabric的結(jié)構(gòu)。IPU-Fabric可以做到2.8Tbps超低延時(shí)，同時(shí)最多可以支持64000個(gè)IPU之間的橫向擴(kuò)展。同時(shí)IPU-Fabric支持AI運(yùn)算的集合通信或者all-reduce的操作，這也是Fabric的技術(shù)特性。

目前Graphcore有三種產(chǎn)品形態(tài)：一是IPU-Machine。二是IPU服務(wù)器，目前Graphcore已經(jīng)在全球范圍內(nèi)完成了浪潮和戴爾IPU服務(wù)器的產(chǎn)品適配。三是大規(guī)模橫向擴(kuò)展的IPU-POD系統(tǒng)級(jí)產(chǎn)品。

IPU-MachineM2000是一個(gè)1U結(jié)構(gòu)的即插即用的計(jì)算刀片，集成4個(gè)IPU Mk2GC200處理器，總共有1PFlops16.16的算力，和近6000個(gè)處理器的核心，以及超過(guò)35000個(gè)并行的線程，In-Processor Memory達(dá)到了3.6GB，Exchange Memory有450GB，以及2.8TbpsIPU-Fabric超低延時(shí)通信。非常易于部署，IPU-M2000可以滿足當(dāng)前最苛刻的一些機(jī)器智能的工作負(fù)載。當(dāng)前建議零售價(jià)是32,450美金。






IPU-M2000擁有多種配置形態(tài)，M2000是我們?cè)跇?gòu)建超大規(guī)模的、彈性的AI計(jì)算集群中間的一個(gè)基本單元，可以從1個(gè)到4個(gè)、8個(gè)，到64個(gè)，最多可以到64000個(gè)，自由組合計(jì)算規(guī)模。

用于超算規(guī)模的IPU-POD，IPU-POD64是IPU-POD的一個(gè)基本組件，IPU-POD64總共支持了16個(gè)IPU-M2000，可以根據(jù)不同的工作負(fù)載進(jìn)行不同的配置。另外，目前支持的2D-Torus拓?fù)?，最大化IPU-Link的帶寬，全縮減（all-reduce）的效率比網(wǎng)狀拓?fù)涞囊靸杀叮@樣一個(gè)架構(gòu)可以擴(kuò)展到64000個(gè)GC200的IPU。

由于把AI的計(jì)算跟邏輯的控制進(jìn)行了解耦，因此非常易于部署，網(wǎng)絡(luò)延時(shí)非常低，能夠支持大型的算法模型，以及安全的多用戶使用，

按64000個(gè)IPU集群計(jì)算，總共能提供16個(gè)EFlops FP16的算力，盧濤表示，日本前一陣發(fā)布的超算實(shí)現(xiàn)0.5 EFlops算力。而我們基于64000個(gè)IPU總共可以組建16個(gè)EFlops算力，這個(gè)是非常驚人的算力。

性能PK

IPU Mk2與Mk1進(jìn)行對(duì)比，計(jì)算達(dá)到了兩倍以上的吞吐量峰值能力；數(shù)據(jù)方面，六倍以上的處理器內(nèi)的有效存儲(chǔ)，超過(guò)了446GB的 IPU-Machine流存儲(chǔ)；通信方面，加入了基于大規(guī)模橫向擴(kuò)展的IPU-Fabric的技術(shù)。






處理器內(nèi)存儲(chǔ)從300MB到900MB,看起來(lái)是三倍的提升，但是片內(nèi)存儲(chǔ)分為兩部分，程序占用的存儲(chǔ)空間以及供模型的激活、權(quán)重的存儲(chǔ)空間。因?yàn)閷?duì)于程序代碼空間的占用情況在Mk1和Mk2是同樣的，這樣供算法模型可用的權(quán)重和激活容量有6倍以上的有效存儲(chǔ)。



Mk2與Mk1系統(tǒng)級(jí)的對(duì)比中，配備有IPU-Link的8個(gè)C2 PCIe的IPU服務(wù)器和Mk2配備有IPU-Fabric的8個(gè)IPU-M2000比較，在三個(gè)比較典型的應(yīng)用場(chǎng)景，在BERT-Large訓(xùn)練，MK2有9.3倍性能的提升。BERT三層推理，實(shí)現(xiàn)8. 5倍的性能提升。EfficientNet-B3這類計(jì)算機(jī)視覺(jué)應(yīng)用模型，有7.4 倍的性能提升。



8個(gè)M2000與基于英偉達(dá)DGX-A100的整機(jī)（8個(gè)A100）對(duì)比中，后者FP32的計(jì)算能力是156TFlops，而8個(gè)M2000做到了2PFlops的算力，大約12倍的FP32性能的提升。對(duì)于AI計(jì)算，在GPU的平臺(tái)上是2.5PFlops，在M2000的平臺(tái)上是8PFlops，大約有三倍的提升。針對(duì)AI存儲(chǔ)部分，相對(duì)后者320GB，前面有3.6TB的存儲(chǔ)，將近10倍的提升。另外，從系統(tǒng)架構(gòu)來(lái)說(shuō)，花199K美金買到最新的GPU的算力和存儲(chǔ)空間，對(duì)于Graphcore的平臺(tái)，可能會(huì)花259k美金就能買到12倍的運(yùn)算能力和10倍的存儲(chǔ)空間。

軟件與平臺(tái)生態(tài)

對(duì)于AI的落地應(yīng)用，軟件生態(tài)可能比硬件更重要。Graphcore在提供高性能IPU芯片的同時(shí)，也在加速軟件和平臺(tái)生態(tài)的建設(shè)。

Graphcore 中國(guó)區(qū)技術(shù)應(yīng)用總負(fù)責(zé)人羅旭介紹了Poplar軟件的最新版本特性。Poplar包括PopART和PopLibs，PopLibs相當(dāng)于SDK，PopART相當(dāng)于run time，通過(guò)PopART和PopLibs，連接到Poplar的compute graph，再通過(guò)graph compiler，相當(dāng)于在整個(gè)處理器軟件跟硬件結(jié)合最緊密的地方轉(zhuǎn)成一個(gè)計(jì)算圖，然后把這個(gè)計(jì)算圖加載到對(duì)應(yīng)的硬件，也就是IPU-Machine。



Poplar支持的算法框架包括PyTorch、TensorFlow、ONNX，mxnet，以及前段時(shí)間百度發(fā)布的PaddlePaddle。同一套軟件可以實(shí)現(xiàn)推理和訓(xùn)練。



最新發(fā)布的SDK 1.2主要特性在于，與比較先進(jìn)的機(jī)器學(xué)習(xí)框架做更好的集成；進(jìn)一步開(kāi)放低級(jí)別的API，上層的算法提供一個(gè)低層次的API接口，針對(duì)網(wǎng)絡(luò)的性能做一些特定的調(diào)優(yōu)；增加框架支持，包括對(duì)PyTorch和Keras的支持。另外卷積庫(kù)和稀疏庫(kù)。PopART方面，可以做到多機(jī)的數(shù)據(jù)并行訓(xùn)練。

羅旭還談到，我們把Exchange Memory也做了一些開(kāi)放，包括API以及它的管理功能的開(kāi)放。應(yīng)用開(kāi)發(fā)者可以基于Exchange Memory對(duì)模型的性能做極大程度的調(diào)優(yōu)。



針對(duì)數(shù)據(jù)中心目前主流的操作系統(tǒng)ubuntu、RedHat、CentOS，現(xiàn)在Poplar SDK、drivers、工具鏈等也是完全支持的。



7月6號(hào)，PopLibs在GitHub上開(kāi)源。用戶可以直接在GitHub上去搜索Graphcore下載對(duì)應(yīng)鏈接。

Graphcore 在中國(guó)的首款I(lǐng)PU 開(kāi)發(fā)者云部署在金山云之上，這里面使用了三種IPU產(chǎn)品，IPU-POD64，浪潮的IPU服務(wù)器NF5568M5，以及戴爾的IPU服務(wù)器DSS8440，目前這個(gè)是面向商業(yè)用戶進(jìn)行評(píng)測(cè)以及面向高校研究機(jī)構(gòu)，甚至個(gè)人開(kāi)發(fā)者能夠提供免費(fèi)的試用。



對(duì)于商業(yè)用戶來(lái)說(shuō)，通常為三周或者按需適度延長(zhǎng)，可以通用IPU極大優(yōu)化現(xiàn)有模型，產(chǎn)品較競(jìng)爭(zhēng)對(duì)手更早實(shí)現(xiàn)產(chǎn)品化和市場(chǎng)化。對(duì)大學(xué)、研究機(jī)構(gòu)和個(gè)人研究者，可以提供6個(gè)月的免費(fèi)訪問(wèn)，直至完成研究項(xiàng)目并發(fā)表結(jié)果。

IPU與GPU不是競(jìng)爭(zhēng)關(guān)系

盧濤認(rèn)為，IPU是面向未來(lái)的另一大計(jì)算平臺(tái)，它與CPU、GPU不是競(jìng)爭(zhēng)的關(guān)系，有交叉有不同。當(dāng)前AI主流計(jì)算平臺(tái)仍是CPU和GPU，甚至一些算法也是基于GPU發(fā)展而來(lái)。Graphcore的愿景是畫(huà)第三個(gè)圓，我們認(rèn)為CPU與GPU并沒(méi)有從根本意義上解決AI的問(wèn)題。AI是一個(gè)面向計(jì)算圖的計(jì)算任務(wù)，跟CPU的標(biāo)量計(jì)算以及GPU的矢量計(jì)算都不同。

從此，CPU、GPU、IPU有重疊相交的部分，必然會(huì)在某些領(lǐng)域進(jìn)行競(jìng)爭(zhēng)。例如，目前在NLP、CV這兩個(gè)領(lǐng)域的競(jìng)爭(zhēng)會(huì)有一段膠著時(shí)期。但是未來(lái)會(huì)有更多IPU獨(dú)擋一面的應(yīng)用，有待我們進(jìn)行挖掘。

本文由電子發(fā)燒友網(wǎng)原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。如需轉(zhuǎn)載，請(qǐng)?zhí)砑游?a target="_blank">信號(hào)elecfans999。