Graphcore公布最新MLPerf訓(xùn)練結(jié)果：AI性能再刷新高

2021年12月2日，北京—— 今日，Graphcore（擬未）正式公布其參與MLPerf測(cè)試的最新結(jié)果。結(jié)果顯示，與首次提交的MLPerf訓(xùn)練結(jié)果相比，對(duì)于ResNet-50模型，Graphcore通過(guò)軟件優(yōu)化，在IPU-POD16上實(shí)現(xiàn)了24%的性能提升，在IPU-POD64上實(shí)現(xiàn)了41%的性能提升；對(duì)于自然語(yǔ)言處理（NLP）模型BERT來(lái)說(shuō)，在IPU-POD16上實(shí)現(xiàn)了5%的性能提升，在IPU-POD64上實(shí)現(xiàn)了12%的性能提升。此次MLPerf測(cè)試結(jié)果證明了Graphcore的IPU系統(tǒng)越來(lái)越強(qiáng)大、高效，軟件日益成熟且更快、更易使用。

MLPerf還對(duì)比了市面上的Graphcore與NVIDIA的產(chǎn)品，通過(guò)在GPU占據(jù)優(yōu)勢(shì)的模型ResNet-50上進(jìn)行測(cè)試，結(jié)果表明Graphcore的IPU-POD16在計(jì)算機(jī)視覺(jué)模型ResNet-50方面的表現(xiàn)優(yōu)于NVIDIA的DGX A100。在DGX A100上訓(xùn)練ResNet-50需要29.1分鐘，而IPU-POD16僅耗時(shí)28.3分鐘，這是自Graphcore首次提交以來(lái)僅通過(guò)軟件實(shí)現(xiàn)的性能提升。其中，IPU-POD16對(duì)ResNet-50的軟件驅(qū)動(dòng)性能提高了24%，在IPU-POD64上對(duì)ResNet-50的軟件驅(qū)動(dòng)性能提升甚至更高，達(dá)到41%，對(duì)于Graphcore具有里程碑式的意義。

Graphcore最近發(fā)布的IPU-POD128和IPU-POD256橫向擴(kuò)展系統(tǒng)也得出了結(jié)果，與上一輪MLPerf訓(xùn)練相比，Graphcore的IPU-POD16的BERT性能提高了5%，IPU-POD64的BERT性能提高了12%。

·對(duì)于Graphcore較大的旗艦系統(tǒng)，在IPU-POD128上訓(xùn)練ResNet-50的時(shí)間為5.67分鐘，在IPU-POD256上為3.79分鐘。

·對(duì)于自然語(yǔ)言處理（NLP）模型BERT，Graphcore在開(kāi)放和封閉類(lèi)別分別提交了IPU-POD16、IPU-POD64和IPU-POD128的結(jié)果，在新的IPU-POD128上的訓(xùn)練時(shí)間為5.78分鐘。

MLPerf的封閉分區(qū)嚴(yán)格要求提交者使用完全相同的模型實(shí)施和優(yōu)化器方法，其中包括定義超參數(shù)狀態(tài)和訓(xùn)練時(shí)期。開(kāi)放分區(qū)旨在通過(guò)在模型實(shí)施中提供更大的靈活性來(lái)促進(jìn)創(chuàng)新，同時(shí)確保達(dá)到與封閉分區(qū)完全相同的模型準(zhǔn)確性和質(zhì)量。通過(guò)在開(kāi)放分區(qū)展示BERT訓(xùn)練的結(jié)果，Graphcore能夠讓客戶(hù)了解產(chǎn)品在實(shí)際運(yùn)行中的性能，從而讓他們更傾向于使用此類(lèi)優(yōu)化。

新模型在大規(guī)模系統(tǒng)上的巨大優(yōu)勢(shì)

MLPerf及其組織機(jī)構(gòu)MLCommons作為第三方驗(yàn)證機(jī)構(gòu)，在幫助客戶(hù)獨(dú)立評(píng)估人工智能計(jì)算系統(tǒng)的能力和不同公司提供的軟件棧的成熟度方面發(fā)揮著重要作用。當(dāng)然，客戶(hù)繼續(xù)在生產(chǎn)中使用ResNet和BERT等模型的同時(shí)，也在探索創(chuàng)新的新模型，并期待Graphcore更大的旗艦系統(tǒng)實(shí)現(xiàn)大規(guī)模機(jī)器智能。例如，在Graphcore的旗艦產(chǎn)品IPU-POD256上，創(chuàng)新的計(jì)算機(jī)視覺(jué)EfficientNet-B4僅用1.8小時(shí)便可完成訓(xùn)練，盡管這并非Graphcore本次向MLPerf提交的內(nèi)容，但在實(shí)際應(yīng)用中的確有更強(qiáng)的性能優(yōu)勢(shì)。

此外，在絕對(duì)吞吐量性能以及擴(kuò)展到更大的IPU-POD系統(tǒng)方面，Graphcore在MLPerf之外的一系列模型中也得到了一系列令人印象深刻的結(jié)果，包括用于自然語(yǔ)言處理的GPT類(lèi)模型和用于計(jì)算機(jī)視覺(jué)的ViT（Transformer視覺(jué)模型）。

通過(guò)設(shè)計(jì)實(shí)現(xiàn)大規(guī)模高效

在本輪或任何一輪MLPerf原始數(shù)據(jù)中，每個(gè)制造商系統(tǒng)相關(guān)的主機(jī)處理器數(shù)量都十分驚人，一些參與者甚至指定要求每?jī)蓚€(gè)人工智能處理器配有一個(gè)CPU。而Graphcore的主機(jī)處理器與IPU的比率始終是最低的。與其他產(chǎn)品不同，IPU僅使用主機(jī)服務(wù)器進(jìn)行數(shù)據(jù)移動(dòng)，無(wú)需主機(jī)服務(wù)器在運(yùn)行時(shí)分派代碼。因此，IPU系統(tǒng)需要的主機(jī)服務(wù)器更少，從而實(shí)現(xiàn)了更靈活、更高效的橫向擴(kuò)展系統(tǒng)。

對(duì)于BERT-Large這一類(lèi)自然語(yǔ)言處理模型，IPU-POD64只需要一個(gè)雙CPU的主機(jī)服務(wù)器。ResNet-50需要更多的主機(jī)處理器來(lái)支持圖像預(yù)處理，因此Graphcore為每個(gè)IPU-POD64指定了四個(gè)雙核服務(wù)器。1比8的比例仍然低于其他所有MLPerf參與者。事實(shí)上，在本輪MLPerf 1.1訓(xùn)練中，Graphcore為BERT提供了最快的單服務(wù)器訓(xùn)練時(shí)間結(jié)果，為10.6分鐘。

Graphcore大中華區(qū)總裁兼全球首席營(yíng)收官盧濤表示：“自2021年初首次提交MLPerf測(cè)試以來(lái)，Graphcore取得了巨大進(jìn)步，這與Graphcore不懈創(chuàng)新的企業(yè)精神是分不開(kāi)的。無(wú)論是設(shè)計(jì)系統(tǒng)、選擇架構(gòu)之初，還是至少每三個(gè)月推出一次重大軟件更新，都是Graphcore創(chuàng)新精神的體現(xiàn)。同時(shí)，Graphcore不懈創(chuàng)新的熱情也感染和吸引了眾多軟硬件合作伙伴——從Hugging Face和PyTorch Lightning到VMware和Docker Hub，它們都積極支持Graphcore不斷創(chuàng)新，以助力AI開(kāi)發(fā)者在易于使用的系統(tǒng)上獲得絕佳的人工智能計(jì)算性能?！?/p>