NVIDIA Tensor Core深度學(xué)習(xí)核心解析及跑分測(cè)試

核心解析

不久前，NVIDIA在SIGGRAPH 2018上正式發(fā)布了新一代GPU架構(gòu)——Turing（圖靈），黃仁勛稱Turing架構(gòu)是自2006年CUDA GPU發(fā)明以來最大的飛躍。

Turing架構(gòu)的兩大重要特性便是集成了用于光線追蹤的RT Core以及用于AI計(jì)算的Tensor Core，使其成為了全球首款支持實(shí)時(shí)光線追蹤的GPU。

不過說到AI計(jì)算，NVIDIA GPU成為最好的加速器早已是公認(rèn)的事實(shí)，但將Tensor Core印上GPU名片的并不是這次的Turing，而是他的上任前輩——Volta。

基于Volta架構(gòu)的Titan V是NVIDIA在計(jì)算領(lǐng)域成就的集大成者。深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)已成為NVIDIA GPU的背后驅(qū)動(dòng)力，作為最先進(jìn)的計(jì)算加速器，它集成了用于機(jī)器學(xué)習(xí)操作的內(nèi)置硬件和軟件加速，深度學(xué)習(xí)能力完全可以被當(dāng)做Titan V和Volta的名片。

Titan V與初代基于開普勒的GeForce GTX Titan已經(jīng)相去甚遠(yuǎn)，初代Titan的定位是一款萬能顯卡，既可作為游戲發(fā)燒友的旗艦游戲顯卡，也為專業(yè)消費(fèi)者提供全雙精度浮點(diǎn)（FP64）計(jì)算能力。

在Titan V誕生之前，Titan產(chǎn)品線幾乎都是基于這種設(shè)計(jì)方法，一顆巨大的GPU核心是NVIDIA“高大全”設(shè)計(jì)思路的最好代表。

而在Titan V上，NVIDIA再次擴(kuò)展了大核心的上限。Volta最引人注目的則是其全新的專用處理模塊——Tensor Core（張量計(jì)算核心），它與Volta的其他微架構(gòu)改進(jìn)，以及支持深度學(xué)習(xí)和高性能計(jì)算（HPC）的軟件/框架集成在一起。

憑借面積達(dá)815mm?的巨大GV100核心，Titan這一產(chǎn)品線變得比以往任何時(shí)候都更接近工作站級(jí)，Titan V在擁有世界最強(qiáng)圖形渲染性能的同時(shí)，深度學(xué)習(xí)和高性能計(jì)算方面的性能都有了極大的提升，當(dāng)然它的價(jià)格也達(dá)到了工作站級(jí)的3000美元。

強(qiáng)化算力，重造Titan

除了深度學(xué)習(xí)和通用計(jì)算之外，Titan品牌的這次迭代還涉及到其他一些因素。 NVIDIA其實(shí)已經(jīng)不太需要通過Titan系列為自己樹立形象，最初的GTX Titan已經(jīng)通過NVIDIA K20Xs為Oak Ridge國(guó)家實(shí)驗(yàn)室的Titan超級(jí)計(jì)算機(jī)提供計(jì)算力。況且，Titan系列在產(chǎn)品價(jià)格和性能方面也沒有任何特別的競(jìng)爭(zhēng)壓力。

盡管Titan V的非ECC HBM2顯存和GeForce驅(qū)動(dòng)程序堆棧都更加面向消費(fèi)者，但該卡仍可直接受益于框架和API的軟件支持，這是NVIDIA深度學(xué)習(xí)開發(fā)整體工作的一部分。

鑒于單路Titan V并不會(huì)對(duì)服務(wù)器計(jì)算卡Quadro GV100產(chǎn)生什么影響，NVIDIA在Titan V上只砍掉了針對(duì)服務(wù)器多路互聯(lián)設(shè)計(jì)的NVLink高速總線，而主要的計(jì)算能力（FP64/FP16/Tensor Core）都被完整保留。

與Pascal及更早期的產(chǎn)品均使用面向PC設(shè)計(jì)的GPU以及常規(guī)GDDR5(x)顯存不同，NVIDIA這次選擇了一顆規(guī)模巨大、產(chǎn)量和良品率都不高的服務(wù)器級(jí)芯片，有大量的晶體管被花費(fèi)在了非圖形功能上（即Tensor Core），這是NVIDIA在計(jì)算領(lǐng)域押下的賭注，NVIDIA已經(jīng)不滿足于只在傳統(tǒng)圖形計(jì)算卡和通用計(jì)算方面處于領(lǐng)先地位。

由于是首次分析GPU的深度學(xué)習(xí)性能，所以目前市面上還沒有確定一套標(biāo)準(zhǔn)的基準(zhǔn)測(cè)試，特別是對(duì)于Volta獨(dú)特的張量?jī)?nèi)核和混合精度功能。對(duì)于Titan V，我們將使用百度DeepBench、NVIDIA的Caffe2 Docker、Stanford DAWNBench和HPE深度學(xué)習(xí)基準(zhǔn)套件（DLBS）來測(cè)試。

但是在深入研究這些測(cè)試數(shù)據(jù)之前，雷鋒網(wǎng)首先會(huì)就深度學(xué)習(xí)、GPU、Volta微架構(gòu)以及深度學(xué)習(xí)性能基準(zhǔn)進(jìn)行一些背景介紹。

GPU與深度學(xué)習(xí)

首先要說明的是，雖然“機(jī)器學(xué)習(xí)”或更通用的“AI”有時(shí)可互換用于“深度學(xué)習(xí)”，但從技術(shù)上講，它們各自指的是不同的東西，機(jī)器學(xué)習(xí)是AI的子集，深度學(xué)習(xí)則是機(jī)器學(xué)習(xí)的子集。

深度學(xué)習(xí)是因“深度神經(jīng)網(wǎng)絡(luò)”（Deep Neural Networks）而得名，其最終被設(shè)計(jì)為識(shí)別數(shù)據(jù)中的模式，產(chǎn)生相關(guān)預(yù)測(cè)，接收關(guān)于預(yù)測(cè)準(zhǔn)確度的反饋，然后基于反饋進(jìn)行自我調(diào)整。計(jì)算發(fā)生在“節(jié)點(diǎn)”上，“節(jié)點(diǎn)”被組織成“層”：原始輸入數(shù)據(jù)首先由“輸入層”處理，“輸出層”推出代表模型預(yù)測(cè)的數(shù)據(jù)。兩者之間的任何一層都被稱為“隱藏層”，而“deep”則代表著深度神經(jīng)網(wǎng)絡(luò)有許多隱藏層。

這些隱藏層可以在不斷增加的抽象層次上運(yùn)行，使得它們甚至可以從復(fù)雜的輸入數(shù)據(jù)中提取和區(qū)分非線性特征。一個(gè)標(biāo)準(zhǔn)的例子是圖像識(shí)別，其中初始層尋找某些邊緣或形狀，這通知后面的層尋找鼻子和眼睛，之后的層可能尋找面部。最后的圖層組合了所有這些數(shù)據(jù)以進(jìn)行分類。

隨著輸入數(shù)據(jù)在模型中向前推進(jìn)，計(jì)算包括特殊的內(nèi)部參數(shù)（權(quán)重），最后會(huì)產(chǎn)生一個(gè)表示模型預(yù)測(cè)與正確值之間誤差的損失函數(shù)。然后使用此錯(cuò)誤信息反向運(yùn)行模型以計(jì)算將改善模型預(yù)測(cè)的權(quán)重調(diào)整，該前向和后向傳遞（或反向傳播）序列包括單個(gè)訓(xùn)練迭代。

為了進(jìn)行推斷，這個(gè)過程自然地排除了逆向傳遞，最終需要的計(jì)算強(qiáng)度比訓(xùn)練模型更小。從這個(gè)意義上說，推斷也不太需要像FP32這樣高的精度，并且可以對(duì)模型進(jìn)行適當(dāng)?shù)男藜艉蛢?yōu)化，以便在特定的設(shè)備上部署。然而推斷設(shè)備對(duì)延遲、成本和功耗變得更加敏感，尤其是在邊緣計(jì)算的場(chǎng)景下。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）和遞歸神經(jīng)網(wǎng)絡(luò)（RNN）是深度神經(jīng)網(wǎng)絡(luò)的兩個(gè)重要子類型。卷積本身是一種操作，將輸入數(shù)據(jù)和卷積核結(jié)合起來形成某種特征映射，轉(zhuǎn)換或過濾原始數(shù)據(jù)以提取特征。

CNN通常是“前饋”的，因?yàn)閿?shù)據(jù)在沒有循環(huán)的情況下流過各層。而對(duì)于RNN（以及像LSTM和GRU這樣的變體）來講，每次計(jì)算后都會(huì)有一個(gè)單獨(dú)的權(quán)重循環(huán)回自身，給網(wǎng)絡(luò)一種“記憶”感，這讓網(wǎng)絡(luò)能夠做出有時(shí)間意識(shí)的預(yù)測(cè)，在文本分析等場(chǎng)景中很有用。

由于深度學(xué)習(xí)數(shù)學(xué)可以歸結(jié)為線性代數(shù)，因此某些操作可以重寫為對(duì)GPU更友好的矩陣間乘法。當(dāng)NVIDIA首次開發(fā)并公布cuDNN時(shí)，其中一個(gè)重要實(shí)現(xiàn)就是將算法降級(jí)為矩陣乘法以加速卷積。多年來cuDNN的發(fā)展包括“預(yù)先計(jì)算的隱式GEMM”卷積算法，它恰好是觸發(fā)Tensor Core卷積加速的唯一算法。

NVIDIA GPU的優(yōu)勢(shì)

對(duì)于深度學(xué)習(xí)訓(xùn)練來說，GPU已經(jīng)成為加速器的最佳選擇。大多數(shù)計(jì)算本質(zhì)上是并行的浮點(diǎn)計(jì)算，即大量的矩陣乘法，其最佳性能需要大量的內(nèi)存帶寬和大小，這些需求與HPC的需求非常一致，GPU正好可以提供高精度浮點(diǎn)計(jì)算、大量VRAM和并行計(jì)算能力，NVIDIA的CUDA可謂恰逢其時(shí)。

CUDA和NVIDIA的計(jì)算業(yè)務(wù)的發(fā)展與機(jī)器學(xué)習(xí)的研究進(jìn)展相吻合，機(jī)器學(xué)習(xí)在2006年左右才重新成為“深度學(xué)習(xí)”。GPU加速神經(jīng)網(wǎng)絡(luò)模型相比CPU可提供數(shù)量級(jí)的加速，反過來又將深度學(xué)習(xí)重新推廣到如今的流行詞匯。與此同時(shí)，NVIDIA的圖形競(jìng)爭(zhēng)對(duì)手ATI在2006年被AMD收購；OpenCL 1.0在2009年才發(fā)布，同年AMD剝離了他們的GlobalFoundries晶圓廠。

隨著DL的研究人員和學(xué)者們成功地使用CUDA來更快地訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，NVIDIA才發(fā)布了他們的cuDNN庫的優(yōu)化深度學(xué)習(xí)原語，其中有很多以HPC為中心的BLAS（基本線性代數(shù)子例程）和相應(yīng)的cuBLAS先例，cuDNN將研究人員創(chuàng)建和優(yōu)化CUDA代碼以提高DL性能的需求抽象出來。至于AMD的同類產(chǎn)品MIOpen，去年才在ROCm保護(hù)傘下發(fā)布，目前也只在Caffe公開發(fā)布。

所以從這個(gè)意義上講，盡管NVIDIA和AMD的底層硬件都適合DL加速，但NVIDIA GPU最終成為了深度學(xué)習(xí)的參考實(shí)現(xiàn)。

剖析Tensor Core

在關(guān)于Volta混合精度Tensor Core的幾個(gè)謎團(tuán)中，一個(gè)比較煩人的問題是4 x 4矩陣乘法的能力。Tensor Core是一種新型處理核心，它執(zhí)行一種專門的矩陣數(shù)學(xué)運(yùn)算，適用于深度學(xué)習(xí)和某些類型的HPC。Tensor Core執(zhí)行融合乘法加法，其中兩個(gè)4*4 FP16矩陣相乘，然后將結(jié)果添加到4*4 FP16或FP32矩陣中，最終輸出新的4*4 FP16或FP32矩陣。

NVIDIA將Tensor Core進(jìn)行的這種運(yùn)算稱為混合精度數(shù)學(xué)，因?yàn)檩斎刖仃嚨木葹榘刖?，但乘積可以達(dá)到完全精度。碰巧的是，Tensor Core所做的這種運(yùn)算在深度學(xué)習(xí)訓(xùn)練和推理中很常見。

Tensor Core雖然在GPU里是全新的運(yùn)算單元，但其實(shí)它與標(biāo)準(zhǔn)的ALU流水線并沒有太大差別，只不過Tensor Core處理的是大型矩陣運(yùn)算，而不是簡(jiǎn)單地單指令流多數(shù)據(jù)流標(biāo)量運(yùn)算。Tensor Core是靈活性和吞吐量權(quán)衡的選擇，它在執(zhí)行標(biāo)量運(yùn)算時(shí)的表現(xiàn)很糟糕，但它可以將更多的操作打包到同一個(gè)芯片區(qū)域。

Tensor Core雖然有一定的可編程性，但仍然停留在4*4矩陣乘法累加層面上，并且不清楚累積步驟是如何以及何時(shí)發(fā)生的。盡管被描述為進(jìn)行4*4矩陣數(shù)學(xué)運(yùn)算，但實(shí)際上Tensor Core運(yùn)算似乎總是使用16*16矩陣，并且操作一次跨兩個(gè)Tensor Core進(jìn)行處理。這似乎與Volta架構(gòu)中的其他變化有關(guān)，更具體地說，與這些Tensor Core是如何集成進(jìn)SM中有關(guān)。

對(duì)于Volta架構(gòu)，SM被劃分為四個(gè)處理塊或子核。對(duì)于每個(gè)子核，調(diào)度器每個(gè)時(shí)鐘向本地分支單元（BRU）、Tensor Core陣列、數(shù)學(xué)分派單元或共享MIO單元發(fā)出一個(gè)warp指令，這就首先阻止了Tensor運(yùn)算和其他數(shù)學(xué)運(yùn)算同時(shí)進(jìn)行。在利用兩個(gè)Tensor Core時(shí)，warp調(diào)度器直接發(fā)出矩陣乘法運(yùn)算，并且在從寄存器接收輸入矩陣之后，執(zhí)行4*4*4矩陣乘法。待完成矩陣乘法后，Tensor Core再將得到的矩陣寫回寄存器。

在Tensor Core執(zhí)行實(shí)際指令時(shí)，即使在使用NVVM IR（LLVM）的編譯器級(jí)別上，也僅存在用于warp級(jí)矩陣操作的本征，對(duì)于CUDA++和PTX ISA，warp級(jí)別仍然是唯一級(jí)別。加載輸入矩陣的形式是每個(gè)扭曲線程持有一個(gè)片段，其分布和身份均未指定。從廣義上講，它遵循標(biāo)準(zhǔn)CUDA核心的基于線程級(jí)別拼接的GEMM計(jì)算的相同模式。

一般而言，給定A*B+C Tensor Core操作，片段由A的8個(gè)FP16*2元素（即16個(gè)FP16元素）和B的另外8個(gè)FP16*2元素，以及FP16累加器的4個(gè)FP16*2元素或 FP32累加器的8個(gè)FP32元素組成。

在矩陣乘法累加運(yùn)算之后，計(jì)算結(jié)果會(huì)分散在每個(gè)線程的目標(biāo)寄存器片段中，需要在整個(gè)范圍內(nèi)統(tǒng)一，如果其中一個(gè)warp線程退出，這些低級(jí)操作基本上就會(huì)失敗。

Citadel LLC團(tuán)隊(duì)的低級(jí)微基準(zhǔn)測(cè)試揭示了許多Volta微體系結(jié)構(gòu)細(xì)節(jié)，包括Tensor Core操作和相關(guān)的片段，與輸入矩陣相比，它們都位于寄存器和標(biāo)識(shí)中。他們觀察到，子核核心以特定的拼接模式計(jì)算矩陣乘法，其中所有32個(gè)warp線程都在運(yùn)行。

從概念上講，Tensor Core在4*4子矩陣上運(yùn)行，以計(jì)算更大的16*16矩陣。warp線程被分成8組，每組4個(gè)線程，每個(gè)線程組連續(xù)計(jì)算一個(gè)8*4塊，總共要經(jīng)過4組的過程，每一個(gè)線程組都處理了目標(biāo)矩陣的1/8。

在一個(gè)集合中，可以并行完成四個(gè)HMMA步驟，每個(gè)步驟適用于4*2子塊。這四個(gè)線程直接鏈接到寄存器中的那些矩陣值，因此線程組可以處理單個(gè)Step 0 HMMA指令，從而一次性計(jì)算子塊。

由于矩陣乘法在數(shù)學(xué)上需要對(duì)某些行列進(jìn)行復(fù)用，以允許跨所有8*4塊并行執(zhí)行，每個(gè)4*4矩陣被映射到兩個(gè)線程的寄存器。在計(jì)算16*16父矩陣的4*4次子矩陣運(yùn)算中，這將包括將連續(xù)計(jì)算的集合相加，形成16*16矩陣中4*8個(gè)元素的相應(yīng)塊。盡管Citadel沒有對(duì)FP16進(jìn)行測(cè)試，但它們發(fā)現(xiàn)FP16 HMMA指令只產(chǎn)生2個(gè)步驟，而不是4個(gè)步驟，這或許與FP16只占用的較小的寄存器空間有關(guān)。

通過獨(dú)立的線程調(diào)度和執(zhí)行，以及warp同步和warp-wide結(jié)果分配，基本的4*4*4 Tensor Core操作轉(zhuǎn)換為半可編程16*16*16混合精度矩陣乘法累加。雖然CUDA 9.1支持32*8*16 and 8*32*16矩陣，但相乘的矩陣都需要相應(yīng)的列和行為16，最終矩陣為32*8或8*32。

Tensor Core的運(yùn)行方式似乎是NVIDIA GEMM計(jì)算層次結(jié)構(gòu)的一個(gè)硬件實(shí)現(xiàn)的步驟，如CUTLASS（用于GEMM操作的CUDA C ++模板庫）中所示。對(duì)于傳統(tǒng)的CUDA核心，最后一步需要將warp tile結(jié)構(gòu)分解為由各個(gè)線程擁有的標(biāo)量和向量元素。使用WMMA API（現(xiàn)在表示張量核），所有這些都被抽象掉了，只剩下了需要處理的合作矩陣片段加載/存儲(chǔ)和多重積累。積累發(fā)生在一個(gè)FMA類型的操作中。

在寄存器級(jí)別上，NVIDIA在他們的Hot Chips 2017論文中提到“使用三個(gè)相對(duì)較小的乘法和累加器數(shù)據(jù)的4*4矩陣，可以執(zhí)行64次乘加運(yùn)算?！倍鰪?qiáng)的Volta SIMT模型的每線程程序計(jì)數(shù)器（能夠支持張量核）通常需要每個(gè)線程2個(gè)寄存器槽。HMMA指令本身會(huì)盡可能多復(fù)用寄存器，所以我無法想象寄存器在大多數(shù)情況下不會(huì)出現(xiàn)瓶頸。

對(duì)于獨(dú)立的4*4矩陣乘法累加，Tensor Core陣列在寄存器、數(shù)據(jù)路徑和調(diào)度方面很有核能并沒有物理設(shè)計(jì)，它只能用于特定的子矩陣乘法。

無論如何，從NVIDIA的角度來看，Volta不是一顆深度學(xué)習(xí)的專用ASIC，它仍然覆蓋GPGPU的領(lǐng)域，因此保持CUDA可編程Tensor Core適用于GEMM / cuBLAS和HPC是合乎邏輯的。對(duì)于CUDA c++的CUTLASS來說，情況更是如此，因?yàn)樗腤MMA API支持旨在為廣泛的應(yīng)用程序啟用Tensor CoreGEMM操作。從根本上說，NVIDIA深度學(xué)習(xí)硬件加速的發(fā)展與cuDNN（以及cuBLAS）的發(fā)展有很大關(guān)系。

讓FP16適用于深度學(xué)習(xí)

Volta的深度學(xué)習(xí)能力是建立在利用半精度浮點(diǎn)（IEEE-754 FP16）而非單精度浮點(diǎn)（FP32）進(jìn)行深度學(xué)習(xí)訓(xùn)練的基礎(chǔ)之上。

該能力首先由cuDNN 3支持并在Tegra X1的Maxwell架構(gòu)中實(shí)現(xiàn)，隨后原生半精度計(jì)算被引入Pascal架構(gòu)并被稱為“偽FP16”，即使用FP32 ALUs處理成對(duì)的FP16指令，理論上可以使每個(gè)時(shí)鐘的FP16吞吐量增加一倍。這一特性實(shí)際上已經(jīng)在Tensor Core處理寄存器中矩陣片段的過程中得到體現(xiàn)，其兩個(gè)FP16輸入矩陣被收集在8個(gè)FP16*2或16個(gè)FP16元素中。

就FP32與FP16而言，由于單精度浮點(diǎn)所包含的數(shù)據(jù)多于半精度浮點(diǎn)，因此計(jì)算量更大，需要更多的內(nèi)存容量和帶寬來容納和傳輸數(shù)據(jù)，并帶來更大的功耗。因此，在計(jì)算中成功使用低精度數(shù)據(jù)一直是窮人的圣杯，而目標(biāo)則是那些不需要高精度數(shù)據(jù)的應(yīng)用程序。

除了API/編譯器/框架的支持之外，深度學(xué)習(xí)一直都有在使用FP16數(shù)據(jù)類型時(shí)損失精度的問題，這會(huì)讓訓(xùn)練過程不夠準(zhǔn)確，模型無法收斂。

據(jù)雷鋒網(wǎng)了解，NVIDIA以前也曾在類似的情況下推出過“混合精度”這一概念，在Pascal的快速FP16（針對(duì)GP100）和DP4A/DP2A的整數(shù)點(diǎn)積操作（針對(duì)GP102、GP104和GP106 GPU）中，就曾提出過類似的說法。

當(dāng)時(shí)人們關(guān)注的是推理能力，就像Titan V的“深度學(xué)習(xí)TFLOPS”一樣，Titan X（Pascal）推出了“44 TOPS（新型深度學(xué)習(xí)推斷指令）”。新的指令對(duì)4元8位向量或2元8位/16位向量執(zhí)行整數(shù)點(diǎn)積，從而得到一個(gè)32位整數(shù)積，可以與其他32位整數(shù)一起累積。

對(duì)于Volta的混合精度而言，重要的精度敏感數(shù)據(jù)（如主權(quán)重）仍然會(huì)存儲(chǔ)為FP32；而Tensor Core的混合精度訓(xùn)練則會(huì)將兩個(gè)半精度輸入矩陣相乘得到一個(gè)精度乘積，然后累積成一個(gè)精度和。NVIDIA表示，在將結(jié)果寫入內(nèi)存之前，Tensor Core會(huì)將結(jié)果轉(zhuǎn)換回半精度，這樣當(dāng)使用半精度格式時(shí)，寄存器和存儲(chǔ)器中需要的數(shù)據(jù)更少，這有助于處理超大矩陣中的數(shù)據(jù)。

FP16與FP32所包含的數(shù)據(jù)空間并不相同，歸一化方法可以解決FP32格式數(shù)據(jù)超出FP16可表示范圍的問題。舉個(gè)例子，許多激活梯度的值都落在FP16的范圍之外，但由于這些值聚集在一起，因此將損耗乘以縮放因子便可以移動(dòng)FP16范圍內(nèi)的大部分值。在完成最終的權(quán)重更新之前，將梯度重新縮放到原始范圍，便可以維持其原始的精度。

不過，并非所有的數(shù)學(xué)、神經(jīng)網(wǎng)絡(luò)和層都適用于FP16，通常FP16和Tensor Core的混合精度最適合卷積和RNN重圖像處理等，而對(duì)于不適合的神經(jīng)網(wǎng)絡(luò)框架或類型，F(xiàn)P16將默認(rèn)禁用或不推薦使用。

內(nèi)存改進(jìn)，SM變化

使用Tensor Core處理混合精度數(shù)據(jù)似乎可以減輕內(nèi)存帶寬問題，但事實(shí)證明，盡管Volta在幾乎所有方面都得到了內(nèi)存子系統(tǒng)的增強(qiáng)，但幅度并不明顯。

首先，Volta有一個(gè)12 KB的L0指令緩存，雖然Pascal及其他之前的GPU核心也有指令緩存，但Volta更高效的L0是子核心SM分區(qū)私有的，因此它對(duì)warp調(diào)度器來說也是私有的，這對(duì)Volta架構(gòu)更大的指令大小是一種補(bǔ)償，并有可能為支持Tensor Core通道的框架做出貢獻(xiàn)。同時(shí)Volta指令延遲也要低于Pascal，特別是核心FMAs從6個(gè)周期減少到了4個(gè)周期。

隨著每個(gè)SM中調(diào)度器比例的增加，砍掉第二個(gè)調(diào)度端口似乎是對(duì)具有獨(dú)立數(shù)據(jù)路徑和數(shù)學(xué)調(diào)度單元的子核心的權(quán)衡。而具備FP32/INT32執(zhí)行能力，也為其他低精度/混合精度模型打開了大門。這些子核方面的增強(qiáng)，都是為了優(yōu)化Tensor Core陣列。

另一個(gè)重大變化是合并L1緩存和共享內(nèi)存。在同一個(gè)塊中，共享內(nèi)存可配置為每SM 最高96 KB。HBM2控制器也進(jìn)行了更新，其效率提高了10~15%。

深度學(xué)習(xí)基準(zhǔn)測(cè)試

深度學(xué)習(xí)從框架到模型，再到API和庫，AI硬件的許多部分都是高度定制化的，這樣的新領(lǐng)域有時(shí)會(huì)讓人非常難以理解。

俗話說“光說不練假把式”，實(shí)踐永遠(yuǎn)是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)。對(duì)計(jì)算機(jī)來說，介紹的再詳細(xì)也不如真刀真槍跑一下測(cè)試，沒有什么比benchmark更能提現(xiàn)硬件的實(shí)際表現(xiàn)了。

隨著ImageNet和一些衍生模型（AlexNet、VGGNet、Inception、Resnet等）的影響，ILSVRC2012（ImageNet大規(guī)模視覺識(shí)別挑戰(zhàn)）中的圖像數(shù)據(jù)集訓(xùn)練逐漸被行業(yè)所認(rèn)可。

現(xiàn)在基本上所有深度學(xué)習(xí)框架都支持CUDA和cuDNN，對(duì)于Volta而言，支持FP16存儲(chǔ)的框架也都支持Tensor Core加速，啟用FP16存儲(chǔ)后Tensor Core加速會(huì)自動(dòng)啟用。

在隨后的下篇文章里，我們將通過多項(xiàng)測(cè)試來考驗(yàn)Volta架構(gòu)，利用各種深度學(xué)習(xí)框架來了解Tensor Core的性能。

測(cè)試篇

本篇將通過多項(xiàng)測(cè)試來考驗(yàn)Volta架構(gòu)，利用各種深度學(xué)習(xí)框架來了解Tensor Core的性能。

深度學(xué)習(xí)的基準(zhǔn)測(cè)試

很多時(shí)候，深度學(xué)習(xí)這樣的新領(lǐng)域會(huì)讓人難以理解。從框架到模型，再到API和庫，AI硬件的許多部分都是高度定制化的，因而被行業(yè)接受的公開基準(zhǔn)測(cè)試工具很少也就不足為奇。

隨著ImageNet和一些衍生模型（AlexNet、VGGNet、Inception、Resnet等）的影響，ILSVRC2012（ImageNet大規(guī)模視覺識(shí)別挑戰(zhàn)）中的圖像數(shù)據(jù)集訓(xùn)練逐漸被行業(yè)所認(rèn)可。

基本上所有現(xiàn)代深度學(xué)習(xí)框架都支持CUDA和cuDNN，對(duì)于Volta而言，所有支持FP16存儲(chǔ)的框架也都支持Tensor Core加速，啟用FP16存儲(chǔ)后Tensor Core加速會(huì)自動(dòng)啟用，因此我們可以利用這些框架來了解Tensor Core的性能。

在常見的第三方深度學(xué)習(xí)基準(zhǔn)套件中，F(xiàn)athom和TBD是更傳統(tǒng)的基準(zhǔn)測(cè)試套件，其測(cè)試針對(duì)特定框架和模型進(jìn)行了配置，涵蓋了許多不同的機(jī)器學(xué)習(xí)應(yīng)用程序。 同時(shí)，最近的深度學(xué)習(xí)框架側(cè)重于比較給定模型和跨框架的數(shù)據(jù)集的性能。

而DeepBench本身并不使用框架，而是使用低級(jí)庫來評(píng)估不同設(shè)備的機(jī)器學(xué)習(xí)性能。就其本身而言，雖然它并不直接將框架/模型/應(yīng)用程序性能與其他測(cè)試聯(lián)系在一起，但它提供了代表供應(yīng)商優(yōu)化的數(shù)學(xué)操作和硬件性能的指標(biāo)，每個(gè)產(chǎn)品的二進(jìn)制文件都使用硬件供應(yīng)商提供的庫進(jìn)行編譯。

DAWNBench則更加與眾不同，與其說它是一個(gè)基準(zhǔn)測(cè)試套件，不如說是對(duì)三個(gè)數(shù)據(jù)集（ImageNet、CIFAR10和SQuAD）的訓(xùn)練和推斷結(jié)果進(jìn)行類似于競(jìng)賽的報(bào)告，重點(diǎn)考量端對(duì)端的計(jì)算精確度和成本。

至于HPE DLBS，作為HPE深度學(xué)習(xí)指南的一部分，它主要以GPU為中心，堅(jiān)持使用TensorFlow、MXNet、PyTorch和Caffe類型框架，還包括TensorRT測(cè)試。雖然其具有良好的多測(cè)試批處理、日志記錄、監(jiān)控和報(bào)告功能，但它只輸出純粹的性能和時(shí)間指標(biāo)，不涉及端對(duì)端的時(shí)間精度或成本。

從這些基準(zhǔn)測(cè)試軟件中可以看出，深度學(xué)習(xí)框架之間的差異很容易使測(cè)試結(jié)果變得毫無意義，從而影響我們對(duì)這些框架的研究。convnet-benchmark和PyTorch的創(chuàng)始人Soumith Chintala指出，如果沒有機(jī)器學(xué)習(xí)的背景，很難獨(dú)立地驗(yàn)證深度學(xué)習(xí)基準(zhǔn)測(cè)試的準(zhǔn)確性和范圍，不過MLPerf測(cè)試項(xiàng)目似乎試圖解決這個(gè)問題。

MLPerf是由DAWNBench等測(cè)試軟件的設(shè)計(jì)者和工程師聯(lián)合打造的全新高端基準(zhǔn)測(cè)試套件，希望囊括Fathom的跨域測(cè)試方法以及DAWNBench對(duì)超過閾值精度模型的端對(duì)端計(jì)算時(shí)間考察。不過它目前正在處于alpha階段，開發(fā)團(tuán)隊(duì)表示其尚不適合進(jìn)行精確的硬件對(duì)比。

綜合考慮之下，本次測(cè)試將不包含MLPerf項(xiàng)目，而是使用DeepBench、Caffe2 Docke、Stanford DAWN和HPE DLBS來進(jìn)行。

DeepBench訓(xùn)練測(cè)試之GEMM和RNN

首先進(jìn)行的是GEMM測(cè)試，利用某些深度學(xué)習(xí)應(yīng)用程序（DeepSpeech、Speaker ID和Language Modeling）中的內(nèi)核進(jìn)行GEMM操作，測(cè)出的性能比在cuBLAS中運(yùn)行純矩陣-矩陣乘法更有代表性。

測(cè)試的結(jié)果在意料之內(nèi)，啟用Tensor Core可以大幅提升性能。深入研究細(xì)節(jié)可以發(fā)現(xiàn)，Tensor Core對(duì)于特定類型的矩陣-矩陣乘法會(huì)有特別的影響。

通過深度學(xué)習(xí)應(yīng)用程序拆分GEMM測(cè)試，我們可以了解Tensor Core在理想和非理想情況下的表現(xiàn)。

Speaker ID GEMM工作負(fù)載實(shí)際上只包含兩個(gè)內(nèi)核，其中10微秒的時(shí)間差意味著大約1 TFLOPS的算力差異。

通過對(duì)語言模型內(nèi)核的研究，可以了解Tensor Core在非理想情況下的性能。這些核矩陣的大小是m=512或1024，n=8或16，k=500000，雖然每個(gè)數(shù)在技術(shù)上都可以被8整除——這是滿足張量核加速度的基本要求之一——但這些矩陣的形狀與Tensor Core支持的16*16*16、32*8*16和8*32*16等基本W(wǎng)MMA形狀不太匹配。假如Tensor Core真正在獨(dú)立的8x8x8級(jí)別上運(yùn)行，那么運(yùn)算8*8*8矩陣的性能也不會(huì)很好。

因此，Tensor Core無法高效的將這些非常不平衡的矩陣分解為n=8或16。而且，Tensor Core在DeepSpeech內(nèi)核上的性能也出現(xiàn)異常：

從所有子項(xiàng)的平均成績(jī)來看，這個(gè)浮點(diǎn)運(yùn)算性能令人印象深刻。當(dāng)矩陣適合于Tensor Core時(shí)，性能可以超過90TFLOPS；相反如果二者無法契合，并正確的換位沒有發(fā)揮作用，性能會(huì)低至<1TFLOPS的水平。

對(duì)于DeepBench RNN內(nèi)核的測(cè)試，RNN類型之間沒有明顯的差異，但是在每種RNN類型中，如果將不同內(nèi)核挨個(gè)進(jìn)行對(duì)比判斷，也可以看到與GEMM中相同的趨勢(shì)。

比較有趣的是，Titan Xp與Titan V在未使用Tensor Core加速時(shí)的表現(xiàn)有很接近，Titan Xp的高頻率為其性能起到了一定的幫助。

DeepBench訓(xùn)練測(cè)試之Convolutions

在卷積訓(xùn)練工作負(fù)載測(cè)試中，Tensor Core再次顯著提高了性能。鑒于卷積層是圖像識(shí)別和分類的基礎(chǔ)，因而卷積運(yùn)算是Tensor Core加速的最大潛在受益者之一。

從所有測(cè)試項(xiàng)的平均成績(jī)可以看出，Volta在啟用了Tensor Core的FP16混合精度運(yùn)算能力后性能再次取得了領(lǐng)先。不過與GEMM不同，在FP32卷積上啟用Tensor Core會(huì)導(dǎo)致明顯的性能損失。

當(dāng)計(jì)算涉及不匹配的張量尺寸時(shí)，標(biāo)準(zhǔn)精度模式遵循cuDNN指定的最快前向算法（如Winograd），而混合精度模式必須對(duì)所有內(nèi)核使用隱式預(yù)計(jì)算GEMM，這會(huì)造成兩種混合精度模式的性能會(huì)出現(xiàn)下滑。

要符合Tensor Core加速的要求，輸入和輸出通道尺寸必須是8的倍數(shù)，輸入、過濾和輸出數(shù)據(jù)的類型必須是半精度。使用Tensor Core實(shí)現(xiàn)卷積加速要求張量采用NHWC格式，但大多數(shù)框架都希望采用NCHW格式的張量。在這種情況下，輸入通道不是8的倍數(shù)，但測(cè)試程序會(huì)自動(dòng)填充以解決此問題。

需要注意的是，所有這些NCHW內(nèi)核都需要轉(zhuǎn)換為NHWC。想要從Tensor Core中受益，需要正確的調(diào)整卷積格式，本次測(cè)試使用的是NVIDIA提供的標(biāo)準(zhǔn)庫和makefile。NVIDIA指出，一旦進(jìn)行加速卷積，它會(huì)消耗掉相當(dāng)多的運(yùn)行時(shí)間，這將會(huì)對(duì)FP32和FP16混合精度模式造成影響。

DeepBench推理測(cè)試之GEMM

數(shù)據(jù)精度方面，百度將DeepBench GEMM和卷積定義支持32bit累加的INT8格式，以支持Volta和Pascal上的INT8計(jì)算。

Titan V和Titan Xp均擁有4倍于INT32的INT8性能，DeepBench的INT8推理測(cè)試正中Pascal引入的DP4A矢量點(diǎn)積能力之下懷。Volta同樣擁有這一能力，在指令集中二者均顯示為IDP和IDP4A。

對(duì)IGEMM來說，正如CUTLASS所示，DP4A是一項(xiàng)定制操作。因此除語言建模之外，INT8的性能都非常之高。當(dāng)然，與硬件不匹配的張量尺寸不適合Tensor Core加速，這一點(diǎn)與之前完全一樣。

在完全連接（仿射）層中，每個(gè)節(jié)點(diǎn)都與前一層中的各節(jié)點(diǎn)相連接。對(duì)于一個(gè)典型的CNN來說，完全連接的層意味著可以結(jié)合所有提取的特征做出最終預(yù)測(cè)并對(duì)圖像進(jìn)行分類。這些測(cè)試結(jié)果數(shù)據(jù)也意味著大型且規(guī)則的矩陣可以在Tensor Core加速中獲得更大的收益。

DeepBench推理測(cè)試之Convolutions

再次來到卷積測(cè)試環(huán)節(jié)，8位乘法/32位累加再次出現(xiàn)在INT8推理中。

測(cè)試中最引人注目的是Titan Xp，在Resnet、Speaker ID和Vision項(xiàng)目中，Titan Xp表現(xiàn)出了強(qiáng)勁的INT8吞吐量。

從內(nèi)核方面來看，并沒有發(fā)現(xiàn)這一現(xiàn)象的根源所在，猜測(cè)可能是由于Pascal的DP4A庫好驅(qū)動(dòng)程序比Volta更為成熟所致，亦或許是Volta通過單獨(dú)的INT單元處理這些運(yùn)算。

DeepBench推理測(cè)試之RNN和Sparse GEMM

DeepBench的最后一項(xiàng)推理測(cè)試是RNN和Sparse GEMM，雖然測(cè)試中可以選擇FP16，但實(shí)際上它們都只支持FP32運(yùn)算。

雖然RNN可能會(huì)有加速，但DeepBench和NVIDIA目前僅支持單精度RNN推理。

NVIDIA Caffe2測(cè)試之ResNet50和ImageNet

雖然內(nèi)核和深度學(xué)習(xí)數(shù)學(xué)運(yùn)算可能很有用，但實(shí)際應(yīng)用中是使用真實(shí)數(shù)據(jù)集進(jìn)行訓(xùn)練的。使用標(biāo)準(zhǔn)的ILSVRC 2012圖片集，在ImageNet上通過ResNet50模型來訓(xùn)練和推斷，可以展示更具參考的性能數(shù)據(jù)。

雖然FP16和Tensor Core有單獨(dú)的開關(guān)，但Titan V在啟用和禁用Tensor Core的情況下運(yùn)行FP16的性能是完全一樣的。

只看原始吞吐量性能的話，Titan V在所有批尺寸下都處于領(lǐng)先地位。憑借Tensor Core，Titan V可處理的批尺寸達(dá)到甚至超過了64，而其他顯卡即便有12 GB顯存也無法與之相比。

不過只看原始吞吐量性能的問題在于，深度學(xué)習(xí)的實(shí)際性能從來沒有這么簡(jiǎn)單。首先，許多模型可能會(huì)犧牲精度和訓(xùn)練時(shí)間以換取針對(duì)吞吐量的優(yōu)化，如果模型需要較長(zhǎng)的時(shí)間來收斂，那么每秒訓(xùn)練的峰值性能就沒有參考意義了。

這些問題與使用FP16存儲(chǔ)和Tensor Core的Volta尤為相關(guān)，如果在實(shí)際應(yīng)用中使用了有損縮放或單精度批量歸一化，這在吞吐量性能中都是無法體現(xiàn)的。

HPE DLBS Caffe2測(cè)試之ResNet50和ImageNet

接下來，我們看一下深度學(xué)習(xí)指南中的HPE DLBS。與通常的深度學(xué)習(xí)測(cè)試不同，HPE DLBS基本上只輸出吞吐量和時(shí)間指標(biāo)。

HPE DLBS的一大特色是支持NVIDIA Caffe2測(cè)試使用的數(shù)據(jù)集，我們同樣可以在ImageNet上使用ResNet50模型來訓(xùn)練和推斷。但是由于二者的模型和實(shí)現(xiàn)不同，測(cè)出的吞吐量性能無法與NVIDIA Caffe2直接進(jìn)行比較。

在測(cè)試中，Titan V無法支持某些特定的批尺寸，但總體趨勢(shì)和之前的測(cè)試基本相同，F(xiàn)P16和Tensor Core提供了更高的吞吐量。不過遺憾的是，HPE DLBS Caffe2測(cè)試似乎不支持INT8推理。

HPE DLBS TensorRT測(cè)試之ResNet50和ImageNet

HPE DLBS的另一大特色是支持TensorRT（NVIDIA推理優(yōu)化引擎）的基準(zhǔn)測(cè)試功能， NVIDIA近年來已將TensorRT與新的深度學(xué)習(xí)功能（如INT8/DP4A和Tensor Core的16位累加器模式）相結(jié)合以進(jìn)行推理。

使用Caffe模型，TensorRT可以根據(jù)需要調(diào)整模型，以便在給定的精度下進(jìn)行推理。我們?cè)赥itan X（Maxwell）和Titan Xp（Pascal）上運(yùn)行了64、512和1024的批尺寸，在Titan V運(yùn)行了128、256和640的批尺寸。

Titan Xp的高INT8性能在一定程度上印證了GEMM/卷積性能，這兩個(gè)工作負(fù)載似乎都在使用DP4A。不過雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))并未了解到DP4A如何在Titan V上實(shí)現(xiàn)，只知道它由Volta指令集提供支持，且Volta確實(shí)擁有獨(dú)立的INT32單元。

DAWNBench測(cè)試之CIFAR10圖像分類

就實(shí)際應(yīng)用的性能而言，深度學(xué)習(xí)訓(xùn)練更適合用時(shí)間/準(zhǔn)確性和成本來描述，而這兩點(diǎn)分別對(duì)應(yīng)DAWNBench的兩項(xiàng)子測(cè)試。對(duì)于使用CIFAR10的圖像分類來說，這兩項(xiàng)子測(cè)試為：

時(shí)間/準(zhǔn)確性：訓(xùn)練CIFAR10數(shù)據(jù)集的圖像分類模型，報(bào)告訓(xùn)練所需的時(shí)間，且要求測(cè)試集準(zhǔn)確性至少為94%。

成本：在公共云基礎(chǔ)架構(gòu)上，計(jì)算達(dá)到94％或更高的測(cè)試集準(zhǔn)確性所需的總時(shí)間，將所花費(fèi)的時(shí)間（以小時(shí)為單位）乘以每小時(shí)實(shí)例的成本，以獲得訓(xùn)練模型的總成本。

測(cè)試選用PyTorch的CIFAR10訓(xùn)練實(shí)現(xiàn)中最快的兩個(gè)，其中一個(gè)基于ResNet34，是為了在NVIDIA GeForce GTX 1080 Ti上運(yùn)行，而第二個(gè)基于ResNet18，是為了在單個(gè)Tesla V100上運(yùn)行。這些都是DAWNBench中最近的熱門測(cè)試，可以認(rèn)為它們是相當(dāng)符合現(xiàn)代的項(xiàng)目，同時(shí)CIFAR10也不是一個(gè)非常密集的數(shù)據(jù)集。

CIFAR10的小型圖像數(shù)據(jù)集運(yùn)行良好，第一個(gè)訓(xùn)練實(shí)現(xiàn)是在單個(gè)GTX 1080 Ti上運(yùn)行，需要35分37秒才能訓(xùn)練到94％的準(zhǔn)確性，而在第二個(gè)訓(xùn)練實(shí)現(xiàn)中，Titan V只用了5分41秒就完成了94%的目標(biāo)。

順帶一提，雖然Titan V在第一個(gè)訓(xùn)練實(shí)現(xiàn)中不會(huì)使用Tensor Core，但憑借相對(duì)于Pascal的一般改進(jìn)，Titan V在這個(gè)測(cè)試中的速度依然比Titan Xp快20％左右，同時(shí)系統(tǒng)峰值功耗也下降了大約80W。

結(jié)語

Tensor Core是Titan V的重要組成部分，本文的目的也是盡可能的了解Volta，所以測(cè)試著重考察了Tensor Core加速。

本次測(cè)試還有許多沒有涉及到的各種其他測(cè)試和套件，它們普遍在設(shè)計(jì)上有太多欠缺。事實(shí)證明，無論從整體還是局部來看，都不可能找到一個(gè)負(fù)載貼合當(dāng)下實(shí)際、提供端到端指標(biāo)、覆蓋多個(gè)機(jī)器學(xué)習(xí)域、支持Tensor Core和混合精度，最重要的是易于非專業(yè)開發(fā)者使用的深度學(xué)習(xí)套件。

即便是參考價(jià)值較大的DAWNBench，設(shè)計(jì)本意也并非提供一個(gè)通用的基準(zhǔn)，而是為方便研究者和開發(fā)者創(chuàng)建他們自己的實(shí)現(xiàn)。DAWNBench的深度學(xué)習(xí)框架仍然需要修改以作為一款有效的基準(zhǔn)測(cè)試使用，但重新配置一個(gè)與Volta兼容的混合精度模型就不是一件可以輕松完成的事情。

這實(shí)際上與Titan V自身相關(guān)，Tensor Core和混合精度需要專門的開發(fā)來適配支持，只能在特定情況下明顯提升性能，而且即便用戶的代碼和數(shù)據(jù)集可以與Tensor Core良好的匹配，到頭來神經(jīng)網(wǎng)絡(luò)處理也會(huì)受到來自傳統(tǒng)ALU的限制。

而對(duì)于主流消費(fèi)者群體來說，Tensor Core的發(fā)展對(duì)他們意味著什么？

最新的Turing架構(gòu)證明，Tensor Core在游戲卡領(lǐng)域同樣可以有所應(yīng)用。RTX光線追蹤技術(shù)就是使用Tensor Core對(duì)圖像進(jìn)行降噪以彌補(bǔ)光線數(shù)量的限制。NVIDIA唯一需要考慮的問題是，這些玩家是否樂意為這些Tensor Core買單。

對(duì)于任何考慮購買Titan V以滿足計(jì)算需求的人來說，投資Titan V就意味著投資混合精度深度學(xué)習(xí)模型和基于WMMA的HPC GEMM加速。在cuDNN、cuBLAS以及早期DP4A和FP16*2混合精度計(jì)算的背景下，Tensor Core是試圖用可編程硬件來實(shí)現(xiàn)深度學(xué)習(xí)加速的一種自然進(jìn)化。

可以肯定的是，Titan V絕對(duì)代表了NVIDIA對(duì)未來GPGPU的愿望。