Warp
GPU的線程從thread grid 到threadblock,一個thread block在CUDA Core上執(zhí)行時,會分成warp執(zhí)行,warp的顆粒度是32個線程。比如一個thread block可能有1024個線程,那么就會分成32個warp執(zhí)行。
上圖的CTA(cooperative thread arrays)即為thread block。
Warp內(nèi)的32個線程是以lock-step的方式鎖步執(zhí)行,也就是在沒有遇到分支指令的情況下,如果執(zhí)行,那么執(zhí)行的都是相同的指令。通過這種方式32個線程可以共享pc,源寄存器ID和目標(biāo)寄存器ID。
雖然warp是以32的顆粒度,但是具體在GPU內(nèi)部執(zhí)行時,也可能是以16的顆粒度,分兩次執(zhí)行,比如早期的fermi架構(gòu)。
如上圖所示,兩個warp scheduler,每個warp每次只能在16個CUDA core上執(zhí)行。
后續(xù)的Pascal GPU架構(gòu) CUDA core增加到了32個,每個周期都能執(zhí)行一個warp。
寄存器
GPU的寄存器數(shù)量是影響劃分CUDA thread block的數(shù)量的原因之一,如下圖所示[1]。
雖然內(nèi)部執(zhí)行是按照warp執(zhí)行的,按照調(diào)度順序和ready進行調(diào)度。但是寄存器的分配是靜態(tài)的按照thread number分配的,而不是warp。在warp執(zhí)行時,32個線程,每個線程讀取源寄存器,寫入目標(biāo)寄存器。假設(shè)每個寄存器4B,那么每次32個線程讀取128B。
因而128B也就是GPU L1 Cache Cacheline的大小。不同于CPU,每一級的cache都要維護MOSEI的一致性,對于GPU的thread來說,私有memory不需要共享,因此對于local memory可以write back。而全局共享memory則可以write evict。
CPU的寄存器,在編譯器編譯時,會根據(jù)寄存器的live time進行優(yōu)化,而且在CPU內(nèi)部執(zhí)行時,進行重命名,在有限的寄存器數(shù)量上盡量地解決依賴問題。
GPU只在編譯時優(yōu)化,盡量減少對memory的使用,在內(nèi)部執(zhí)行時,如果針對每個warp都增加一個寄存器重命名單元,設(shè)計復(fù)雜。因此GPU每個線程需要的寄存器就是它編譯時需要的寄存器上限(寄存器上限也可以通過編譯器控制)。這就導(dǎo)致了實際GPU內(nèi)部執(zhí)行時對寄存器使用數(shù)量的波動。如下圖[2]所示,因此也有很多文章研究如何優(yōu)化寄存器的使用。
在編譯時,nvcc可以通過指定--maxrregcount指定寄存器的數(shù)量,但是過多的寄存器會因為固定的寄存器資源而導(dǎo)致thread數(shù)量變少,過少的寄存器也會導(dǎo)致需要頻繁的訪問memory,因此也需要折衷。
WARP Divergence
之前討論warp時說如果32個線程,沒有遇到分支,那么每個線程都執(zhí)行同一條指令,但是如果存在分支呢?
GPU沒有CPU的分支預(yù)測,使用active mask和predicate register來構(gòu)建token stack來處理遇到分支時的問題。
GPGPU-sim按照下圖[3]模擬的token stack,其中的
另一種可能的token stack則是按照如下的方式構(gòu)建,結(jié)合了指令,predicateregister和token stack。
上圖[4]中的(b)即為編譯出的匯編指令,SSY 0xF0即為push stack,if else分支指令結(jié)束重聚的指令地址為0xF0。每個warp會有當(dāng)前的active pc寄存器和active mask寄存器。我們假設(shè)一個warp內(nèi)有8個thread,在SSY0xF0指令執(zhí)行時,會將active mask 壓棧,壓棧的內(nèi)容包括Fig1中的entry type SSY,active mask和re-convergence pc,也就是0xF0(從SSY 0xF0指令可以獲得).
在分支指令@PO BRA 0xB8執(zhí)行時,會將DIV(divergence),activemask(0xF0,這個并非pc,而是active mask,當(dāng)前warp的每個thread的predicateregister拼接而成,8bit 每個bit表示一個thread是否滿足if條件)和 0xB8(if語句塊內(nèi)的第一條指令的地址)壓棧。
然后gpu會默認(rèn)執(zhí)行else分支(因為if需要跳轉(zhuǎn),else直接順序執(zhí)行),執(zhí)行else分支時,需要對active mask取反,只執(zhí)行不滿足if條件的那些thread。
Else分支的最后一條匯編指令末尾會增加.S flag用于標(biāo)志popstack,此時pop指令會將active mask出棧,更新到active mask寄存器和active pc中,然后執(zhí)行if 分支,直到執(zhí)行完畢if內(nèi)的最后一條指令,對應(yīng)地址0xE8,此時再次出棧。
將當(dāng)前active pc更新為0xF0,activemask更新為0xFF,此時if else分支執(zhí)行完畢,回到重聚點,所有線程繼續(xù)lock-step鎖步執(zhí)行。
這里只假設(shè)一個if else,但是實際上可能存在if else的嵌套,因此第一步SSY 0xF0,可以理解成上下文切換時的先保存當(dāng)前的activemask 0xFF和重聚點的指令地址0xF0。
上述的方案與GPGPU-sim中的架構(gòu)類似,除了在指令中顯式的增加了壓棧出棧,GPGPU-sim處理每一個分支都需要壓棧if else兩條分支,占用兩項,而方案2)中每次除了保存當(dāng)前active mask外,只需壓棧一項。
審核編輯:劉清
-
寄存器
+關(guān)注
關(guān)注
31文章
5253瀏覽量
119205 -
編譯器
+關(guān)注
關(guān)注
1文章
1602瀏覽量
48896 -
CUDA
+關(guān)注
關(guān)注
0文章
121瀏覽量
13546 -
cache技術(shù)
+關(guān)注
關(guān)注
0文章
41瀏覽量
1033 -
GPU芯片
+關(guān)注
關(guān)注
1文章
303瀏覽量
5747
原文標(biāo)題:GPU Microarch 學(xué)習(xí)筆記【1】
文章出處:【微信號:處理器與AI芯片,微信公眾號:處理器與AI芯片】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論