NVIDIA GPU計(jì)算的關(guān)鍵技術(shù)解析

?

　　1999年，NVIDIA推出了首款圖形處理器(GPU)，它是迄今為止使用最廣的并行處理器。源于對(duì)逼真及實(shí)時(shí)圖像的渴求，GPU已成為既可以浮點(diǎn)運(yùn)算又可以編程的處理器;如今的GPU在計(jì)算吞吐量和內(nèi)存帶寬上遠(yuǎn)優(yōu)于CPU，使其成為加速數(shù)據(jù)并行應(yīng)用程序的理想處理器。

　　2003年起，NVIDIA開始對(duì)GPU進(jìn)行非圖形應(yīng)用程序方面的探索。通過(guò)使用高級(jí)圖形語(yǔ)言如DirectX、OpenGL和Cg，將各種數(shù)據(jù)并行算法移植于GPU。像蛋白質(zhì)折疊、股票期權(quán)定價(jià)、SQL查詢及MRI重建等問(wèn)題都能通過(guò)GPU獲得非凡的加速表現(xiàn)。這些早期將圖形API用于通用計(jì)算的嘗試被我們稱為GPGPU程序。

　　雖然GPGPU模型顯示出不俗的加速性能，但依舊面臨諸多問(wèn)題。首先，它要求程序員具備有關(guān)圖形API以及GPU架構(gòu)的相關(guān)知識(shí)。其次，問(wèn)題必須按照頂點(diǎn)坐標(biāo)、紋理及著色程序的方式表達(dá)出來(lái)，極大地增加了程序的復(fù)雜性。第三，不支持諸如隨機(jī)讀寫內(nèi)存等基礎(chǔ)的編程特性，大大限制了編程模型。最后，缺少對(duì)雙精度運(yùn)算的支持(直到最近)意味著有些科學(xué)應(yīng)用程序不能運(yùn)行在GPU上。

　　為解決這些問(wèn)題，NVIDIA采用了兩項(xiàng)關(guān)鍵技術(shù)——G80統(tǒng)一圖形與計(jì)算架構(gòu)(最先采用于GeForce 8800、Quadro FX 5600與Tesla C870 GPU)和CUDA。CUDA作為一種軟硬件架構(gòu)，可采用多種高級(jí)編程語(yǔ)言對(duì)GPU進(jìn)行編程。同時(shí)，這兩種技術(shù)也代表著一種新的GPU應(yīng)用方式。相比以前通過(guò)編程將專業(yè)圖形單元與圖形API結(jié)合不同，程序員可通過(guò)CUDA擴(kuò)展來(lái)編寫C語(yǔ)言程序，針對(duì)通用的大規(guī)模并行處理器。我們把這種新型GPU編程模式稱之為“GPU計(jì)算”，它意味著更廣泛的應(yīng)用程序支持，更多編程語(yǔ)言的支持，是與初期GPGPU編程模型的本質(zhì)分離。

　　G80架構(gòu)

　　NVIDIA旗下GeForce 8800是被賦予了新型GPU計(jì)算模型的產(chǎn)品。2006年11月推出，基于GeForce 8800的G80為GPU計(jì)算所帶來(lái)了的是一些關(guān)鍵性的創(chuàng)新：

　　G80是首款支持C語(yǔ)言的GPU，允許程序員使用GPU所帶來(lái)的計(jì)算力，而又無(wú)須再學(xué)習(xí)一門新的編程語(yǔ)言。

　　G80是首款以單個(gè)、統(tǒng)一處理器取代頂點(diǎn)與像素管線的GPU，這種處理器可以執(zhí)行頂點(diǎn)、幾何、像素及計(jì)算程序。

　　G80是首款利用標(biāo)量線程處理器的GPU，從而消除了程序員手動(dòng)管理向量寄存器。

　　G80采用了單指令、多線程(SIMT)的執(zhí)行模型，多個(gè)相互獨(dú)立的線程可并行執(zhí)行單條指令。

　　G80對(duì)內(nèi)部線程通訊采用了共享內(nèi)存和柵障同步。

　　2008年6月，NVIDIA對(duì)G80架構(gòu)進(jìn)行了重大改進(jìn)。第二代統(tǒng)一架構(gòu)——GT200(首次采用是在GeForce GTX 280，Quadro FX5800 和Tesla T10 GPU上)——將流處理器的核心數(shù)量(以下稱其為 CUDA核心)從128增加至240。每個(gè)處理器的寄存器組都擴(kuò)大了一倍，允許更多的線程任何時(shí)候在芯片上執(zhí)行。增加硬件內(nèi)存的聯(lián)合存取以改善內(nèi)存訪問(wèn)效率。另外，還添加了對(duì)雙精度浮點(diǎn)運(yùn)算的支持，以處理科學(xué)和高性能計(jì)算(HPC)應(yīng)用。

　　在設(shè)計(jì)每款新一代GPU時(shí)，NVIDIA都以改善現(xiàn)有應(yīng)用性能與GPU可編程性為宗旨;更快速的應(yīng)用性將能帶來(lái)直接的效益，GPU在可編程性上的不斷進(jìn)步，使得它發(fā)展成為我們當(dāng)下最通用的并行處理器。正是基于這樣的理念，促使我們又著手研發(fā)GT200架構(gòu)的繼任者。