基于 FPGA 客戶端的分布式計(jì)算網(wǎng)絡(luò)設(shè)計(jì)

高校和私企正在應(yīng)用分布式平臺(tái)，而不是安裝速度更快、耗電更大的超級(jí)計(jì)算機(jī)來解決日益復(fù)雜的科學(xué)算法，針對(duì)SETI@home 這樣的項(xiàng)目，他們則使用數(shù)以千計(jì)的個(gè)人計(jì)算機(jī)來計(jì)算它們的數(shù)據(jù)。［1，2］ 當(dāng)前的分布式計(jì)算網(wǎng)絡(luò)一般用CPU 或 GPU 來計(jì)算項(xiàng)目數(shù)據(jù)。

FPGA 也正被像 COPACOBANA這樣的項(xiàng)目所采用，該項(xiàng)目使用 120個(gè)賽靈思 FPGA 通過暴力處理來破解DES 加密文件。［3］ 不過在這個(gè)案例中，F(xiàn)PGA 都被集中布置在一個(gè)地方，這種方案不太適合那些預(yù)算緊張的大學(xué)或企業(yè)。目前并未將 FPGA 當(dāng)作分布式計(jì)算工具，這是因?yàn)樗鼈兊氖褂眯枰柚?PC，才能用新的比特流不斷地重新配置整個(gè) FPGA。但是現(xiàn)在有了賽靈思部分重配置技術(shù)，為分布式計(jì)算網(wǎng)絡(luò)設(shè)計(jì)基于 FPGA 的客戶端完全可行。

我們漢堡應(yīng)用技術(shù)大學(xué)的研究小組為這樣的客戶端創(chuàng)建了一個(gè)原型，并將其實(shí)現(xiàn)在單個(gè) FPGA 上。我們的設(shè)計(jì)由靜態(tài)和動(dòng)態(tài)兩大部分組成。其中靜態(tài)部分在 FPGA 啟動(dòng)時(shí)加載，與此同時(shí)用靜態(tài)部分實(shí)現(xiàn)的處理器從網(wǎng)絡(luò)服務(wù)器下載動(dòng)態(tài)部分。動(dòng)態(tài)部分屬部分重配置區(qū)域，提供共享的 FPGA資源。［4］ 采用這種配置，F(xiàn)PGA 可以位于世界上的任何地方，用較低的預(yù)算就能夠?yàn)橛?jì)算項(xiàng)目提供強(qiáng)大的計(jì)算能力。

分布式 SOC 網(wǎng)絡(luò)

由于具有信號(hào)并行處理能力，F(xiàn)PGA能夠使用比微處理器慢 8 倍的時(shí)鐘，低 8 倍的功耗實(shí)現(xiàn)比其快三倍的數(shù)據(jù)吞吐量。［5］ 為利用該強(qiáng)大的計(jì)算能力實(shí)現(xiàn)高數(shù)據(jù)輸入速率，設(shè)計(jì)人員一般將算法實(shí)現(xiàn)為流水線，比如 DES 加密。［3］ 我們開發(fā)分布式 SoC 網(wǎng)絡(luò) （DSN）原型的目的是加快算法的速度和使用分布式 FPGA 資源處理大型數(shù)據(jù)集。我們的網(wǎng)絡(luò)設(shè)計(jì)采用“客戶端- 代理-服務(wù)器”架構(gòu)，故我們可以將所有注冊(cè)的片上系統(tǒng) （SoC） 客戶端分配給每一個(gè)網(wǎng)絡(luò)參與方的計(jì)算項(xiàng)目（如圖 1所示）。這在將每一個(gè) SoC 客戶端連接到唯一的項(xiàng)目的“客戶端- 服務(wù)器”架構(gòu)中是無法實(shí)現(xiàn)的。

另外，我們選擇“代理- 服務(wù)器”架構(gòu)可以將每個(gè) FPGA 的 TCP/IP 連接數(shù)量減少到一個(gè)。DSN FPGA 負(fù)責(zé)運(yùn)算使用專用數(shù)據(jù)集的算法，而“代理-服務(wù)器”則負(fù)責(zé)管理 SoC 客戶端和項(xiàng)目客戶端。代理調(diào)度連接的 SoC 客戶端，讓每個(gè)項(xiàng)目在相同的時(shí)間幾乎擁有相同的計(jì)算能力，或者在 SoC 的數(shù)量少于計(jì)算請(qǐng)求的項(xiàng)目時(shí)分時(shí)復(fù)用soc客戶端。

項(xiàng)目客戶端提供部分重配置模塊（PRM） 和激勵(lì)輸入數(shù)據(jù)集。在連接到“代理- 服務(wù)器”之后，項(xiàng)目客戶端將PRM 比特文件發(fā)送給服務(wù)器，然后由服務(wù)器將它們分配給帶有空閑的部分可重配置區(qū)域 （PRR） 的 SoC 客戶端。SoC 客戶端的靜態(tài)部分是一個(gè)基于MicroBlazeTM 的微控制器，用接收到的 PRM 動(dòng)態(tài)重新配置 PRR。接下來，項(xiàng)目客戶端開始通過“代理- 服務(wù)器”發(fā)送數(shù)據(jù)集并從 SoC 客戶端接收計(jì)算的結(jié)果。根據(jù)項(xiàng)目客戶端的需要，舉例來說，它可以比較不同的計(jì)算結(jié)果，或根據(jù)計(jì)算目的評(píng)估計(jì)算結(jié)果。

MicroBlaze 處理器負(fù)責(zé)運(yùn)行客戶端軟件，客戶端軟件管理部分重配置以及比特流和數(shù)據(jù)交換。

SOC 客戶端

我們?yōu)殡S ML605 評(píng)估板配套提供的賽靈思 Virtex?-6 FPGA（XC6VLX240T）開發(fā)了 SoC 客戶端。MicroBlazeTM 處理器負(fù)責(zé)運(yùn)行客戶端軟件，客戶端軟件負(fù)責(zé)管理部分可重配置以及比特流和數(shù)據(jù)交換（如圖 2 所示）。用戶邏輯封裝PRR 的處理器本地總線 （PLB） 外設(shè)用以連接靜態(tài)部分和動(dòng)態(tài)部分。在動(dòng)態(tài)部分駐留的是接收到的 PRM 提供的加速器 IP 核使用的 FPGA 共享資源。為存儲(chǔ)接收到的數(shù)據(jù)和計(jì)算完成的數(shù)據(jù)，我們選擇了 DDR3 存儲(chǔ)器而非CompactFlash，因?yàn)?DDR 存儲(chǔ)器有更高的數(shù)據(jù)吞吐量和無限制的寫入訪問次數(shù)。PRM 存儲(chǔ)在專用數(shù)據(jù)段內(nèi)，以控制其大小，避免與其它數(shù)據(jù)集發(fā)生沖突。該數(shù)據(jù)段大小為 10 MB，足以存儲(chǔ)完整的 FPGA 配置。因此每一個(gè)PRM 都應(yīng)該與這個(gè)數(shù)據(jù)段的大小匹配。

我們還為接收及結(jié)果數(shù)據(jù)集創(chuàng)建了不同的數(shù)據(jù)段。這些數(shù)據(jù)段的大小有 50 MB，能夠?yàn)楸热鐖D像或加密文本文件等提供足夠的尋址空間。管理這些數(shù)據(jù)段主要依靠 10 個(gè)管理結(jié)構(gòu)。該管理結(jié)構(gòu)包括每個(gè)數(shù)據(jù)集對(duì)的起始/ 終點(diǎn)地址，以及指示結(jié)果數(shù)據(jù)集的標(biāo)志。