FPGA較傳統(tǒng)CPU強在哪里？竟獲得了微軟的青睞！

微軟數據中心里的服務器仍然由傳統(tǒng)的英特爾 CPU 主宰，但根據我們早前的報道，微軟現在正計劃采用現場可編程陣列或現場可編程門陣列（FPGA）來代替原有的處理器架構，讓微軟可以采用自主軟件專門修改并為自己服務。據悉，這些 FPGA 制定電路目前已經出現在市場上，微軟正在與一家名為 Altera 的公司商洽采購事宜。

一、為什么使用 FPGA？

眾所周知，通用處理器（CPU）的摩爾定律已入暮年，而機器學習和 Web 服務的規(guī)模卻在指數級增長。人們使用定制硬件來加速常見的計算任務，然而日新月異的行業(yè)又要求這些定制的硬件可被重新編程來執(zhí)行新類型的計算任務。FPGA （Field Programmable Gate Array） 正是一種硬件可重構的體系結構，常年來被用作專用芯片（ASIC）的小批量替代品，然而近年來在微軟、百度等公司的數據中心大規(guī)模部署，以同時提供強大的計算能力和足夠的靈活性。

FPGA 為什么快？「都是同行襯托得好」。CPU、GPU 都屬于馮·諾依曼結構，指令譯碼執(zhí)行、共享內存。FPGA 之所以比 CPU 甚至 GPU 能效高，本質上是無指令、無需共享內存的體系結構帶來的福利。

馮氏結構中，由于執(zhí)行單元（如 CPU 核）可能執(zhí)行任意指令，就需要有指令存儲器、譯碼器、各種指令的運算器、分支跳轉處理邏輯。由于指令流的控制邏輯復雜，不可能有太多條獨立的指令流，因此 GPU 使用 SIMD（單指令流多數據流）來讓多個執(zhí)行單元以同樣的步調處理不同的數據，CPU 也支持 SIMD 指令。而 FPGA 每個邏輯單元的功能在重編程（燒寫）時就已經確定，不需要指令。

馮氏結構中使用內存有兩種作用。一是保存狀態(tài)，二是在執(zhí)行單元間通信。由于內存是共享的，就需要做訪問仲裁；為了利用訪問局部性，每個執(zhí)行單元有一個私有的緩存，這就要維持執(zhí)行部件間緩存的一致性。對于保存狀態(tài)的需求，FPGA 中的寄存器和片上內存（BRAM）是屬于各自的控制邏輯的，無需不必要的仲裁和緩存。對于通信的需求，FPGA 每個邏輯單元與周圍邏輯單元的連接在重編程（燒寫）時就已經確定，并不需要通過共享內存來通信。

說了這么多三千英尺高度的話，FPGA 實際的表現如何呢？我們分別來看計算密集型任務和通信密集型任務。

計算密集型任務的例子包括矩陣運算、圖像處理、機器學習、壓縮、非對稱加密、Bing 搜索的排序等。這類任務一般是 CPU 把任務卸載（offload）給 FPGA 去執(zhí)行。對這類任務，目前我們正在用的 Altera（似乎應該叫 Intel 了，我還是習慣叫 Altera……）Stratix V FPGA 的整數乘法運算性能與 20 核的 CPU 基本相當，浮點乘法運算性能與 8 核的 CPU 基本相當，而比 GPU 低一個數量級。我們即將用上的下一代 FPGA，Stratix 10，將配備更多的乘法器和硬件浮點運算部件，從而理論上可達到與現在的頂級 GPU 計算卡旗鼓相當的計算能力。

FPGA 的整數乘法運算能力（估計）

FPGA 的浮點乘法運算能力（估計）

在數據中心，FPGA 相比 GPU 的核心優(yōu)勢在于延遲。像 Bing 搜索排序這樣的任務，要盡可能快地返回搜索結果，就需要盡可能降低每一步的延遲。如果使用 GPU 來加速，要想充分利用 GPU 的計算能力，batch size 就不能太小，延遲將高達毫秒量級。使用 FPGA 來加速的話，只需要微秒級的 PCIe 延遲（我們現在的 FPGA 是作為一塊 PCIe 加速卡）。未來 Intel 推出通過 QPI 連接的 Xeon + FPGA 之后，CPU 和 FPGA 之間的延遲更可以降到 100 納秒以下，跟訪問主存沒什么區(qū)別了。

FPGA 為什么比 GPU 的延遲低這么多？這本質上是體系結構的區(qū)別。FPGA 同時擁有流水線并行和數據并行，而 GPU 幾乎只有數據并行（流水線深度受限）。例如處理一個數據包有 10 個步驟，FPGA 可以搭建一個 10 級流水線，流水線的不同級在處理不同的數據包，每個數據包流經 10 級之后處理完成。每處理完成一個數據包，就能馬上輸出。而 GPU 的數據并行方法是做 10 個計算單元，每個計算單元也在處理不同的數據包，然而所有的計算單元必須按照統(tǒng)一的步調，做相同的事情（SIMD，Single Instruction Multiple Data）。這就要求 10 個數據包必須一起輸入、一起輸出，輸入輸出的延遲增加了。當任務是逐個而非成批到達的時候，流水線并行比數據并行可實現更低的延遲。因此對流式計算的任務，FPGA 比 GPU 天生有延遲方面的優(yōu)勢。

ASIC 專用芯片在吞吐量、延遲和功耗三方面都無可指摘，但微軟并沒有采用，出于兩個原因：

1.數據中心的計算任務是靈活多變的，而 ASIC 研發(fā)成本高、周期長。好不容易大規(guī)模部署了一批某種神經網絡的加速卡，結果另一種神經網絡更火了，錢就白費了。FPGA 只需要幾百毫秒就可以更新邏輯功能。FPGA 的靈活性可以保護投資，事實上，微軟現在的 FPGA 玩法與最初的設想大不相同。

2.數據中心是租給不同的租戶使用的，如果有的機器上有神經網絡加速卡，有的機器上有 Bing 搜索加速卡，有的機器上有網絡虛擬化加速卡，任務的調度和服務器的運維會很麻煩。使用 FPGA 可以保持數據中心的同構性。

接下來看通信密集型任務。相比計算密集型任務，通信密集型任務對每個輸入數據的處理不甚復雜，基本上簡單算算就輸出了，這時通信往往會成為瓶頸。對稱加密、防火墻、網絡虛擬化都是通信密集型的例子。

對通信密集型任務，FPGA 相比 CPU、GPU 的優(yōu)勢就更大了。從吞吐量上講，FPGA 上的收發(fā)器可以直接接上 40 Gbps 甚至 100 Gbps 的網線，以線速處理任意大小的數據包；而 CPU 需要從網卡把數據包收上來才能處理，很多網卡是不能線速處理 64 字節(jié)的小數據包的。盡管可以通過插多塊網卡來達到高性能，但 CPU 和主板支持的 PCIe 插槽數量往往有限，而且網卡、交換機本身也價格不菲。

從延遲上講，網卡把數據包收到 CPU，CPU 再發(fā)給網卡，即使使用 DPDK 這樣高性能的數據包處理框架，延遲也有 4~5 微秒。更嚴重的問題是，通用 CPU 的延遲不夠穩(wěn)定。例如當負載較高時，轉發(fā)延遲可能升到幾十微秒甚至更高（如下圖所示）；現代操作系統(tǒng)中的時鐘中斷和任務調度也增加了延遲的不確定性。

雖然 GPU 也可以高性能處理數據包，但 GPU 是沒有網口的，意味著需要首先把數據包由網卡收上來，再讓 GPU 去做處理。這樣吞吐量受到 CPU 和/或網卡的限制。GPU 本身的延遲就更不必說了。

那么為什么不把這些網絡功能做進網卡，或者使用可編程交換機呢？ASIC 的靈活性仍然是硬傷。盡管目前有越來越強大的可編程交換機芯片，比如支持 P4 語言的 Tofino，ASIC 仍然不能做復雜的有狀態(tài)處理，比如某種自定義的加密算法。

綜上，在數據中心里 FPGA 的主要優(yōu)勢是穩(wěn)定又極低的延遲，適用于流式的計算密集型任務和通信密集型任務。