微軟發(fā)布基于FPGA的深度學(xué)習(xí)平臺Brainwave

據(jù)微軟官方博客顯示，當(dāng)使用英特爾Stratix 10 FPGA時，Brainwave可在無批處理的情況下支持每秒39.5萬億次浮點運算。

這已經(jīng)不是微軟第一次提出Brainwave的概念，過去幾年中微軟一直嘗試用FPGA提升必應(yīng)（Bing）與Azure的性能與效率。微軟希望賦予開發(fā)人員FPGA處理能力，幫助他們運行復(fù)雜的任務(wù)。因此，這套深度學(xué)習(xí)加速平臺應(yīng)運而生。

微軟在官方博客上公布了Brainwave的三個層面：高性能分布式系統(tǒng)架構(gòu)，集成至FPGA上的深度神經(jīng)網(wǎng)絡(luò)(DNN)引擎，可低摩擦部署訓(xùn)練模型的編譯器和runtime。Brainwave利用了大量微軟在過去幾年里部署的FPGA架構(gòu)。通過將高性能FPGA鏈接到數(shù)據(jù)中心網(wǎng)絡(luò)，微軟讓DNN支持硬件微服務(wù)。其中DNN可被映射到一個遠(yuǎn)程的FPGA池，由一個loop中沒有軟件的服務(wù)器調(diào)用。

這種系統(tǒng)架構(gòu)既降低了延遲，并且CPU無需處理傳入的請求，允許非常高的吞吐量，所以FPGA處理請求的速度和網(wǎng)絡(luò)傳輸速度一樣快。Brainwave使用了集成至商用FPGA上的強(qiáng)大的“軟”DNN處理單元（DPU）。不論科技巨頭還是初創(chuàng)公司，很多公司正在構(gòu)建“硬化”的DPU。盡管其中有些芯片峰值性能很強(qiáng)，但必須在設(shè)計時就選好操作符和數(shù)據(jù)類型，這限制了它們的靈活性。

微軟的解決辦法不同，它提供了跨系列的數(shù)據(jù)類型，可在合成時間內(nèi)決策。該設(shè)計將ASIC數(shù)字信號處理模塊、FPGA和合成邏輯三者結(jié)合，提供了更龐大、數(shù)量上更優(yōu)化的功能單元。此外，Brainwave內(nèi)置一個支持各種流行的深度學(xué)習(xí)框架的軟件棧，目前Microsoft Cognitive Toolkit（CNTK）、Tensorflow均已兼容，微軟計劃支持更多框架。

在這里，微軟定義了一種基于圖的中間表示，先將模型轉(zhuǎn)換為受歡迎的框架，然后再編譯到高性能的基礎(chǔ)架構(gòu)中。微軟在官方博客中表示，他們將盡快通過Azure向外部開發(fā)者提供FPGA，讓用戶通過微軟的服務(wù)間接訪問。據(jù)外媒ZDNet報道，微軟并不是唯一一家在云數(shù)據(jù)中心朝FPGA發(fā)展的公司，亞馬遜和谷歌都在使用定制芯片處理AI任務(wù)。