微軟引入FPGA加速處理實(shí)時(shí)數(shù)據(jù)

我們都知道FPGA擁有“光速”般的處理能力以及對(duì)數(shù)據(jù)密集的人工智能工作負(fù)載的自然適應(yīng)能力。但FPGA目前也有一些可用性和可編程性方面的問題，使其在IT應(yīng)用中較難實(shí)現(xiàn)。業(yè)界普遍認(rèn)為，資源豐富的領(lǐng)軍型科技企業(yè)將會(huì)在FPGA在人工智能應(yīng)用領(lǐng)域的實(shí)用技術(shù)方面展開競(jìng)爭(zhēng)。

微軟正使用英特爾的最新14nm Stratix 10和其他FPGA技術(shù)努力做到這一點(diǎn)。該公司已經(jīng)啟動(dòng)了Brainwave項(xiàng)目，這是一個(gè)“實(shí)時(shí)AI”功能，可以在Azure公有云基礎(chǔ)設(shè)施上使用。它的設(shè)計(jì)目的是處理實(shí)時(shí)數(shù)據(jù)流，例如視頻、傳感器或搜索查詢，并快速將數(shù)據(jù)發(fā)回給用戶。

微軟此前曾在Hot Chips 2017大會(huì)(一個(gè)半導(dǎo)體研討大會(huì))上展示了其基于FPGA的深度學(xué)習(xí)平臺(tái)。微軟報(bào)告說，Stratix 10顯示了39.5萬億次浮點(diǎn)運(yùn)算的持續(xù)性能(使用微軟的自定義8位浮點(diǎn)格式，ms-fp8)，每個(gè)請(qǐng)求在1毫秒內(nèi)運(yùn)行?！霸谶@樣的性能水平上，Brainwave架構(gòu)在每一個(gè)周期中持續(xù)執(zhí)行超過130,000個(gè)計(jì)算操作，這是由每10個(gè)周期所發(fā)出的一個(gè)宏指令驅(qū)動(dòng)的。”

微軟是第一個(gè)在公共云基礎(chǔ)設(shè)施中部署FPGA的主要云服務(wù)提供商。根據(jù)英特爾公司的說法，“今天，英特爾公司在技術(shù)上的進(jìn)步使深度神經(jīng)網(wǎng)絡(luò)(DNN)得到了加速，能夠以一種概念上類似于人類大腦的方式來復(fù)制‘思維’?！?/p>

英特爾(Intel)和微軟(Microsoft)對(duì)比了“Stratix 10”的功能和“當(dāng)今許多硅AI加速器”的功能，要求將多個(gè)請(qǐng)求組合在一起(稱為“批處理”)，以實(shí)現(xiàn)高性能。他們說，在一個(gè)單一的請(qǐng)求上，“Stratix 10”展示了超過39萬億次的持續(xù)性能，“一個(gè)新的云性能，實(shí)時(shí)人工智能計(jì)算，低延遲記錄，性能記錄和對(duì)人工智能請(qǐng)求的批處理。”

“我們利用英特爾FPGA的靈活性，快速整合創(chuàng)新，同時(shí)提供比許多基于ASIC的深度學(xué)習(xí)處理單元的性能，或者更大的性能，”微軟研究院NExT的杰出工程師Doug Burger說。

微軟指出，Brainwave項(xiàng)目由三個(gè)主要層組成:首先，它利用了微軟在過去幾年中部署的大規(guī)模FPGA基礎(chǔ)設(shè)施?！巴ㄟ^將高性能的FPGA直接連接到我們的數(shù)據(jù)中心網(wǎng)絡(luò)，我們可以將DNN作為硬件微服務(wù)，DNN可以被映射到一個(gè)遠(yuǎn)程FPGA池，并被一個(gè)沒有軟件的服務(wù)器調(diào)用。”Burger說。這種架構(gòu)降低了延遲，因?yàn)?a target="_blank">CPU不需要處理傳入的請(qǐng)求，而且允許高吞吐量。

其次，Brainwave項(xiàng)目使用了一個(gè)“軟”DNN處理單元(或DPU)，以FPGA為基礎(chǔ)，“提供了一個(gè)跨多個(gè)數(shù)據(jù)類型的設(shè)計(jì)，所需的數(shù)據(jù)類型是一個(gè)合成時(shí)間的決定?！痹撛O(shè)計(jì)將ASIC數(shù)字信號(hào)處理模塊與FPGA和合成邏輯結(jié)合在一起，提供了一個(gè)更大、更優(yōu)化的功能單元數(shù)量。

Burger說，這種方法“可以很快將研究創(chuàng)新融入硬件平臺(tái)(通常是幾周)，這在這個(gè)快速發(fā)展的領(lǐng)域中是必不可少的?！币虼?，除了提供我們所承諾的性能外，我們也取得了與這些硬編碼的DPU芯片相當(dāng)或更強(qiáng)的性能。

第三，Brainwave項(xiàng)目合并了一個(gè)軟件堆棧，旨在支持廣泛使用的多種深度學(xué)習(xí)框架?！拔覀円呀?jīng)支持微軟的認(rèn)知工具包和谷歌的Tensorflow，并計(jì)劃支持更多的框架，”Burger說。“我們已經(jīng)定義了一個(gè)基于圖形的中間表示，我們將這些模型轉(zhuǎn)換為受歡迎的框架，然后再編譯到高性能的基礎(chǔ)結(jié)構(gòu)?！?span style="text-indent: 2em;">“我們正致力于將這種強(qiáng)大的、實(shí)時(shí)的人工智能系統(tǒng)引入Azure用戶，這樣我們的客戶就可以直接從Brainwave項(xiàng)目中獲益，并通過我們的服務(wù)(如Bing)來進(jìn)行間接訪問?！盉urger說。