FPGA取代AI加速器中的GPU

AI軟件初創(chuàng)公司Mipsology正在與Xilinx合作，以使FPGA能夠僅使用一個附加命令即可替換AI加速器應(yīng)用程序中的GPU。Mipsology的“零努力”軟件Zebra將GPU代碼轉(zhuǎn)換為可在FPGA上的Mipsology的AI計(jì)算引擎上運(yùn)行，而無需進(jìn)行任何代碼更改或重新培訓(xùn)。

賽靈思今天宣布，將為數(shù)據(jù)中心向Zebra交付最新版本的Alveo U50卡。Zebra已經(jīng)在其他Xilinx板上支持推理加速，包括Alveo U200和Alveo U250。

Xilinx營銷副總裁Ramine Roane表示：“ Zebra帶給我們的Alveo卡的加速水平使CPU和GPU加速器感到羞愧?！?/span>“與Zebra結(jié)合使用，Alveo U50滿足了AI工作負(fù)載的靈活性和性能需求，并為任何部署提供了高吞吐量和低延遲性能優(yōu)勢?！?/span>

過去，即插即用的FPGA對于非專業(yè)人士來說很難編程，但是Mipsology希望將FPGA變成即插即用的解決方案，就像CPU或GPU一樣容易使用。這樣做的想法是使從其他類型的加速切換到FPGA盡可能容易。

Mipsology首席執(zhí)行官Ludovic Larzul說：“最好的方式是[Mipsology]，我們使用FPGA之上的軟件來使它們透明化，就像Nvidia用Cuda CuDNN來使GPU對AI用戶完全透明一樣。“在接受EE Times采訪時(shí)。

至關(guān)重要的是，這可以由非專家完成，而無需具備深厚的AI專業(yè)知識或FPGA技能，因?yàn)闊o需進(jìn)行模型再培訓(xùn)即可過渡。

“易用性非常重要，因?yàn)楫?dāng)您查看人們的AI項(xiàng)目時(shí)，他們通常無法訪問設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的AI團(tuán)隊(duì)，” Larzul說。“通常，如果有人安裝了一個機(jī)器人系統(tǒng)或一個視頻監(jiān)視系統(tǒng)……他們會讓其他團(tuán)隊(duì)或其他團(tuán)體開發(fā)神經(jīng)網(wǎng)絡(luò)并對其進(jìn)行培訓(xùn)。一旦獲得了[訓(xùn)練有素的模型]，他們就不會更改它，因?yàn)樗麄儧]有專業(yè)知識?！?/span>

與Xilinx對比當(dāng)Xilinx
已經(jīng)擁有自己的神經(jīng)網(wǎng)絡(luò)加速器引擎（XDNN）時(shí)，為什么會支持第三方軟件？

“一句話的重點(diǎn)是：我們做得更好，”拉爾祖爾說。“另一句話是：我們的作品。”

Mipsology在Zebra中擁有自己的計(jì)算引擎，該引擎支持客戶現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型，與XDNN不同，Larzul表示XDNN支持大量演示，但不太適合定制神經(jīng)網(wǎng)絡(luò)。他說，這使使用XDNN建立和運(yùn)行自定義網(wǎng)絡(luò)“痛苦”。盡管XDNN可以在不受GPU威脅的應(yīng)用程序中競爭，但Zebra旨在使FPGA根據(jù)性能，成本和易用性直接采用GPU。

Larzul說，大多數(shù)客戶改變GPU解決方案的動機(jī)是成本。

他說：“他們想降低硬件成本，但又不想重新設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)?！?/span>“（避免了）一筆非經(jīng)常性的費(fèi)用，因?yàn)槲覀兡軌蛲该鞯靥鎿QGPU，并且無需重新訓(xùn)練或修改神經(jīng)網(wǎng)絡(luò)。”

FPGA還具有可靠性，部分原因是因?yàn)樗鼈冊?a target="_blank">芯片領(lǐng)域不那么積極，并且通常比包括GPU在內(nèi)的其他加速器類型運(yùn)行溫度更低。這在需要長期維護(hù)成本的數(shù)據(jù)中心中尤其重要。

拉爾祖爾說：“總擁有成本不僅僅是董事會的價(jià)格?！?/span>“確保系統(tǒng)正常運(yùn)行還需要付出代價(jià)?！?/span>

Zebra還旨在使FPGA在性能上競爭。Larzul說，盡管FPGA通常提供比其他加速器更少的TOPS（每秒Tera操作），但由于Zebra精心設(shè)計(jì)的計(jì)算引擎，它們能夠更有效地使用TOPS。

“這是大多數(shù)加速AI的ASIC初創(chuàng)企業(yè)都忘記了的-他們在做很大的一塊硅片，試圖包裝更多的TOPS，但是他們沒有考慮如何在網(wǎng)絡(luò)上映射它以提高效率”，他說，并指出Zebra的基于FPGA的引擎比TOPS量為6倍的GPU每秒能夠處理更多圖像。

如何實(shí)現(xiàn)的？盡管Larzul沒有提供確切的細(xì)節(jié)，但他確實(shí)表示它們不依賴修剪，因?yàn)榫冉档吞螅灾劣诓贿M(jìn)行重新培訓(xùn)就無法接受。由于相同的原因，它們不使用極限量化（低于8位）。

Zebra的引擎加快了CNN的速度，而CNN如今已廣泛用于圖像和視頻處理應(yīng)用程序，但Zebra也可以應(yīng)用于使用類似數(shù)學(xué)概念的BERT（Google的自然語言處理模型）。Zebra的未來迭代可能會覆蓋其他類型的神經(jīng)網(wǎng)絡(luò)，包括LSTM（長期短期記憶）和RNN（遞歸神經(jīng)網(wǎng)絡(luò)），但這很難實(shí)現(xiàn)，因?yàn)镽NN在數(shù)學(xué)上更加多樣化。

EVE
Mipsology的團(tuán)隊(duì)成立于2015年，在法國約有30人從事研發(fā)工作，在加利福尼亞有一個小團(tuán)隊(duì)，主要負(fù)責(zé)業(yè)務(wù)發(fā)展。該公司已獲得總計(jì)700萬美元的資金，其中200萬美元是2019年法國政府創(chuàng)新競賽的獎金。

Mipsology的核心團(tuán)隊(duì)來自EVE，這是一家ASIC仿真器公司，于2012年被Synopsys收購，用于其ZeBu（零錯誤）硬件輔助驗(yàn)證產(chǎn)品，當(dāng)時(shí)是Cadence鈀金驗(yàn)證平臺的競爭對手。Larzul認(rèn)為，幾乎所有主要的ASIC公司都使用EVE技術(shù)在設(shè)計(jì)周期內(nèi)驗(yàn)證ASIC。該技術(shù)依賴于連接在一起的數(shù)千個FPGA來重現(xiàn)ASIC行為。

Mipsology擁有12項(xiàng)正在申請的專利，并且與Xilinx密切合作，并且與第三方加速器卡兼容，例如Western Digital小型（SFF U.2）卡和Vega-4001等研華卡。