如何用ASIC的思路開發(fā)FPGA應(yīng)用

這是一個算力不足的年代，這是一個算力重建的年代，破局與重建關(guān)乎時代變遷，破局與重建也激發(fā)著創(chuàng)新者的斗志。

01

愿算力與你同在：當(dāng)全世界的電力都用上還不夠

“算力”在未來，就像當(dāng)年的蒸汽機(jī)、電力一樣，儼然已經(jīng)是生產(chǎn)力發(fā)展的核心要素，也就是說，誰擁有超越別人的“算力”，誰就會擁有更高的生產(chǎn)力和效率，誰也就能在創(chuàng)新上實(shí)現(xiàn)真正的突破，成為推動產(chǎn)業(yè)和時代進(jìn)步的原動力。所以“算力”會和“原力”一樣成為人們期望擁有的能力。

“愿算力與你同在”是雪湖公司的口號，印在了我們的文化衫上。

它致敬了星戰(zhàn)里的那句“愿原力與你同在”這句話。熟悉星戰(zhàn)的朋友一定知道，“原力”是星球大戰(zhàn)里一種超自然的，而又無處不在的神秘力量，是所有生物創(chuàng)造的一個能量場，幫助絕地武士們擁有超越其他人的能力。

5G，AI和AIoT，讓所有東西都聯(lián)網(wǎng)和數(shù)字化，使得算力缺口不斷擴(kuò)大，從端側(cè)到云端，數(shù)據(jù)運(yùn)算需求呈現(xiàn)指數(shù)級增長，都在思考如何打破“算力瓶頸”。也許你會說，可以用CPU和GPU?。吭?jīng)有人算過，不斷增長的加速需求全部用GPU來算的話，用上全世界的電力可能也不夠，所以光用GPU做加速顯然不現(xiàn)實(shí)。

在我看來，根據(jù)場景不同，將來算力會分布在從云到端的各個環(huán)節(jié)上。站在這幾年非常流行的“上云萬能論”的角度來看，有許多場景的需求無法通過云解決，以智能駕駛場景為例，計算結(jié)果需要在毫秒級反饋到控制系統(tǒng)，顯然云端計算變得不現(xiàn)實(shí)。相信FPGA的靈活性可以為更多場景做“算力賦能”。

02

重新定義硬件：為什么要用ASIC的思路做FPGA的應(yīng)用開發(fā)？

我是一個半導(dǎo)體行業(yè)的老兵，在芯片原廠工作的十幾年里，幾乎接觸過市面上所有類型的芯片。在這么多的芯片里，F(xiàn)PGA是最特殊的，它“樂高積木”一樣的特點(diǎn)讓人著迷。

這幾年，異構(gòu)計算和硬件加速是非常值得期待的市場。從當(dāng)下4000多億美金全球的芯片市場規(guī)模來說，F(xiàn)PGA芯片的60多億不那么大，但隨著ABC（AI，Bigdata，Cloud）和5G的推動，從端到云都可能面臨“算不過來”的窘境，這對于擅長做加速的FPGA來說市場潛力極大。按照Gartner的預(yù)測，到2025年FPGA芯片市場將增長到125億美金，非常值得期待。

然而，幾十年來，F(xiàn)PGA也一直面臨ASIC的競爭。通常認(rèn)為，客戶的產(chǎn)品在達(dá)到一定體量后，從成本角度會遷移到ASIC。雪湖科技認(rèn)為，雖然這樣的競爭無法避免，但如果能把“Crossover Point （交叉點(diǎn)）”往右邊延伸（如下圖1），那就能擴(kuò)大FPGA應(yīng)用市場的空間，充分受益于異構(gòu)計算強(qiáng)大的算力優(yōu)勢。所以雪湖科技選擇“用ASIC的思路去做FPGA開發(fā)”，在應(yīng)用開發(fā)的過程中，珍惜一點(diǎn)一滴的計算資源，從時間利用率和空間利用率上做優(yōu)化，最終通過提升FPGA的資源使用率來提升應(yīng)用端加速性能。而這樣給客戶帶來的價值就是，因?yàn)樾阅芴嵘娱L了成本切換的時間點(diǎn)，讓一部分原本ASIC的市場變成FPGA的市場。即使在云端也是一樣，性能的極致優(yōu)化和提升可以為客戶提升TCO，剩下大把的成本，可以用來專注于提升云端的服務(wù)能力。

雪湖CEO張強(qiáng)在FPGA數(shù)值計算加速領(lǐng)域經(jīng)驗(yàn)豐富，曾經(jīng)參與過微軟基金會的創(chuàng)新項(xiàng)目“激光打蚊子”，在Vertex2PRO上實(shí)現(xiàn)了每秒鐘處理500幀圖片，每張圖片識別4096只蚊子的驚人效果，而這一些都是通過對計算資源極致優(yōu)化來完成的。雪湖已經(jīng)擁有40位FPGA開發(fā)者人員，秉承“用設(shè)計ASIC的思路做FPGA的開發(fā)”的理念，已經(jīng)成功在人工智能，智能駕駛，數(shù)據(jù)中心和高性能計算領(lǐng)域完成布局。

圖1 ?FPGA方案和ASIC方案成本比較 （出處：興業(yè)證券 《FPGA行業(yè)深度報告》）

03

Wide and Deep 加速器：算法懂你，還得懂賺錢

提升算力的關(guān)鍵，首先一定是硬件的提升，F(xiàn)PGA的低延遲及高吞吐相對GPU有絕對的優(yōu)勢，因此越來越多的企業(yè)意識到了這一點(diǎn)，已經(jīng)開始率先使用FPGA來提升算力。

在賽靈思開發(fā)者大會XDF 2019上，阿里云的 FPGA 異構(gòu)計算負(fù)責(zé)人張振祥也說，在今年優(yōu)酷的國慶閱兵直播，以及天貓雙十一晚會直播，阿里云都采用了 FPGA的轉(zhuǎn)碼方案。我們了解到，天貓雙十一的圖片轉(zhuǎn)碼也都是用FPGA做的。這里可以看出一個趨勢，F(xiàn)PGA還會隨著雙十一銷售額交易量的攀升得到更為廣泛的運(yùn)用。可以預(yù)見，F(xiàn)PGA在互聯(lián)網(wǎng)基礎(chǔ)業(yè)務(wù)領(lǐng)域有很多應(yīng)用場景。

雪湖也有幸參與到了本屆XDF，并且與賽靈思共同推出了基于賽靈思Alveo U200加速卡實(shí)現(xiàn)的“Wide and Deep廣告推薦算法加速解決方案”，相較于CPU服務(wù)器，基于FPGA加速器打造的這一解決方案，將吞吐量提高了3~5倍，加上功耗更低，其TOC（總體擁有成本）是CPU云的5倍以上。

圖2 FPGA vs CPU 基于FPGA的推薦算法性能比較（出處：雪湖科技）

推薦系統(tǒng)是互聯(lián)網(wǎng)公司運(yùn)營的核心，內(nèi)容推薦會影響留存，轉(zhuǎn)化和成交轉(zhuǎn)化；廣告推薦會直接影響點(diǎn)擊率（CTR），進(jìn)而影響廣告收入。看到互聯(lián)網(wǎng)公司對廣告投放、內(nèi)容點(diǎn)擊率的痛點(diǎn)，我們開發(fā)了基于FPGA的廣告推薦加速器。

推薦系統(tǒng)中，CTR（Click-Through-Rate，點(diǎn)擊率）至關(guān)重要，在云音樂推薦的“今日歌單”，抖音上的短視頻，購物APP的“猜你喜歡”等場景中，CTR值反映的是推薦系統(tǒng)的準(zhǔn)確率，他影響著用戶是去是留，也決定著互聯(lián)網(wǎng)企業(yè)的廣告收益。

為了達(dá)成精準(zhǔn)的推薦和投放，2016年，谷歌提出了“Wide and Deep”算法模型，現(xiàn)在已經(jīng)被Facebook、Youtube等國際領(lǐng)先的互聯(lián)網(wǎng)公司廣泛使用?？紤]到部署于GPU的成本高，這一算法以往采用CPU來加速，但性能并不理想。在這個背景下，我們與賽靈思針對數(shù)據(jù)中心廣告推薦算法加速推出“Wide and Deep算法推薦系統(tǒng)”高性能解決方案。

在完成推薦過程時，我們會根據(jù)用戶信息提取用戶自畫像和商品屬性，輸入到模型，再根據(jù)相應(yīng)算子得出最終結(jié)果?；谫愳`思U200構(gòu)建出的“Wide and Deep”加速器，能夠根據(jù)模型API制作出雪湖科技API，再由自研發(fā)的工具包將模型和數(shù)據(jù)轉(zhuǎn)換為可由FPGA處理的數(shù)據(jù)，從而快速計算出結(jié)果。

將結(jié)果進(jìn)行處理和排序后，也就是我們?nèi)粘？梢姷耐扑]界面了。由于不同的用戶有不同的個人信息和喜好，經(jīng)過模型計算也會有不同的結(jié)果，也就對應(yīng)出不同的推薦內(nèi)容。

另外，考慮到大型推薦系統(tǒng)的上線都是通過云端部署，同時用在線和離線方式更新模型。除了U200加速卡，我們同樣支持Wide and Deep在阿里云FPGA服務(wù)器F3（FPGA：賽靈思 VU9P）上的部署應(yīng)用，用戶可以通過鏡像文件部署。根據(jù)最近的更新數(shù)據(jù)顯示，模型精度損失可控制在2/100000。當(dāng)模型更新時，通過雪湖科技提供的專有工具可直接載入模型參數(shù)，可做到一鍵式更新模型參數(shù)。

目前，互聯(lián)網(wǎng)公司在算法推薦上的需求持續(xù)增長，在讓企業(yè)看到FPGA的性能預(yù)期之外，我們還希望通過這些操作上的便利，能提供到奉行最小可行性測試的互聯(lián)網(wǎng)行業(yè)最為喜聞樂見的方案，讓他們能低成本地?fù)肀ё兓?，進(jìn)一步滿足人們‘聽我想聽’、‘看我想看’、‘買我想買’的‘懶惰’需求，另一維度上，廣告主的帶貨KPI能被更高效的完成，企業(yè)的廣告售賣單價能夠提升，F(xiàn)PGA的價值也就體現(xiàn)了。

除了推薦算法，雪湖對于硬件加速和算力提升的探索還在繼續(xù)，“愿算力與你同在”！

關(guān)于作者

王韻，雪湖科技聯(lián)合創(chuàng)始人兼COO，日本國立九州大學(xué)碩士，師從著名產(chǎn)業(yè)經(jīng)濟(jì)學(xué)家山崎朗。半導(dǎo)體行業(yè)老兵，在該領(lǐng)域擁有超過15年工作經(jīng)驗(yàn)。曾服務(wù)于全球500強(qiáng)日本富士通集團(tuán)，任職亞太區(qū)高管負(fù)責(zé)半導(dǎo)體芯片的市場營銷業(yè)務(wù)。

編輯：黃飛