FPGA是AI/ML運(yùn)算的主要芯片之一。據(jù)市場(chǎng)調(diào)查公司Semico Research的2019年5月數(shù)據(jù),2018年用于AI的FPGA市值約10億美元,預(yù)計(jì)2019年為18億美元左右。到2023年的未來四年中,AI用FPGA將增長(zhǎng)約3倍,達(dá)到52億美元(如下圖)。
這個(gè)增長(zhǎng)是驚人的,因?yàn)檫^去多年來,F(xiàn)PGA業(yè)的年均增長(zhǎng)率只有8%~9%。
目前,25%的商業(yè)已經(jīng)實(shí)現(xiàn)了AI/機(jī)器學(xué)習(xí)(ML),未來兩年內(nèi)將達(dá)72%。帶來的好處是在核心功能方面帶來商業(yè)的洞察力,諸如市場(chǎng)營(yíng)銷、銷售、定價(jià)、物流、合規(guī)和欺詐檢測(cè)。
不過,這也為FPGA的傳統(tǒng)架構(gòu)帶來了不小的挑戰(zhàn)。因?yàn)槭忻嫔嫌懈鞣NAI算法(如下圖),基本上底層是矩陣層,用高精度浮點(diǎn)運(yùn)算,但是算法的變化趨勢(shì)是:精度/位數(shù)降低,從浮點(diǎn)改為定點(diǎn),原因是為了把運(yùn)算的復(fù)雜度降低,從而降低功耗。
數(shù)據(jù)加速有其特點(diǎn),通常要有三要素:高算力,高效、豐富的存儲(chǔ)緩存能力,高效、大帶寬的數(shù)據(jù)運(yùn)送能力。為此,F(xiàn)PGA芯片需要改進(jìn)架構(gòu),以滿足數(shù)據(jù)加速的需要。
2、Achronix的7納米FPGA架構(gòu)
近日,Achronix宣布推出突破性FPGA——Speedster7t,采用7納米工藝、TSMC流片,主要針對(duì)AI/ML(機(jī)器學(xué)習(xí))和高帶寬網(wǎng)絡(luò)應(yīng)用。為此,公司總裁兼CEO(首席執(zhí)行官)Robert Blake向電子產(chǎn)品世界等介紹了新架構(gòu)。
據(jù)悉,Speedster7t研發(fā)了三年。該公司至今已有十余年歷史,此前,已推出了三代FPGA。不過,為了應(yīng)對(duì)AI挑戰(zhàn),Speedster7t芯片的設(shè)計(jì)團(tuán)隊(duì)重新設(shè)計(jì)架構(gòu),提出了兼具FPGA靈活性和ASIC高性能的新一代FPGA(如下圖)。
亮點(diǎn)如下。
*新的NOC(片上網(wǎng)絡(luò))路由架構(gòu);
*新的機(jī)器學(xué)習(xí)處理器(MLP);
*最高速度接口,例如最新的第五代PCIe和400 Gbps以太網(wǎng);
*是第一家內(nèi)嵌GDDR6高帶寬內(nèi)存單元的FPGA公司。
2.1 MLP
AI/ML需要矢量矩陣乘法,而傳統(tǒng)的帶DSP塊的FPGA的性能有限(如下圖左),新的MLP可帶來更高的性能(如下圖右)。
另外,傳統(tǒng)FPGA的數(shù)字濾波器也不適合(如下圖左),新的Speedster7t采用了矢量矩陣乘法。
再有,新一代的Speedster7t MLP采用了專為AI/ML優(yōu)化的數(shù)學(xué)塊(Math Block)(如下圖)。具有四個(gè)特點(diǎn),①高密度乘陣列:每個(gè)MAC( 乘累加)支持最多32個(gè)乘法器,驅(qū)動(dòng)可變精度的加法和累加器,有浮點(diǎn)MAC和整點(diǎn)MAC。②緊密相鄰的緩存塊:大塊RAM為72Kbits,寄存器文件是2Kbits。③通過運(yùn)算和內(nèi)存級(jí)聯(lián)功能,可以實(shí)現(xiàn)更復(fù)雜的算法,而無需使用FPGA布線資源。④支持多數(shù)字格式,包括浮點(diǎn)、整點(diǎn)和自定義格式。
2.2 內(nèi)存層次結(jié)構(gòu)和帶寬
內(nèi)存在FPGA fabric(邏輯功能塊)中:每6個(gè)輸入LUT(查找表)中有2個(gè)寄存器,每個(gè)塊RAM中有72 Kbits。
率先采用GDDR6。
具有DDR4/5接口。
2.3 更高速率接口
采用1~112 Gbps SerDes(串行收發(fā)器),有固化的以太網(wǎng)結(jié)構(gòu),硬化的第五代PCIe。
2.4 創(chuàng)新的二維片上網(wǎng)絡(luò)(NOC)
像疊加在FPGA互聯(lián)城市街道系統(tǒng)上的高速公路一樣,NoC支持片上處理引擎之間的高帶寬通信。例如,有的做圖像處理,有的做數(shù)據(jù)庫(kù)交流等,有了NOC,可以有效地做起來。
那么,一家友商的高端FPGA中也有高速公路架構(gòu),NOC的特點(diǎn)是什么?Robert稱速度更快,是市面上產(chǎn)品的十倍。
值得指出的是,NOC的外圍(如下圖的大黃框)是購(gòu)買的IP,但是內(nèi)部的構(gòu)造是Achronix自己設(shè)計(jì)的。
如何為400G以太網(wǎng)傳輸提供所需的頻率?通常采用打包方式。傳送速度需要足夠快,以確保來得及裝包。不過,包有大有小,例如視頻包較大,大包會(huì)降低效率,使得包之間有空的空間。
因此,傳統(tǒng)FPGA不能在任何400G以太網(wǎng)總線帶寬下運(yùn)行得足夠快(如下圖)。
Speedster7t采用了分成多路傳輸方法(如下圖)。
3、Speedster7t產(chǎn)品家族
此次發(fā)布的新芯片,預(yù)計(jì)2019年第四季度會(huì)提供樣片和加速卡,2020年量產(chǎn)。不過,相關(guān)的ACE軟件工具有很多創(chuàng)新,現(xiàn)在就可獲得。
4、創(chuàng)新性的商業(yè)模式
眾所周知,F(xiàn)PGA業(yè)有兩大巨擎,都有35年左右的歷史,專利和產(chǎn)品遍布。Achronix作為一家只有十余年歷史的公司,必須要另辟蹊徑。為此該公司定位于高端FPGA,主要應(yīng)用領(lǐng)域是高性能數(shù)據(jù)加速,諸如高性能計(jì)算和網(wǎng)絡(luò)處理加速等。
不僅是上述的技術(shù)創(chuàng)新,該公司還有獨(dú)特的商業(yè)模式:既提供FPGA芯片,也有FPGA IP授權(quán)等業(yè)務(wù),其IP產(chǎn)品——Speedcore eFPGA IP已于2016年推向市場(chǎng),并于去年底推出了最新的第四代Speedcore。
Robert十分看好FPGA IP授權(quán)的前景,認(rèn)為未來可能越來越多地用于ASIC,例如RF芯片是否也可以變成FPGA?這看起來似乎不可思議,但就像CPU界,二三十年前,沒人把CPU放進(jìn)SoC中,而現(xiàn)在很常見。
現(xiàn)在FPGA芯片的營(yíng)收占公司的比例最大,但I(xiàn)P授權(quán)發(fā)展速度最快。
5、評(píng)論——?jiǎng)?chuàng)新對(duì)小公司更加重要
Achronix公司的第一代FPGA產(chǎn)品是與Intel達(dá)成了協(xié)議,采用當(dāng)時(shí)Intel最先進(jìn)的工藝——22nm生產(chǎn),型號(hào)為Speedster22i,意味著22nm、Intel流片。當(dāng)時(shí)震動(dòng)了業(yè)界,一方面人們不相信FPGA業(yè)最新工藝產(chǎn)品將被一家小公司做出,同時(shí)也發(fā)現(xiàn)Intel要涉足代工業(yè)務(wù)。
當(dāng)時(shí)很多客戶雖然喜歡這家小公司的前沿產(chǎn)品,但不太放心,Achronix安慰說:“你可以不相信我,但你總不會(huì)不相信Intel?。≈灰蠭ntel在,Intel就可以給客戶流片?!?/p>
沒想到幾年后,F(xiàn)PGA巨頭——Altera被Intel收為旗下。Achronix又轉(zhuǎn)到TSMC去流片。第四代產(chǎn)品叫Speedster7t,意味著7nm、TSMC流片。
而且Achronix還開辟的了新業(yè)務(wù)——IP授權(quán)模式,發(fā)展良好。
這讓大家再一次領(lǐng)略到初創(chuàng)公司在夾縫中生存時(shí),創(chuàng)新的重要性。
此次FPGA架構(gòu)的創(chuàng)新令人眼界大開,例如有些功能友商已有,Achronix的性能更高;有些架構(gòu)和功能是Achronix首創(chuàng)的,專為AI/ML和高帶寬應(yīng)用打造。
6、Achronix官方新聞稿如下
Achronix推出突破性的FPGA系列產(chǎn)品,以面向高帶寬數(shù)據(jù)加速應(yīng)用的靈活性而將性能提升到全新高度
· 全新Speedster7t系列產(chǎn)品專為機(jī)器學(xué)習(xí)市場(chǎng)和高帶寬網(wǎng)絡(luò)應(yīng)用而進(jìn)行了優(yōu)化
· 創(chuàng)新架構(gòu)和ACE軟件工具為要求更高性能和更短設(shè)計(jì)周期的設(shè)計(jì)提供了全新范式
· Speedster7t器件采用臺(tái)積電(TSMC)的7nm FinFET工藝制造
美國(guó)加州圣克拉拉市, 2019年 5月 21日—基于現(xiàn)場(chǎng)可編程門陣列(FPGA)的硬件加速器件和高性能嵌入式FPGA(eFPGA)半導(dǎo)體知識(shí)產(chǎn)權(quán)(IP)領(lǐng)導(dǎo)性企業(yè)Achronix半導(dǎo)體公司(Achronix Semiconductor Corporation)今日宣布:推出創(chuàng)新性的、全新的FPGA系列產(chǎn)品,以滿足人工智能/機(jī)器學(xué)習(xí)(AI/ML)和高帶寬數(shù)據(jù)加速應(yīng)用日益增長(zhǎng)的需求。Achronix的Speedster?7t系列基于一種高度優(yōu)化的全新架構(gòu),以其所具有的如同ASIC一樣的性能、可簡(jiǎn)化設(shè)計(jì)的FPGA靈活性和增強(qiáng)功能,從而遠(yuǎn)遠(yuǎn)超越傳統(tǒng)的FPGA解決方案。
Speedster7t FPGA系列產(chǎn)品是專為高帶寬應(yīng)用進(jìn)行設(shè)計(jì),具有一個(gè)革命性的全新二維片上網(wǎng)絡(luò)(2D NoC),以及一個(gè)高密度全新機(jī)器學(xué)習(xí)處理器(MLP)模塊陣列。通過將FPGA的可編程性與ASIC的布線結(jié)構(gòu)和計(jì)算引擎完美地結(jié)合在一起,Speedster7t系列產(chǎn)品創(chuàng)造了一類全新的“FPGA +”技術(shù)。
隨著人工智能/機(jī)器學(xué)習(xí)的應(yīng)用場(chǎng)景快速發(fā)展演進(jìn),新的解決方案都要去應(yīng)對(duì)在高性能、靈活和上市時(shí)間等方面的不同需求。根據(jù)市場(chǎng)調(diào)研公司Semico Research的預(yù)測(cè),人工智能應(yīng)用中FPGA的市場(chǎng)規(guī)模將在未來4年內(nèi)增長(zhǎng)3倍,達(dá)到52億美元。
“我們正處于智能化、自學(xué)習(xí)計(jì)算的高增長(zhǎng)階段的早期,這種計(jì)算將廣泛影響我們?nèi)盏某I??!盇chronix Semiconductor總裁兼首席執(zhí)行官Robert Blake表示:“Speedster7t是Achronix歷史上最令人激動(dòng)的發(fā)布,代表了建立在四個(gè)架構(gòu)代系的硬件和軟件開發(fā)基礎(chǔ)上的創(chuàng)新和積淀,以及與我們領(lǐng)先客戶之間的密切合作。Speedster7t是靈活的FPGA技術(shù)與ASIC核心效率的融合,從而提供了一個(gè)全新的‘FPGA+’芯片品類,它們可以將高性能技術(shù)的極限大大提升?!?/p>
在開發(fā)Speedster7t系列FPGA的產(chǎn)品過程中,Achronix的工程團(tuán)隊(duì)完全重新構(gòu)想了整個(gè)FPGA架構(gòu),以平衡片上處理、互連和外部輸入輸出接口(I / O),以實(shí)現(xiàn)數(shù)據(jù)密集型應(yīng)用吞吐量的最大化,這些應(yīng)用場(chǎng)景可見于那些基于邊緣和基于服務(wù)器的AI / ML應(yīng)用、網(wǎng)絡(luò)處理和存儲(chǔ)。
Speedster7t器件采用了TSMC的7nm FinFET工藝制造,是專為接收來自多個(gè)高速來源的大量數(shù)據(jù)而設(shè)計(jì),同時(shí)還需要將那些數(shù)據(jù)分發(fā)到可編程片上算法性和處理性單元中,然后以盡可能低的延遲來提供那些結(jié)果。Speedster7t系列產(chǎn)品包括高帶寬GDDR6接口、400G以太網(wǎng)端口和PCI Express Gen5等接口,所有這一切單元都互相連接以提供ASIC級(jí)帶寬,同時(shí)保留FPGA的完全可編程性。
“Achronix全新的Speedster7t FPGA系列產(chǎn)品是創(chuàng)新性芯片架構(gòu)實(shí)現(xiàn)爆發(fā)的一個(gè)卓越案例,創(chuàng)造該架構(gòu)的目的是直接面向AI應(yīng)用處理大量的數(shù)據(jù),” Semico Research公司ASIC和SoC首席市場(chǎng)分析師Rich Wawrzyniak說道。“通過將數(shù)學(xué)函數(shù)、存儲(chǔ)器和可編程性整合到其機(jī)器學(xué)習(xí)處理器中,再結(jié)合交叉芯片、二維NoC結(jié)構(gòu),從而形成了消除瓶頸和確保整個(gè)器件中數(shù)據(jù)自由流動(dòng)的絕佳方法。在AI / ML應(yīng)用中,內(nèi)存帶寬就是一切,Achronix的Speedster7t在這一領(lǐng)域提供了令人印象深刻的性能指標(biāo)?!?/p>
為計(jì)算性能進(jìn)行了高度的優(yōu)化
Speedster7t FPGA的核心是其全新機(jī)器學(xué)習(xí)處理器(MLP)中大規(guī)模的可編程計(jì)算單元平行陣列,它們可提供業(yè)界最高的、基于FPGA的計(jì)算密度。MLP是高度可配置的、計(jì)算密集型的單元模塊,可支持4到24位的整點(diǎn)格式和高效的浮點(diǎn)模式,包括對(duì)TensorFlow的16位格式的支持,以及可使每個(gè)MLP的計(jì)算引擎加倍的增壓塊浮點(diǎn)格式的直接支持。
MLP與嵌入式存儲(chǔ)器模塊緊密相鄰,通過消除傳統(tǒng)設(shè)計(jì)中與FPGA布線相關(guān)的延遲,來確保以750 MHz的最高性能將數(shù)據(jù)傳送到MLP。這種高密度計(jì)算和高性能數(shù)據(jù)傳輸?shù)慕Y(jié)合使得處理器邏輯陣列能夠提供基于FPGA的最高可用計(jì)算能力以每秒萬億次運(yùn)算數(shù)量為單位(TOPS,Tera-Operations Per Second)。
世界級(jí)的帶寬
高性能計(jì)算和機(jī)器學(xué)習(xí)系統(tǒng)的關(guān)鍵之處是高片外存儲(chǔ)器帶寬,從而為多個(gè)數(shù)據(jù)流提供存儲(chǔ)源和緩沖。 Speedster7t器件是唯一支持GDDR6存儲(chǔ)器的FPGA,該類存儲(chǔ)器是具有最高帶寬的外部存儲(chǔ)器件。每個(gè)GDDR6存儲(chǔ)控制器都能夠支持512 Gbps的帶寬,Speedster7t器件中有多達(dá)8個(gè)GDDR6控制器,可以支持4 Tbps的GDDR6累加帶寬,并且以很小的成本就可提供與基于HBM的FPGA等效存儲(chǔ)帶寬。
“美光(Micron)樂于攜手Achronix去實(shí)現(xiàn)全球第一個(gè)面向高帶寬存儲(chǔ)需求而直接加載了GDDR6的FPGA產(chǎn)品,”美光計(jì)算與聯(lián)網(wǎng)業(yè)務(wù)部營(yíng)銷副總裁Mal Humphrey。“像這樣的創(chuàng)新的和可擴(kuò)展的解決方案將推動(dòng)人工智能領(lǐng)域內(nèi)的差異化,其中異構(gòu)計(jì)算可選方案與高性能的存儲(chǔ)是加速獲得數(shù)據(jù)內(nèi)涵的必需部分?!?/p>
除了這種非凡的存儲(chǔ)帶寬,Speedster7t器件還包括業(yè)界最高性能的接口端口,以支持極高帶寬的數(shù)據(jù)流。Speedster7t器件擁有多達(dá)72個(gè)業(yè)界最高性能的SerDes,可以達(dá)到1到112 Gbps的速度。還有帶有前向糾錯(cuò)(FEC)的硬件400G以太網(wǎng)MAC,支持4x 100G和8x 50G的配置,以及每個(gè)控制器有8個(gè)或16個(gè)通道的硬件PCI Express Gen5控制器。
超高效率的數(shù)據(jù)移動(dòng)
來自Speedster7t高速I / O和存儲(chǔ)器端口的數(shù)萬兆比特?cái)?shù)據(jù)很容易淹沒傳統(tǒng)FPGA面向比特位的可編程互連邏輯陣列的路由容量,而Speedster7t架構(gòu)包含一個(gè)可橫跨和垂直跨越FPGA邏輯陣列的創(chuàng)新性的、高帶寬的二維片上網(wǎng)絡(luò)(NOC),它們連接到所有FPGA的高速數(shù)據(jù)和存儲(chǔ)器接口。它們就像疊加在FPGA互連這個(gè)城市街道系統(tǒng)上的空中高速公路網(wǎng)絡(luò)一樣,Speedster7t的NoC支持片上處理引擎之間所需的高帶寬通信。NoC中的每一行或每一列都可作為兩個(gè)256位實(shí)現(xiàn),單向的、行業(yè)標(biāo)準(zhǔn)的AXI通道,工作頻率為2Ghz,同時(shí)可為每個(gè)方向提供512 Gbps的數(shù)據(jù)流量。
通過在Speedster中實(shí)現(xiàn)專用二維 NoC, 極大地簡(jiǎn)化了高速數(shù)據(jù)移動(dòng),并確保數(shù)據(jù)流可以輕松地定向到整個(gè)FPGA結(jié)構(gòu)中的任何自定義處理引擎。最重要的是,NOC消除了傳統(tǒng)FPGA使用可編程路由和邏輯查找表資源在整個(gè)FPGA中移動(dòng)數(shù)據(jù)流中出現(xiàn)的擁塞和性能瓶頸。這種高性能網(wǎng)絡(luò)不僅可以提高Speedster7t FPGA的總帶寬容量,還可以在降低功耗的同時(shí)提高有效LUT容量。
針對(duì)安全性至上和硬件確保應(yīng)用的安全防護(hù)功能
Speedster7t FPGA系列產(chǎn)品在面臨第三方攻擊的威脅時(shí),可用最先進(jìn)的比特流安全保護(hù)功能應(yīng)對(duì),它們具有的多層防御能力可保護(hù)比特流的保密性和完整性。密鑰是基于防篡改物理不可克隆技術(shù)(PUF)進(jìn)行加密,比特流由256位的AES-GCM加密算法進(jìn)行加密和驗(yàn)證。為了防止來自旁側(cè)信道的攻擊,比特流被分段,每個(gè)數(shù)據(jù)段使用單獨(dú)導(dǎo)出的密鑰,且解密硬件采用差分功率分析(DPA)計(jì)數(shù)器措施。 此外,2048位RSA公鑰認(rèn)證協(xié)議被用來激活解密和認(rèn)證硬件。用戶可以確信的是當(dāng)他們加載其安全比特流時(shí),它是預(yù)期的配置,這是因?yàn)樗淹ㄟ^RSA公鑰、AES-GCM私鑰和CRC校驗(yàn)進(jìn)行了身份驗(yàn)證。
經(jīng)驗(yàn)證的、可向低成本ASIC轉(zhuǎn)換的途徑,用以滿足大批量需求
Achronix是唯一一家既提供獨(dú)立FPGA芯片又提供Speedcore?嵌入式FPGA(eFPGA)半導(dǎo)體知識(shí)產(chǎn)權(quán)( IP)的公司。Achronix在Speedcore eFPGA IP中采用了與Speedster7t FPGA中使用的同一種技術(shù),可支持從Speedster7t FPGA到ASIC的無縫轉(zhuǎn)換。FPGA應(yīng)用通常具有必須保持可編程性的功能,而其他固定功能則是專用于特定的系統(tǒng)應(yīng)用。對(duì)于ASIC的轉(zhuǎn)換而言,固定功能可以被固化進(jìn)ASIC結(jié)構(gòu)中,從而減小芯片面積、成本和功耗。當(dāng)使用Speedcore eFPGA IP將Speedster7t FPGA轉(zhuǎn)換為ASIC時(shí),客戶有望節(jié)省高達(dá)50%的功耗并降低90%的成本。
責(zé)任編輯:gt
評(píng)論
查看更多