SoC+IP 模式 - 人工智能實現(xiàn)的流派 FPGA vs. ASIC看好誰？

　　小結(jié)

　　我把 FPGA 和 ASIC 的比較總結(jié)在下面表格里。FPGA 上市速度快，但性能較低。ASIC 上市速度慢，需要大量時間開發(fā)，而且一次性成本（光刻掩模制作成本）遠高于 FPGA，但是性能遠高于 FPGA 且量產(chǎn)后平均成本遠低于 FPGA。FPGA 可以完全重配置，但是 ASIC 也有一定的可配置能力，只要在設(shè)計的時候就把電路做成某些參數(shù)可調(diào)的即可。

　　目標市場方面，F(xiàn)PGA 成本太高，所以適合對價格不是很敏感的地方，比如企業(yè)應(yīng)用，軍事和工業(yè)電子等等（在這些領(lǐng)域可重配置可能真的需要）。而 ASIC 由于低成本則適合消費電子類應(yīng)用，而且在消費電子中可配置是否是一個偽需求還有待商榷。

　　我們看到的市場現(xiàn)狀也是如此：使用 FPGA 做深度學(xué)習(xí)加速的多是企業(yè)用戶，百度、微軟、IBM 等公司都有專門做 FPGA 的團隊為服務(wù)器加速，而做 FPGA 方案的初創(chuàng)公司 Teradeep 的目標市場也是服務(wù)器。而 ASIC 則主要瞄準消費電子，如 Movidius。由于移動終端屬于消費電子領(lǐng)域，所以未來使用的方案應(yīng)當(dāng)是以 ASIC 為主。

　　SoC+IP 模式

　　說到這里，不少讀者可能有疑問：現(xiàn)在深度學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)日新月異，但是 ASIC 上市速度那么慢而且一旦制作完成（流片）就無法更改，如何能跟上深度學(xué)習(xí)的發(fā)展速度呢？針對這個問題，我想首先需要厘清一個概念，即用于深度學(xué)習(xí)加速的 ASIC 到底要做什么？

　　有人認為神經(jīng)網(wǎng)絡(luò) ASIC 就是真的實現(xiàn)一個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在芯片上，因此網(wǎng)絡(luò)結(jié)構(gòu)一改（例如從 12 層變成 15 層，或者權(quán)重參數(shù)變一下）該 ASIC 就不能用了。其實這樣的理解是不對的：ASIC 加速器做的是幫助 CPU 快速完成深度學(xué)習(xí)中的運算（例如卷積），當(dāng) CPU 在執(zhí)行人工智能算法時只要遇到這種運算就交給加速器去做。因此只要神經(jīng)網(wǎng)絡(luò)的主要運算不變，則 ASIC 加速器完全可以使用。網(wǎng)絡(luò)結(jié)構(gòu)會影響 ASIC 加速器的性能，一種 ASIC 加速器可能是針對 GoogleNet 優(yōu)化過的所以執(zhí)行 GoogleNet 會特別快；當(dāng)你換到 VGG Net 的時候這款 ASIC 還是可以用的，只是執(zhí)行效率相比執(zhí)行 GoogleNet 時要打個折扣，不過無論如何都要比 CPU 快得多。

　　至于 ASIC 上市時間慢的問題，目前也是有辦法可以解決的，就是使用 SoC+IP 的方法。既然設(shè)計 ASIC 一家公司做太花時間，那能不能外包甚至眾籌呢？完全可以！許多 SoC 芯片就是這樣做出來的。

　　這里首先要向大家介紹 SoC 的概念。SoC 全稱是「片上系統(tǒng) （System-on-chip）」，亦即集成了許多不同模塊的芯片。就拿多媒體應(yīng)用的芯片舉例，早些年每一個多媒體應(yīng)用的模塊（音頻編解碼，MPEG 播放編解碼，3D 加速等等）自己都是一塊 ASIC。

　　后來電子業(yè)界發(fā)現(xiàn)每個模塊都做 ASIC 成本太高，而且最后電子產(chǎn)品的體積也很難做小，不如把所有的模塊都集成到同一塊芯片上。這塊芯片集成了多個模塊，并由一個中央控制單元通過總線控制每個模塊的運作，就是 SoC。例如，現(xiàn)在高通公司的 Snapdragon 就是一塊典型的 SoC，上面集成了 GPU，視頻/音頻編解碼，相機圖像信號處理單元（ISP），GPS 以及有線/無線連接單元等等。

　　SoC 上面的每一個模塊都可以稱為 IP，這些 IP 既可以是自己公司設(shè)計的（如 Snapdragon 上面的調(diào)制解調(diào)器就是高通自己設(shè)計的），也可以是購買其他公司的設(shè)計并整合到自己的芯片上，例如蘋果 A 系列處理器里用的 GPU 就使用了 Imagination 的 PowerVR IP。SoC+IP 提供了一種靈活而快速的模式，可以想象如果蘋果不是購買 IP 而是自己組建團隊慢慢做 GPU，其 A 系列處理器芯片上市的時間至少要被延遲一年。

　　高通的 Snapdragon SoC，芯片上集成了眾多 IP

　　對于深度學(xué)習(xí)加速器而言，做成 IP 也是一個加速上市速度的模式。當(dāng)深度加速器成為 IP 時，它就不再自己做成 ASIC，而是成為 SoC 的一部分，當(dāng) SoC 需要做深度學(xué)習(xí)相關(guān)運算時就交給加速器去做。

　　而且做成 IP 對于加速器來說能夠更靈活地滿足客戶的需求。例如，某加速器 IP 設(shè)計可以實現(xiàn) 100GFlops 的運算速度并消耗功耗 150 mW，這時 A 客戶說我們需要算得快一點的加速器（150 Gflops），而且不在乎功耗（300 mW 也可以）和芯片面積，那么 IP 公司可以根據(jù)客戶的需求快速微調(diào)自己的設(shè)計并在一兩個月內(nèi)交付（由于并不需要真正生產(chǎn)芯片，只需要交付設(shè)計）。

　　但是如果加速器已經(jīng)做成 ASIC，那要改動設(shè)計就必須重新做一塊芯片，這個過程牽扯到耗時巨大的物理設(shè)計和驗證，改動完的芯片上市時間可能是一年之后了。在 SoC+IP 的模式下，IP 公司可以專注于加速器的前端設(shè)計并且根據(jù)客戶的需求量體裁衣，大公司則做自己擅長的后端以及芯片/封裝級驗證，可以說是大公司和小公司都可以揚長避短，各取所需，最終實現(xiàn)快速加速器設(shè)計迭代（如半年甚至一個季度一次）并跟上深度學(xué)習(xí)發(fā)展的步伐。

　　從性能角度來說，深度學(xué)習(xí)加速器如果做成 IP 則和同一芯片上的 CPU 進行數(shù)據(jù)通訊時可以使用高帶寬的片上互聯(lián)，但是如果做成 ASIC 則必須走帶寬比較低功耗也比較大的芯片外互聯(lián)，因此深度學(xué)習(xí)加速器作為 IP 成為 SoC 的一部分對于系統(tǒng)的整體性能也有所提升。

　　目前，做深度學(xué)習(xí)加速器 IP 的老牌公司有 Ceva，Cadence 等等。這些公司的設(shè)計大多是基于已有的 DSP 架構(gòu)，設(shè)計比較保守。當(dāng)然，也有一些初創(chuàng)公司看到了深度學(xué)習(xí)加速器 IP 這塊市場并試圖用全新的加速器架構(gòu)設(shè)計來滿足應(yīng)用的需求，如 Kneron。

　　對于做 IP 的初創(chuàng)公司我個人持樂觀態(tài)度，因為首先深度學(xué)習(xí)相關(guān)加速器 IP 確實有市場需求，例如微軟在用于 AR 設(shè)備 HoloLens 的處理器 HPU 中，主要運算單元都是使用買來的加速器 IP。其次，做 IP 并不和大的芯片公司（如 NVidia，Intel）構(gòu)成競爭關(guān)系，所以壓力比較小。最后，由于做 IP 需要的資源較少，產(chǎn)品上市時間較快，因此維持運營對資本的壓力比較小，風(fēng)險也比直接做芯片要小，可以說是一個比較穩(wěn)妥的方案。

　　深度加速器 IP 市場既有沿用傳統(tǒng)架構(gòu)的老牌廠商（Ceva， Cadence）也有使用創(chuàng)新架構(gòu)的初創(chuàng)公司（Kneron）

　　結(jié)語

　　FPGA 和 ASIC 在實現(xiàn)深度學(xué)習(xí)加速器方面各有所長，F(xiàn)PGA 的可配置性更適合企業(yè)、軍工等應(yīng)用，而 ASIC 的高性能和低成本則適合消費電子領(lǐng)域（包括移動終端）。為了實現(xiàn)快速迭代，ASIC 可以采用 SoC+IP 的模式，而這種模式也使得沒有資源量產(chǎn)芯片的中小公司可以專注于深度學(xué)習(xí)加速器 IP 的架構(gòu)和前端設(shè)計，并在人工智能市場上占有一席之地。

　　本文作者李一雷，UCLA博士生，高通（射頻組）實習(xí)工程師，矽說（微信號：silicon_talks）主筆。