為什么 FPGA 是邊緣人工智能的支持組件

作者：DEEPAK BOPPANA，產(chǎn)品和細(xì)分市場(chǎng)營(yíng)銷(xiāo)高級(jí)總監(jiān)Lattice Semiconductor

從智能家居到自動(dòng)駕駛汽車(chē)再到醫(yī)療設(shè)備，人工智能 (AI) 和邊緣計(jì)算一直是中心舞臺(tái)，毫無(wú)疑問(wèn)，人工智能正在多個(gè)行業(yè)迅速蔓延。物聯(lián)網(wǎng)和連接設(shè)備的持續(xù)發(fā)展正在推動(dòng)系統(tǒng)架構(gòu)和新應(yīng)用的轉(zhuǎn)變，不僅歡迎人工智能的興起，也歡迎邊緣智能的增加。

在邊緣構(gòu)建計(jì)算解決方案的設(shè)計(jì)人員面臨著滿(mǎn)足靈活、低功耗、小尺寸和低成本的新要求，同時(shí)又不影響功耗和性能的挑戰(zhàn)。這些新應(yīng)用將需要基于人工智能和機(jī)器學(xué)習(xí)的計(jì)算解決方案，而不是云計(jì)算更接近物聯(lián)網(wǎng)傳感器數(shù)據(jù)的來(lái)源。

圖 1：新一代基于 AI 的邊緣計(jì)算應(yīng)用程序需要獨(dú)特的需求組合。

那么，開(kāi)發(fā)人員如何才能在不影響性能的情況下以低成本構(gòu)建低功耗的邊緣解決方案呢？首先，設(shè)計(jì)師需要保持低成本解決方案與大批量邊緣解決方案競(jìng)爭(zhēng)。其次，他們需要現(xiàn)場(chǎng)可編程門(mén)陣列 (FPGA)，以在神經(jīng)網(wǎng)絡(luò)架構(gòu)和算法快速發(fā)展的市場(chǎng)中提供最大的設(shè)計(jì)靈活性并支持廣泛的 I/O 接口。此外，還需要通過(guò)自定義量化來(lái)權(quán)衡精度和功耗的解決方案。事實(shí)證明，使用針對(duì)低功耗運(yùn)行進(jìn)行優(yōu)化的低密度 FPGA 可以滿(mǎn)足網(wǎng)絡(luò)邊緣嚴(yán)格的性能和功耗限制，并具有上市時(shí)間優(yōu)勢(shì)。

設(shè)計(jì)人員還需要 FPGA，讓他們能夠構(gòu)建緊湊的 AI 設(shè)備，在不違反封裝或熱管理限制的情況下提供高性能。最后，那些首先將解決方案推向市場(chǎng)的人將獲得巨大的優(yōu)勢(shì)。任何預(yù)期的解決方案都必須能夠訪問(wèn)適當(dāng)?shù)馁Y源來(lái)定制解決方案并相應(yīng)地縮短開(kāi)發(fā)周期——無(wú)論是演示、參考設(shè)計(jì)還是設(shè)計(jì)服務(wù)。

鑒于此，F(xiàn)PGA 如何在邊緣計(jì)算中發(fā)揮作用？機(jī)器學(xué)習(xí)通常需要兩種類(lèi)型的計(jì)算工作負(fù)載。訓(xùn)練中的系統(tǒng)可以從現(xiàn)有數(shù)據(jù)中學(xué)習(xí)新的能力。例如，面部檢測(cè)功能通過(guò)收集和分析數(shù)萬(wàn)張圖像來(lái)學(xué)習(xí)識(shí)別人臉。正如人們想象的那樣，這個(gè)早期的培訓(xùn)階段是高度密集的。在這些情況下，開(kāi)發(fā)人員通常會(huì)在數(shù)據(jù)中心中使用可以處理大量數(shù)據(jù)的高性能硬件。

推理是機(jī)器學(xué)習(xí)的第二階段，通過(guò)識(shí)別模式和執(zhí)行任務(wù)將系統(tǒng)的能力應(yīng)用于新數(shù)據(jù)。繼續(xù)上述示例，面部檢測(cè)功能將繼續(xù)改進(jìn)其正確識(shí)別人臉的能力。在這個(gè)階段，系統(tǒng)一直在學(xué)習(xí)，這會(huì)隨著時(shí)間的推移增加它的智能。鑒于在邊緣執(zhí)行的許多限制，設(shè)計(jì)人員無(wú)法在云中執(zhí)行推理。相反，他們必須通過(guò)在邊緣數(shù)據(jù)源附近執(zhí)行計(jì)算任務(wù)來(lái)擴(kuò)展系統(tǒng)的智能。

那么設(shè)計(jì)人員如何才能替換云中可用的大量計(jì)算資源來(lái)在邊緣執(zhí)行推理呢？一種有效的解決方案是利用 FPGA 固有的并行處理能力，并使用它來(lái)加速神經(jīng)網(wǎng)絡(luò)性能。通過(guò)使用專(zhuān)為低功耗運(yùn)行而優(yōu)化的低密度 FPGA，設(shè)計(jì)人員能夠滿(mǎn)足網(wǎng)絡(luò)邊緣的性能和功耗需求。例如，萊迪思的 ECP5 FPGA 可以將神經(jīng)網(wǎng)絡(luò)加速到 1 W 以下，而 iCE40 UltraPlus FPGA 可以將神經(jīng)網(wǎng)絡(luò)加速到毫瓦級(jí)，這兩者都允許設(shè)計(jì)人員構(gòu)建高效的、基于 AI 的邊緣計(jì)算應(yīng)用程序。

圖 2：邊緣超低功耗堆棧的一個(gè)示例是最近推出的 Lattice sensAI。

除了訪問(wèn)計(jì)算硬件之外，設(shè)計(jì)人員還需要各種 IP、工具、參考設(shè)計(jì)和設(shè)計(jì)專(zhuān)業(yè)知識(shí)來(lái)構(gòu)建有效的解決方案并加快上市時(shí)間。sensAI 就是一個(gè)有助于應(yīng)對(duì)這一挑戰(zhàn)的綜合開(kāi)發(fā)生態(tài)系統(tǒng)的例子，它基于 ECP5 和 iCE40 UltraPlus FPGA 系列。Lattice sensAI 堆棧旨在加速人工智能在消費(fèi)者和工業(yè)物聯(lián)網(wǎng)應(yīng)用中的部署，提供針對(duì)邊緣優(yōu)化的靈活推理解決方案。

Lattice sensAI 通過(guò)以下方式滿(mǎn)足邊緣計(jì)算的要求：

結(jié)合模塊化硬件平臺(tái)、神經(jīng)網(wǎng)絡(luò) IP 內(nèi)核、軟件工具、參考設(shè)計(jì)和來(lái)自生態(tài)系統(tǒng)合作伙伴的定制設(shè)計(jì)服務(wù)

簡(jiǎn)化構(gòu)建靈活推理解決方案的任務(wù)

針對(duì)從 1 mW 到 1 W 的低功耗進(jìn)行優(yōu)化，封裝尺寸從 5.5 mm2開(kāi)始 ，大批量生產(chǎn)的價(jià)格在 1 美元到 10 美元之間

隨著機(jī)器學(xué)習(xí)越來(lái)越接近邊緣，為公司和開(kāi)發(fā)人員提供快速有效地開(kāi)發(fā)未來(lái)消費(fèi)者解決方案所需的所有必要工具

隨著物聯(lián)網(wǎng)的不斷發(fā)展，連接設(shè)備的數(shù)量和數(shù)據(jù)量也將不斷增加。最終，將數(shù)據(jù)發(fā)送到云所需的功率和帶寬將過(guò)于巨大，存儲(chǔ)數(shù)據(jù)所需的空間將挑戰(zhàn)即使是最強(qiáng)大的云公司的資源。這是人工智能和邊緣計(jì)算革命的開(kāi)始。隨著用戶(hù)尋求更高水平的智能，對(duì)在靠近物聯(lián)網(wǎng)數(shù)據(jù)源的地方集成低功耗推理的系統(tǒng)的需求將增長(zhǎng)，并青睞在邊緣設(shè)備上具有計(jì)算能力的平臺(tái)。FPGA 在滿(mǎn)足新一代基于 AI 的邊緣計(jì)算的要求方面變得越來(lái)越重要，因?yàn)樗峁┝税踩舆t、設(shè)計(jì)靈活性，并能夠加快 AI 系統(tǒng)中編程智能的上市時(shí)間。

審核編輯 黃昊宇