借助自適應(yīng)模塊化系統(tǒng) (SOM)加速邊緣創(chuàng)新

作者：賽靈思電路板與套件產(chǎn)品營(yíng)銷總監(jiān) Evan Leal

由 AI 提供支持的應(yīng)用，正在日益普遍地被部署到邊緣和終端，高性能 AI 推斷正在推動(dòng)更智慧的城市和高度自動(dòng)化的智能工廠步入現(xiàn)實(shí)。隨著智能零售引入了極為精致的自動(dòng)化購(gòu)物體驗(yàn)，零售體驗(yàn)也變得更加精巧細(xì)膩。這些應(yīng)用需要具備極高可靠性并提供高性能，同時(shí)也需要提供高效緊湊的外形尺寸。

邊緣處理難題

在邊緣部署系統(tǒng)時(shí)，功耗、占板面積和成本都是制約因素。在邊緣處理的種種限制條件下，處理需求的不斷提高，意味著提供所需的性能水平將面臨更大的挑戰(zhàn)。雖然 CPU 在邊緣計(jì)算上也有發(fā)展，但近年來(lái)的增長(zhǎng)速度有所放緩。在為新一代AI 支持的邊緣應(yīng)用交付所需性能時(shí)，未加速的 CPU 表現(xiàn)得相當(dāng)勉強(qiáng)，特別是考慮到嚴(yán)格的時(shí)延要求。

當(dāng)在邊緣上實(shí)現(xiàn)前沿 AI 應(yīng)用時(shí)，領(lǐng)域?qū)Ｓ眉軜?gòu) （DSA） 是關(guān)鍵。此外，DSA 還提供確定性和低時(shí)延。

合適的 DSA 專門設(shè)計(jì)用于高效處理所需數(shù)據(jù)，既有 AI 推斷，也有非 AI 部分的應(yīng)用，也就是整體應(yīng)用的加速?？紤]到 AI 推斷需要非 AI 的預(yù)處理和后處理，這些都需要更高的性能，這一點(diǎn)很重要。從根本上說(shuō)，要在邊緣上（和其他地方）實(shí)現(xiàn)由 AI 提供支持的高效應(yīng)用，需要整體應(yīng)用的加速。

如同任何固定功能的芯片解決方案一樣，為 AI 邊緣應(yīng)用開(kāi)發(fā)的應(yīng)用專用標(biāo)準(zhǔn)產(chǎn)品 （ASSP） 仍有自己的局限性。主要挑戰(zhàn)在于 AI 創(chuàng)新的速度異乎尋常。與非 AI 技術(shù)相比，AI模型的過(guò)時(shí)速度會(huì)快得多。使用固定功能的芯片器件實(shí)現(xiàn) AI，會(huì)因更新型、更高效AI 模型的出現(xiàn)而迅速過(guò)時(shí)。固定功能芯片器件的流片需要花費(fèi)數(shù)年時(shí)間，到那時(shí) AI 模型的前沿技術(shù)將已經(jīng)向前發(fā)展。此外，對(duì)于邊緣應(yīng)用，安全和功能安全要求的重要性也在提高，可能經(jīng)常需要成本高昂的現(xiàn)場(chǎng)更新。

自適應(yīng)計(jì)算的前景

自適應(yīng)計(jì)算包含能夠針對(duì)具體應(yīng)用進(jìn)行優(yōu)化的硬件，例如現(xiàn)場(chǎng)可編程門陣列 （FPGA），它是一個(gè)功能強(qiáng)大的解決方案，專門用于基于AI 的邊緣應(yīng)用。

此外，新的自適應(yīng)硬件也層出不窮，包括含有 FPGA 架構(gòu)并與一個(gè)或多個(gè)嵌入式 CPU 子系統(tǒng)耦合的自適應(yīng)片上系統(tǒng) （SoC）。然而自適應(yīng)計(jì)算遠(yuǎn)不止“純硬件”。它整合了一套綜合而全面的設(shè)計(jì)軟件和運(yùn)行時(shí)軟件。將它們結(jié)合起來(lái)，就形成了一種獨(dú)特的自適應(yīng)平臺(tái)，可在其上構(gòu)建非常靈活高效的系統(tǒng)。

用自適應(yīng)計(jì)算實(shí)現(xiàn) DSA，可避免使用 ASIC 等定制芯片器件所需的設(shè)計(jì)時(shí)間和前期成本。這樣就能為任何特定領(lǐng)域應(yīng)用，包括基于 AI的邊緣應(yīng)用，迅速部署經(jīng)過(guò)優(yōu)化的靈活的解決方案。自適應(yīng)SoC 是此類領(lǐng)域?qū)Ｓ锰幚淼睦硐脒x擇，因?yàn)樗鼈兗葥碛芯C合全面的嵌入式CPU 子系統(tǒng)的靈活性，又具備自適應(yīng)硬件的優(yōu)異的數(shù)據(jù)處理能力。

推出自適應(yīng)模塊化系統(tǒng) — SOM

模塊化系統(tǒng) （SOM） 提供完整的、可量產(chǎn)的計(jì)算平臺(tái)。與從芯片級(jí)從頭開(kāi)發(fā) （chip-down development）相比，這種方法能節(jié)省可觀的開(kāi)發(fā)時(shí)間與成本。SOM 能夠插入到較大的邊緣應(yīng)用系統(tǒng)內(nèi)，從而既可以提供定制實(shí)現(xiàn)方案的靈活性，又可以提供現(xiàn)成解決方案的易用性和更快的上市速度。這些優(yōu)勢(shì)讓 SOM 成為邊緣 AI 應(yīng)用的理想平臺(tái)。然而，要實(shí)現(xiàn)現(xiàn)代化AI 應(yīng)用所需的性能，加速必不可少。

某些應(yīng)用需要定制硬件組件與自適應(yīng) SoC 接口連接，意味著需要從芯片級(jí)從頭設(shè)計(jì) （Chip-down design）。然而，越來(lái)越多基于 AI 的邊緣應(yīng)用，需要相似的硬件組件和接口，甚至在終端應(yīng)用迥異的時(shí)候也是如此。隨著企業(yè)轉(zhuǎn)向標(biāo)準(zhǔn)化接口和通信協(xié)議，盡管處理需求顯著不同，但同一套組件可適用于各種類型的應(yīng)用。

面向基于 AI 的邊緣應(yīng)用的自適應(yīng) SOM， 結(jié)合了自適應(yīng) SoC與行業(yè)標(biāo)準(zhǔn)接口和組件，使得硬件經(jīng)驗(yàn)有限甚至沒(méi)有硬件經(jīng)驗(yàn)的開(kāi)發(fā)者也可以獲益于自適應(yīng)計(jì)算技術(shù)。自適應(yīng)SoC 既能實(shí)現(xiàn) AI 處理，也能實(shí)現(xiàn)非 AI 處理，也就是說(shuō)其可以滿足整體應(yīng)用的處理需求。

此外，自適應(yīng) SOM 上的自適應(yīng) SoC 支持高度的定制化。它的設(shè)計(jì)目的，是集成到更大型的系統(tǒng)內(nèi)并使用預(yù)定義的外形尺寸。使用自適應(yīng) SOM，可以全面發(fā)揮自適應(yīng)計(jì)算的優(yōu)勢(shì)，同時(shí)避免了從芯片級(jí)從頭開(kāi)始的芯片設(shè)計(jì)。自適應(yīng) SOM 只是解決方案的一個(gè)部分。軟件也是關(guān)鍵。

采用自適應(yīng) SOM 的企業(yè)，能廣泛受益于性能、靈活性和快速開(kāi)發(fā)時(shí)間的獨(dú)特組合。無(wú)需構(gòu)建自己的電路板，他們就能夠享受自適應(yīng)計(jì)算提供的各種優(yōu)勢(shì) — 這個(gè)優(yōu)勢(shì)，最近才隨著賽靈思Kria?自適應(yīng) SOM 產(chǎn)品組合的推出在邊緣得以實(shí)現(xiàn)。

Kria K26 SOM

Kria K26 SOM 構(gòu)建在 Zynq? UltraScale+? MPSoC 架構(gòu)頂端，搭載四核 Arm? Cortex?-A53 處理器，超過(guò)25萬(wàn)個(gè)邏輯單元和一個(gè) H.264/265 視頻編解碼器。此外，該 SOM 還搭載4GB的DDR4存儲(chǔ)器、69 個(gè) 3.3V I/O 和 116 個(gè) 1.8V I/O，使之能夠適配幾乎任何處理器或接口。憑借1.4TOPS的AI算力，與基于 GPU 的 SOM 相比，Kria K26 SOM 助力開(kāi)發(fā)者開(kāi)發(fā)出時(shí)延和功耗更低，性能高 3 倍的視覺(jué) AI 應(yīng)用。這對(duì)安保、交通與市政攝像頭、零售分析、機(jī)器視覺(jué)和視覺(jué)引導(dǎo)機(jī)器人等智能視覺(jué)應(yīng)用，可謂是重大福音。通過(guò)標(biāo)準(zhǔn)化系統(tǒng)核心部分，開(kāi)發(fā)者擁有更多時(shí)間專心開(kāi)發(fā)自己的專屬特性，從而在市場(chǎng)競(jìng)爭(zhēng)中實(shí)現(xiàn)技術(shù)差異化。

與軟件可以更新但受到固定加速器限制的其他邊緣 AI 產(chǎn)品不同，Kria SOM 在兩個(gè)方面提供靈活性，即軟件和硬件都能在今后更新。用戶能夠適配 I/O 接口、視覺(jué)處理和 AI 加速器，為以下的部分或全部應(yīng)用提供支持：MIPI、LVDS 和SLVS-EC 接口；適用于日間或夜間的高質(zhì)量專用高動(dòng)態(tài)范圍成像算法；8 位深度學(xué)習(xí)處理單元；或未來(lái)的 4 位甚至是 2 位深度神經(jīng)網(wǎng)絡(luò)方法。多模傳感器融合與實(shí)時(shí) AI 處理的結(jié)合，如今已經(jīng)非常容易實(shí)現(xiàn)，可以從賽靈思 KV260 視覺(jué) AI 入門套件開(kāi)始設(shè)計(jì)，通過(guò) Kria K26 SOM 部署到生產(chǎn)中。

Kria KV260 視覺(jué) AI 入門套件

面向軟硬件開(kāi)發(fā)者提供的優(yōu)勢(shì)

自適應(yīng) SOM 同時(shí)讓硬件開(kāi)發(fā)者和軟件開(kāi)發(fā)者受益。對(duì)于硬件開(kāi)發(fā)者，自適應(yīng) SOM 提供了現(xiàn)成的、可量產(chǎn)的解決方案，從而節(jié)省了大量的開(kāi)發(fā)成本與開(kāi)發(fā)時(shí)間。此外，這些器件也允許硬件團(tuán)隊(duì)在流程后期變更設(shè)計(jì)，而基于固定功能芯片技術(shù)的 SOM 則無(wú)法實(shí)現(xiàn)。

對(duì)于 AI 開(kāi)發(fā)者和軟件開(kāi)發(fā)者來(lái)說(shuō)，自適應(yīng)計(jì)算比過(guò)去更容易應(yīng)用。賽靈思為確保自適應(yīng)計(jì)算的易用性，對(duì)工具流進(jìn)行了大量投資。通過(guò)將軟硬件平臺(tái)與可量產(chǎn)的視覺(jué)加速應(yīng)用相結(jié)合，Kria SOM 產(chǎn)品組合的推出將這種易用性提升到全新水平。這些交鑰匙應(yīng)用取消了所有 FPGA 硬件設(shè)計(jì)工作，只需要軟件開(kāi)發(fā)者集成他們的定制 AI 模型、應(yīng)用代碼并有選擇地修改視覺(jué)流水線。在 Vitis? 統(tǒng)一軟件開(kāi)發(fā)平臺(tái)和庫(kù)支持下，他們可以使用熟悉的設(shè)計(jì)環(huán)境，如 TensorFlow、Pytorch 或 Caffe 框架以及 C、C++、OpenCL? 和 Python 編程語(yǔ)言。

通過(guò)這種面向軟件設(shè)計(jì)的新的加速應(yīng)用范式，賽靈思還面向邊緣應(yīng)用推出了首個(gè)嵌入式應(yīng)用商店，為客戶提供來(lái)自賽靈思及其生態(tài)系統(tǒng)合作伙伴的豐富多樣的 Kria SOM 應(yīng)用選擇。賽靈思解決方案屬于免費(fèi)提供的開(kāi)源加速應(yīng)用，包含智能攝像頭、人臉檢測(cè)、帶有智能視覺(jué)輔助的自然語(yǔ)言處理等多種應(yīng)用。

靈活應(yīng)變的未來(lái)

AI 模型將繼續(xù)以高速步伐向前演進(jìn)發(fā)展。這意味著加速平臺(tái)必須能夠靈活應(yīng)變，才能在現(xiàn)在和未來(lái)以最佳方式實(shí)現(xiàn) AI 技術(shù)。實(shí)際上，SOM 提供了理想的邊緣處理平臺(tái)。與自適應(yīng) SoC 相結(jié)合，SOM 為由 AI 提供支持的應(yīng)用，提供了綜合全面、可量產(chǎn)的平臺(tái)。采用這類器件的企業(yè)能廣泛受益于性能、靈活性和快速開(kāi)發(fā)時(shí)間的獨(dú)特組合，并從自適應(yīng)計(jì)算種收獲豐厚的回報(bào)。