為邊緣計算而生的英特爾的神經(jīng)計算棒2代

不同于傳統(tǒng)觀點認為的那樣

AI就一定需要GPU、TPU、FPGA等平臺

一定需要高速的網(wǎng)絡(luò)帶寬

邊緣計算正成為新時代AI主力軍

貿(mào)澤電子聯(lián)合與非主辦的第4期明星開發(fā)板就來聊聊為邊緣計算而生的英特爾的神經(jīng)計算棒2代，簡稱NCS2。其作用很簡單，就是加速AI計算，尤其是人工智能中的邊緣計算，從本質(zhì)上來說它就是一個邊緣計算的載體。

NCS 2采用全鋁合金外殼，整個產(chǎn)品精致小巧，尺寸差不多比兩根手指小，外觀設(shè)計也花了一番心思，有助于提高散熱。NCS 2采用USB 3.0 Type-A接口，能直接插在電腦上即可使用，或許這就是最簡單的邊緣計算解決方案？

Myriad X

NCS2加速深度學(xué)習(xí)推理主要依賴于內(nèi)部的視覺處理單元 Myriad X。這里有必要提一下，深度學(xué)習(xí)的細分領(lǐng)域非常多，而Myriad X主要的特點是針對深度學(xué)習(xí)中的圖像和視頻的處理。

Myriad X VPU內(nèi)部架構(gòu)：

神經(jīng)計算引擎：

借助這款適用于深度神經(jīng)網(wǎng)絡(luò)的片上加速器，Myriad X可以實現(xiàn)每秒超過 1 萬億次運算的 DNN 推理性能。因此可以在不犧牲功耗或準(zhǔn)確性的情況下在邊緣實時運行深度神經(jīng)網(wǎng)絡(luò)。

2.5 MB的同質(zhì)化片上內(nèi)存：

允許最高 450 GB/秒的內(nèi)部帶寬，通過最小化片外數(shù)據(jù)傳輸來盡可能減少延遲并降低功耗。

16 個可編程的128 位 VLIW 矢量處理器：

針對計算機視覺工作負載進行了優(yōu)化，靈活地運行多個并行的成像和視覺應(yīng)用程序。

多種高優(yōu)先級的外設(shè)功能支持：

比如最多可在Myriad X上直接連接 8 個高清分辨率 RGB 攝像頭，支持高達每秒 7 億像素圖像信號處理吞吐量，支持4K/60 Hz幀率的編碼。

如果單看Myriad X，你對它的性能提升沒多少概念，那么對比1代的Myriad 2，這種優(yōu)勢更加明顯。可以參考以下這張表：

計算能力提升到了4萬億次，計算性能是1代的4倍；

增加到16個矢量處理器；

新增了神經(jīng)計算引擎；

片上存儲和帶寬更大；

支持了LPDDR4；

支持4K 60Hz的M/JPEG編碼或者4K 30Hz的H.264/H.265編碼；

接口方面也增加了PCIe3.0，增加到16 Lanes的MIP接口。

當(dāng)然啦，這些參數(shù)在目前看來，很多CPU、GPU都可以做到，但是你不能忽略一個參數(shù)，那就是功耗，Myriad X的優(yōu)勢在于能實現(xiàn)這些功能的前提下保持了較低的功耗，相比能夠提供同等效果的GPU，Myriad X的功耗最少降低了十幾倍。

總之，我們可以預(yù)見，在Myriad X加持下的NCS2，其特色很明顯：① 高能效比，將機器視覺應(yīng)用推向極致；② 在邊緣運行，不依賴云計算連接③ 采用USB接口，方便的支持各種深度學(xué)習(xí)的原型開發(fā)。

所以，對于目前市面上火爆的需要有較強圖像/視頻處理能力且需要電池供電的應(yīng)用，如服務(wù)型機器人、無人機、AR/VR等設(shè)備，基于Myriad X的NCS2優(yōu)勢明顯。

OpenVINO工具包

NCS 2該如何開發(fā)？英特爾官方的回答是：OpenVINO工具包。OpenVINO工具基于卷積神經(jīng)網(wǎng)絡(luò)，可以快速部署模擬人類視覺的應(yīng)用程序和解決方案，可在英特爾硬件上擴展計算機視覺工作負載，從而最大限度地提高性能。

如上圖所示，這是OpenVINO工具包的一些工具，主要分為3個部分：

右上角是傳統(tǒng)的電腦視覺庫，包含英特爾優(yōu)化過的OpenCV、OpenVX及范例，可以在推論過程中，有需要用到前處理及后處理器的時候，用來加速運算；

右下角是其它工具集以及庫，如英特爾的Media SDK，通過GPU來加速decode；應(yīng)用OpenCL讓應(yīng)用程序在不同平臺上運作，及FPGA相關(guān)的插件；及運行時所需要的環(huán)境；

而左邊這部分就是OpenVINO深度學(xué)習(xí)推論的核心，也就是我們簡稱的DLDT。在DLDT中包含兩個功能的組件：MO以及IE，還有使用C++和python所做的不同范例；OpenVINO除了支持深度學(xué)習(xí)中一些預(yù)先公開好的模型外，也提供英特爾自行訓(xùn)練的模型，針對各種不同的應(yīng)用，如行為、表情以及物件偵測等等。

目前OpenVINO支持包括win10、Linux、Raspbian、Mac OS，基本上涵蓋了主流的幾個操作系統(tǒng)，因此友好性還是不錯，可以說是英特爾建立AI生態(tài)的大功臣。

環(huán)境配置

NCS 2與OpenVINO工具包的組合可謂是如虎添翼，但是要真正使用起來，環(huán)境搭建的基本步驟還是免不了：

①下載OpenVINO工具包，最新版本2021.1

②解壓壓縮包，然后到目標(biāo)文件夾下執(zhí)行安裝，可以安裝GUI版本或者純命令版本

③安裝額外的依賴的軟件包

④設(shè)置環(huán)境變量

⑤配置模型優(yōu)化器

⑥配置神經(jīng)計算棒USB驅(qū)動程序

按照教程下來就可以把基本環(huán)境搭建起來。

NCS 2實測：對比英特爾CPU

本次主要測試3個demo：

將推理引擎與經(jīng)過預(yù)先訓(xùn)練的模型結(jié)合使用，用于執(zhí)行車輛檢測，車輛屬性和車牌識別的任務(wù)（對比英特爾CPU）

Benchmark，推理性能測試（對比英特爾CPU）

基于攝像頭的實時識別功能（NCS2）

想知道測試結(jié)果誰勝誰負？視頻見分曉。

寫在最后

NCS 2在某些特定的邊緣計算領(lǐng)域還是非常強大的，其本身的優(yōu)勢也在于開發(fā)和優(yōu)化AI離線應(yīng)用，除了配合計算機，NCS2還可以配合帶各種USB接口的單板計算機，比如在創(chuàng)客群體中用戶數(shù)量最為龐大的開源單板計算機 樹莓派。

因此，如果你有一些想法，想要用Myriad X做些什么，那不妨可以先上貿(mào)澤電子官網(wǎng)購買一個NCS2實際體驗一番，畢竟NCS2配合上英特爾的OpenVINO工具包對于開發(fā)AI加速的應(yīng)用還是非常友好的，哪怕你只是初學(xué)者！

☆

相關(guān)電路方案推薦

標(biāo)題：在Raspberry Pi上構(gòu)建Kubernetes智能邊緣集群

在Raspberry Pi上構(gòu)建Kubernetes“ Intelligent Edge”集群是一次很棒的學(xué)習(xí)體驗！

在Raspberry Pi上構(gòu)建Kubernetes Intelligent Edge 集群是一種很棒的學(xué)習(xí)體驗，是構(gòu)建強大的Intelligent Edge 解決方案的墊腳石，也是一種令人印象深刻的方式，可以打動您的朋友。你的開發(fā)技能優(yōu)勢可以在使用云與天青Kubernetes服務(wù)。

Kubernetes集群是使用Raspberry Pi 4節(jié)點構(gòu)建的，并且功能非常強大。它已通過Python和C＃Azure函數(shù)，Azure自定義視覺機器學(xué)習(xí)模型以及NGINX Web服務(wù)器進行了測試。

該項目構(gòu)成了《智能邊緣》系列四部分的基礎(chǔ)。

后續(xù)主題將包括：

將Python和C＃Azure函數(shù)構(gòu)建，調(diào)試和部署到Raspberry Pi Kubernetes群集，并學(xué)習(xí)如何從Kubernetes托管容器訪問硬件。

開發(fā)，部署和管理上邊緣智力與Azure的物聯(lián)網(wǎng)邊緣上Kubernetes。

dapr.io 入門，它是事件驅(qū)動的可移植運行時，用于在云和邊緣上構(gòu)建微服務(wù)。

系統(tǒng)配置：

Kubernetes集群的設(shè)置是完全腳本化的，并且有據(jù)可查。

硬件組成部分：

· Raspberry Pi 4 Model B

· Raspberry Pi 3 Model B+

· Pimoroni Blinkt!

責(zé)任編輯：xj

原文標(biāo)題：親測神經(jīng)計算棒 PK 傳統(tǒng)筆電CPU：為邊緣計算而生，誰更強？

文章出處：【微信公眾號：電路設(shè)計技能】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。