利用Qualcomm驍龍神經(jīng)處理引擎SDK，實現(xiàn)設(shè)備端AI

人工智能（AI）和機器學(xué)習(xí)（ML）日新月異，在游戲、人類對話、社交媒體甚至燃油泵方面產(chǎn)生的變化備受關(guān)注。如果您回顧一下并站在開發(fā)者的角度觀察AI的話，可以看到這一過程中有外因，也有內(nèi)因，并且外因和內(nèi)因也在迅速變化當中：

???? 外因：ML兩大組成部分——訓(xùn)練和推理，直到最近才被安排到云端。移動處理器的計算能力在逐步提升，為邊緣設(shè)備（如智能手機和無人機）運行推理工作負載（而非在云端運行）打下基礎(chǔ)。

???? 內(nèi)因：如今，應(yīng)用程序是否引人注目取決于用戶體驗。在對自拍進行美顏處理既有吸引力又有樂趣，但是，在云端執(zhí)行這項工作會造成延遲，從而破壞美好的體驗。如果您不在設(shè)備端運行分類和跟蹤之類的工作負載，那么造成的不愉快體驗會讓客戶最終離您而去。

???? ?“推手”：移動處理器（CPU、GPU和DSP）每個核心都有自己的電源/性能配置文件。作為開發(fā)者，您可以在邊緣設(shè)備（如智能手機）上選擇最有效運行工作負載的時間和方式。

也正是因為如此，Qualcomm Technologies，Inc.（QTI）才推出了Qualcomm? 驍龍?神經(jīng)處理引擎（NPE）SDK。該SDK已經(jīng)以限定版本發(fā)布了數(shù)月，現(xiàn)在更是通過Qualcomm開發(fā)者網(wǎng)絡(luò)提供給更廣泛的開發(fā)者社區(qū)。該SDK旨在加速驍龍設(shè)備神經(jīng)網(wǎng)絡(luò)處理，方便開發(fā)者根據(jù)特定的用戶體驗選擇最佳核心：Qualcomm Kryo? CPU、Qualcomm Adreno? GPU或Qualcomm Hexagon? DSP。

具有更高性能和更低功耗的AI

在任何邊緣設(shè)備上，AI都是性能和功耗平衡的棘手環(huán)節(jié)。

比方說，您已經(jīng)在云端訓(xùn)練了神經(jīng)網(wǎng)絡(luò)模型。下一步是編寫移動應(yīng)用，利用模型運行推理，識別面部、跟蹤對象、檢測聲音、理解語言，甚至將貓?zhí)砑拥阶耘闹?。您知道，如果在云端運行這一切的話，造成的延遲會徹底毀了用戶體驗，因此，您編寫應(yīng)用在設(shè)備CPU上運行推理工作負載。但是很快您就會認識到，這樣做的結(jié)果是，不但耗電量大，而且性能平平。

?“我想不妨嘗試一下其它核心而不是CPU，”您對自己說。

好主意。Snapdragon處理器上的CPU、GPU和DSP以不同的方式處理工作負載。比如，為獲得最佳功耗/性能特性，語音檢測應(yīng)用最好在Hexagon DSP上運行，而對象檢測或樣式傳輸應(yīng)用更適合運行在Adreno GPU上。

我們設(shè)計NPE SDK就是為了能夠讓您評估各核心執(zhí)行模型的效率。然后，決定在哪里運行應(yīng)用。

改善在Caffe / Caffe2和TensorFlow中訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型

QTI專注于兩個開源深度學(xué)習(xí)框架：分別由Facebook和Google開發(fā)和發(fā)起的Caffe/Caffe2和TensorFlow。另外，如果您擁有Caffe或TensorFlow不支持的專有或自定義網(wǎng)絡(luò)層，可以利用NPE SDK靈活添加。

推理工作負載卸載到正確的核心會帶來哪些好處呢？我們在商用手機上的測試顯示，Adreno? GPU的性能和能效提升了4-5倍，而使用向量擴展（HVX）的Hexagon DSP也提升了2倍。

開發(fā)者已經(jīng)在使用NPE，充分發(fā)揮驍龍的性能，提升移動應(yīng)用體驗。例如，F(xiàn)acebook在其開發(fā)者大會F8上宣布，將NPE整合到Facebook應(yīng)用的相機功能中，加速實現(xiàn)Caffe2支持的AR特性，在拍攝照片和直播視頻時，實現(xiàn)更流暢、無縫且逼真的AR特性應(yīng)用。

接下來

NPE SDK包括運行時軟件、庫、API、離線模型轉(zhuǎn)換工具、示例代碼、文檔、調(diào)試和基準測試工具。目前，NPE SDK兼容驍820, 835, 625, 626, 650, 652, 653 和 660（Android）和驍龍 625和626（Linux）。

如果您擁有訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的資源和專有技術(shù)，并且希望搭載驍龍的移動設(shè)備或邊緣設(shè)備獲得最佳性能和功耗，那么NPE SDK就是最佳選擇。您不需要了解異構(gòu)計算或成為ML專家，但如果您擁有數(shù)據(jù)、分析和深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的經(jīng)驗，會讓您受益良多。

關(guān)注我和Qualcomm AI團隊發(fā)布的文章，了解有關(guān)NPE SDK的更多詳細信息：

???? 使用NPE SDK的知名應(yīng)用

???? 入門方法

???? 改善性能和功耗的技巧

同時，現(xiàn)在就訪問我們的驍龍神經(jīng)處理引擎頁面，下載SDK。

您還可以注冊參加我們于2017年8月1日上午9點舉辦的驍龍和邊緣AI網(wǎng)絡(luò)研討會，了解為什么QTI認為移動設(shè)備是實現(xiàn)設(shè)備端人工智能體驗的理想平臺。

更多Qualcomm開發(fā)內(nèi)容請詳見：Qualcomm開發(fā)者社區(qū)。