隨著新技術(shù)的成熟,新型的先進應(yīng)用將來自5G、人工智能(AI)和物聯(lián)網(wǎng)(IoT)的融合,這種融合將創(chuàng)造出一個智能互聯(lián)的全新未來,對所有個人、行業(yè)、社會和經(jīng)濟產(chǎn)生積極影響。Arm預(yù)計到2035年將有1萬億的物聯(lián)網(wǎng)設(shè)備,在這些設(shè)備上實現(xiàn)本地人工智能,是人工智能應(yīng)用的必然趨勢。而要做到這一點,必須進一步降低人工智能的算力成本。
為此,Arm中國自主研發(fā)了“周易”平臺這樣一個適配性強、開放通用的人工智能平臺,其主要包括軟件框架Tengine和全新的硬件處理器——人工智能處理單元(AIPU),其中Tengine軟件框架針對邊緣設(shè)備的推理做了深度優(yōu)化和實現(xiàn)。周易平臺也支持Arm CPU、Mali GPU以及第三方硬件,專注于邊緣推理,能夠提高人工智能應(yīng)用開發(fā)的生產(chǎn)效率。
圖1 :人工智能平臺“周易”概述
全新處理器單元(AIPU)提供硬件核“芯”
人工智能通常用于不同的場景,而深度學(xué)習(xí)模型會使用到各種類型的操作(layer)。目前常見的加速器解決方案具有較高性能,但僅支持有限的操作,這使得只能運行有限的人工智能應(yīng)用,限制了邊緣和AIoT產(chǎn)品的多樣性,AIPU憑借良好的可編程性可以支持現(xiàn)在的全部深度學(xué)習(xí)操作。
周易人工智能處理單元(AIPU)是一個專門用于深度學(xué)習(xí)處理的全新硬件IP。這種新的架構(gòu)設(shè)計了人工智能特定域張量指令集(Tensor Instructions)、針對AI特定操作的指令集擴展以及定制的硬件加速單元、以及用于NN計算所必需的通用標量指令集。憑借最先進的設(shè)計,AIPU可以實現(xiàn)人工智能應(yīng)用的完全可編程性和很好的能效。除了AIPU,還有完整的AI軟件開發(fā)工具包,支持AI算法可以在AIPU上輕松部署。
圖2 :周易AIPU框圖
AIPU采用了可配置的設(shè)計,張量執(zhí)行單元(TEC)的數(shù)量和AI硬件加速單元能都是靈活可配置的,這使得周易平臺能夠涵蓋從微控制器(幾十GOPS)到高端邊緣計算(幾個TOPS)的不同算力需求。
對于新開發(fā)的芯片,周易平臺可以讓芯片合作伙伴使用周易AIPU IP設(shè)計新的SoC,并提供了驗證測試向量、參考用例和后端實現(xiàn)參考流程等全面支持,以加速新的SoC設(shè)計;同時,周易AIPU 仿真軟件用于軟件應(yīng)用程序前期開發(fā)。這將大大加快新人工智能產(chǎn)品的上市時間。
開放式人工智能軟件框架——Tengine
周易平臺采用Tengine作為開放式人工智能軟件框架,它的目標是建立一個統(tǒng)一的推理框架,通過定義標準的Tengine API,人工智能應(yīng)用程序可以使用標準API在不同的硬件上部署,大大節(jié)省了移植或者在特定的硬件上進行優(yōu)化的工作量。Tengine支持主流的人工智能框架,如TensorFlow / Caffe / ONNX / MXNet等模型。
Tengine定義了標準硬件抽象級別(HAL),以支持物聯(lián)網(wǎng)設(shè)備中可能存在的不同類型的計算模塊。它已經(jīng)支持像Cortex-A7 / A17 / A53 / A55 / A72 / A76這些的流行Arm CPU,也支持像Mali-T860、G51和G72這些廣受歡迎的Arm Mali GPU。由于周易平臺是一個開放平臺,它也可以支持第三方CPU、DSP或加速器,通過選用設(shè)備驅(qū)動程序來支持這些設(shè)備。在庫方面,可以選用Arm計算庫(Arm Compute Library,ACL)、異構(gòu)計算庫(HCL)、開放源代碼庫(例如OpenBLAS)或是用戶自己實現(xiàn)的庫來驅(qū)動。
三大創(chuàng)新特性,強勢賦能AIoT市場
實際上,周易平臺作為人工智能應(yīng)用的整體解決方案,十分簡單易用,并且實現(xiàn)了三大創(chuàng)新。兼容性上,它不僅提供了一個完整的易于使用的工具鏈,支持從深度學(xué)習(xí)模型到周易可執(zhí)行文件的一鍵構(gòu)建,還支持常見的人工智能框架,如Google TensorFlow和其他框架。同時,周易平臺支持Linux和Android操作系統(tǒng),甚至裸機軟件(bare-metal software),從非常小的嵌入式微控制器到高端邊緣網(wǎng)關(guān)的各種設(shè)備都能適用。
周易平臺還將更強的安全性引入市場,安全擴展硬件和相關(guān)的信任軟件可以保護人工智能資產(chǎn),例如算法、代碼和數(shù)據(jù),幫助合作伙伴保護運行在已部署產(chǎn)品上的資產(chǎn),并保護人工智能算法安全的在線更新。周易平臺的安全擴展為人工智能應(yīng)用中需要保護的資產(chǎn)建立了一個可信執(zhí)行環(huán)境(TEE),通過靜態(tài)加密存儲、運行時 TrustZone技術(shù)保護,以及SoC中用于安全隔離一系列小的硬件組件, 為人工智能芯片提供360度的安全保護。
適用性上,周易平臺也支持在現(xiàn)存設(shè)備的上進行部署。通過統(tǒng)一的軟件界面,許多人工智能應(yīng)用可以直接部署在SoC上,合作伙伴只需重新編譯基于目標設(shè)備CPU的周易軟件,生成可在現(xiàn)有SoC架構(gòu)上運行的目標代碼,然后鏈接CPU庫和GPU庫。通過部署周易平臺,人工智能性能可以提高2.5 - 5倍。
綜上所述,Arm中國人工智能平臺周易可以幫助產(chǎn)業(yè)合作伙伴大幅降低人工智能算力、芯片和應(yīng)用的成本、讓其設(shè)計和制造具有強大人工智能能力的芯片,并讓人工智能應(yīng)用程序開發(fā)人員大大提高工作效率,在更多的物聯(lián)網(wǎng)設(shè)備上實現(xiàn)人工智能,極大地賦能整個AIoT市場。
“周易”平臺實現(xiàn)了三大重要創(chuàng)新:
1
芯片廠商在研發(fā)新一代AI芯片時,無論選用周易AIPU、Arm CPU還是Mali GPU,都可以通過部署“周易”平臺,快速、便捷地在筆尖大小的芯片面積上高效運行豐富的人工智能應(yīng)用。此外,對于使用現(xiàn)有芯片的、數(shù)以千億計的物聯(lián)網(wǎng)設(shè)備,也可以通過部署“周易”平臺,借助Tengine異構(gòu)計算,為這些存量設(shè)備賦予AI能力,在智能物聯(lián)網(wǎng)時代煥發(fā)新生。
2
“周易”平臺基于最廣泛的Arm生態(tài),通過Tengine API,提供從底層硬件到上層應(yīng)用的標準化解決方案,兼容各種各樣、數(shù)量眾多的物聯(lián)網(wǎng)應(yīng)用,使得軟件開發(fā)者能夠?qū)W⒂贏I應(yīng)用開發(fā)和優(yōu)化,通過“周易”平臺、將一套應(yīng)用部署到不同的硬件設(shè)備上,極大降低開發(fā)成本。
3
“周易”平臺提供了安全管理框架,構(gòu)建了端到云的安全數(shù)據(jù)通路,為人工智能應(yīng)用提供了360度的無縫安全保障。
Arm中國執(zhí)行董事長兼首席執(zhí)行官吳雄昂在2018世界互聯(lián)網(wǎng)大會表示:“1997年,IBM深藍計算機第一次打敗人類頂尖棋手;20年后的今天,我們已經(jīng)可以在幾百美元的智能手機上實現(xiàn)同級別的人工智能算力。未來,我們預(yù)計到2035年將有1萬億的物聯(lián)網(wǎng)設(shè)備,在這些設(shè)備上實現(xiàn)本地人工智能,是人工智能應(yīng)用的必然趨勢。要做到這一點,必須進一步將人工智能算力的成本降低到幾十甚至是幾美金的水平。為此,Arm中國自主研發(fā)了‘周易’平臺這樣一個適配性強、開放通用的人工智能平臺,我們希望幫助產(chǎn)業(yè)合作伙伴大幅降低人工智能算力、芯片和應(yīng)用的成本、加快應(yīng)用研發(fā)周期,在更多的物聯(lián)網(wǎng)設(shè)備上實現(xiàn)人工智能,共創(chuàng)‘萬億智能互聯(lián)’之產(chǎn)業(yè)繁榮?!?/p>
-
物聯(lián)網(wǎng)
+關(guān)注
關(guān)注
2894文章
43313瀏覽量
366440 -
人工智能
+關(guān)注
關(guān)注
1787文章
46061瀏覽量
235018
原文標題:讓AI無處不在,Arm中國“周易”人工智能平臺有何絕招?
文章出處:【微信號:Ithingedu,微信公眾號:安芯教育科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論