Imagination發(fā)布最新一代神經(jīng)網(wǎng)絡(luò)加速器IP核

Imagination Technologies發(fā)布了最新一代神經(jīng)網(wǎng)絡(luò)加速器IP核IMG Series4 NNA，并將于12月份正式向廠商提供。

芯東西獨(dú)家獲悉，已有汽車(chē)領(lǐng)域廠商率先獲得IMG Series4 NNA IP授權(quán)。

作為NNA IP系列第四代產(chǎn)品，IMG Series4 NNA具備創(chuàng)新的多核架構(gòu)、高擴(kuò)展性&高靈活性、超高性能、超低延遲、節(jié)省帶寬、車(chē)規(guī)級(jí)安全性等功能及特性，可滿足汽車(chē)、移動(dòng)設(shè)備、數(shù)據(jù)中心、PC等多種應(yīng)用場(chǎng)景的AI加速要求。

在這背后，Imagination為IMG Series4 NNA融入了怎樣的設(shè)計(jì)巧思？在神經(jīng)網(wǎng)絡(luò)加速成為各行各業(yè)普遍需求的當(dāng)下，IMG Series4 NNA將為滿足這一需求拿出怎樣的解決方案？

為回答這些問(wèn)題，芯東西獨(dú)家專(zhuān)訪Imagination人工智能業(yè)務(wù)高級(jí)總監(jiān)Andrew Grant，以了解IMG Series4 NNA中蘊(yùn)含的“黑科技”。

01

兩年打磨：成就五大核心性能亮點(diǎn)

我們了解到，Imagination第二代、第三代神經(jīng)網(wǎng)絡(luò)加速器IP核Series2NX和Series3NX，分別于2017年和2018年推出，兩款產(chǎn)品的發(fā)布時(shí)間相隔一年。

相比之下，最新推出的Series4 IP核與前代產(chǎn)品的推出相隔兩年。Andrew Grant向我們透露，2018年以來(lái)，Imagination研發(fā)團(tuán)隊(duì)從軟硬件兩方面出發(fā)，對(duì)Series4 IP進(jìn)行了細(xì)致的產(chǎn)品設(shè)計(jì)。

在硬件層面，Imagination團(tuán)隊(duì)在2018年啟動(dòng)對(duì)Series4 IP核的研發(fā)工作，同步開(kāi)始對(duì)多核（multi-core）技術(shù)（IMG 4NX-MC2、MC4、MC6、MC8）進(jìn)行研發(fā)。

同時(shí)，Imagination推出其專(zhuān)利的Imagination Tensor Tiling（ITT）技術(shù)，可將工作負(fù)載分割以獲得最優(yōu)效率。

實(shí)際應(yīng)用時(shí)，昨日最新亮相的Series4 NNA IP可憑借多核多集群組合，提供600 TOPS甚至更高算力，同時(shí)可為大型神經(jīng)網(wǎng)絡(luò)工作負(fù)載節(jié)省帶寬、降低延遲。

其性能優(yōu)勢(shì)可概括為五個(gè)方面：

1、高度靈活的可擴(kuò)展方案。

前兩代產(chǎn)品均采用單核架構(gòu)，相比之下，最新推出的Series4 NNA采用多核架構(gòu)，允許用戶集成2個(gè)、4個(gè)、6個(gè)或8個(gè)單核，提供靈活的可擴(kuò)展方案。

2、超高性能。

基于Series4 NNA IP，一個(gè)8核集群可提供100 TOPS算力，那么，6個(gè)8核集群的解決方案就可以提供600 TOPS算力。

3、超低延遲。

所有內(nèi)核可以并行處理一個(gè)任務(wù)，進(jìn)而相應(yīng)地降低延遲、縮短響應(yīng)時(shí)間。舉例來(lái)說(shuō)，相比單核獨(dú)立執(zhí)行的情況，理想狀態(tài)下8核集群可以把延遲降低至前者的1/8。

4、節(jié)省帶寬。

Imagination Tensor Tiling技術(shù)（ITT），可利用本地?cái)?shù)據(jù)的依賴性將中間數(shù)據(jù)保存在片上存儲(chǔ)器中，從而將帶寬降低多達(dá)90％。

5、車(chē)規(guī)級(jí)安全性。

Series4包含IP級(jí)別的安全功能且設(shè)計(jì)流程符合ISO 26262標(biāo)準(zhǔn)（解決汽車(chē)電子產(chǎn)品風(fēng)險(xiǎn)的行業(yè)安全標(biāo)準(zhǔn)）。

此外，IMG Series4 NNA可運(yùn)行一系列AI框架，包括Caffe、PyTorch、TensorFlow、PaddlePaddle、Chainer、Cognitive Toolkit、mxnet和Open Neural Network Exchange (ONNX)等。

對(duì)神經(jīng)網(wǎng)絡(luò)的支持方面，IMG Series4可為CNN、LSTM、RNN等多種神經(jīng)網(wǎng)絡(luò)加速，同時(shí)支持YOLO v3、Kittiseg等。

02

亮劍四大領(lǐng)域：從PC到汽車(chē)都能用

在應(yīng)用場(chǎng)景上，除了延續(xù)前兩代產(chǎn)品對(duì)移動(dòng)設(shè)備、PC、數(shù)據(jù)中心等應(yīng)用場(chǎng)景的支持，Series4 NNA IP特別針對(duì)自動(dòng)駕駛領(lǐng)域、先進(jìn)駕駛輔助系統(tǒng)（ADAS）等汽車(chē)領(lǐng)域應(yīng)用進(jìn)行了設(shè)計(jì)。

在與客戶溝通的過(guò)程中，Imagination團(tuán)隊(duì)了解到，現(xiàn)有車(chē)載神經(jīng)網(wǎng)絡(luò)加速器IP解決方案存在功耗高等方面的痛點(diǎn)，這正給Imagination提供了“用武之地”。 Andrew說(shuō)：“我們注意到，現(xiàn)有的多數(shù)IP廠商提供的是數(shù)據(jù)中心、桌面級(jí)CPU等解決方案，這些方案功耗比較嚴(yán)重，對(duì)車(chē)載場(chǎng)景不友好。但I(xiàn)magination有做移動(dòng)應(yīng)用的基因，我們?cè)诳刂乒姆矫嬗袃?yōu)勢(shì)?！?除了降低功耗以外，Imagination研發(fā)團(tuán)隊(duì)還綜合考慮了自動(dòng)駕駛等車(chē)載場(chǎng)景對(duì)能效、安全性等方面的需求?！埃ㄆ渲校┳钪匾氖恰踩谝弧脑瓌t。”Andrew Grant強(qiáng)調(diào)。

Imagination研發(fā)團(tuán)隊(duì)在Series4 NNA獨(dú)特的多核架構(gòu)中加入控制器，以最大限度地提升使用效率。在保證功耗低、帶寬低的情況下，把算力擴(kuò)展到業(yè)界最大水平。

安全性方面，Series4 NNA采用硬件安全機(jī)制，可以保護(hù)編譯后的網(wǎng)絡(luò)、網(wǎng)絡(luò)的執(zhí)行和數(shù)據(jù)處理管道。

此外，Andrew Grant補(bǔ)充到，Series4 IP還能與Imagination的車(chē)用BXS GPU互補(bǔ)，以實(shí)現(xiàn)一個(gè)功能更加完善的異構(gòu)計(jì)算平臺(tái)。Imagination創(chuàng)新的AI協(xié)同（AI Synergy）技術(shù)，可充分利用NNA和GPU的資源與優(yōu)勢(shì)，使AI計(jì)算性能、效率再上新臺(tái)階。

03

未來(lái)4NX產(chǎn)品有望在更多領(lǐng)域落地

Andrew Grant向芯東西透露，目前已經(jīng)有汽車(chē)領(lǐng)域的廠商率先獲得了IMG Series4 NNA IP的授權(quán)，并正推動(dòng)產(chǎn)品落地。

談到Imagination三代NNA IP產(chǎn)品之間的關(guān)系，Imagination方面表示，前兩代神經(jīng)網(wǎng)絡(luò)加速器IP已經(jīng)達(dá)到了Imagination的市場(chǎng)預(yù)期，在移動(dòng)、安防監(jiān)控、IoT等對(duì)算力要求相對(duì)較低的應(yīng)用場(chǎng)景中取得了較好成績(jī)。

比如，展銳（UNISOC）的虎賁T710芯片搭載了2NX，在諸多AI評(píng)測(cè)中名列前茅，目前已落地于海信F50 5G智能手機(jī)、酷派X10 5G手機(jī)等；3NX相比2NX，在架構(gòu)上有很大改良，其功耗、性能、PPA、靈活性均有提升，目前已應(yīng)用在展銳的T7520芯片里。

相比之下，Series4 NNA IP是一款“Next Level”的產(chǎn)品，適用于更加廣闊的場(chǎng)景。

三代產(chǎn)品形成矩陣，可提供不同層次的算力支持?！八懔π枨蟠蟮目蛻艨蛇x擇多核心的4NX產(chǎn)品，對(duì)算力需求在10T以下的客戶可選擇3NX解決方案。”Andrew說(shuō)。

同時(shí)，Andrew Grant稱(chēng)：“我們期待能將其（4NX產(chǎn)品）推廣到云計(jì)算中心、移動(dòng)邊緣計(jì)算（MEC）、桌面、安防攝像頭、工業(yè)自動(dòng)化等應(yīng)用領(lǐng)域。中國(guó)是一個(gè)非常大的市場(chǎng)，有許多芯片公司，我們期待能與這些公司一起有所作為，助力車(chē)載、數(shù)據(jù)中心等應(yīng)用場(chǎng)景實(shí)現(xiàn)提升。”

04

結(jié)語(yǔ)：自動(dòng)駕駛應(yīng)用藍(lán)海下，車(chē)載AI芯片IP迎來(lái)利好

5G、AI……一波波浪潮奔涌下，自動(dòng)駕駛、遠(yuǎn)程醫(yī)療等應(yīng)用逐漸從傳說(shuō)變?yōu)楝F(xiàn)實(shí)，這一過(guò)程中，Imagination等先進(jìn)技術(shù)玩家，承擔(dān)著助推產(chǎn)業(yè)浪潮奔涌的角色。

今年三月份，工信部網(wǎng)站公示《汽車(chē)駕駛自動(dòng)化分級(jí)》推薦性國(guó)家標(biāo)準(zhǔn)報(bào)批稿。若該標(biāo)準(zhǔn)正式實(shí)施，將是我國(guó)第一份自動(dòng)駕駛分級(jí)標(biāo)準(zhǔn)。這意味著國(guó)內(nèi)自動(dòng)駕駛發(fā)展將迎來(lái)政策性引導(dǎo)與保障。業(yè)內(nèi)人士稱(chēng)，新的分級(jí)標(biāo)準(zhǔn)給行業(yè)帶來(lái)利好，車(chē)聯(lián)網(wǎng)路網(wǎng)基建有望加速，將帶來(lái)十萬(wàn)億級(jí)別的投資機(jī)會(huì)。

這一十萬(wàn)億市場(chǎng)藍(lán)海中，車(chē)載AI芯片IP無(wú)疑成為一大重要組成部分。

自動(dòng)駕駛解決方案中，應(yīng)對(duì)數(shù)以百計(jì)的復(fù)雜場(chǎng)景、處理大量的傳感器數(shù)據(jù)、實(shí)現(xiàn)自動(dòng)代客泊車(chē)等各類(lèi)復(fù)雜功能，對(duì)車(chē)載AI芯片應(yīng)用提出更高要求。 對(duì)此，Imagination最新發(fā)布的神經(jīng)網(wǎng)絡(luò)加速器IP在算力、降低延遲、提升能效等方面具備優(yōu)勢(shì)，或能助推自動(dòng)駕駛應(yīng)用快速落地。 有關(guān)Series4 NNA的更多信息， 請(qǐng)識(shí)別下方二維碼觀看 Imagination的主題會(huì)議。

原文標(biāo)題：600 TOPS超高算力，2～8核靈活配置！Imagination新發(fā)布神經(jīng)網(wǎng)絡(luò)加速器IP

文章出處：【微信公眾號(hào)：Imagination Tech】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq