并行MAC/減少內(nèi)存訪問(wèn)，東芝發(fā)布第五代Visconti系列圖像識(shí)別SoC

自動(dòng)駕駛需要相當(dāng)復(fù)雜的傳感器組合，而這些傳感器提供的數(shù)據(jù)量遠(yuǎn)遠(yuǎn)高于現(xiàn)有汽車搭載的傳感器。

為了滿足對(duì)更強(qiáng)大的圖像處理的需求，東芝歐洲公司(TEE)宣布推出一種集成了深度學(xué)習(xí)加速器的圖像識(shí)別SoC。測(cè)試數(shù)據(jù)顯示，新款SoC與該公司現(xiàn)有產(chǎn)品相比，圖像識(shí)別速度提高了10倍，能效提高了4倍。

深度神經(jīng)網(wǎng)絡(luò)(Deep neural network, DNN)是一種以大腦神經(jīng)網(wǎng)絡(luò)為模型的算法，與傳統(tǒng)的模式識(shí)別和機(jī)器學(xué)習(xí)相比，它能更準(zhǔn)確地進(jìn)行識(shí)別處理，并在自動(dòng)駕駛技術(shù)研發(fā)領(lǐng)域被大量應(yīng)用。

然而，傳統(tǒng)處理器基于DNN的圖像識(shí)別需要時(shí)間，因?yàn)樗蕾囉诖罅康膍ultiply- aggregation (MAC)計(jì)算。使用傳統(tǒng)高速處理器的DNN也會(huì)消耗太多電能。

與L3級(jí)及以下自動(dòng)輔助駕駛系統(tǒng)相比，L4/L5級(jí)自動(dòng)駕駛汽車對(duì)計(jì)算能力的要求提高了100倍。這包括需要處理來(lái)自汽車周圍多個(gè)攝像頭、雷達(dá)和激光雷達(dá)傳感器的輸入，解釋數(shù)據(jù)，并使用這些數(shù)據(jù)做出駕駛決策。

芯片制造商英偉達(dá)去年10月發(fā)布的一份有關(guān)自動(dòng)駕駛車載計(jì)算能力的報(bào)告。該公司稱，一輛裝有10個(gè)高分辨率攝像頭的汽車每秒產(chǎn)生20億像素的數(shù)據(jù)，每秒處理這些數(shù)據(jù)需要250萬(wàn)億次操作。

三年前，東芝與日本汽車零部件供應(yīng)商DENSO合作，共同開發(fā)上述深度神經(jīng)網(wǎng)絡(luò)技術(shù)。目前，東芝已經(jīng)通過(guò)DNN加速器克服了這一問(wèn)題，該加速器實(shí)現(xiàn)了硬件級(jí)的深度學(xué)習(xí)加速。

它有三個(gè)特點(diǎn)：

? 并行的MAC單元。DNN處理需要很多MAC計(jì)算。東芝的新設(shè)備有四個(gè)處理器，每個(gè)處理器有256個(gè)MAC單元。這提高了DNN的處理速度。

? 減少DRAM訪問(wèn)。傳統(tǒng)的SoC沒(méi)有本地內(nèi)存來(lái)保持DNN執(zhí)行單元附近的時(shí)間數(shù)據(jù)，并且訪問(wèn)本地內(nèi)存會(huì)消耗大量的電能，加載權(quán)重?cái)?shù)據(jù)(用于MAC計(jì)算)也會(huì)消耗電能。

在東芝的新產(chǎn)品中，SRAM是集成在DNN執(zhí)行單元中，DNN處理分為子處理塊，將時(shí)間數(shù)據(jù)保存在SRAM中，減少了DRAM的訪問(wèn)。

此外，東芝還為加速器增加了一個(gè)解壓裝置。通過(guò)解壓縮單元加載預(yù)先壓縮并存儲(chǔ)在DRAM中的權(quán)重?cái)?shù)據(jù)，這減少了從DRAM加載權(quán)重?cái)?shù)據(jù)所涉及的功耗。

? 減少SRAM訪問(wèn)。傳統(tǒng)的深度學(xué)習(xí)需要在處理完DNN的每一層后訪問(wèn)SRAM，這消耗了太多的能量。這款加速器在DNN執(zhí)行單元中具有流水線的層結(jié)構(gòu)，允許通過(guò)一個(gè)SRAM訪問(wèn)執(zhí)行一系列DNN計(jì)算。

新的SoC符合ISO26262汽車應(yīng)用功能安全標(biāo)準(zhǔn)。東芝還表示，將繼續(xù)提高開發(fā)的SoC的功率效率和處理速度，并將于今年9月開始對(duì)下一代東芝圖像識(shí)別處理器Visconti5（DNN硬件IP與傳統(tǒng)圖像處理技術(shù)集成）進(jìn)行樣品發(fā)貨。

對(duì)于低成本的自動(dòng)駕駛方案來(lái)說(shuō)，攝像頭和圖像識(shí)別的作用更為明顯。同時(shí)，在多傳感器融合中，圖像識(shí)別也被視為主傳感器的角色。

此前，東芝已經(jīng)提供了TMPV75和TMPV76兩個(gè)系列的圖像識(shí)別處理器，它們集成了RISC架構(gòu)的媒體處理引擎(MPEs)，以提高圖像數(shù)據(jù)處理性能。該處理器能夠?qū)崟r(shí)處理1到4個(gè)攝像頭的輸入圖像，并允許最多連接8個(gè)攝像頭。

ARM等其他芯片制造巨頭也都在推陳出新。去年9月，ARM推出了Cortex-A76AE (Automotive Enhanced)，這是ARM專門為自動(dòng)駕駛汽車設(shè)計(jì)的CPU架構(gòu)。

ARM對(duì)A76平臺(tái)進(jìn)行了重新設(shè)計(jì)，增加了一種名為Split-Lock的功能，允許兩個(gè)CPU內(nèi)核以鎖定步進(jìn)(都執(zhí)行相同的任務(wù))或分割模式(執(zhí)行不同的任務(wù)和應(yīng)用程序)進(jìn)行操作。