0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Imagination性能高達(dá)600TOPS的終極AI加速器:耗時(shí)兩年 會(huì)給NVIDIA帶來多少挑戰(zhàn)?

工程師鄧生 ? 來源:雷鋒網(wǎng) ? 作者:包永剛 ? 2020-11-16 09:42 ? 次閱讀

曾經(jīng)統(tǒng)治手機(jī)GPU IP市場(chǎng)的Imagination,歷經(jīng)變動(dòng)之后,目前在移動(dòng)GPU IP市場(chǎng)占有率有36%,汽車GPU IP市占率43%。近來,Imagination近期發(fā)布的一系列新品不僅是其實(shí)力的展現(xiàn),也足以讓同行們?cè)黾訉?duì)這位老對(duì)手的關(guān)注。

11月13日,Imagination發(fā)布了耗時(shí)兩年研發(fā)的最新的第三代神經(jīng)網(wǎng)絡(luò)加速器(NNA)產(chǎn)品IMG Series4,其全新的多核架構(gòu)可提供600 TOPS(每秒萬億次操作)甚至更高的超高性能,主要面向先進(jìn)駕駛輔助系統(tǒng)(ADAS)和自動(dòng)駕駛應(yīng)用。

以低功耗產(chǎn)品見長(zhǎng)Imagination推出高性能的終極AI加速器,會(huì)給在自動(dòng)駕駛汽車芯片市場(chǎng)占有領(lǐng)導(dǎo)地位的NVIDIA多大的沖擊?

耗時(shí)兩年打造的終極AI加速器

Imagination在AI火熱的2017年推出首代神經(jīng)網(wǎng)絡(luò)加速器(NNA)PowerVR 2NX,單核性能從1TOPS到4.1TOPS。緊接著,2018年P(guān)owerVR 3NX發(fā)布,單核性能從0.6TOPS到10TOPS,多核產(chǎn)品性能從20TOPS到160TOPS。

性能增強(qiáng)的同時(shí),Imagination的NNA主要面向的市場(chǎng)也從2NX時(shí)的移動(dòng)設(shè)備和汽車市場(chǎng),進(jìn)一步拓展到智能相機(jī)監(jiān)控、消費(fèi)電子(尤其是數(shù)字電視)、低功耗IoT智能設(shè)備領(lǐng)域。

時(shí)隔兩年之后,Imagination才推出第三代NNA產(chǎn)品4NX。4NX系列的單核性能進(jìn)一步提升,每個(gè)單核能以不到1瓦的功耗提供12.5TOPS的性能。相比前兩代NNA,新一代產(chǎn)品強(qiáng)調(diào)的是全新多核架構(gòu),這個(gè)新的多核架構(gòu)支持在多個(gè)內(nèi)核之間對(duì)工作負(fù)載進(jìn)行靈活的分配和同步,從而實(shí)現(xiàn)更高性能。

Imagination Technologies產(chǎn)品管理部門總監(jiān)Gilberto Rodriguez介紹:“我們的軟件提供了精細(xì)的控制能力,并通過對(duì)多個(gè)工作負(fù)載進(jìn)行批處理、拆分和調(diào)度而提高了靈活性,可以在任意數(shù)量的內(nèi)核上使用。Series4可為每個(gè)集群配置 2個(gè)、4個(gè)、6個(gè)或者8個(gè)內(nèi)核。1個(gè)8內(nèi)核的集群可以提供100TOPS的算力,配有6個(gè)8核集群的解決方案就可以提供600 TOPS的算力?!?/p>

據(jù)悉,在AI推理方面,Series4 NNA的性能比嵌入式GPU快20倍以上,比嵌入式CPU快1000倍。

至于為什么要推出如此高性能的AI加速器,Gilberto Rodriguez表示,“ADAS和自動(dòng)駕駛對(duì)芯片有很高的算力需求,比如L2+的駕駛員檢測(cè)或語音/手勢(shì)控制需要10TOPS的性能,L3-L4級(jí)別的自動(dòng)駕駛有50-100TOPS的性能需求,L5級(jí)別的自動(dòng)駕駛性能需求超過500TOPS?!?/p>

“雖然市場(chǎng)上已經(jīng)有滿足自動(dòng)駕駛需求的AI芯片,但功耗不夠理想。所以,我們花兩年時(shí)間去了解和評(píng)估客戶需求,基于我們的前兩代低功耗的產(chǎn)品,推出了高性能低功耗的4NX系列產(chǎn)品,并且將自動(dòng)駕駛作為主打市場(chǎng),也可以應(yīng)用于數(shù)據(jù)中心和桌面級(jí)GPU?!?Imagination Technologies視覺和人工智能部門高級(jí)總監(jiān)Andrew Grant表示。

600TOPS的高性能如何兼顧低功耗?

需要指出的是,4NX系列的8內(nèi)核集群要實(shí)現(xiàn)100TOPS的性能,超過30 TOPS/Watt 的性能功耗比,以及超過12 TOPS/mm^2 的性能密度是要在5nm節(jié)點(diǎn)實(shí)現(xiàn)。

Gilberto Rodriguez也提到,如果要用多個(gè)集群實(shí)現(xiàn)更高算力,Imagination可以提供多集群的協(xié)同機(jī)制,但也需要客戶在應(yīng)用層進(jìn)行一些設(shè)計(jì)。

多核靈活架構(gòu)帶來的可擴(kuò)展性讓4NX可以實(shí)現(xiàn)高性能,但對(duì)于高性能芯片而言,功耗的控制也非常關(guān)鍵,特別是AI芯片。AI芯片需要處理大量的數(shù)據(jù),并且數(shù)據(jù)的搬運(yùn)耗費(fèi)的功耗遠(yuǎn)大于數(shù)據(jù)處理,因此,高性能AI芯片必須想辦法盡量減少數(shù)據(jù)的搬運(yùn),同時(shí)降低延遲和節(jié)省帶寬。

對(duì)于延遲的降低,Imagination采用的方法是單核組成2核、4核、6核或8核的多核集群中,所有內(nèi)核可以相互協(xié)作,并行處理一個(gè)任務(wù),降低處理延遲,縮短響應(yīng)時(shí)間。當(dāng)然,集群中和多核既可以共同執(zhí)行一個(gè)批處理任務(wù),也可以分別運(yùn)行各自不同的網(wǎng)絡(luò),也就是各個(gè)內(nèi)核能夠獨(dú)立運(yùn)行。

核數(shù)的增加帶來性能提升的同時(shí)降低延遲

不同的核獨(dú)立運(yùn)行

4NX更大的亮點(diǎn)在于其節(jié)省帶寬的Tensor Tiling( Imagination’s Tensor Tiling,ITT)技術(shù),這是Imagination正在申請(qǐng)專利的技術(shù),也是4系列中新增的功能。Tensor Tiling技術(shù)利用本地?cái)?shù)據(jù)的依賴性將中間數(shù)據(jù)保存在片上存儲(chǔ)器中,最大限度地減少將數(shù)據(jù)傳輸至外部存儲(chǔ)器,相比上代產(chǎn)品,將帶寬降低多達(dá)90%。

具體而言,神經(jīng)網(wǎng)絡(luò)的多層以融合內(nèi)核的形式運(yùn)行在加速器的硬件流水線里,融合內(nèi)核之間的特征圖(Feature Map)需要通過外部存儲(chǔ)進(jìn)行交換。Tiling技術(shù)是充分利用緊耦合的 SRAM 來融合更多的層,更多的層被融合之后,就減少了需要通過外部存儲(chǔ)交換的特征圖,進(jìn)而達(dá)到提升效率,節(jié)省帶寬的目的。

還需要說明一下Tensor Tiling技術(shù)中的批處理和拆分,批處理是分配適合批處理的大量的小型網(wǎng)絡(luò)任務(wù)到每個(gè)獨(dú)立工作的NNA單核,能夠提升并行處理能力。拆分則是任務(wù)在多個(gè)維度被拆分,所有NNA單核共同執(zhí)行一個(gè)推理任務(wù),減少網(wǎng)絡(luò)推理延遲的同時(shí),在理想情況下協(xié)同并行處理的吞吐量與獨(dú)立并發(fā)處理的相同,非常適合網(wǎng)絡(luò)層很大的網(wǎng)絡(luò)。

當(dāng)然,Tensor Tiling的拆分是通過Imagination提供的編譯器來完成,不需要開發(fā)者手動(dòng)完成,并且利用NNA的性能分析工具能夠?qū)I任務(wù)進(jìn)行更好地調(diào)度和分配。

那Tensor Tiling在節(jié)省帶寬的同時(shí)能否減少數(shù)據(jù)的搬移?Gilberto Rodriguez表示,“答案是肯定的。一方面,Tensor Tiling讓待處理數(shù)據(jù)通過內(nèi)存帶寬的傳輸減少,另一方面,重復(fù)利用的神經(jīng)網(wǎng)絡(luò)權(quán)重給處理器核的傳輸次數(shù)也減少,這讓就可以有效減少數(shù)據(jù)搬運(yùn)?!?/p>

硬件上層的工具鏈方面,Imagination的離線和在線工具組成的工作流程可以讓開發(fā)者更快實(shí)現(xiàn)部署。

NVIDIA在自動(dòng)駕駛領(lǐng)域?qū)⒂瓉硇聦?duì)手?

NVIDIA在2015年就推出了車載計(jì)算平臺(tái),此后持續(xù)迭代,目前在自動(dòng)駕駛芯片市場(chǎng)已經(jīng)處于優(yōu)勢(shì)地位。不過,擅長(zhǎng)桌面級(jí)GPU的NVIDIA能夠提供高性能,但功耗可能對(duì)于電池供電的電動(dòng)汽車不夠友好。這也是在對(duì)功耗要求比較嚴(yán)格的移動(dòng)端有優(yōu)勢(shì)的Imagination的機(jī)會(huì)所在。

與NVIDIA有所不同,Imagination是IP提供商,并不會(huì)直接提供芯片。因此,Imagination可以與領(lǐng)先的汽車行業(yè)顛覆者、一級(jí)供應(yīng)商、整車廠(OEM)和汽車系統(tǒng)級(jí)芯片(SoC)廠商合作,推出有競(jìng)爭(zhēng)力的產(chǎn)品。為了幫助合作伙伴更好進(jìn)入這一市場(chǎng)更快推出車規(guī)級(jí)產(chǎn)品,此次推出的NX4還包含IP級(jí)別的安全功能且設(shè)計(jì)流程符合ISO 26262標(biāo)準(zhǔn)。ISO 26262是旨在解決汽車電子產(chǎn)品風(fēng)險(xiǎn)的行業(yè)安全標(biāo)準(zhǔn)。

新推出的4系列NNA可以在不影響性能的情況下,安全地進(jìn)行神經(jīng)網(wǎng)絡(luò)推理。硬件安全機(jī)制可以保護(hù)編譯后的網(wǎng)絡(luò)、網(wǎng)絡(luò)的執(zhí)行和數(shù)據(jù)處理管道。

Andrew Grant透露,已經(jīng)開始提供授權(quán),并將于2020年12月在市場(chǎng)上全面供應(yīng)。授權(quán)的客戶目前已經(jīng)不止一家。

這就意味著,自動(dòng)駕駛芯片市場(chǎng)將會(huì)迎來更多有競(jìng)爭(zhēng)力的產(chǎn)品。雷鋒網(wǎng)認(rèn)為,Imagination更強(qiáng)的GPU和NNA產(chǎn)品組合將會(huì)幫助更多想要進(jìn)入這一市場(chǎng)的公司推出更有競(jìng)爭(zhēng)力的產(chǎn)品。上個(gè)月,Imagination發(fā)布了最新一代的IMG B系列高性能GPU IP,這款多核架構(gòu)GPU IP 4個(gè)系列內(nèi)核有33種配置。

更通用的GPU和更專用的AI加速器,顯然可以給高性能計(jì)算帶來更多的選擇。有意思的是,NVIDIA目前也擁有性能強(qiáng)勁的GPU和AI加速Tensor Core的組合。

ABI Research預(yù)計(jì),到2027年左右,對(duì)ADAS的需求將增長(zhǎng)兩倍,但汽車行業(yè)已然將目光投向了更遠(yuǎn)的全自動(dòng)駕駛汽車和自動(dòng)駕駛出租車,從L2和L3級(jí)ADAS向L4和L5級(jí)全自動(dòng)駕駛演進(jìn)的過程中,高性能、低延遲和高能效的結(jié)合將是關(guān)鍵所在。

巨大的市場(chǎng)機(jī)會(huì)之下,兩家芯片產(chǎn)品優(yōu)勢(shì)類似的公司,會(huì)如何競(jìng)爭(zhēng)?

責(zé)任編輯:PSY

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    4855

    瀏覽量

    102711
  • imagination
    +關(guān)注

    關(guān)注

    1

    文章

    567

    瀏覽量

    61251
  • AI加速器
    +關(guān)注

    關(guān)注

    1

    文章

    67

    瀏覽量

    8625
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    樹莓派新推AI HAT+:26 TOPS性能版本震撼登場(chǎng)

    供了兩種性能配置供用戶選擇。其中,基礎(chǔ)版配備了Hailo-8L加速器,性能達(dá)到13 TOPS(每秒萬億次操作),售價(jià)為70美元;而更為強(qiáng)大的高端版本則采用了Hailo-8
    的頭像 發(fā)表于 11-07 13:44 ?204次閱讀

    SiFive發(fā)布MX系列高性能AI加速器IP

    AI技術(shù)日新月異的今天,RISC-V IP設(shè)計(jì)領(lǐng)域的領(lǐng)軍企業(yè)SiFive再次引領(lǐng)行業(yè)潮流,正式推出了其革命性的SiFive Intelligence XM系列高性能AI加速器IP。這
    的頭像 發(fā)表于 09-24 14:46 ?285次閱讀

    NPU和AI TOPS是什么?它們有哪些性能?

    可運(yùn)行AI模型的性能、準(zhǔn)確性和效率。如今,TOPS(每秒萬億次運(yùn)算)是衡量處理AI性能的主要方
    的頭像 發(fā)表于 06-13 10:33 ?705次閱讀

    Arm推動(dòng)生成式AI落地邊緣!全新Ethos-U85 AI加速器支持Transformer 架構(gòu),性能提升四倍

    滿足更高性能和更復(fù)雜的 AI 工作負(fù)載。Ethos-U NPU系列是業(yè)界首款 AI加速器,英飛凌、恩智浦半導(dǎo)體、奇景光電 (Himax)、Alif Semiconductor 和
    的頭像 發(fā)表于 04-16 09:10 ?4487次閱讀
    Arm推動(dòng)生成式<b class='flag-5'>AI</b>落地邊緣!全新Ethos-U85 <b class='flag-5'>AI</b><b class='flag-5'>加速器</b>支持Transformer 架構(gòu),<b class='flag-5'>性能</b>提升四倍

    英偉達(dá)發(fā)布超強(qiáng)AI加速卡,性能大幅提升,可支持1.8萬億參數(shù)模的訓(xùn)練

    得益于NVIDIA兩年進(jìn)行一次GPU架構(gòu)升級(jí)以提高性能的策略,全新的基于Blackwell的加速卡比之前的H100更為強(qiáng)大,尤其適用于AI
    的頭像 發(fā)表于 03-19 12:04 ?703次閱讀

    瑞薩發(fā)布下一代動(dòng)態(tài)可重構(gòu)人工智能處理加速器

    瑞薩最新發(fā)布的動(dòng)態(tài)可重構(gòu)人工智能處理(DRP-AI加速器,在業(yè)界引起了廣泛關(guān)注。這款加速器擁有卓越的10 TOPS/W高功率效率,相比傳
    的頭像 發(fā)表于 03-08 13:45 ?691次閱讀

    瑞薩電子宣布推出一款面向高性能機(jī)器人應(yīng)用的新產(chǎn)品—RZ/V2H

    具有10TOPS/W能效的新一代AI加速器無需冷卻風(fēng)扇即可提供高達(dá)80TOPSAI推理
    的頭像 發(fā)表于 03-01 10:41 ?777次閱讀
    瑞薩電子宣布推出一款面向高<b class='flag-5'>性能</b>機(jī)器人應(yīng)用的新產(chǎn)品—RZ/V2H

    家居智能化,推動(dòng)AI加速器的發(fā)展

    提高了系統(tǒng)的運(yùn)算能力和數(shù)據(jù)處理能力,還為用戶帶來了更加智能化、個(gè)性化的生活體驗(yàn)。 ? AI 加速器的發(fā)展 ? 在人工智能和機(jī)器學(xué)習(xí)任務(wù)變得日益復(fù)雜和密集之前,傳統(tǒng)的CPU和GPU已經(jīng)足以處理這些任務(wù)。然而,隨著深度學(xué)習(xí)模型的出現(xiàn)
    的頭像 發(fā)表于 02-23 00:18 ?4509次閱讀

    回旋加速器原理 回旋加速器的影響因素

    回旋加速器(Cyclotron)是一種用于加速帶電粒子的可再生粒子加速器。它的工作原理基于帶電粒子在恒定強(qiáng)磁場(chǎng)中的運(yùn)動(dòng)。本文將詳細(xì)介紹回旋加速器的原理以及影響因素。 一、回旋
    的頭像 發(fā)表于 01-30 10:02 ?3440次閱讀

    英偉達(dá)、AMD在2024繼續(xù)全力沖刺人工智能加速器市場(chǎng)

    英偉達(dá)、AMD在2024繼續(xù)全力沖刺人工智能(AI加速器市場(chǎng)。
    的頭像 發(fā)表于 01-08 17:27 ?1142次閱讀
    英偉達(dá)、AMD在2024<b class='flag-5'>年</b>繼續(xù)全力沖刺人工智能<b class='flag-5'>加速器</b>市場(chǎng)

    粒子加速器加速原理是啥呢?

    高能量的目的。 粒子加速器加速原理可以分為個(gè)主要部分:電場(chǎng)加速和磁場(chǎng)導(dǎo)引。 一、電場(chǎng)加速 粒子加速器
    的頭像 發(fā)表于 12-18 13:52 ?1937次閱讀

    英特爾Gaudi 3系列AI加速器明年上市

    英特爾總裁帕特·基辛格(Pat Gelsinger)認(rèn)為,鑒于英特爾Gaudi3具備的持續(xù)加強(qiáng)的性能優(yōu)勢(shì)和極具競(jìng)爭(zhēng)性的TCO及定價(jià)機(jī)制,預(yù)測(cè)該產(chǎn)品有望在2024憑借領(lǐng)先的AI加速器
    的頭像 發(fā)表于 12-15 11:07 ?754次閱讀

    英特爾借助AI熱潮振興業(yè)務(wù)策略

    AI加速器領(lǐng)域,AMD正努力趕超Nvidia,其將于明年推出的MI300X芯片備受關(guān)注。上周舉辦的一場(chǎng)活動(dòng)中,AMD詳細(xì)闡述了這款新產(chǎn)品,且預(yù)測(cè)未來四間,
    的頭像 發(fā)表于 12-15 10:38 ?513次閱讀

    21489的IIR加速器濾波參數(shù)設(shè)置如何對(duì)應(yīng)加速器的濾波參數(shù)?

    目前在用21489內(nèi)部的IIR加速器去做一個(gè)低通濾波,在例程的基礎(chǔ)上修改參數(shù)。通過平板的fda 工具工具去設(shè)計(jì)參數(shù),但是設(shè)計(jì)出來的參數(shù)不知道如何對(duì)應(yīng)加速器的濾波參數(shù),手冊(cè)里也看得不是很明白。 設(shè)計(jì)的參數(shù)如下: 請(qǐng)問
    發(fā)表于 11-30 08:11

    PCIe在AI加速器中的作用

    從線上購物時(shí)的“猜你喜歡”、到高等級(jí)自動(dòng)駕駛汽車上的實(shí)時(shí)交通信息接收,再到在線視頻游戲,所有的這些都離不開人工智能(AI加速器。AI加速器是一種高
    的頭像 發(fā)表于 11-18 10:36 ?1987次閱讀
    PCIe在<b class='flag-5'>AI</b><b class='flag-5'>加速器</b>中的作用