云天勵(lì)飛發(fā)布新一代邊緣AI芯片，采用Chiplet技術(shù)，可運(yùn)行百億級(jí)大模型

電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）近期，云天勵(lì)飛在高交會(huì)上重磅發(fā)布新一代AI芯片DeepEdge10。據(jù)介紹，DeepEdge10是國內(nèi)首創(chuàng)國產(chǎn)14nm Chiplet大模型推理芯片，采用自主可控的國產(chǎn)工藝，內(nèi)含國產(chǎn)RISC-V核，支持大模型推理部署。

云天勵(lì)飛新一代自研AI SoC DeepEdge10

大模型在邊緣運(yùn)行對(duì)AI芯片提出新的要求

人工智能正在帶來史無前例的新一輪科技革命浪潮，以 ChatGPT 為代表的領(lǐng)域大模型在過去的一年多的時(shí)間內(nèi)取得了很大進(jìn)展，在對(duì)話生成、圖像生成、圖像分割、音樂生成等領(lǐng)域都展現(xiàn)了讓人驚嘆的效果，并迅速的在一些場(chǎng)景快速應(yīng)用落地，例如網(wǎng)絡(luò)搜索、會(huì)議摘要、自動(dòng)化編程、 自動(dòng)化辦公軟件等等。

在另一方面，大模型的能力也迅速的從自然語言處理快速的向語音、圖像、 視頻等領(lǐng)域橫向擴(kuò)展，多模態(tài)大模型的出現(xiàn)昭示著通用人工智能的時(shí)代即將來臨。

邊緣計(jì)算的場(chǎng)景呈現(xiàn)出算力碎片化、算法長(zhǎng)尾化、產(chǎn)品非標(biāo)化、規(guī)模碎片化等特征，傳統(tǒng)的算法開發(fā)和芯片都難以適應(yīng)新一代人工智能邊緣計(jì)算場(chǎng)景的產(chǎn)品化需求。大模型的出現(xiàn)，為行業(yè)提供了算法層面的解決之道。但大模型在邊緣計(jì)算場(chǎng)景要面向?qū)崙?zhàn)發(fā)揮作用，則需要AI大模型推理芯片的支持。

根據(jù)任務(wù)的不同，AI芯片可分為訓(xùn)練芯片和推理芯片。訓(xùn)練，即通過輸入大量數(shù)據(jù)來構(gòu)建神經(jīng)網(wǎng)絡(luò)模型，使之可以適應(yīng)特定的功能。訓(xùn)練芯片對(duì)算力、精度、通用性有較為苛刻的需求，需要能夠處理海量數(shù)據(jù)以及適應(yīng)各種不同的學(xué)習(xí)任務(wù)；推理，即借助現(xiàn)有神經(jīng)網(wǎng)絡(luò)進(jìn)行運(yùn)算，通過新輸入的數(shù)據(jù)來獲得推理結(jié)論。推理芯片對(duì)性能和精度的要求相對(duì)較低，更注重對(duì)成本、功耗、時(shí)延等指標(biāo)的綜合考量。

云天勵(lì)飛董事長(zhǎng)兼CEO陳寧對(duì)媒體表示，訓(xùn)練不是目的，生產(chǎn)大模型不是目的，千行百業(yè)的落地和應(yīng)用才是最終目的。不論是機(jī)器人、無人駕駛汽車智能傳感，還是各類智能硬件，甚至腦機(jī)接口芯片，都需要大模型的推理芯片。與訓(xùn)練芯片相比，目前推理芯片市場(chǎng)還處于百家爭(zhēng)鳴的狀態(tài)。尤其在中國，已經(jīng)開始考慮怎么基于國產(chǎn)工藝落地推理芯片，構(gòu)建國產(chǎn)工藝推理芯片的生態(tài)。

對(duì)于AI芯片來說，當(dāng)前備受關(guān)注的大模型，帶來了全新的計(jì)算范式和計(jì)算要求。云天勵(lì)飛副總裁李愛軍談到，芯片需要具備更大的算力、更大的內(nèi)存帶寬、更大的內(nèi)存容量，才能支持巨量參數(shù)的大模型在邊緣端運(yùn)行。

云天勵(lì)飛新一代AI芯片可承載百億大模型運(yùn)算

自2014年成立之初，云天勵(lì)飛就一直堅(jiān)持自主研發(fā)芯片，沉淀“算法芯片化”的核心能力。陳寧指出，“算法芯片化”并不是簡(jiǎn)單的“算法+芯片”，而是云天勵(lì)飛基于對(duì)場(chǎng)景的理解，以及對(duì)算法關(guān)鍵計(jì)算任務(wù)在應(yīng)用場(chǎng)景中的量化分析，將芯片設(shè)計(jì)者的理念、思想與算法相融合的AI芯片設(shè)計(jì)流程，能夠讓AI芯片在實(shí)際應(yīng)用中發(fā)揮更優(yōu)的效果。

在算法芯片化核心能力的支持下，云天勵(lì)飛目前已完成3代指令集架構(gòu)、4代神經(jīng)網(wǎng)絡(luò)處理器架構(gòu)的研發(fā)，且陸續(xù)商用。4年前，云天勵(lì)飛第一代AI芯片DeepEye1000實(shí)現(xiàn)獨(dú)立商用。

如今，大語言模型逐步向邊緣和終端滲透，云天勵(lì)飛聚焦構(gòu)建邊緣推理芯片的自主可控生態(tài)，推出新一代邊緣AI推理芯片DeepEdge10。該芯片采用國內(nèi)先進(jìn)工藝、支持多芯粒擴(kuò)展的 Chiplet技術(shù)，可提供12TOPS（INT8）整型計(jì)算和 2TFLOPS（FP16）浮點(diǎn)計(jì)算的深度學(xué)習(xí)推理計(jì)算算力，滿足市場(chǎng)對(duì)處理芯片在算法的多樣性、準(zhǔn)確性、算力密度及效能方面的要求。

并且，配合DeepEdge10系列邊緣智能芯片的處理器架構(gòu)和硬件架構(gòu)升級(jí)，工具鏈和軟件棧也進(jìn)行了相應(yīng)的升級(jí)，滿足多種深度學(xué)習(xí)算法模型在復(fù)雜的應(yīng)用場(chǎng)景下的部署需求。

云天勵(lì)飛EDGE10系列芯片

針對(duì)各類應(yīng)用場(chǎng)景，云天勵(lì)飛已開發(fā)出Edge10C、Edge10 標(biāo)準(zhǔn)版和 Edge10Max三款芯片。 Edge10C采用 8 核 CPU、算力 8Tops，Edge10 標(biāo)準(zhǔn)版采用 10 核 CPU、算力 12Tops，兩者均應(yīng)用于智慧安防、智慧城市和智能制造等邊緣計(jì)算推理領(lǐng)域。

Edge10Max 擁有 32 核 64 位通用處理器內(nèi)核，單芯片可提供 50Tops 算力，32GB DDR 容量和 120BG/S 的內(nèi)存帶寬，能高效支持 Transformer 模型中的矩陣乘法運(yùn)算，主要應(yīng)用于邊緣大模型推理領(lǐng)域。

目前 DeepEdge10 芯片主要的適配的合作伙伴包括攝像頭、邊緣計(jì)算設(shè)備、機(jī)器人、汽車智能座艙等行業(yè)的客戶。此外，依托DeeEdge10創(chuàng)新的D2Dchiplet架構(gòu)打造的X5000推理卡，已適配并可承載SAMCV大模型、Llama2等百億級(jí)大模型運(yùn)算。云天勵(lì)飛高管對(duì)媒體表示，下一代AI芯片將全面兼容多模態(tài)大模型，適配云天天書大模型的升級(jí)。



千億級(jí)、百億級(jí)大模型需要達(dá)到極強(qiáng)計(jì)算能力的同時(shí)，還能保持超低的功耗及成本，對(duì)芯片工藝要求高。

Chiplet是一種芯片模塊化設(shè)計(jì)方案，通過集成封裝等技術(shù)，能夠?qū)⒉煌に嚬?jié)點(diǎn)、不同功能、不同材質(zhì)的芯片，如同搭積木一樣集成一個(gè)更大的系統(tǒng)級(jí)芯片。陳寧介紹說：“結(jié)合當(dāng)前國內(nèi)的生產(chǎn)工藝現(xiàn)狀，我們和合作伙伴一起在三年前聯(lián)合技術(shù)攻關(guān)，采用D2D Chiplet技術(shù)，定制了一系列的IP，以在14nm的工藝節(jié)點(diǎn)上，支持大模型的推理部署?！?br />
小結(jié)

總的來說，目前大模型正在向邊緣端滲透，而這對(duì)邊緣AI芯片提出新的要求，需要更高的算力、更大的內(nèi)存帶寬及內(nèi)存容量。云天勵(lì)飛率先通過Chiplet工藝實(shí)現(xiàn)在14nm下推出可以運(yùn)行百億大模型的邊緣推理芯片，值得關(guān)注。