寒武紀(jì)首顆AI訓(xùn)練芯片：7納米制程且算力提升四倍

1月21日，寒武紀(jì)思元290智能芯片及加速卡、玄思1000智能加速器在官網(wǎng)低調(diào)亮相，寒武紀(jì)表示該系列產(chǎn)品已實(shí)現(xiàn)規(guī)?；鲐?。去年，寒武紀(jì)招股書曾簡單披露了一款訓(xùn)練芯片的“彩蛋”，此后，寒武紀(jì)思元290芯片就一直被業(yè)界廣泛關(guān)注并引發(fā)行業(yè)諸多猜想。如今，隨著新一代訓(xùn)練產(chǎn)品線集中亮相，寒武紀(jì)略顯“神秘”的訓(xùn)練芯片及相應(yīng)的業(yè)務(wù)布局逐漸清晰。

思元290智能芯片是寒武紀(jì)的首顆訓(xùn)練芯片，采用臺(tái)積電7nm先進(jìn)制程工藝，集成460億個(gè)晶體管，支持MLUv02擴(kuò)展架構(gòu)，全面支持AI訓(xùn)練、推理或混合型人工智能計(jì)算加速任務(wù)。寒武紀(jì)MLU290-M5智能加速卡搭載思元290智能芯片，采用開放加速模塊OAM設(shè)計(jì)，具備64個(gè)MLU Core，1.23TB/s內(nèi)存帶寬以及全新MLU-Link?多芯互聯(lián)技術(shù)，在350W的最大散熱功耗下提供AI算力高達(dá)1024 TOPS（INT4）。

寒武紀(jì)玄思1000智能加速器，在2U機(jī)箱內(nèi)集成4顆思元290智能芯片，高速本地閃存、Mellanox InfiniBand網(wǎng)絡(luò)，對(duì)外提供高速M(fèi)LU-Link?接口，打破智能芯片、服務(wù)器、POD與集群的傳統(tǒng)數(shù)據(jù)中心橫向擴(kuò)展架構(gòu)，實(shí)現(xiàn)AI算力在計(jì)算中心級(jí)縱向擴(kuò)展，是AI算力的高集成度平臺(tái)。寒武紀(jì)訓(xùn)練產(chǎn)品線采用自適應(yīng)精度訓(xùn)練方案，面向互聯(lián)網(wǎng)、金融、交通、能源、電力和制造等領(lǐng)域的復(fù)雜AI應(yīng)用場景提供充裕算力，推動(dòng)人工智能賦能產(chǎn)業(yè)升級(jí)。

思元290采用MLUv02擴(kuò)展架構(gòu)

MLUv02架構(gòu)為寒武紀(jì)MLU200全產(chǎn)品線共享，滿足云、邊、端三個(gè)場景的算力需求。云端訓(xùn)練對(duì)AI算力的要求更為苛刻，因此寒武紀(jì)對(duì)思元290的MLUv02架構(gòu)進(jìn)行了多項(xiàng)擴(kuò)展，包括業(yè)內(nèi)領(lǐng)先的MLU-Link?多芯互聯(lián)技術(shù)、高帶寬HBM2內(nèi)存、高速片上總線NOC以及新一代PCIe 4.0接口。相比寒武紀(jì)思元270芯片，思元290芯片實(shí)現(xiàn)峰值算力提升4倍、內(nèi)存帶寬提高12倍、芯片間通訊帶寬提高19倍。新架構(gòu)結(jié)合7nm制程，思元290可提供更優(yōu)性能功耗比，以及多MLU系統(tǒng)的擴(kuò)展能力。

MLU290的MLUv02架構(gòu)進(jìn)行了多項(xiàng)擴(kuò)展

寒武紀(jì)MLU-Link?多芯互聯(lián)技術(shù)

近年來，AI算法模型的復(fù)雜程度高速增長，對(duì)算力和訓(xùn)練速度提出了更高的要求。為了構(gòu)建更強(qiáng)大的計(jì)算平臺(tái)，多芯片間的互聯(lián)技術(shù)已成為市場剛需。

寒武紀(jì)推出MLU-Link?多芯互聯(lián)技術(shù)，并首次搭載于寒武紀(jì)思元290芯片，每顆思元290的多芯互聯(lián)總帶寬高達(dá)600GB/s。MLU-Link?具備豐富的互聯(lián)特性，突破PCIe帶寬和互聯(lián)的瓶頸，相比思元270芯片通過PCIe并行的通訊方式，帶寬提高19倍。MLU-Link?多芯互聯(lián)技術(shù)支持多顆思元芯片無縫互聯(lián)，支持跨系統(tǒng)互聯(lián)，將縱向擴(kuò)展能力整合到整個(gè)人工智能計(jì)算中心（AIDC），可以端到端加速大型AI模型訓(xùn)練。

寒武紀(jì)vMLU解決方案

不同場景下的AI訓(xùn)練對(duì)計(jì)算和存儲(chǔ)的要求千差萬別，如何提供更靈活也更穩(wěn)定的服務(wù)，但同時(shí)讓算力得到充分地利用，是AIDC面臨的持續(xù)挑戰(zhàn)。寒武紀(jì)虛擬化技術(shù)vMLU，支持在思元290上實(shí)現(xiàn)4個(gè)相互隔離的AI計(jì)算實(shí)例，每個(gè)實(shí)例獨(dú)占計(jì)算、內(nèi)存和編解碼資源。實(shí)例之間的硬件資源互不干擾，即使在虛擬化環(huán)境下仍可保持90%以上的極高效率，幫助客戶充分利用硬件資源。

vMLU還可以幫助思元290芯片提供最佳的靈活性。通過熱遷移技術(shù)，云管理員可將正在運(yùn)行的AI負(fù)載及其應(yīng)用程序移動(dòng)到另外一臺(tái)主機(jī)上，從而平衡整個(gè)AIDC的負(fù)載，并實(shí)現(xiàn)更好的容災(zāi)功能。

寒武紀(jì)首款訓(xùn)練智能加速卡MLU290-M5

寒武紀(jì)MLU290-M5智能加速卡搭載了思元290智能芯片，采用開放加速模塊OAM設(shè)計(jì)，具備64個(gè)MLU Core，1.23TB/s 內(nèi)存帶寬以及全新MLU-Link?多芯互聯(lián)技術(shù)，在350w的最大散熱功耗下提供AI算力高達(dá)1024 TOPS(INT4)。

寒武紀(jì)首款智能加速器玄思1000

寒武紀(jì)首款智能加速器玄思1000包含4片思元290智能加速卡，最大AI算力超過4100萬億次每秒(4.1 PetaOPS INT4)，一臺(tái)玄思1000計(jì)算單元就足以替代一個(gè)小型傳統(tǒng)超級(jí)計(jì)算中心。

玄思1000內(nèi)置高帶寬低延時(shí)的MLU-Link?多芯互聯(lián)技術(shù)，實(shí)現(xiàn)內(nèi)部4顆思元290進(jìn)行高速互聯(lián)，同時(shí)打破服務(wù)器、緊耦合微集群（POD）與集群的傳統(tǒng)數(shù)據(jù)中心橫向擴(kuò)展架構(gòu)，將AIDC構(gòu)建為節(jié)點(diǎn)、POD乃至超大規(guī)?；旌蠑U(kuò)展架構(gòu)(Hybrid Scale-out)，實(shí)現(xiàn)AI算力計(jì)算中心級(jí)縱向擴(kuò)展，滿足高性能、高擴(kuò)展性、靈活性、高魯棒性的要求。

重塑AIDC基礎(chǔ)架構(gòu)

算力、算法、數(shù)據(jù)是人工智能發(fā)展的三大要素，隨著這幾年AI的逐步發(fā)展，算力的核心地位更為凸顯。人工智能技術(shù)落地于實(shí)際應(yīng)用中需要芯片和硬件層面強(qiáng)大的算力支撐。算力已成為驅(qū)動(dòng)AI產(chǎn)業(yè)化和產(chǎn)業(yè)AI化發(fā)展的關(guān)鍵要素。

下一代AIDC要求更多智能芯片無縫協(xié)同、并行運(yùn)行的同時(shí)，還能保持高計(jì)算效率，從而提供超級(jí)巨大的算力，以應(yīng)對(duì)超大規(guī)模訓(xùn)練的需要。寒武紀(jì)玄思1000智能加速器重新思考了未來AIDC的基礎(chǔ)架構(gòu)，在內(nèi)部和外部采用統(tǒng)一的MLU-Link?多芯互聯(lián)技術(shù)進(jìn)行通訊，使得思元290智能芯片的互聯(lián)范圍可以從單機(jī)擴(kuò)展到POD乃至整個(gè)計(jì)算中心，重塑了基礎(chǔ)架構(gòu)。

玄思1000配置8個(gè)對(duì)外互聯(lián)的MLU-Link?接口，支持跨系統(tǒng)互聯(lián)構(gòu)建MLU POD。標(biāo)準(zhǔn)配置支持MLU POD 16、24、32。在POD內(nèi)部，所有290芯片均可通過MLU-Link?多芯互聯(lián)技術(shù)進(jìn)行通訊，在帶寬和延時(shí)方面實(shí)現(xiàn)了突破；POD外部通過玄思1000內(nèi)置的網(wǎng)卡與其他系統(tǒng)進(jìn)行通訊，實(shí)現(xiàn)了AI訓(xùn)練集群性能、擴(kuò)展性和魯棒性的協(xié)同提升。

POD內(nèi)所有思元芯片通過MLU-Link?全互聯(lián)

除了標(biāo)準(zhǔn)配置的POD之外，在計(jì)算中心條件允許的前提下，通過MLU-Link?多芯互聯(lián)技術(shù)，可實(shí)現(xiàn)1024顆或更多思元290互聯(lián)，不需要額外的網(wǎng)卡即可實(shí)現(xiàn)無縫加速。

寒武紀(jì)Neuware?訓(xùn)練軟件棧

寒武紀(jì)Neuware?軟件棧為思元 290 芯片提供完善的軟件及應(yīng)用生態(tài)，支持業(yè)界主流的TensorFlow和PyTorch等深度學(xué)習(xí)框架，用戶不需要改變使用習(xí)慣，即可在思元290芯片上實(shí)現(xiàn)圖形圖像、語音、NLP、搜索推薦等多種應(yīng)用的訓(xùn)練和推理。其中，基于Horovod分布式訓(xùn)練框架與MLU-Link?多芯互聯(lián)技術(shù)相互配合，讓思元290在單機(jī)多卡、多機(jī)多卡的場景下達(dá)到業(yè)界領(lǐng)先的訓(xùn)練加速比。寒武紀(jì)Neuware?提供完善的開發(fā)工具包和社區(qū)支持，幫助用戶在思元290芯片進(jìn)行方便、靈活的定制開發(fā)及部署工作。配合強(qiáng)大的BANG智能編程語言及配套調(diào)試工具，用戶可以為自定義的算法提供最佳性能調(diào)優(yōu)。

2021年1月，IDC發(fā)布了《2020-2021 中國人工智能計(jì)算力發(fā)展評(píng)估報(bào)告》，該報(bào)告預(yù)計(jì)，中國人工智能市場規(guī)模在2020年達(dá)到62.7億美元，2019-2024年的復(fù)合增長率為30.4%。IDC的調(diào)研還發(fā)現(xiàn)，超過九成的企業(yè)正在使用或者計(jì)劃在三年內(nèi)使用人工智能，其中74.5%的企業(yè)期望在未來可以采取具備公用設(shè)施意義的人工智能基礎(chǔ)設(shè)施。

隨著AI算法突飛猛進(jìn)的發(fā)展，越來越多的模型訓(xùn)練需要巨量的算力支撐才能快速有效地實(shí)施，算力是未來人工智能應(yīng)用取得突破的決定性因素。值得強(qiáng)調(diào)的是，在巨量的人工智能市場中，云服務(wù)市場表現(xiàn)更為突出。早前，2020年7月，IDC發(fā)布的另一份報(bào)告顯示，2018至2024年，中國AI云服務(wù)市場年復(fù)合增長率將達(dá)到93.6%。而目前人工智能芯片仍處于成長期，未來三年，人工智能芯片市場將呈現(xiàn)多元化發(fā)展趨勢。

寒武紀(jì)290產(chǎn)品線，有望在持續(xù)高速增長的人工智能市場尤其是云服務(wù)市場，搶占更多的市場份額，推動(dòng)自身和AI行業(yè)的發(fā)展。據(jù)悉，寒武紀(jì)思元290芯片及加速卡已與部分硬件合作伙伴完成適配，并已實(shí)現(xiàn)規(guī)模化出貨。

寒武紀(jì)最初布局終端IP場景，連續(xù)迭代推出讓其聲名鵲起的寒武紀(jì)1A、寒武紀(jì)1H、寒武紀(jì)1M系列處理器，而后迅速布局云端智能芯片及加速卡系列產(chǎn)品思元100和思元270，又于2019年推出基于思元220芯片的邊緣智能加速卡。由此建立起覆蓋云邊端、訓(xùn)練、推理的完整產(chǎn)品矩陣，同時(shí)利用平臺(tái)級(jí)基礎(chǔ)系統(tǒng)軟件Cambricon Neuware，連接全線產(chǎn)品，由點(diǎn)及面，實(shí)現(xiàn)了“訓(xùn)推一體、端云融合”。寒武紀(jì)也成為目前國際上少數(shù)幾家全面系統(tǒng)掌握了通用型智能芯片及其基礎(chǔ)系統(tǒng)軟件研發(fā)和產(chǎn)品化核心技術(shù)的企業(yè)之一。

以寒武紀(jì)一年迭代推出一到兩款新品的研發(fā)速度，我們有理由開始期待，寒武紀(jì)的下一個(gè)新品 “彩蛋” 了。

fqj