Meta第二代自研AI芯片出世，性能提升三倍以上
電子發(fā)燒友網(wǎng)報(bào)道（文/周凱揚(yáng)）不久前，Meta宣布將花費(fèi)150億美元，購(gòu)置60多萬(wàn)塊GPU，而這還沒(méi)算上系統(tǒng)成本。就當(dāng)大家以為Meta打算All In GPU之際，Meta放出了下一代MTIA AI芯片，MTIA v2。
基于5nm打造，性能三倍以上
相較上一代MTIA v1，新的MTIA v2的工藝從臺(tái)積電的7nm換成了臺(tái)積電5nm，芯片主頻也從800MHz提升至1.35GHz。得益于芯片工藝的改進(jìn)，即便晶體管數(shù)量大幅增加，其芯片面積僅增加了12%。
MTIA v2的性能提升主要體現(xiàn)在算力上，根據(jù)Meta給出的數(shù)據(jù)其GEMM算力達(dá)到354TFLOPS/s（INT8），SIMD算力達(dá)到11.06TFLOPS/s（INT8），相較上一代均提升了3倍以上。在接口上，MTIA v2也從8xPCIe 4.0升級(jí)至8x PCIe 5.0，帶寬翻倍。
算力的提升除了歸功于工藝的升級(jí)外，很可能也不乏內(nèi)核的升級(jí)。結(jié)合晶心科技和Meta合作開(kāi)發(fā)數(shù)據(jù)中心AI處理器的新聞來(lái)看，MTIA v1很有可能采用了晶心科技打造的首個(gè)商用RISC-V矢量處理器內(nèi)核NX27V，而MTIA v2則很可能用到了最新的AX45MPV內(nèi)核，其三倍以上的性能提升幅度也符合MTIA的算力提升幅度，不過(guò)這也只是猜想而已。值得一提的是，與同樣在近期發(fā)布的英特爾Gaudi 3不一樣，MTIA v2在內(nèi)存配置上依舊沒(méi)有選擇HBM，片上內(nèi)存只有256MB，片外內(nèi)存選擇了LPDDR5。雖然其片上內(nèi)存擁有2.7TB/s的帶寬，但也注定了MTIA v2很難用于高效率的大模型應(yīng)用。在硬件堆料下，MTIA v2的功耗也已經(jīng)來(lái)到了90W，相比MTIA v1的25有著比較大幅度的增加。不過(guò)對(duì)比H100的能耗比，MTIA v2依然有著比較大的優(yōu)勢(shì)。但這也就意味著上一代的服務(wù)器方案可能已經(jīng)不再適用于新的方案，Meta因此為新加速器打造了全新的機(jī)柜系統(tǒng)。該系統(tǒng)單個(gè)機(jī)架由三個(gè)底盤(pán)構(gòu)成，每個(gè)底盤(pán)塞進(jìn)了12塊板卡，每個(gè)板卡集成了2個(gè)加速器，也就意味著單個(gè)機(jī)架共有72個(gè)MTIA v2加速器，單機(jī)柜至少需要6000W的電源供應(yīng)。如果想要實(shí)現(xiàn)多機(jī)架拓展的話，也可以選擇加入RDMA NIC。Meta表示實(shí)現(xiàn)這樣的成績(jī)，除了依靠硬件本身的性能提升之外，也離不開(kāi)他們?cè)趦?yōu)化內(nèi)核、編譯器、運(yùn)行時(shí)上的努力。隨著后續(xù)開(kāi)發(fā)生態(tài)進(jìn)一步成熟，對(duì)模型針對(duì)性優(yōu)化的時(shí)間會(huì)進(jìn)一步減少，而且未來(lái)還有不少空間可以繼續(xù)優(yōu)化芯片的效率。軟件棧引入新的編譯器
隨著新硬件的發(fā)布，Meta也加大了他們?cè)谲浖Ｉ系拈_(kāi)發(fā)力度。作為PyTorch的開(kāi)發(fā)者，MTIA的軟件棧從設(shè)計(jì)之初就做到了PyTorch 2.0的完全集成，也支持TorchDynamo和TorchInductor等新特性。但與此同時(shí)，為了簡(jiǎn)化應(yīng)用開(kāi)發(fā)者的工作，為MTIA v1開(kāi)發(fā)的代碼，也能向下兼容新的MTIA v2硬件。而且Meta表示，因?yàn)橐呀?jīng)將全部的軟件棧集成在新的MTIA芯片內(nèi)，在發(fā)布之際，他們已經(jīng)在自己的服務(wù)器上用MTIA v2跑了一段時(shí)間了。正因?yàn)橛羞@種兼容的軟件棧方案，Meta可在九個(gè)月內(nèi)就能讓商用模型運(yùn)行在16個(gè)地區(qū)的服務(wù)器上。為了為全新的MTIA硬件生成更高性能的代碼，Meta還打造了一套新的Triton-MTIA編譯器。Triton是由OpenAI開(kāi)發(fā)的一套開(kāi)源語(yǔ)言和編譯器，用于編寫(xiě)高效的ML計(jì)算內(nèi)核。Triton極大地提高了開(kāi)發(fā)者編寫(xiě)GPU代碼的速度，但Meta發(fā)現(xiàn)Triton也很適合用于MTIA這樣非GPU的硬件架構(gòu)。寫(xiě)在最后
從MTIA v2的性能來(lái)看，該加速器應(yīng)該不會(huì)替代其購(gòu)置的大量GPU用在LLM模型上，而是追求算力、內(nèi)存帶寬和內(nèi)存容量的平衡，用于排名和推薦的大模型上。這樣一來(lái)大容量的SRAM還是用在GPU上，而Meta最大收入來(lái)源的廣告業(yè)務(wù)，可以靠MTIA之類的加速器減少成本。Meta除了投資定制AI芯片和下一代GPU這樣的計(jì)算芯片外，Meta也強(qiáng)調(diào)他們會(huì)繼續(xù)投資內(nèi)存帶寬、網(wǎng)絡(luò)、容量相關(guān)的下一代硬件系統(tǒng)。不僅如此，Meta也在探索增加MTIA的應(yīng)用范圍，包括未來(lái)可能支持GenAI的負(fù)載。
聲明：本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
Meta
+關(guān)注
關(guān)注
0文章
231瀏覽量
11259 -
AI芯片
+關(guān)注
關(guān)注
17文章
1828瀏覽量
34666
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
AMD第二代Versal自適應(yīng)SoC的主要特色
AMD 第二代 AMD Versal AI Edge 和 Versal Prime 系列助力 AI 驅(qū)動(dòng)型和經(jīng)典的嵌入式系統(tǒng)實(shí)現(xiàn)單芯片智能性?？稍?b class='flag-5'>性
第二代AMD Versal Prime系列自適應(yīng)SoC的亮點(diǎn)
第二代 Versal Prime 系列自適應(yīng) SoC 是備受期待的 Zynq UltraScale+ MPSoC 產(chǎn)品線的繼任產(chǎn)品，該產(chǎn)品線已廣泛應(yīng)用于廣播與專業(yè)音視頻行業(yè)的設(shè)備中。第二代
新品 | 采用第二代1200V CoolSiC? MOSFET的集成伺服電機(jī)的驅(qū)動(dòng)器
TO-263-7封裝的第二代1200VCoolSiCMOSFET。采用IMBG120R040M2H作為三相逆變器板的功率開(kāi)關(guān)。驅(qū)動(dòng)電路采用了具有米勒鉗位功能的EiceDRI
AMD發(fā)布第二代Versal自適應(yīng)SoC，AI嵌入式領(lǐng)域再提速
AMD表示，第二代Versal系列自適應(yīng)SoC搭載全新的AI引擎，相較上一代Versal AI Edge系列，每瓦TOPS功率可實(shí)現(xiàn)最多3倍
AMD 以全新第二代 Versal 系列器件擴(kuò)展領(lǐng)先自適應(yīng) SoC 產(chǎn)品組合，為 AI 驅(qū)動(dòng)型嵌入式系統(tǒng)提供端到端加速
第二代 Versal 系列產(chǎn)品組合中首批器件借助下一代 AI 引擎將每瓦 TOPS 提升至高 3 倍，同時(shí)將基于 CPU 的標(biāo)量算力較之第一
發(fā)表于 04-09 16:50
?3112次閱讀
瑞芯微第二代8nm高性能AIOT平臺(tái) RK3576 詳細(xì)介紹
RK3576處理器
RK3576瑞芯微第二代8nm高性能AIOT平臺(tái)，它集成了獨(dú)立的6TOPS（Tera Operations Per Second，每秒萬(wàn)億次操作）NPU（神經(jīng)網(wǎng)絡(luò)處理單元），用于
發(fā)表于 03-12 13:45
Meta擬將自研AI芯片交由三星代工
Meta正在積極拓展其AI技術(shù)領(lǐng)域，尋求與新的芯片代工伙伴合作。據(jù)外媒報(bào)道，Meta CEO扎克伯格在近期訪問(wèn)韓國(guó)期間，與三星高層深入探討了
三星半導(dǎo)體將其“第二代3納米”工藝正式更名為“2納米”！
近期，科技巨頭三星半導(dǎo)體做出了一個(gè)引人注目的決策：將其“第二代3納米”工藝正式更名為“2納米”。
Samsung研發(fā)第二代3納米工藝 SF3
據(jù)報(bào)道，韓國(guó)三星代工廠已經(jīng)開(kāi)始試制其第二代 3 納米級(jí)別工藝技術(shù)的芯片，稱為 SF3。這一發(fā)展標(biāo)志著半導(dǎo)體行業(yè)的一個(gè)重要里程碑，因?yàn)?b class='flag-5'>三星與臺(tái)積電競(jìng)爭(zhēng)下一
中科馭數(shù)自研第二代DPU芯片K2獲得行業(yè)認(rèn)可
近日，中科馭數(shù)自研第二代DPU芯片K2在眾多云生態(tài)創(chuàng)新應(yīng)用技術(shù)產(chǎn)品中脫穎而出，成功入選由中國(guó)云產(chǎn)業(yè)聯(lián)盟暨中關(guān)村云計(jì)算產(chǎn)業(yè)聯(lián)盟發(fā)布的“2023年中國(guó)云生態(tài)創(chuàng)新應(yīng)用技術(shù)產(chǎn)品”。這一殊榮既是
高通第二代驍龍XR2+平臺(tái)支持4.3K單眼分辨率
高通技術(shù)公司近日宣布推出全新第二代驍龍?XR2+平臺(tái)，這一創(chuàng)新平臺(tái)旨在為MR和VR設(shè)備帶來(lái)更出色的性能和體驗(yàn)。第二代驍龍XR2+平臺(tái)具備強(qiáng)大的硬件配置，支持高達(dá)4.3K的單眼分辨率和12路及以
高通發(fā)布第二代驍龍XR2+平臺(tái)，開(kāi)辟M(fèi)R和VR新體驗(yàn)
近日，高通技術(shù)公司再次引領(lǐng)行業(yè)前沿，推出了全新的第二代驍龍XR2+平臺(tái)。這一平臺(tái)的性能顯著提升，其中GPU頻率提升了15%，CPU頻率提升了
高通宣布推出第二代驍龍?XR2+平臺(tái)加速M(fèi)R體驗(yàn)新浪潮
第二代驍龍XR2+平臺(tái)支持4.3K單眼分辨率和12路及以上并行攝像頭，帶來(lái)更清晰沉浸的MR和VR體驗(yàn)。
智繪微電子第二代自研桌面級(jí)國(guó)產(chǎn)GPU芯片IDM929成功點(diǎn)亮
智繪微電子官方宣布，第二代具有完全自主知識(shí)產(chǎn)權(quán)的圖形處理芯片“IDM929”成功實(shí)現(xiàn)了一次性流片成功，并順利點(diǎn)亮！
工商網(wǎng)監(jiān)
評(píng)論