電子發(fā)燒友網(wǎng)報道(文/吳子鵬)當(dāng)?shù)貢r間本周四,AMD在AMD Advancing AI 2024上發(fā)布了一系列新品,包括全新旗艦AI芯片、服務(wù)器CPU、AI網(wǎng)卡、DPU和AI PC移動處理器。
其中,全新旗艦AI芯片的型號為AMD Instinct MI325X GPU,雖然仍然是采用CDNA 3架構(gòu),但是相較于AMD Instinct MI300X GPU還是有一些明顯的提升,且官方數(shù)據(jù)顯示,該芯片多項性能優(yōu)于英偉達(dá)H200。
不過,對于AMD一系列的產(chǎn)品發(fā)布,市場方面似乎并不買賬,AMD股價出現(xiàn)了一波明顯跳水。能夠看出,無論是市場面還是需求方,似乎還是對英偉達(dá)Blackwell GPU有更大的期待,雖然這款芯片此前曝出了良率缺陷問題。
AMD Instinct MI325X GPU是AMD公司首次采用HBM3E高帶寬內(nèi)存。HBM3E作為新一代高帶寬內(nèi)存技術(shù),可以提供高達(dá)9.6Gb/s的擴(kuò)展數(shù)據(jù)速率,相比前一代HBM3的6.4Gb/s有顯著提升。目前,三星、SK海力士和美光都已經(jīng)將HBM技術(shù)迭代到了HBM3E。得益于HBM3E內(nèi)存的加持,AMD Instinct MI325X GPU內(nèi)存帶寬最高可達(dá)6TB/秒,同比提升約13%;內(nèi)存容量最高可達(dá)256GB,相較于AMD Instinct MI300X GPU,內(nèi)存容量提升了64GB。
由于同樣是CDNA 3架構(gòu),因此MI325X和MI300X在計算性能方面基本是一致的,采用先進(jìn)的2.5D封裝,芯片內(nèi)部有1530億個晶體管,304個計算單元,AI算力(采用半精度浮點數(shù)FP16衡量)最高可達(dá)到1.3PFLOPS,也與MI300X相同。
雖然和自家芯片對比提升并不是太明顯,但根據(jù)AMD的官方數(shù)據(jù),AMD Instinct MI325X GPU是強(qiáng)于英偉達(dá)H200芯片的。官方文件顯示,與H200相比,具有參數(shù)優(yōu)勢的MI325能夠提供1.3倍的峰值理論FP16(16位浮點數(shù))和FP8計算性能。AMD公司CEO蘇姿豐表示,“你們能看到的是,MI325在運行Llama 3.1時,能提供比英偉達(dá)H200高出多達(dá)40%的性能?!备鶕?jù)發(fā)布會的信息顯示,在模型推理方面,無論是單卡還是多卡,AMD Instinct MI325X GPU相較于英偉達(dá)H200基本有20%-40%的性能領(lǐng)先;在模型訓(xùn)練方面,AMD Instinct MI325X GPU也有單卡10%的性能領(lǐng)先。AMD預(yù)期,Instinct MI325X GPU芯片將從四季度開始生產(chǎn),并將在明年一季度通過合作的服務(wù)器生產(chǎn)商供貨。
目前,AI芯片在AMD業(yè)務(wù)中占比已經(jīng)越來越高。根據(jù)AMD二季度財報,AMD Instinct MI300X GPU在二季度為AMD貢獻(xiàn)了超過10億美元的營收,預(yù)計全年銷售額將達(dá)到45億美元,約占公司整體銷售額的15%。目前,微軟、OpenAI、Meta、Cohere、Stability AI、Lepton AI(賈揚清創(chuàng)辦)、World Labs(李飛飛創(chuàng)辦)等公司的生成式AI方案都已經(jīng)采用了AMD Instinct MI300X GPU。
除了發(fā)布AMD Instinct MI325X GPU,蘇姿豐還劇透了AMD后續(xù)的AI芯片戰(zhàn)略,下一代旗艦AI芯片的命名為AMD Instinct MI350X GPU,將開啟全新的AMD AI芯片世代,采用最新的CDNA 4架構(gòu),首次引入FP6、FP4浮點數(shù)據(jù)類型,搭配內(nèi)存還是HBM3E,但容量高達(dá)288GB,半精度浮點數(shù)FP16下的AI算力達(dá)到2.3PFLOPS。采用CDNA 4架構(gòu)的MI350系列明年上市
同時,蘇姿豐預(yù)測AI芯片后續(xù)美好的未來,數(shù)據(jù)中心人工智能加速器的市場將在2028年增長至5000億美元,而這個數(shù)字在2023年時為450億美元。在更早之前,蘇姿豐曾預(yù)測全球數(shù)據(jù)中心人工智能加速器市場規(guī)模將在2027年達(dá)到4000億美元。無論是哪一項數(shù)據(jù)預(yù)測,都足以顯示目前全球AI發(fā)展高漲的情緒。
不過,即便新產(chǎn)品有著不錯的性能,且未來市場空間廣闊,但是AMD Instinct MI325X GPU的發(fā)布似乎并沒有達(dá)到市場的預(yù)期,和自家上一款芯片Instinct MI300X GPU的性能差距并不明顯,也沒有能夠借助這次發(fā)布會進(jìn)一步縮小和英偉達(dá)之間的差距。因此,市場快速反應(yīng),AMD股價有了一個明顯的下調(diào)。
此前,有媒體報道稱,Blackwell架構(gòu)產(chǎn)品生產(chǎn)上出現(xiàn)了一些問題,導(dǎo)致較低的良品率,從而影響了出貨。英偉達(dá)在一份聲明中表示,對Blackwell架構(gòu)GPU的掩膜進(jìn)行了改動,以提高產(chǎn)量。英偉達(dá)Blackwell GPU是第一批采用臺積電CoWoS-L封裝的產(chǎn)品,其使用RDL中間層與LSI橋接器連接小芯片,可實現(xiàn)約10Tb/s的數(shù)據(jù)傳輸速率。
與以往的CoWoS-S和CoWoS-R技術(shù)相比,CoWoS-L在性能和靈活性方面都有顯著提升。這種技術(shù)利用LSI橋接器實現(xiàn)高密度的互聯(lián),能夠兼容各種高性能芯片,如先進(jìn)邏輯、SoIC(系統(tǒng)集成芯片)及HBM(高帶寬內(nèi)存)。挑戰(zhàn)在于,由于GPU芯片、RDL中間層、LSI橋接器以及基板之間的熱膨脹系數(shù)(CTE)不匹配,因此存在一定的生產(chǎn)挑戰(zhàn)。
摩根士丹利指出,英偉達(dá)Blackwell GPU生產(chǎn)良率下降在后封裝階段發(fā)現(xiàn)的,這導(dǎo)致了良率的降低,并使原本供應(yīng)緊張的CoWoS封裝和HBM3e內(nèi)存的情況雪上加霜。但該機(jī)構(gòu)認(rèn)為,這些問題在英偉達(dá)內(nèi)部都已經(jīng)過去了。摩根士丹利在報告中寫道,“目前 Blackwell 產(chǎn)量提升‘相當(dāng)強(qiáng)勁’,不會對原定路線圖造成影響,所有跡象表明業(yè)務(wù)依然穩(wěn)健,前景非常清晰,這與我們的所有調(diào)查一致?!?br />
摩根士丹利預(yù)計,英偉達(dá)將于今年第4季度將出貨最多45萬張Blackwell GPU,從而實現(xiàn)50億美元到100億美元的營收。同時,該機(jī)構(gòu)認(rèn)為,當(dāng)前安排不了的Blackwell GPU訂單,可能需要到明年下半年才能夠安排,因此前期訂單已經(jīng)簽滿了1年,而這些無法滿足的訂單,將促進(jìn)Hopper GPU的需求。
原本英偉達(dá)Blackwell GPU的生產(chǎn)問題被認(rèn)為是AMD公司的機(jī)會,但現(xiàn)在來看這個機(jī)會并沒有得到兌現(xiàn)。一方面,英偉達(dá)很快就解決了這個困擾Blackwell GPU良率的問題;另一方面,AMD Instinct MI325X GPU作為相同架構(gòu)升級的產(chǎn)品,性能提升只是體現(xiàn)在帶寬上,這雖然能夠提高集群的效率,但市場方面認(rèn)為還不夠,無法給英偉達(dá)造成更大的沖擊。
另外,AMD并沒有提到能耗的優(yōu)勢,這也是英偉達(dá)宣傳Blackwell GPU的一個重點。該公司副總裁兼企業(yè)平臺總經(jīng)理Bob Pette在“AI Summit DC”人工智能峰會期間表示,Blackwell平臺基本上是考慮到能效而構(gòu)建的,在Blackwell上開發(fā)OpenAI的GPT-4軟件需要3吉瓦(gigawatts)的電力,而十年前,這一過程需要高達(dá)5500吉瓦電力。
另外還有CUDA生態(tài)的問題,AMD公司也意識到了這一點,此前該公司將把面向消費者的RDNA和面向數(shù)據(jù)中心的CDNA架構(gòu)統(tǒng)一為一種新的微架構(gòu)UDNA。在2024年國際消費電子展(IFA 2024)上,AMD高級副總裁兼計算與圖形事業(yè)部總經(jīng)理Jack Huynh宣布了這一架構(gòu),代表了AMD在GPU領(lǐng)域的一次重要革新,但是要挑戰(zhàn)英偉達(dá)的CUDA生態(tài),還有很長的路要走。因此,AMD UDNA是一項長遠(yuǎn)的布局,也需要更多的時間兌現(xiàn)其潛力。
因此,在生態(tài)和制程并不占優(yōu)的情況下,市場希望AMD能夠在產(chǎn)品性能提升方面更加激進(jìn)一些,但很顯然AMD Instinct MI325X GPU沒有達(dá)到人們的預(yù)期。因此,AMD Instinct MI325X GPU現(xiàn)在還很難成為Blackwell GPU的對手,但是能夠在Blackwell GPU產(chǎn)能不足時,搶奪Hopper GPU的訂單。
其中,全新旗艦AI芯片的型號為AMD Instinct MI325X GPU,雖然仍然是采用CDNA 3架構(gòu),但是相較于AMD Instinct MI300X GPU還是有一些明顯的提升,且官方數(shù)據(jù)顯示,該芯片多項性能優(yōu)于英偉達(dá)H200。
不過,對于AMD一系列的產(chǎn)品發(fā)布,市場方面似乎并不買賬,AMD股價出現(xiàn)了一波明顯跳水。能夠看出,無論是市場面還是需求方,似乎還是對英偉達(dá)Blackwell GPU有更大的期待,雖然這款芯片此前曝出了良率缺陷問題。
AMD最強(qiáng)AI芯片卻不及預(yù)期?
如上所述,AMD Instinct MI325X GPU仍然是基于CDNA 3架構(gòu),因此算是AMD Instinct MI300X GPU發(fā)布之后的中期小升級,并不是全新世代的產(chǎn)品。不過,即便如此,AMD Instinct MI325X GPU還是有非常多的亮點,且能夠和英偉達(dá)的H200捉對廝殺。AMD Instinct MI325X GPU是AMD公司首次采用HBM3E高帶寬內(nèi)存。HBM3E作為新一代高帶寬內(nèi)存技術(shù),可以提供高達(dá)9.6Gb/s的擴(kuò)展數(shù)據(jù)速率,相比前一代HBM3的6.4Gb/s有顯著提升。目前,三星、SK海力士和美光都已經(jīng)將HBM技術(shù)迭代到了HBM3E。得益于HBM3E內(nèi)存的加持,AMD Instinct MI325X GPU內(nèi)存帶寬最高可達(dá)6TB/秒,同比提升約13%;內(nèi)存容量最高可達(dá)256GB,相較于AMD Instinct MI300X GPU,內(nèi)存容量提升了64GB。
由于同樣是CDNA 3架構(gòu),因此MI325X和MI300X在計算性能方面基本是一致的,采用先進(jìn)的2.5D封裝,芯片內(nèi)部有1530億個晶體管,304個計算單元,AI算力(采用半精度浮點數(shù)FP16衡量)最高可達(dá)到1.3PFLOPS,也與MI300X相同。
雖然和自家芯片對比提升并不是太明顯,但根據(jù)AMD的官方數(shù)據(jù),AMD Instinct MI325X GPU是強(qiáng)于英偉達(dá)H200芯片的。官方文件顯示,與H200相比,具有參數(shù)優(yōu)勢的MI325能夠提供1.3倍的峰值理論FP16(16位浮點數(shù))和FP8計算性能。AMD公司CEO蘇姿豐表示,“你們能看到的是,MI325在運行Llama 3.1時,能提供比英偉達(dá)H200高出多達(dá)40%的性能?!备鶕?jù)發(fā)布會的信息顯示,在模型推理方面,無論是單卡還是多卡,AMD Instinct MI325X GPU相較于英偉達(dá)H200基本有20%-40%的性能領(lǐng)先;在模型訓(xùn)練方面,AMD Instinct MI325X GPU也有單卡10%的性能領(lǐng)先。AMD預(yù)期,Instinct MI325X GPU芯片將從四季度開始生產(chǎn),并將在明年一季度通過合作的服務(wù)器生產(chǎn)商供貨。
目前,AI芯片在AMD業(yè)務(wù)中占比已經(jīng)越來越高。根據(jù)AMD二季度財報,AMD Instinct MI300X GPU在二季度為AMD貢獻(xiàn)了超過10億美元的營收,預(yù)計全年銷售額將達(dá)到45億美元,約占公司整體銷售額的15%。目前,微軟、OpenAI、Meta、Cohere、Stability AI、Lepton AI(賈揚清創(chuàng)辦)、World Labs(李飛飛創(chuàng)辦)等公司的生成式AI方案都已經(jīng)采用了AMD Instinct MI300X GPU。
除了發(fā)布AMD Instinct MI325X GPU,蘇姿豐還劇透了AMD后續(xù)的AI芯片戰(zhàn)略,下一代旗艦AI芯片的命名為AMD Instinct MI350X GPU,將開啟全新的AMD AI芯片世代,采用最新的CDNA 4架構(gòu),首次引入FP6、FP4浮點數(shù)據(jù)類型,搭配內(nèi)存還是HBM3E,但容量高達(dá)288GB,半精度浮點數(shù)FP16下的AI算力達(dá)到2.3PFLOPS。采用CDNA 4架構(gòu)的MI350系列明年上市
同時,蘇姿豐預(yù)測AI芯片后續(xù)美好的未來,數(shù)據(jù)中心人工智能加速器的市場將在2028年增長至5000億美元,而這個數(shù)字在2023年時為450億美元。在更早之前,蘇姿豐曾預(yù)測全球數(shù)據(jù)中心人工智能加速器市場規(guī)模將在2027年達(dá)到4000億美元。無論是哪一項數(shù)據(jù)預(yù)測,都足以顯示目前全球AI發(fā)展高漲的情緒。
不過,即便新產(chǎn)品有著不錯的性能,且未來市場空間廣闊,但是AMD Instinct MI325X GPU的發(fā)布似乎并沒有達(dá)到市場的預(yù)期,和自家上一款芯片Instinct MI300X GPU的性能差距并不明顯,也沒有能夠借助這次發(fā)布會進(jìn)一步縮小和英偉達(dá)之間的差距。因此,市場快速反應(yīng),AMD股價有了一個明顯的下調(diào)。
市場還是傾向于選擇英偉達(dá)
當(dāng)然,消息面上也有不利于AMD本次新品發(fā)布的,那就是摩根士丹利發(fā)布了一份關(guān)于英偉達(dá)最新Blackwell GPU架構(gòu)的報告,并透露導(dǎo)致造成生產(chǎn)瓶頸的補充信息。此前,有媒體報道稱,Blackwell架構(gòu)產(chǎn)品生產(chǎn)上出現(xiàn)了一些問題,導(dǎo)致較低的良品率,從而影響了出貨。英偉達(dá)在一份聲明中表示,對Blackwell架構(gòu)GPU的掩膜進(jìn)行了改動,以提高產(chǎn)量。英偉達(dá)Blackwell GPU是第一批采用臺積電CoWoS-L封裝的產(chǎn)品,其使用RDL中間層與LSI橋接器連接小芯片,可實現(xiàn)約10Tb/s的數(shù)據(jù)傳輸速率。
與以往的CoWoS-S和CoWoS-R技術(shù)相比,CoWoS-L在性能和靈活性方面都有顯著提升。這種技術(shù)利用LSI橋接器實現(xiàn)高密度的互聯(lián),能夠兼容各種高性能芯片,如先進(jìn)邏輯、SoIC(系統(tǒng)集成芯片)及HBM(高帶寬內(nèi)存)。挑戰(zhàn)在于,由于GPU芯片、RDL中間層、LSI橋接器以及基板之間的熱膨脹系數(shù)(CTE)不匹配,因此存在一定的生產(chǎn)挑戰(zhàn)。
摩根士丹利指出,英偉達(dá)Blackwell GPU生產(chǎn)良率下降在后封裝階段發(fā)現(xiàn)的,這導(dǎo)致了良率的降低,并使原本供應(yīng)緊張的CoWoS封裝和HBM3e內(nèi)存的情況雪上加霜。但該機(jī)構(gòu)認(rèn)為,這些問題在英偉達(dá)內(nèi)部都已經(jīng)過去了。摩根士丹利在報告中寫道,“目前 Blackwell 產(chǎn)量提升‘相當(dāng)強(qiáng)勁’,不會對原定路線圖造成影響,所有跡象表明業(yè)務(wù)依然穩(wěn)健,前景非常清晰,這與我們的所有調(diào)查一致?!?br />
摩根士丹利預(yù)計,英偉達(dá)將于今年第4季度將出貨最多45萬張Blackwell GPU,從而實現(xiàn)50億美元到100億美元的營收。同時,該機(jī)構(gòu)認(rèn)為,當(dāng)前安排不了的Blackwell GPU訂單,可能需要到明年下半年才能夠安排,因此前期訂單已經(jīng)簽滿了1年,而這些無法滿足的訂單,將促進(jìn)Hopper GPU的需求。
原本英偉達(dá)Blackwell GPU的生產(chǎn)問題被認(rèn)為是AMD公司的機(jī)會,但現(xiàn)在來看這個機(jī)會并沒有得到兌現(xiàn)。一方面,英偉達(dá)很快就解決了這個困擾Blackwell GPU良率的問題;另一方面,AMD Instinct MI325X GPU作為相同架構(gòu)升級的產(chǎn)品,性能提升只是體現(xiàn)在帶寬上,這雖然能夠提高集群的效率,但市場方面認(rèn)為還不夠,無法給英偉達(dá)造成更大的沖擊。
另外,AMD并沒有提到能耗的優(yōu)勢,這也是英偉達(dá)宣傳Blackwell GPU的一個重點。該公司副總裁兼企業(yè)平臺總經(jīng)理Bob Pette在“AI Summit DC”人工智能峰會期間表示,Blackwell平臺基本上是考慮到能效而構(gòu)建的,在Blackwell上開發(fā)OpenAI的GPT-4軟件需要3吉瓦(gigawatts)的電力,而十年前,這一過程需要高達(dá)5500吉瓦電力。
另外還有CUDA生態(tài)的問題,AMD公司也意識到了這一點,此前該公司將把面向消費者的RDNA和面向數(shù)據(jù)中心的CDNA架構(gòu)統(tǒng)一為一種新的微架構(gòu)UDNA。在2024年國際消費電子展(IFA 2024)上,AMD高級副總裁兼計算與圖形事業(yè)部總經(jīng)理Jack Huynh宣布了這一架構(gòu),代表了AMD在GPU領(lǐng)域的一次重要革新,但是要挑戰(zhàn)英偉達(dá)的CUDA生態(tài),還有很長的路要走。因此,AMD UDNA是一項長遠(yuǎn)的布局,也需要更多的時間兌現(xiàn)其潛力。
因此,在生態(tài)和制程并不占優(yōu)的情況下,市場希望AMD能夠在產(chǎn)品性能提升方面更加激進(jìn)一些,但很顯然AMD Instinct MI325X GPU沒有達(dá)到人們的預(yù)期。因此,AMD Instinct MI325X GPU現(xiàn)在還很難成為Blackwell GPU的對手,但是能夠在Blackwell GPU產(chǎn)能不足時,搶奪Hopper GPU的訂單。
結(jié)語
實際上,在AMD Instinct MI325X GPU發(fā)布之前,市場面上已經(jīng)開始為其造勢了,AMD作為目前英偉達(dá)GPU頭號挑戰(zhàn)者,因此人們自然而然要去關(guān)注這款旗艦GPU。不過,作為同是CDNA 3架構(gòu)下的產(chǎn)品,AMD Instinct MI325X GPU并沒有達(dá)到市場設(shè)定的性能基準(zhǔn)線。不過正如蘇姿豐所言,數(shù)據(jù)中心加速器市場是非常龐大的,英偉達(dá)一家吃不下,那么外溢的訂單就會流落到AMD等公司的手里,這個時間段AMD可以更沉下心來打磨應(yīng)用和生態(tài)。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。
舉報投訴
-
amd
+關(guān)注
關(guān)注
25文章
5419瀏覽量
133789 -
英偉達(dá)
+關(guān)注
關(guān)注
22文章
3719瀏覽量
90650 -
AI芯片
+關(guān)注
關(guān)注
17文章
1850瀏覽量
34836
發(fā)布評論請先 登錄
相關(guān)推薦
英偉達(dá)H200芯片將大規(guī)模交付
英偉達(dá)AI GPU市場迎來新動態(tài),其H200型號上游芯片端已于第二季度下旬正式進(jìn)入量產(chǎn)階段,預(yù)示
英偉達(dá)H200顯卡怎么樣
英偉達(dá)H200顯卡是一款表現(xiàn)出色的產(chǎn)品,其在性能、技術(shù)、應(yīng)用等方面都有顯著的優(yōu)勢。
英偉達(dá)H200上市時間
英偉達(dá)H200于2023年11月13日正式發(fā)布。然而,由于HBM3e芯片供應(yīng)問題,其實際開售時間有所延遲。英偉
英偉達(dá)H200性能怎么樣
英偉達(dá)H200性能卓越,集成了高性能CPU和GPU,通過高速NVLink連接,消除了傳統(tǒng)計算瓶頸。其配備了高達(dá)141GB的HBM3e高帶寬內(nèi)
英偉達(dá)H200和A100的區(qū)別
英偉達(dá)H200和A100兩款芯片在性能、架構(gòu)、內(nèi)存以及應(yīng)用場景等多個方面存在顯著的區(qū)別。
英偉達(dá)H200能作為普通顯卡使用嗎
英偉達(dá)H200不能作為普通顯卡使用。H200是一款專為AI計算設(shè)計的芯片,它并不具備普通顯卡的圖
英偉達(dá)H200顯卡價格
英偉達(dá)H200顯卡的具體價格尚未公布。根據(jù)上一代H100顯卡的價格范圍,預(yù)計H200的單片價格將超過40000美元。由于新
英偉達(dá)H200什么時候上市
英偉達(dá)于2023年11月13日發(fā)布了新一代AI芯片H200,但具體的上市時間可能因各種因素有所調(diào)
英偉達(dá)H200和H100的比較
英偉達(dá)H200和H100是兩款不同的AI芯片,它們各自具有獨特的特點和優(yōu)勢。以下是關(guān)于這兩款
英偉達(dá)最強(qiáng)AI芯片H200性能如何?
英偉達(dá)進(jìn)一步指出,內(nèi)存帶寬對于 HPC 應(yīng)用程序至關(guān)重要,因為它可以實現(xiàn)更快的數(shù)據(jù)傳輸,減少復(fù)雜的處理瓶頸。對于模擬、科學(xué)研究和人工智能等內(nèi)存密集型 HPC 應(yīng)用,H200 更高的內(nèi)存帶寬可確保高效地訪問和操作數(shù)據(jù),與 CPU
發(fā)表于 11-22 16:40
?876次閱讀
世界最強(qiáng)AI芯H200發(fā)布,英偉達(dá):性能提升90%
在備受關(guān)注的人工智能領(lǐng)域,英偉達(dá)表示,h200將進(jìn)一步提高性能。llama 2(700億個llm)的推理速度是h100的兩倍。未來的軟件更新
評論