英特爾發(fā)布中國定制版大模型專用芯片Gaudi2，用性價比挑戰(zhàn)英偉達

訓練大模型，英偉達GPU不再是唯一選項。

7月11日，英特爾在北京舉辦AI產(chǎn)品戰(zhàn)略暨Gaudi2新品發(fā)布會，正式于中國市場推出第二代深度學習加速器——Habana Gaudi2。

Habana是成立于2016年的AI芯片廠商，總部位于以色列，為數(shù)據(jù)中心提供可編程深度學習加速器。Habana在2019年推出了第一代Gaudi芯片，并在這一年12月被其早期投資人英特爾收購。

其實在2022年5月，英特爾已經(jīng)發(fā)布過Gaudi2。而這一次在北京的產(chǎn)品發(fā)布，是面向中國市場的“定制版”，類似英偉達推出A100與H100的定制版A800與H800。

英特爾執(zhí)行副總裁兼數(shù)據(jù)中心與人工智能事業(yè)部總經(jīng)理Sandra Rivera強調(diào)，Gaudi2是完全合法合規(guī)的。

在性能方面，這款中國定制版訓練最主要的性能裁剪在于網(wǎng)絡(luò)端口。Gaudi2有21個百兆端口，而國際版有24個。不過，英特爾Habana Labs首席運營官Eitan Medina表示，“從客戶使用情況來看，預計影響會非常小”。

Gaudi2的推出，為訓練大模型提供了英偉達之外的替代方案。在此之前，英偉達的GPU芯片——A100與H100，幾乎壟斷了訓練大模型的市場。供需的極度不平衡也讓GPU一芯難求。

相比英偉達GPU，Gaudi2最顯著的優(yōu)勢在于“更高的性價比”。英特爾表示，將致力于為中國用戶提供更高的深度學習性能和效率，從而成為大規(guī)模部署AI的更優(yōu)解。

目前，英特爾正與浪潮信息合作，打造并發(fā)售基于Gaudi2深度學習加速器的浪潮信息AI服務(wù)器。此外，新華三與超聚變也是英特爾的合作伙伴。

1.用性價比挑戰(zhàn)英偉達

目前，業(yè)內(nèi)普遍認為生成式AI和大語言模型僅適宜在GPU上運行。但英特爾Gaudi2正在向英偉達發(fā)起挑戰(zhàn)。

Gaudi2深度學習加速器暨Gaudi2夾層卡HL-225B，以第一代Gaudi高性能架構(gòu)為基礎(chǔ)，采用了臺積電7nm工藝，專為訓練大語言模型而構(gòu)建。該加速器具備：

24個可編程Tensor處理器核心（TPCs）

21個100 Gbps（RoCEv2）以太網(wǎng)接口

96GB HBM2E內(nèi)存容量

2.4TB/秒的總內(nèi)存帶寬

48MB片上SRAM

集成多媒體處理引擎

Gaudi2真實性能表現(xiàn)如何？在發(fā)布會現(xiàn)場，英特爾多次與英偉達進行參數(shù)對比。

在6月公布的MLCommons MLPerf基準測試（被普遍認為是最具信服力的AI性能測試基準）結(jié)果中，Gaudi2在GPT-3模型、計算機視覺模型ResNet-50（使用8個加速器）、Unet3D（使用8個加速器），以及自然語言處理模型BERT（使用8個和64個加速器）上均取得了比A100更優(yōu)異的結(jié)果，但還弱于H100。

不僅如此，Gaudi2在性價比上更具優(yōu)勢。

在MLCommons剛剛公布的MLPerf訓練3.0結(jié)果中，Gaudi2在1750億參數(shù)的GPT-3模型上，從256個加速器到384個加速器可實現(xiàn)接近線性的95%擴展效果。

英特爾表示，Gaudi2的每瓦性能大約是A100的兩倍。而隨著性能的進一步優(yōu)化，英特爾預計在今年9月，Gaudi2的性價比將會超過H100。

值得一提的是，Gaudi2是僅有的兩個向GPT-3大模型訓練基準提交性能結(jié)果的解決方案之一。

英特爾Habana Labs首席運營官Eitan Medina強調(diào)：“這說明了其他半導體廠商還無法構(gòu)建針對GPT-3的解決方案”。

除了模型的訓練，還需要模型的推理。Gaudi2可為大規(guī)模的多模態(tài)和語言模型提供出色的推理性能。

在最近的Hugging Face評估中，Gaudi2在大規(guī)模推理方面的表現(xiàn)，包括在運行Stable Diffusion、70億以及1760億參數(shù)BLOOMz模型時，都在行業(yè)內(nèi)保持領(lǐng)先。

其中，與英偉達A100相比，Stable Diffusion推理時延降低2.21倍。

值得一提的是，下一代Gaudi3預計在明年推出，采用臺積電5nm工藝。

2.英特爾的AI戰(zhàn)略

英特爾擁有龐大豐富的產(chǎn)品線，Gaudi2并非唯一的AI產(chǎn)品。

針對AI在不同場景、不同環(huán)節(jié)的異構(gòu)計算需求，英特爾將其產(chǎn)品線分為通用計算與加速計算。

其中，英特爾的CPU產(chǎn)品，第四代至強處理器解決通用計算，滿足客戶在大部分模型較小場景的AI推理需求；Gaudi2解決加速計算，解決大模型的訓練及推理需求。

在通用計算層面，第四代英特爾至強可擴展處理器（英特爾AMX）為廣泛的AI負載和用例提供10倍的推理和訓練性能以及代際性能提升，同時每瓦性能比也比前代提高7.7倍。

在6月底公布的MLPerf訓練3.0結(jié)果表明，第四代至強可擴展處理器為企業(yè)提供了“開箱即用”的功能，可以在通用系統(tǒng)上部署AI，避免了引入專用AI系統(tǒng)的高昂成本和復雜性。

第四代至強可擴展處理器也能夠支持Stable Diffusion。英偉達DGX H100系統(tǒng)也會選擇搭配英特爾CPU，從而為企業(yè)級AI提供高速、高能效并節(jié)省成本。

百度、美團是英特爾AMX的客戶。英特爾AMX助力百度文心一言輕量版ERNIE-Tiny性能提升2.66倍，助力美團加速視覺AI推理服務(wù)，成本降低80%。

值得一提的是，在加速計算層面，英特爾除了推出人工智能專用芯片Gaudi2之外，也在2022年推出了面向數(shù)據(jù)中心的的GPU Max系列（代號為Ponte Vecchio）。兩款產(chǎn)品在AI計算層面存在一定的重合度。

對此，英特爾透露會在2025年把Gaudi產(chǎn)品線與GPU產(chǎn)品線整合為統(tǒng)一架構(gòu)的新產(chǎn)品，并帶來更好的軟件適配能力與AI處理能力。

此外，正如英偉達依靠CUDA構(gòu)建護城河，英特爾也在加強軟件開發(fā)生態(tài)的支持。

英特爾推出的軟件套件針對Gaudi平臺深度學習業(yè)務(wù)進行了優(yōu)化，集成了對TensorFlow和PyTorch框架的支持，并面向400多個機器學習和深度學習AI模型進行驗證，涵蓋每個業(yè)務(wù)領(lǐng)域使用的最常見AI用例。

總結(jié)來看，英特爾正在通過異構(gòu)產(chǎn)品組合、開放式的軟件棧以及用于大模型訓練的Gaudi2集群，來降低人工智能的準入門檻，來滿足龐大的市場需求。

芯片是大模型訓練及推理的基礎(chǔ)設(shè)施，也是這場大模型淘金熱必不可少的“鏟子”。如今，隨著主流半導體巨頭紛紛布局，這場大模型的芯片戰(zhàn)已經(jīng)徹底打響了。