英特爾推出AI加速器性價比產(chǎn)品Gaudi2

日前，英特爾面向中國市場發(fā)布了HabanaGaudi2深度學(xué)習加速卡器。

新的Gaudi2直接給到了24個Tensor處理核心（TPC），是上代產(chǎn)品的三倍；而在對大模型應(yīng)用至關(guān)重要的顯存方面，Gaudi2也大方的配置了96GBHBM2e，顯存帶寬直接達到了2.4TB/s。而在連接方式上，Gaudi2則采用了OCPOAM接口形式，可擴展出21個100G以太網(wǎng)連接，并支持RoCE（RDMAover Converged Ethernet）v2。同時，Gaudi2還集成了多媒體處理器引擎和48MB片上SRAM作為高速緩存。

在系統(tǒng)層面，英特爾則提供能夠同時安裝8塊Gaudi2的夾層基板，同樣遵循OCP標準，可擴展出24個100GRoCE網(wǎng)絡(luò)接口。

性能更好的新選擇

Gaudi2搭載的96GBHBM顯存的確令人眼前一亮，但真正能夠影響用戶購買行為的仍舊似乎加速卡本身的計算性能。

在HuggingFace工程師RégisPierrard去年底進行的Gaudi2測試中，Gaudi2不僅在與前代產(chǎn)品的對比中表現(xiàn)出了近乎線性的性能提升，更大幅超越了對標的A100加速卡。

BERT預(yù)訓(xùn)練，8卡

Gaudi2使用bf16/fp32混合精度，A100使用fp16精度

StableDiffusion測試，單卡

從RégisPierrard使用IntelDeveloper Cloud進行的兩輪測試中我們不難發(fā)現(xiàn)，無論是在BERT這樣的大模型應(yīng)用中，還是在StableDiffusion這樣的“傳統(tǒng)”AIGC應(yīng)用中，Gaudi2的性能表現(xiàn)均相當亮眼；相對于前代產(chǎn)品展現(xiàn)出了至少3倍的性能優(yōu)勢（Gaudi2的TPC數(shù)量是前代的3倍），且比對標的A100產(chǎn)品更具性能優(yōu)勢。

在兩項測試中，Gaudi2均使用了英特爾推出的SynapseAI1.10套件和OptimumHabana1.6；其中前者是面向Gaudi系列加速卡的SDK開發(fā)套件，能夠?qū)?a href="http://www.ttokpm.com/tags/tensorflow/" target="_blank">TensorFlow和Pytorch等流行框架提供支持，而后者則是專門面向Transformers和Diffusers優(yōu)化的運行庫。

同時，在發(fā)布會的現(xiàn)場演示環(huán)節(jié)，英特爾工作人員展示了StableDiffusion應(yīng)用中1至64張卡的計算性能，并實現(xiàn)了99%的近線性性能擴展。換而言之，在更大規(guī)模的業(yè)務(wù)部署當中，Gaudi2也能通過集群橫向擴展獲得更加線性的性能增長。

目前，Gaudi系列AI加速器已經(jīng)在AWS的EC2DL1主機中進行了實際的商業(yè)部署。AWS表示，相對于傳統(tǒng)GPU，Gaudi能夠在深度學(xué)習應(yīng)用中帶來40%的性價比提升。

在走量的市場做走心的產(chǎn)品

誠然，Gaudi2的競品并非性能無兩的H100，更無法對即將面市的H100NVL構(gòu)成性能威脅。但對于更加“走量”的A100而言，Gaudi2所展現(xiàn)出的性價比則對大多數(shù)用戶而言更有價值。

近兩年，“從中端入局”似乎已經(jīng)成為英特爾的慣用手段，消費級的Arc770顯卡和如今的Gaudi2均如此。

走量的中端市場對英特爾有足夠的吸引力，也更容易幫助英特爾用一兩款產(chǎn)品就建立口碑、站穩(wěn)腳跟；同時，能在中端市場為用戶提供先進技術(shù)和優(yōu)勢性價比也證明英特爾對目標用戶足夠走心，愿意把真正的實惠帶給最廣闊的用戶市場。

在走量的市場做走心的產(chǎn)品，這樣的英特爾令人喜聞樂見。

為Ai加速器市場打開一扇窗

近兩年，以AIGC為代表的AI應(yīng)用快速崛起，吸引了科技圈和投資界的廣泛關(guān)注，其中的語言類大模型更有望大幅降低企業(yè)在營銷、客服和售后方面的成本，實現(xiàn)生產(chǎn)效率的大幅提升。

在科技企業(yè)爭相進行大模型“軍備競賽”的背后，GPU的需求也水漲船高。在GPU市場格局高度固化的當下，這一現(xiàn)象很容易帶來終端市場的價格起伏，導(dǎo)致GPU價格畸高，進而推高企業(yè)投身AI業(yè)務(wù)的成本并導(dǎo)致基礎(chǔ)架構(gòu)被綁定。

而英特爾Gaudi2加速卡的出現(xiàn)則意味著企業(yè)有了全新選擇。一方面，Gaudi2在絕對性能、顯存容量、集群性能等方面都比對標產(chǎn)品有優(yōu)勢，能夠承接現(xiàn)有的市場需求；另一方面，伴隨oneAPI等算力調(diào)用工具的不斷成熟和完善，用戶也能在開發(fā)和應(yīng)用層面實現(xiàn)基礎(chǔ)架構(gòu)的透明化，更輕松的調(diào)用多元算力，繼而獲得算力和基礎(chǔ)架構(gòu)層面的靈活性。

作為AI加速器市場的“追趕者”，Gaudi2證明英特爾能夠為用戶提供有競爭力的先進產(chǎn)品。當然，這還僅是在“獨立AI加速器”這一條賽道中。

在更廣闊的數(shù)據(jù)中心賽道中，英特爾還有并行的DataCenter Max和DataCenterFlex兩條產(chǎn)品線，以及更加獨立的FPGA賽道。此外，英特爾也在積極推動AI能力與傳統(tǒng)CPU的結(jié)合。從最初的AVX-512指令集和DLBoost到如今AMX-512指令集，英特爾正在為用戶構(gòu)建一條“用CPU靈活處理AI推理業(yè)務(wù)”的全新路徑。

很顯然，在英特爾的眼中，用戶在未來應(yīng)該針對不同場景和不同業(yè)務(wù)負載來規(guī)劃不同的基礎(chǔ)架構(gòu)，用不同算力來滿足業(yè)務(wù)需求。而伴隨oneAPI的逐步成熟，底層算力的區(qū)別將被抹除，模型訓(xùn)練和多端部署不再需要特別調(diào)優(yōu)就能實現(xiàn)無縫遷移和高效調(diào)優(yōu)。

在產(chǎn)品層面，英特爾最新推出的Gaudi2對用戶而言有足夠的吸引力；在戰(zhàn)略層面，Gaud2則是英特爾站穩(wěn)獨立AI加速器市場并構(gòu)筑多元算力體系的重要一步。而在AI研究快速推進，技術(shù)落地如火如荼的當下，Gaudi2的出現(xiàn)無疑為用戶帶來了全新選擇；而奮力前行的英特爾更有望為市場帶來AI與算力需求之間的全新平衡。