Armv9架構(gòu)中SME和SME2的關(guān)鍵用例

Arm 為在各類技術(shù)領(lǐng)域運行無處不在的人工智能 (AI) 奠定了堅實的技術(shù)基礎(chǔ)。這得益于我們行業(yè)領(lǐng)先的架構(gòu)可在全球數(shù)十億臺多樣化設(shè)備上支持各種計算工作負載。

Arm 始終專注于快速地進行架構(gòu)演進，確保我們領(lǐng)先的生態(tài)系統(tǒng)能夠適應(yīng)未來的技術(shù)趨勢和不斷變化的計算需求。雖然 AI 的迅猛崛起似乎是最近才出現(xiàn)的現(xiàn)象，但過去二十多年來，Arm 一直致力于為 AI 創(chuàng)新奠定基礎(chǔ)，先是在 Armv7 架構(gòu)中引入了高級單指令多數(shù)據(jù) (SIMD) 擴展，初探機器學(xué)習 (ML) 工作負載，再是如今的 Armv9 架構(gòu)，我們在 Arm CPU 上集成了用于加速和保護如大語言模型 (LLM) 等先進的生成式 AI 工作負載的特性。

可伸縮矩陣擴展 (SME) 就是其中的一項創(chuàng)新特性，旨在滿足當今 AI 和 ML 工作負載日益增長的復(fù)雜性和功耗需求。除了加速當今的 AI 發(fā)展之外，SME 還為 Arm 架構(gòu)提供了靈活性，便于管理不斷發(fā)展的生成式 AI 工作負載。

可伸縮矩陣擴展及其特性

SME 是 Armv9-A 架構(gòu)中引入的指令集架構(gòu) (ISA) 擴展，可加速 AI 和 ML 工作負載，并為 Arm CPU 上運行的 AI 和 ML 應(yīng)用提供更高的性能、能效和靈活性。具體而言是通過以下特性實現(xiàn)的：

顯著提升 Arm CPU 上的矩陣和矢量處理吞吐量和效率；

通過引入外積指令，減少內(nèi)存帶寬壓力，盡可能地復(fù)用寄存器中加載的數(shù)據(jù)；

擴展壓縮用戶數(shù)據(jù)，在不增加內(nèi)存負載帶寬的情況下提高輸入元素的吞吐量；

支持多種存儲和計算數(shù)據(jù)類型，使其成為適用于當前和未來多種用例的靈活解決方案；

允許在實現(xiàn)中選擇介于 128 至 2048 位的 Streaming Vector Length (SVL)，從而實現(xiàn) SVL^2 的矩陣-矩陣乘法吞吐量。

SME2 在 SME 的基礎(chǔ)上增加了多矢量指令，允許在矩陣和矢量運算中復(fù)用架構(gòu)狀態(tài) (ZA Array)，并具有更高吞吐量的矢量處理能力。這有助于通過壓縮 AI 格式來減少內(nèi)存帶寬并節(jié)省功耗，從而實現(xiàn)矢量和矩陣加速的平衡。SME2 還能夠靈活地動態(tài)去量化，并解壓縮 2 位和 4 位權(quán)重，以節(jié)省內(nèi)存帶寬。在生成式 AI 工作負載日益復(fù)雜和耗電加劇的背景下，這些特性非常重要，同時也彰顯了 Arm 致力于應(yīng)對 AI 無止盡的能源需求。

SME 和 SME2 的關(guān)鍵用例

SME 可加速如生成式 AI 和經(jīng)典 ML 網(wǎng)絡(luò)，以及計算機視覺 (CV) 等各種類型的 AI 和 ML 工作負載。具體的實現(xiàn)途徑是 SME 能夠處理矩陣乘矩陣、矩陣乘矢量和多個矢量乘矢量運算，以及 ML 執(zhí)行過程中所需的前處理和后處理階段。我們預(yù)計，SME 將有益于不同市場的各種 AI 用例，包括：

結(jié)合了 ML 和經(jīng)典 CV/DSP 方法的應(yīng)用，例如電影攝影、媒體處理、駕駛員監(jiān)控、數(shù)字化座艙、音頻處理、先進駕駛輔助系統(tǒng) (ADAS) L2+ 和實時語音助手等。

利用小語言模型和 LLM 的用例，包括聊天機器人、對話摘要和虛擬助手等。

矢量處理、矩陣處理和量化

要了解 SME 的工作原理，有必要解釋一下它所支持的不同 AI 處理技術(shù)，以及 SME 和 Armv9 架構(gòu)為每種技術(shù)帶來的好處。其中包括：

矢量處理

矩陣處理

矩陣乘法

量化

矢量處理

在 AI 和 ML 語境中，矢量代表數(shù)值和數(shù)據(jù)點的一維數(shù)組，通常用于對神經(jīng)網(wǎng)絡(luò)中的特征、輸入或權(quán)重進行編碼。矢量處理常用于現(xiàn)代 AI 框架和庫，例如 TensorFlow 和 PyTorch 等。利用此方法，AI 算法可以高效應(yīng)對復(fù)雜計算，更快地處理大型數(shù)據(jù)集，從而縮短訓(xùn)練時間，提高性能。SME 包含矢量指令，可并行計算多個值，而不是按順序處理每個值，從多方面大大加快了 AI 計算。

矩陣處理

矩陣是數(shù)值和數(shù)據(jù)點的二維數(shù)組，在包括 ML 和深度學(xué)習在內(nèi)的各種 AI 技術(shù)中發(fā)揮著至關(guān)重要的作用。通過 SME 進行矩陣處理需要對這些矩陣進行運算，以提高基于 AI 的核心工作負載的性能和效率，包括線性代數(shù)運算（如矩陣乘法）和神經(jīng)網(wǎng)絡(luò)。

矩陣乘法

矩陣乘法是 AI 和 ML 工作負載以及科學(xué)模擬和計算機視覺等其他計算工作負載的重要組成部分。矩陣-矩陣乘法運算對 CPU 上的 AI 加速越來越重要，并顯著受益于 SME。Arm 架構(gòu)隨時間推移不斷演進，通過引入新特性提高了這些運算的性能和效率。例如：

Armv7 增加了高級 SIMD 擴展，也稱為 Arm Neon 指令。

Armv8.4-A 支持 8 位整數(shù)點積指令。

Armv8.6-A 支持各種數(shù)據(jù)類型的矢量內(nèi)整數(shù)和浮點矩陣乘法指令，包括新的 BFloat16 數(shù)據(jù)類型。

Armv9-A 包括可伸縮矢量擴展 2 (SVE2)，用于數(shù)字信號處理器 (DSP)、媒體和通用矢量化。

Armv9.2-A 引入了 SME。

量化

量化涉及降低數(shù)值的精度，通常是從浮點表示法轉(zhuǎn)換為定點表示法。SME 使用該過程來減少 AI 和 ML 模型的內(nèi)存帶寬、占用空間以及計算復(fù)雜性，進而提高其效率，這對計算密集型生成式 AI 工作負載非常重要。這意味著它們可以部署在資源受限的設(shè)備上，如智能手機、移動設(shè)備、嵌入式系統(tǒng)和物聯(lián)網(wǎng)設(shè)備等。

Arm 架構(gòu)長期致力支持 AI 特性

過去二十年來，Arm 一直致力于在架構(gòu)上添加 AI 特性、規(guī)范和指令。2003 年首次發(fā)布的 Armv7 架構(gòu)增加了高級 SIMD 擴展，也稱為 Arm Neon 指令。Neon 將寄存器視為由相同數(shù)據(jù)類型的元素組成的一維矢量，指令可同時對多個元素進行操作。隨后 Armv8 架構(gòu)增加了一系列 AI 的規(guī)范和指令，包括點積指令、矢量內(nèi)矩陣乘法指令和 BFloat16 支持。它還改進了高級 SIMD 擴展，將矢量寄存器的數(shù)量增加了一倍，并增加了浮點支持。所有這些改進和新增特性的目的都是用于加速 AI 和 ML 性能，以應(yīng)對不斷發(fā)展的 AI 工作負載。除了 SVE2、SME 和新的 SME2 之外，Armv9 架構(gòu)還集成包含了所有這些特性、規(guī)范和指令。

SME 的核心優(yōu)勢

Armv9 架構(gòu)上的 SME 顯著提高了 Arm CPU 對現(xiàn)有 AI 和 ML 工作負載的處理能力，從而在各種 AI 驅(qū)動的設(shè)備和應(yīng)用中帶來速度更快、響應(yīng)更靈敏的用戶體驗。它還能加速一系列使用矩陣運算的應(yīng)用，如 DSP、科學(xué)計算、增強現(xiàn)實 (AR)、虛擬現(xiàn)實 (VR) 和圖像處理等等，AI 和 ML 在所有這些應(yīng)用中都扮演著日益重要的角色。

與能夠以多種不同數(shù)據(jù)格式運行各種神經(jīng)網(wǎng)絡(luò)的 Arm CPU 類似，SME 也提供了靈活性，旨在滿足不斷發(fā)展的 AI 和 ML 工作負載日益復(fù)雜的要求。這將確保 Arm 架構(gòu)在快速發(fā)展的 AI 時代及未來仍適用于至關(guān)重要的計算工作負載。展望未來，我們將繼續(xù)在指令集中添加更多 AI 功能，以助益 Arm 領(lǐng)先的生態(tài)系統(tǒng)，讓我們的合作伙伴能夠為其 AI 解決方案提供更高的性能、創(chuàng)新特性和可擴展性。

基于 AI 的 Arm 架構(gòu)創(chuàng)新

SME 體現(xiàn)了 Arm 在架構(gòu)方面的不斷創(chuàng)新。隨著 AI 的不斷發(fā)展壯大，SME 將確保 Arm CPU 能夠高效地處理新的高能耗生成式 AI 工作負載，從而在數(shù)十億臺 Arm 技術(shù)驅(qū)動的設(shè)備上提供更好的 AI 體驗。這將夯實 Arm 持續(xù)作為全球 AI 基石的地位。