Arm Helium技術(shù)誕生的由來 為何不直接采用Neon？

經(jīng)過 Arm 研究團(tuán)隊(duì)多年的不懈努力，Arm 于 2019 年推出了適用于 Armv8?M 架構(gòu)的 Arm Cortex-M 矢量擴(kuò)展技術(shù) (MVE)——Arm Helium 技術(shù)。起初，當(dāng)我們面臨 Cortex?M 處理器的數(shù)字信號(hào)處理 (DSP) 性能亟待提升的需求時(shí)，我們首先想到的是采用現(xiàn)有的 Neon 技術(shù)。

然而，面對(duì)典型的 Cortex?M 應(yīng)用的面積限制條件下又需要支持多個(gè)性能的需求，意味著我們?nèi)孕鑿念^開始。作為一種較輕的惰性氣體，以氦氣 (Helium) 作為研究項(xiàng)目的名稱似乎再合適不過了。該研究項(xiàng)目主要針對(duì)中端處理器，旨在實(shí)現(xiàn)數(shù)據(jù)路徑寬度增加兩倍的情況下將性能提高四倍，而這正與氦氣的原子量 (4) 和原子序數(shù) (2) 不謀而合。

最終，在許多數(shù)字信號(hào)處理 (DSP) 和機(jī)器學(xué)習(xí) (ML) 內(nèi)核上，我們成功地實(shí)現(xiàn)了提升四倍的目標(biāo)。毋庸置疑，“Helium” 已經(jīng)深入人心，成為 Cortex-M 處理器系列 MVE 的品牌名。

要想打造具備良好 DSP 性能的處理器，主要關(guān)鍵在于可為其提供足夠的數(shù)據(jù)處理帶寬。在 Cortex?A 處理器上，128 位 Neon 負(fù)載可以輕松地從數(shù)據(jù)緩存中直接提取。

但是，Cortex?M 處理器通常沒有緩存，而是使用低延遲靜態(tài)隨機(jī)存取存儲(chǔ)器 (SRAM) 作為主內(nèi)存。對(duì)于許多系統(tǒng)來說，無法將 SRAM 路徑（通常只有 32 位）拓寬到 128 位，因此導(dǎo)致面臨內(nèi)存操作停滯長(zhǎng)達(dá)四個(gè)周期的可能性。同樣，乘加 (MAC) 指令中使用的乘法器需要很大的面積，在小型 Cortex?M 處理器上使用四個(gè) 32 位乘法器是不切實(shí)際的。

就面積限制層面而言，最小的 Cortex-M 處理器與能夠亂序執(zhí)行指令且功能強(qiáng)大的 Cortex?A 處理器的大小可能相差幾個(gè)數(shù)量級(jí)。因此，在創(chuàng)建 M 系列架構(gòu)時(shí)，我們必須認(rèn)真考慮充分利用每一個(gè) gate。

為了充分利用現(xiàn)有硬件，我們需要確保高成本資源（如通往內(nèi)存的連接和乘法器）在每個(gè)周期都保持同時(shí)繁忙的狀態(tài)。在高性能處理器（如 Cortex?M7）上，可以通過矢量 MAC 雙發(fā)射來達(dá)成這一目標(biāo)。

此外，還有一個(gè)重要的目標(biāo)，即在一系列不同的產(chǎn)品上提高 DSP 性能，而不僅局限于高端產(chǎn)品上。想要解決以上這些問題，需要借鑒參考幾十年前的矢量鏈理念中的一些技術(shù)。

上圖顯示了在四個(gè)時(shí)鐘周期內(nèi)交替執(zhí)行的矢量負(fù)載 (VLDR) 和矢量 MAC (VMLA) 指令序列。這需要 128 位寬的內(nèi)存帶寬和四個(gè) MAC 塊，并且它們有一半時(shí)間處于空閑狀態(tài)。可以看到，每條 128 位寬的指令被分成大小相等的四個(gè)片段，MVE 架構(gòu)稱之為“節(jié)拍”（標(biāo)為 A 至 D）。無論元素大小如何，這些節(jié)拍始終是 32 位計(jì)算值，因此一個(gè)節(jié)拍可以包含一個(gè) 32 位 MAC，或四個(gè) 8 位 MAC。由于負(fù)載和 MAC 硬件是分開的，這些節(jié)拍的執(zhí)行可以重疊，如下圖所示。

即使 VLDR 加載的值被隨后的 VMLA 使用，指令仍可以重疊。這是因?yàn)?VMLA 的節(jié)拍 A 只依賴于上一個(gè)周期發(fā)生的 VLDR 的節(jié)拍 A，因此節(jié)拍 A 和 B 與節(jié)拍 C 和 D 便會(huì)自然重疊。在這個(gè)例子中，我們可以獲得與 128 位數(shù)據(jù)帶寬處理器相同的性能，但硬件數(shù)量只有后者的一半?！肮?jié)拍式”執(zhí)行的概念可以高效地實(shí)施多個(gè)性能點(diǎn)。例如，下圖顯示了只有 32 位數(shù)據(jù)帶寬的處理器如何處理相同的指令。這一點(diǎn)充滿吸引力，因?yàn)樗苁箚伟l(fā)射標(biāo)量處理器的性能翻倍（在八個(gè)周期內(nèi)對(duì)八個(gè) 32 位值加載和執(zhí)行 MAC），但卻沒有雙發(fā)射標(biāo)量指令那樣的面積和功耗需求。

MVE 支持?jǐn)U展到每周期四拍的實(shí)現(xiàn)方式，此時(shí)節(jié)拍式執(zhí)行將簡(jiǎn)化為更傳統(tǒng)的 SIMD 方法。這有助于在高性能處理器上保持可控的實(shí)現(xiàn)復(fù)雜度。

節(jié)拍式執(zhí)行聽起來很不錯(cuò)，但也會(huì)給架構(gòu)的其他部分帶來一些值得關(guān)注的挑戰(zhàn)。

由于多條部分執(zhí)行的指令可以同時(shí)運(yùn)行，因此中斷和故障處理可能會(huì)變得相當(dāng)復(fù)雜。例如，如果上圖中 VLDR 的節(jié)拍 D 出現(xiàn)故障，通常情況下，實(shí)施必須回滾 VMLA 的節(jié)拍 A 在上一周期對(duì)寄存器文件的寫入。我們的理念是讓每個(gè) gate 都物盡其用，而在回滾的情況下緩沖舊數(shù)據(jù)值與這一理念相悖。

為了避免這種情況，處理器會(huì)針對(duì)異常情況存儲(chǔ)一個(gè)特殊的 ECI 值，用于指示已經(jīng)執(zhí)行了后續(xù)指令的哪些節(jié)拍。在異常返回時(shí)，處理器便以此來確定要跳過哪些節(jié)拍。能夠快速跳出指令而無需回滾或等待指令完成，基于此保持 Cortex-M 具備的快速和確定性中斷處理能力。

如果指令會(huì)跨越節(jié)拍邊界，我們又會(huì)遇到時(shí)間跨越問題。這種交叉行為通常出現(xiàn)在拓寬/縮窄運(yùn)算中。Neon 架構(gòu)中的 VMLAL 指令就是一個(gè)典型的例子，它可以將 32 位值矢量乘加到 64 位累加器中。遺憾的是，為了保持乘法器輸出的完整范圍，通常需要進(jìn)行這類拓寬運(yùn)算。MVE 使用通用的 “R” 寄存器文件來處理累加器，從而解決了這一問題。

此外，這樣還減少了對(duì)矢量寄存器的寄存壓力，使 MVE 只需使用 Neon 架構(gòu)中一半的矢量寄存器就能獲得良好的性能。在矢量架構(gòu)中，通常不會(huì)像 MVE 一樣廣泛使用通用的寄存器文件，因?yàn)榧拇嫫魑募c矢量單元相距甚遠(yuǎn)。在亂序執(zhí)行指令的高性能處理器上尤為如此，因?yàn)槲锢砭嚯x過大會(huì)限制性能。不過，正因如此，我們恰恰能夠?qū)⒌湫?Cortex?M 處理器的較小規(guī)模特性轉(zhuǎn)化為我們的優(yōu)勢(shì)。

為確保重疊執(zhí)行達(dá)到良好的平衡且無停滯，每條指令都應(yīng)嚴(yán)格描述 128 位的工作，不能多也不能少。由此也會(huì)帶來一些挑戰(zhàn)。

憑借研究員們辛勤不懈的努力，以及充分參考架構(gòu)書籍中所涉的所有內(nèi)容，MVE 成功地將一些非?？量痰墓?、面積和中斷延遲限制轉(zhuǎn)化為優(yōu)勢(shì)。

審核編輯：劉清