一種創(chuàng)新的面積和能效AI存儲(chǔ)器設(shè)計(jì)—MCAIMem

摘要

人工智能芯片通常使用 SRAM 存儲(chǔ)器作為緩沖器（buffers），其可靠性和速度有助于實(shí)現(xiàn)高性能。然而，SRAM 價(jià)格昂貴，需要大量的面積和能耗。以前的研究曾探討過用非易失性存儲(chǔ)器等新興技術(shù)取代 SRAM，因?yàn)榉且资源鎯?chǔ)器具有快速讀取內(nèi)存和單元面積小的特點(diǎn)。盡管有這些優(yōu)勢(shì)，但非易失性存儲(chǔ)器的寫入內(nèi)存訪問速度慢、寫入能耗高，因此在需要大量內(nèi)存訪問的人工智能應(yīng)用中，非易失性存儲(chǔ)器的性能無法超越 SRAM。一些研究還將 eDRAM 作為一種面積效率高的片上存儲(chǔ)器進(jìn)行了研究，其存取時(shí)間與 SRAM 相似。但是，刷新功耗仍然是一個(gè)令人擔(dān)憂的問題，性能、面積和功耗之間的權(quán)衡尚未解決。

為了解決這個(gè)問題，在本文中我們提出了一種新型混合 CMOS 單元存儲(chǔ)器設(shè)計(jì)，通過結(jié)合 SRAM 和 eDRAM 單元，平衡了人工智能存儲(chǔ)器的性能、面積和能效。我們考慮了存儲(chǔ)器中一個(gè) SRAM 和七個(gè) eDRAM 單元的比例，以利用混合 CMOS 單元存儲(chǔ)器實(shí)現(xiàn)面積縮減。

此外，我們還利用 DNN 數(shù)據(jù)表示的特點(diǎn)，集成了非對(duì)稱 eDRAM 單元，以降低能耗。為了驗(yàn)證我們提出的 MCAIMem 解決方案，我們進(jìn)行了大量仿真，并對(duì)傳統(tǒng) SRAM 進(jìn)行了基準(zhǔn)測(cè)試。結(jié)果表明，MCAIMem 在面積和能效方面明顯優(yōu)于這些替代方案。具體來說，與 SRAM 設(shè)計(jì)相比，我們的 MCAIMem 可以減少 48% 的面積和 3.4 倍的能耗，而且不會(huì)造成任何精度損失。

引言

深度神經(jīng)網(wǎng)絡(luò)（DNN）加速器已成為各種機(jī)器學(xué)習(xí)系統(tǒng)的重要組成部分。DNN 需要存儲(chǔ)大量參數(shù)才能實(shí)現(xiàn)高精度，因此對(duì)內(nèi)存的要求很高。DNN 已在圖像識(shí)別、物體檢測(cè)、語言翻譯和自動(dòng)駕駛等廣泛應(yīng)用中證明了其有效性。最先進(jìn)的 DNNs 需要數(shù)十億次運(yùn)算和巨大的內(nèi)存來存儲(chǔ)激活和權(quán)重，transformer的大小在兩年內(nèi)增加了 240 倍就是證明 。專用內(nèi)存導(dǎo)致尖端 DNN 加速器更多地使用較大的片上內(nèi)存。例如，在 Eyeriss（如圖 1.(a) 所示）中，SRAM 占芯片面積的 79.2%，占功耗的 42.5%；在 Simba 等芯片設(shè)計(jì)中，SRAM 占芯片面積的 67%；而最新的晶圓級(jí)芯片可容納高達(dá) 18 GB 的片上存儲(chǔ)器。由此可見，使用片上 SRAM 存儲(chǔ)器需要更高的功耗和面積。

6T SRAM 長期以來一直是嵌入式存儲(chǔ)器的首選，因?yàn)樗哂羞壿嫾嫒莸奈粏卧?、快速差分讀取和靜態(tài)數(shù)據(jù)保持能力。然而，由于其相對(duì)較大的單元尺寸以及在低工作電壓下讀寫的競爭要求，使得 6T SRAM 難以在先進(jìn)的 CMOS 技術(shù)中擴(kuò)展。

最近，非易失性存儲(chǔ)器因其單元尺寸小、單元泄漏低和快速讀取訪問操作而引起了研究界的興趣。早期的研究試圖用 ReRAM、FeFET 等非易失性存儲(chǔ)器取代片上 SRAM。然而，非易失性存儲(chǔ)器的寫入操作比讀取操作更慢，能耗更高。這會(huì)對(duì) DNN 應(yīng)用中的人工智能芯片性能產(chǎn)生負(fù)面影響，例如片上學(xué)習(xí)，片上讀取和寫入操作都是必須的。

片上 SRAM 的另一個(gè)替代品是嵌入式動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器 (eDRAM)。表 I 比較了采用相同 65 納米低功耗 CMOS 工藝的不同嵌入式存儲(chǔ)器。我們發(fā)現(xiàn)，與 6T SRAM 相比，1T1C eDRAM（1 個(gè)晶體管和 1 個(gè)電容器）的位元密度高 4.5 倍，靜態(tài)功耗低 5.0 倍，甚至包括刷新功耗。這使得芯片尺寸更小、存儲(chǔ)器訪問速度更快、存儲(chǔ)器密度更高，這是在給定功耗限制條件下提高微處理器性能的最有效方法。

然而，非易失性存儲(chǔ)器和傳統(tǒng) eDRAM（1T1C）需要復(fù)雜的制造工藝，因?yàn)樗鼈冃枰獙ｉT的材料才能在晶圓上部署。

3T（三晶體管）和 2T（雙晶體管）CMOS eDRAM 增益單元設(shè)計(jì)是嵌入式動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器電路，與傳統(tǒng) SRAM 相比，每個(gè)存儲(chǔ)單元使用的晶體管數(shù)量更少。因此密度更高，面積更小。3T/2T eDRAM 單元使用邏輯器件制造，因此只需進(jìn)行極少的修改即可在標(biāo)準(zhǔn) CMOS 工藝中構(gòu)建。工業(yè)設(shè)計(jì)表明，使用三個(gè)晶體管可實(shí)現(xiàn)比 SRAM 高約 2 倍的位元密度。為此，eDRAM 增益單元（3T 和 2T）可在不改變制造技術(shù)的情況下減少片上 SRAM 面積。

如表 I 所示，與片上 SRAM 相比，eDRAM 增益單元在面積和能耗方面都有優(yōu)勢(shì)。具體來說，與 SRAM 相比，2T eDRAM 的靜態(tài)功耗降低了 5.26 倍。然而，由于保持時(shí)間較短，使用 eDRAM 增益單元會(huì)導(dǎo)致大量刷新功耗，從而限制了 eDRAM 增益單元相對(duì)于片上 SRAM 的功耗優(yōu)勢(shì)。因此，在人工智能芯片中實(shí)施 eDRAM 增益單元仍然是一個(gè)可行的考慮因素。

在深度學(xué)習(xí)應(yīng)用中，INT8 已成為理想的數(shù)值表示方法，可在各種任務(wù)中保持精度。在作為 DNN 量化標(biāo)準(zhǔn)的 8 位整數(shù)格式中，發(fā)生在最重要位（MSB：Most Significant Bits）上的錯(cuò)誤比發(fā)生在最不重要位（LSB：Least Significant Bits）上的錯(cuò)誤權(quán)重更大。根據(jù)量化后 DNN 的 8 位整數(shù)數(shù)據(jù)往往聚集在零點(diǎn)附近的觀察。對(duì)于這種接近零的小整數(shù)，正值的 MSB 通常為 0，負(fù)值的 MSB 通常為 1。這種模式提供了通過位翻轉(zhuǎn)來增加正整數(shù)中 1 的數(shù)量的機(jī)會(huì)，從而在 DNN 數(shù)據(jù)中形成 1 的優(yōu)勢(shì)。零位較多的 LSB 由于重要性較低，可以承受誤差，對(duì)最終精度的影響很小。

最近的一項(xiàng)研究提出了一種非對(duì)稱 DNN 數(shù)據(jù)編碼器，在保持 DNN 性能的同時(shí)，提高了 INT8 表示法中 0 位的頻率。這一想法可與使用 2T eDRAM 的片上數(shù)據(jù)存儲(chǔ)結(jié)合起來進(jìn)一步利用，2T eDRAM 顯示了位-1 和位-0 之間數(shù)據(jù)保留的不對(duì)稱性，其中位-1 比位-0 提供更少的靜態(tài)和訪問能量。

將 6T SRAM/2T eDRAM 混合設(shè)計(jì)與一個(gè)增強(qiáng)型數(shù)據(jù)編碼器（增強(qiáng) INT8 表示法中位-1 的普遍性）相結(jié)合，可以優(yōu)化芯片的面積和能耗。因此，我們推出了 MCAIMem，一種基于 SRAM 和非對(duì)稱 eDRAM 的混合存儲(chǔ)單元，設(shè)計(jì)用于節(jié)省面積和能耗的片上人工智能存儲(chǔ)器。MCAIMem 適應(yīng)性強(qiáng)，能夠滿足各種內(nèi)存容量和性能需求，因此適用于從緊湊型邊緣設(shè)備到大型數(shù)據(jù)中心等各種人工智能應(yīng)用。我們的貢獻(xiàn)如下：

據(jù)我們所知，我們首次提出了用于片上人工智能存儲(chǔ)器的 6T SRAM 和 2T eDRAM 混合單元。我們對(duì) 2T eDRAM 單元進(jìn)行了修改，使其與 SRAM 單元保持一致，并提高了容量以延長保留時(shí)間。我們的混合存儲(chǔ)器單元大大減少了人工智能加速器的片上存儲(chǔ)器占用空間

我們提出的共電壓檢測(cè)放大器（CVSA：common voltage sense amplifier）可同時(shí)用于 SRAM 和 2T eDRAM 單元。通過控制 CVSA 的參考電壓，我們可以延長 2T eDRAM 的刷新周期，從而降低 MCAIMem 的動(dòng)態(tài)刷新能耗。

我們利用了非對(duì)稱 2T eDRAM，其中存儲(chǔ) bit-1 比 bit-0 消耗更少的能量。結(jié)合 DNN 數(shù)據(jù)的單增強(qiáng)編碼器/解碼器解決了 eDRAM 的可靠性問題，如刷新率和保持時(shí)間，從而顯著降低了 MCAIMem 的靜態(tài)功耗。

如圖 1.(b) 所示，我們的 MCAIMem 通過融合 6T SRAM 和 2T eDRAM 的優(yōu)勢(shì)，創(chuàng)建了高性能、高能效和緊湊型混合存儲(chǔ)器解決方案，從而將片上人工智能存儲(chǔ)器系統(tǒng)的面積消耗減少了 48%，能效提高了 3.4 倍。

在第二節(jié)，我們介紹了增益單元 eDRAM、外圍電路以及 DNN 數(shù)據(jù)表示中使用的二乘法的背景信息。第三節(jié)詳細(xì)介紹了人工智能存儲(chǔ)器的綜合設(shè)計(jì)和運(yùn)行機(jī)制。第四節(jié)討論了 MCAIMem 對(duì)人工智能應(yīng)用的影響。第五節(jié)介紹了 45 納米工藝技術(shù)的硬件評(píng)估結(jié)果，包括電路和系統(tǒng)兩個(gè)層面。第六節(jié)探討了在人工智能應(yīng)用中采用 eDRAM 的最新研究成果。最后，第七節(jié)得出結(jié)論。

背景

本節(jié)介紹了采用全 CMOS 技術(shù)和操作的 2T/3T eDRAM 增益單元電路設(shè)計(jì)的背景，回顧了 DNN 中的二乘表示法，并總結(jié)了為 AI 芯片設(shè)計(jì)混合 SRAM 和 eDRAM 單元存儲(chǔ)器所面臨的挑戰(zhàn)和要求。

1

嵌入式 DRAM 單元和傳感設(shè)計(jì)

3T 和 2T eDRAM：

與傳統(tǒng) SRAM 相比，3T 和 2T eDRAM 設(shè)計(jì)每個(gè)存儲(chǔ)單元使用的晶體管更少，因此面積更小，密度更高，位元密度大約提高了 2 倍。最近的研究表明，eDRAM 的增益單元目前正在積極開發(fā)中，最新的實(shí)現(xiàn)采用了 7-10 納米 FinFET 技術(shù)。如圖 1.c 所示，在休眠模式下，eDRAM 單元的漏電流低于 SRAM，從而降低了靜態(tài)功耗，包括漏電功耗和刷新功耗。

eDRAM 單元的單元寫入邊際優(yōu)于 SRAM，因?yàn)樵谠鲆鎲卧╣ain cell）中，存取器件（access device）和交叉耦合鎖存器（cross-coupled latch）之間不存在競爭。然而，傳統(tǒng)增益單元的存儲(chǔ)電容較小，漏電流在工藝-電壓-溫度（PVT：Process-Voltage-Temperature）變化下呈指數(shù)變化，導(dǎo)致刷新功耗較高和/或讀取電流較小，因而保持時(shí)間較短。前者源于更頻繁的刷新操作，后者則源于更快的單元電壓損耗。

要理解 eDRAM 增益單元，可以考慮傳統(tǒng) 3T 增益單元的基本保持特性。在圖 2.(a) 所示的 3T NMOS 單元中，PW 代表寫入訪問器件，PS 代表存儲(chǔ)器件，PR 代表讀取訪問器件。在 3T eDRAM 中，PS 的柵極電容用于存儲(chǔ)比特-1 或比特-0 表示的電荷電壓。與 1T1C eDRAM 相比，PS 的容量較小。因此，3T 增益單元采用解耦讀寫結(jié)構(gòu)，讀取數(shù)據(jù)時(shí)使用獨(dú)立的讀字線（RWL）和讀位線（RBL），寫入數(shù)據(jù)時(shí)使用寫字線（WWL）和寫位線（WBL）。這提高了位元設(shè)計(jì)中的讀寫邊際和靈活性，使增益單元在未來的技術(shù)節(jié)點(diǎn)中能夠很好地?cái)U(kuò)展。

在數(shù)據(jù)保留模式下，PW 和 PR 將被停用，使存儲(chǔ)節(jié)點(diǎn)處于浮動(dòng)狀態(tài)。周圍器件的次閾值、柵極和結(jié)漏會(huì)導(dǎo)致浮動(dòng)電壓隨時(shí)間變化。數(shù)據(jù)保留時(shí)間取決于進(jìn)入存儲(chǔ)節(jié)點(diǎn)的總漏電流。在 SPICE 中進(jìn)行的蒙特卡洛仿真，顯示了采用低功耗 CMOS 45nm 技術(shù)的 1 Mb 存儲(chǔ)器宏中單元與單元之間的變化，如圖 2.(a) 所示。當(dāng)讀取參考偏置電平為 0.65 V 時(shí)，位 1 電壓和位 0 電壓會(huì)在相同的保持時(shí)間內(nèi)接近讀取參考偏置電平。

創(chuàng)新的 2T 增益單元設(shè)計(jì)采用了更少的晶體管，其特點(diǎn)是由 RWL 驅(qū)動(dòng)的單個(gè)高驅(qū)動(dòng)電流 NMOS 讀取器件和一個(gè) PMOS 寫入器件，可保持臨界 bit-1 電壓在 VDD 附近。圖 2.(b) 展示了 2T eDRAM 單元，其結(jié)構(gòu)和工作原理與 3T eDRAM 有很大不同。之前的 3T eDRAM 單元使用 PMOS 器件作為寫入訪問晶體管，通過 PMOS 柵極重疊和結(jié)點(diǎn)泄漏來抵消 NMOS 柵極泄漏，從而延長單元保持時(shí)間。

然而，在 PVT 變化下，漏電補(bǔ)償證明是不夠的，因?yàn)?NMOS 存儲(chǔ)設(shè)備的反相溝道柵極漏電在比特-1 中占主導(dǎo)地位，如圖 2（a）所示。

在圖 2.(b) 所示的 2T eDRAM 單元中，讀取訪問晶體管由 RWL 信號(hào)取代，預(yù)充電電平設(shè)置為 VDD。存儲(chǔ)晶體管基本上處于關(guān)閉狀態(tài)，因此其柵極漏電流微不足道。由于讀取路徑不存在閾值下漏電，因此建議采用低 Vth 晶體管，以進(jìn)一步提高讀取速度。在 0.65V 讀取參考偏置下，存儲(chǔ)單元表現(xiàn)出不對(duì)稱性，位-1 不會(huì)改變，而位-0 容易翻轉(zhuǎn)為位-1。均衡的 P 和 N 擴(kuò)散密度是所提出的 2T 不對(duì)稱單元的另一個(gè)優(yōu)點(diǎn)。本文旨在利用這一特性最大限度地減少靜態(tài)和動(dòng)態(tài)能耗，因?yàn)槲?0 的翻轉(zhuǎn)需要更多的能量。

2T eDRAM 檢測(cè)放大器：

在增益單元中，NMOS 柵極電容用于存儲(chǔ)電荷，使其對(duì)電壓變化非常敏感。直接訪問 NMOS 可能會(huì)導(dǎo)致存儲(chǔ)位翻轉(zhuǎn)。因此，傳統(tǒng)增益單元需要一個(gè)電流檢測(cè)放大器來檢測(cè)存儲(chǔ)節(jié)點(diǎn)。對(duì)于 2T 單元設(shè)計(jì)，RBL 必須表現(xiàn)出有限的擺幅，以避免因未選擇單元的漏電流而導(dǎo)致讀取失敗。

然而，較小的電壓擺幅會(huì)導(dǎo)致較差的讀取感應(yīng)裕度。非對(duì)稱 2T 增益單元利用低 Vth 讀取器件實(shí)現(xiàn)更快的讀取速度，同時(shí)將速度關(guān)鍵的第 1 位電壓保持在 VDD 附近，從而使情況更加復(fù)雜。為解決這一問題，在 2T eDRAM 設(shè)計(jì)中采用了電流模式檢測(cè)放大器 (C-S/A)，在檢測(cè)期間將 RBL 電壓保持在 VDD 附近，并允許將多個(gè)低 Vth 單元連接到單個(gè) RBL。

如圖 2.(c) 所示，C-S/A 由一個(gè)交叉耦合 PMOS 鎖存器 (P1) 和一個(gè)偽 PMOS 二極管 (P2) 組成，偽 PMOS 二極管由負(fù)電源 VBB 驅(qū)動(dòng)，而 VBB 在芯片上很容易獲得，可用于欠驅(qū)動(dòng) WWL。負(fù) WWL 是 PMOS 器件向單元寫入比特-1 而不產(chǎn)生閾值電壓損耗的必要條件。兩個(gè) PMOS 對(duì)（P1 和 P2）都在飽和模式下工作，從而提高了匹配度。不過，這種 C-S/A 設(shè)計(jì)僅用于讀取 2T eDRAM 單元中的存儲(chǔ)位，因?yàn)槲?0 仍需要定期回寫以避免位翻轉(zhuǎn)。

因此，寫操作需要一個(gè)額外的寫電路，由于 2T eDRAM 單元尺寸小，讀/寫電路需要大量的開銷，因此導(dǎo)致效率低下。在這種 2T eDRAM 中。傳統(tǒng)的 2T eDRAM 只能利用 2T eDRAM 的非對(duì)稱特性，通過 C-S/A 在較小的電壓擺幅下進(jìn)行感應(yīng)，而我們的方法則不同，它通過電壓感應(yīng)擴(kuò)展了讀取過程。在我們的方案中，存儲(chǔ)電荷的電壓裕量更大，位 0 為 0 至 0.8V，位 1 為 0.8 至 1.0V。更深入的討論見第 III-B 節(jié)。

2

DNN 表示中的二乘補(bǔ)法和一增強(qiáng)法

在深度神經(jīng)網(wǎng)絡(luò)（DNN）中，數(shù)據(jù)表示法的選擇對(duì)精度、計(jì)算復(fù)雜性和功耗有很大影響。二進(jìn)制表示法是 DNN 中符號(hào)整數(shù)值的常用格式，因?yàn)樗喕怂阈g(shù)運(yùn)算，尤其是乘法和加法運(yùn)算。這種格式將負(fù)數(shù)表示為相應(yīng)正數(shù)二進(jìn)制表示的二進(jìn)制補(bǔ)碼，從而簡化了硬件實(shí)現(xiàn)，降低了電路復(fù)雜度。

目前，INT8 被認(rèn)為是 DNN 推理的最佳表示形式，能保持精確的結(jié)果。8 位二進(jìn)制量化技術(shù)已被廣泛采用，并優(yōu)于其他量化技術(shù)。在這項(xiàng)工作中，我們選擇 8 位二進(jìn)制作為設(shè)計(jì)片上緩沖器的基準(zhǔn)。

如圖 3.(a)所示，第一位（即有符號(hào)位：signed bit）決定數(shù)字是正數(shù)還是負(fù)數(shù)。正如 ZEM 所指出的，DNN 數(shù)據(jù)的范圍通常很窄（例如 [-50，50]）。接近零的負(fù)值具有 1 主導(dǎo)位，而相應(yīng)的正數(shù)則表現(xiàn)為 0 主導(dǎo)位。轉(zhuǎn)換 0 主位時(shí)，需要根據(jù)帶符號(hào)位翻轉(zhuǎn)所有數(shù)據(jù)位。如圖 3.(b) 所示，構(gòu)建編碼器只需要一個(gè) INV 和七個(gè) XOR 門，就能將原始數(shù)據(jù)轉(zhuǎn)換為 1 主位數(shù)據(jù)。單增強(qiáng)編碼器將 DNN 數(shù)據(jù)編碼為 1 主位數(shù)據(jù)。解碼器根據(jù)簽名比特翻轉(zhuǎn)編碼數(shù)據(jù)，從而重建原始數(shù)據(jù)。

與 ZEM 不同的是，我們的工作旨在創(chuàng)建 1 主導(dǎo)數(shù)據(jù)，以減少混合單元存儲(chǔ)器設(shè)計(jì)在存儲(chǔ) DNN 數(shù)據(jù)時(shí)的刷新和靜態(tài)能耗。在本文中，存儲(chǔ)在片上存儲(chǔ)器中的 DNN 數(shù)據(jù)在計(jì)算前要經(jīng)過編碼和解碼。

3

設(shè)計(jì)挑戰(zhàn)和要求概述

我們?cè)诳紤]單增強(qiáng)編碼器/解碼器的要求時(shí)，有符號(hào)位充當(dāng)控制位，決定何時(shí)執(zhí)行編碼或解碼操作。保護(hù)簽名位不受錯(cuò)誤影響至關(guān)重要。在本文中，我們利用 2T eDRAM 來提高面積和能效。然而，由于單元電壓損耗加快，2T eDRAM 需要更頻繁的刷新操作。為了確保簽名位的安全，我們將其分配到 6T SRAM，并將其余位映射到 2T eDRAM。因此，在設(shè)計(jì)混合 SRAM 和 eDRAM 單元時(shí)，我們需要應(yīng)對(duì)以下挑戰(zhàn)：

兼容性：確保在單一存儲(chǔ)器架構(gòu)中無縫集成 SRAM 和 eDRAM 單元，并保持與現(xiàn)有制造工藝的兼容性。

密度和面積效率：在不犧牲性能或增加芯片復(fù)雜性的情況下，實(shí)現(xiàn)高存儲(chǔ)器密度和面積效率。

保持時(shí)間和刷新率：解決 eDRAM 單元固有的保持時(shí)間限制，優(yōu)化刷新率，在不影響數(shù)據(jù)完整性的前提下最大限度地降低功耗。

可擴(kuò)展性：開發(fā)可輕松擴(kuò)展的存儲(chǔ)器架構(gòu)，以適應(yīng)從邊緣設(shè)備到數(shù)據(jù)中心的各種人工智能應(yīng)用對(duì)存儲(chǔ)器容量和性能的不同要求。

可靠性：保證混合內(nèi)存設(shè)計(jì)在不同運(yùn)行條件下的穩(wěn)健性和可靠性，尤其是在涉及頻繁讀寫操作的人工智能工作負(fù)載中。

在本文中，我們將解決上述問題，并介紹適合人工智能應(yīng)用的高效片上存儲(chǔ)器設(shè)計(jì)。更多詳情將在后續(xù)章節(jié)中介紹。

我們的MCAIMEM

本節(jié)將介紹 MCAIMem，這是我們專為人工智能芯片開發(fā)的創(chuàng)新型片上混合單元存儲(chǔ)器設(shè)計(jì)。如圖 4 所示，MCAIMem 由三個(gè)關(guān)鍵部分組成：

混合 SRAM/eDRAM 單元存儲(chǔ)器，包括映射方案和電路相關(guān)設(shè)計(jì)；

一個(gè)增強(qiáng)編碼器/解碼器；

負(fù)責(zé)延長刷新操作時(shí)間的參考電壓控制器。

片上 MCAIMem 是人工智能加速器的緩沖器，用于存儲(chǔ)計(jì)算過程中的權(quán)重和激活。從片外 DRAM 傳輸過來的數(shù)據(jù)保留在 MCAIMem 中，隨后由 DNN 處理引擎使用，該引擎可以是傳統(tǒng)的 CPU/GPU，也可以是合成陣列或內(nèi)存計(jì)算（CIM）架構(gòu)。

入站/出站（Inbound/outbound）數(shù)據(jù)必須通過一個(gè)增強(qiáng)編碼器模塊進(jìn)行編碼/解碼，這將在第 III-A1 節(jié)中討論。編碼后的數(shù)據(jù)將保存在我們的混合單元存儲(chǔ)器設(shè)計(jì)中，這是 6T SRAM 和 2T eDRAM 的組合，旨在最大限度地減少片上存儲(chǔ)器的面積占用。有關(guān)混合單元存儲(chǔ)器設(shè)計(jì)的更多細(xì)節(jié)將在第 III-B 節(jié)中介紹。由于包含 2T eDRAM，因此需要進(jìn)行定期刷新操作。刷新控制器將在第 III-C 節(jié)中討論。

1

一次增強(qiáng)編碼器/解碼器和數(shù)據(jù)映射

1) 一次增強(qiáng)編碼器/解碼器模塊：要在片上 MCAIMem 中存儲(chǔ)數(shù)據(jù)，首先需要使用一次性增強(qiáng)編碼器/解碼器模塊對(duì)數(shù)據(jù)進(jìn)行編碼。在 45 納米技術(shù)節(jié)點(diǎn)上進(jìn)行合成后，我們對(duì)一次增強(qiáng)編碼/解碼模塊進(jìn)行了實(shí)驗(yàn)評(píng)估。經(jīng)測(cè)量，該模塊的功耗為 1.35×10-2mW，僅占內(nèi)存總功耗的 0.007%，因此其影響可以忽略不計(jì)。在面積方面，該模塊僅占 35.2um2 的面積，與 108KB 的內(nèi)存大小相比，僅占 0.004%。這些指標(biāo)表明，該模塊對(duì)功耗和空間需求的影響微乎其微，尤其是與大量的存儲(chǔ)單元相比。此外，與編碼器/解碼器相關(guān)的延遲僅為 0.23ns。即使時(shí)鐘周期為 1ns（對(duì)應(yīng)于 1GHz 的時(shí)鐘頻率），也有 0.67ns 的寬裕延遲，可確保不會(huì)出現(xiàn)違反時(shí)序的情況。因此，編碼器/解碼器的延遲不會(huì)對(duì)系統(tǒng)的整體性能構(gòu)成威脅。

如第 II-B 節(jié)所述，輸入數(shù)據(jù)在存儲(chǔ)到我們的混合單元存儲(chǔ)器之前，會(huì)根據(jù)其符號(hào)位進(jìn)行翻轉(zhuǎn)。通過將原始比特?cái)?shù)據(jù)增強(qiáng)為通常為 1 位的值，可以降低存儲(chǔ)器的總體能耗，因?yàn)閱卧?jīng)過優(yōu)化，可以更高效地存儲(chǔ)和訪問 1 位數(shù)據(jù)?？梢岳枚M(jìn)制表示法中的帶符號(hào)位來進(jìn)行這種增強(qiáng)，因?yàn)楦鶕?jù)數(shù)字的符號(hào)，帶符號(hào)位要么是 0，要么是 1。編碼器對(duì)輸入數(shù)據(jù)進(jìn)行修改，使其出現(xiàn)更多的 1 位，而解碼器則逆轉(zhuǎn)這一過程以恢復(fù)原始數(shù)據(jù)。例如，剪枝會(huì)導(dǎo)致 20-80% 的數(shù)據(jù)為 0 。由于大部分?jǐn)?shù)據(jù)接近于 0，因此在不犧牲數(shù)據(jù)完整性或準(zhǔn)確性的情況下，增強(qiáng)表示以產(chǎn)生更多比特-1 值，可以提高內(nèi)存系統(tǒng)的能效。

如圖 5 所示，第 6 位、第 5 位和第 4 位大多轉(zhuǎn)換為位-1，因此將它們映射到 2T eDRAM 單元的效率很高。第 0 位、第 1 位、第 2 位和第 3 位繼續(xù)保持相當(dāng)數(shù)量的位-0。使用 2T eDRAM 存儲(chǔ)這些比特時(shí)，可能會(huì)出現(xiàn)保留錯(cuò)誤。不過，由于 2T eDRAM 的非對(duì)稱性質(zhì)，只有從 0 到 1 的翻轉(zhuǎn)錯(cuò)誤才被視為保留錯(cuò)誤。這些錯(cuò)誤可能會(huì)影響 DNN 應(yīng)用的輸出。為確保這些錯(cuò)誤不會(huì)對(duì) DNN 應(yīng)用結(jié)果產(chǎn)生不利影響，我們將在第 IV-A 節(jié)評(píng)估其影響。

2) 混合單元映射方案：如第 II-A 節(jié)所述，使用 2T eDRAM 可能會(huì)因保留時(shí)間短而導(dǎo)致錯(cuò)誤?；趩卧鰪?qiáng)編碼器/解碼器，控制位至關(guān)重要，因?yàn)榭刂莆怀鲥e(cuò)會(huì)導(dǎo)致其余所有位出錯(cuò)。因此，在 2T eDRAM 中存儲(chǔ) DNN 數(shù)據(jù)時(shí)，我們需要確?？刂莆皇艿搅己帽Ｗo(hù)，同時(shí)允許其余位近似。建議的位映射如下：

將控制位映射到 6T SRAM，

將 7 個(gè)最小有效位 (LSB) 映射到 2T eDRAM。

如圖 6 所示，一個(gè) 6T SRAM 單元分配給帶符號(hào)/控制位，而下面的 7 個(gè)位則映射到 2T eDRAM 單元。輸入的 DNN 數(shù)據(jù)首先由單增強(qiáng)編碼器編碼，然后存儲(chǔ)在混合單元陣列中。簽名位/控制位安全地存儲(chǔ)在 6T SRAM 中，而其余位則根據(jù)簽名位翻轉(zhuǎn)并存儲(chǔ)在 2T eDRAM 中，如圖 6 所示。

這種存儲(chǔ)器映射方法確保了 6T SRAM 中簽名/控制位的安全性，同時(shí)要求對(duì)其余位進(jìn)行定期刷新操作，以防止數(shù)據(jù)翻轉(zhuǎn) ping。這一機(jī)制對(duì)于保持比特-1 在大多數(shù) DNN 數(shù)據(jù)（約 80%）中的主導(dǎo)地位至關(guān)重要。由于 2T eDRAM 的特性，存儲(chǔ)比特-1 比存儲(chǔ)比特-0 消耗更少的能量。因此，通過將單增強(qiáng)編碼器與非對(duì)稱 2T eDRAM 結(jié)合使用，可以實(shí)現(xiàn)靜態(tài)節(jié)能。

2

混合單元（mixed-cell）存儲(chǔ)器設(shè)計(jì)

如映射方法所述，我們的混合單元存儲(chǔ)器設(shè)計(jì)由一個(gè) 6T SRAM 單元和七個(gè) 2T eDRAM 單元組成。為了集成這些單元，我們需要修改 6T SRAM 和 2T eDRAM 的電路設(shè)計(jì)。在這項(xiàng)工作中，我們建議對(duì) 2T eDRAM 進(jìn)行修改，并對(duì) 6T SRAM 稍作改動(dòng)。此外，我們還提出了一種可同時(shí)用于 6T SRAM 和 2T eDRAM 的電壓檢測(cè)放大器。這些調(diào)整的細(xì)節(jié)將在下面的小節(jié)中討論。

1) 增強(qiáng)非對(duì)稱 2T eDRAM 單元的保持時(shí)間：在結(jié)合 6T SRAM 和 2T eDRAM 的設(shè)計(jì)時(shí)，我們遇到了間距通道不匹配的挑戰(zhàn)，并且需要同時(shí)適用于 6T SRAM 和 2T eDRAM 的混合感應(yīng)放大器。這是因?yàn)榕c 6T SRAM 相比，2T eDRAM 的尺寸要小得多。為了解決間距通道問題，我們調(diào)整了 2T eDRAM 存儲(chǔ)晶體管的尺寸。如圖 7.(c) 所示，在設(shè)計(jì) 6T SRAM 和 2T eDRAM 的單元布局時(shí)，可能會(huì)出現(xiàn)間距通道不匹配的情況。與 SRAM 單元相比，2T eDRAM 單元僅占 60% 的面積。因此，我們可以將 2T eDRAM 的寬度增加到 4 倍，以便與 6T SRAM 單元的設(shè)計(jì)保持一致。

如第 II-A 節(jié)所述，2T eDRAM 由兩個(gè)主要部分組成：存取晶體管和存儲(chǔ)節(jié)點(diǎn)。如圖 7（a）所示，存儲(chǔ)節(jié)點(diǎn)中的柵極電容（Cg）存儲(chǔ)代表比特-1 或比特-0 的電荷電壓。NMOS 柵極的容量定義為 Cg ∝ W LCox。通過增加 NMOS 柵極的寬度，我們不僅提高了存儲(chǔ)節(jié)點(diǎn)的容量，還改善了 2T eDRA 的保持時(shí)間。圖 7.(b) 展示了使用 CMOS 45 納米技術(shù)設(shè)計(jì)的 eDRAM 的 SPICE 仿真；當(dāng)存儲(chǔ)位 0 時(shí)，保持時(shí)間顯著延長。例如，當(dāng)存儲(chǔ)節(jié)點(diǎn)寬度增加 4 倍時(shí)，電荷從 0.18V 變?yōu)?0.8V 所需的時(shí)間增加了一倍。

此外，增加存儲(chǔ)節(jié)點(diǎn)的容量還能帶來額外的好處。它使 2T eDRAM 更能抵御讀取干擾效應(yīng)。這樣，我們就可以移除 2T eDRAM 中的 RWL 和 RBL，將它們直接連接到 VDD?，F(xiàn)在，NMOS 晶體管只起到存儲(chǔ)電容器的作用。來自存儲(chǔ)節(jié)點(diǎn) VDD 的柵極漏電以及寫入晶體管的柵極漏電和結(jié)漏電將存儲(chǔ)節(jié)點(diǎn)的電荷補(bǔ)充到位 1。因此，2T eDRAM 的非對(duì)稱特性保持不變。

通過這種設(shè)計(jì)，我們預(yù)計(jì)位 1 的存儲(chǔ)無需保留時(shí)間，而位 0 則需要定期刷新操作來保持其放電狀態(tài)。因此，我們可以將存儲(chǔ)節(jié)點(diǎn)的漏極和源極直接連接到 VDD，如圖 7.(a) 所示。在本研究中，我們利用上拉漏電流來維持 "1 "位并存儲(chǔ) "0 "位，因此無需改變低電壓閾值 (LVT) 器件通常需要的摻雜和柵極氧化物厚度。這種方法使此類修改變得沒有必要。

2) 混合存儲(chǔ)單元中 SRAM 單元設(shè)計(jì)的調(diào)整：我們對(duì) 2T eDRAM 的存儲(chǔ)節(jié)點(diǎn)進(jìn)行了重大修改，但保留了傳統(tǒng) 2T eDRAM 設(shè)計(jì)中的 PMOS 接入晶體管。做出這一決定是為了確保只有第 0 位發(fā)生變化，而第 1 位保持不變。為了盡量減少 PMOS 的閾下漏電，并確保下拉漏電路徑始終低于上拉漏電路徑，我們采用了 VDD+0.4V 電壓。不過，使用 PMOS 晶體管作為存取晶體管可能與 6T SRAM 中存取晶體管的設(shè)計(jì)相沖突。

為解決這一問題，我們對(duì) SRAM 單元設(shè)計(jì)進(jìn)行了細(xì)微修改，如圖 8.(a) 所示，將 SRAM 中的訪問晶體管也改為 PMOS。通過調(diào)整兩個(gè)存儲(chǔ)單元中的訪問晶體管類型，我們促進(jìn)了 6T SRAM 和 2T eDRAM 設(shè)計(jì)的整合，同時(shí)保持了所需的功能和性能。

通過修改 6T SRAM 位單元中的存取晶體管（參見圖 9.a），我們發(fā)現(xiàn)使用 pMOS 存取晶體管（紅線）時(shí)，讀取靜態(tài)噪聲裕度 (SNM) 為 100mV，而使用 nMOS 晶體管（黑線）時(shí)為 90mV。不過，pMOS 晶體管的寫入能力較低。隨著節(jié)點(diǎn) QB 放電和 Vgs 下降，當(dāng) QB 降到閾值電壓以下時(shí)，晶體管會(huì)減弱并關(guān)閉，從而導(dǎo)致 FS 角的寫入裕量受限為 30mV（綠線）。如圖 9.b 所示，在字線 (WL) 上施加 -0.1V 電壓時(shí)，pMOS 存取晶體管的寫入良率會(huì)增加，達(dá)到 nMOS 晶體管的寫入良率。

3) 用于 SRAM 和 2T eDRAM 的電壓檢測(cè)放大器電路（Voltage sense amplifier circuit）：如第 II-A 節(jié)所述，2T eDRAM 取消了讀寫路徑，這意味著讀寫操作需要單獨(dú)的電路。此外，2T eDRAM 的保留時(shí)間較短，需要定期刷新操作來維護(hù)數(shù)據(jù)。設(shè)計(jì)混合單元的主要挑戰(zhàn)之一是提供同時(shí)滿足 6T SRAM 和 2T eDRAM 的混合感應(yīng)放大器。

在 2T eDRAM 中，需要一個(gè)電流檢測(cè)放大器來檢測(cè)讀取路徑中的微小增益，而不會(huì)干擾存儲(chǔ)節(jié)點(diǎn)中的數(shù)據(jù)。但是，刷新操作要求將讀取的數(shù)據(jù)寫回存儲(chǔ)節(jié)點(diǎn)，從而導(dǎo)致大量的外圍電路開銷。如第 III-B1 節(jié)所述，通過將 2T eDRAM 的寬度尺寸增加 4 倍，該設(shè)計(jì)可以抵御讀取干擾。因此，我們建議為 6T SRAM 和 2T eDRAM 安裝一個(gè)電壓檢測(cè)放大器，如圖 8(c)所示。這使得 2T eDRAM 和 6T SRAM 的讀寫操作完全相同。6T SRAM 和 2T eDRAM 連接到電壓檢測(cè)放大器時(shí)的主要區(qū)別在于，6T SRAM 的 BL 和 BLB 都是連接的。相反，對(duì)于 2T eDRAM，只有一個(gè) BL 連接到感應(yīng)放大器，而感應(yīng)放大器的 BLB 連接到參考電壓 (VREF)，如圖 8(b)所示。

這不僅簡化了讀寫操作，而且使用電壓檢測(cè)放大器還能在讀取操作過程中將數(shù)據(jù)寫回 2T eDRAM 存儲(chǔ)節(jié)點(diǎn)。這就簡化了刷新過程，因?yàn)橹恍枰淮巫x操作就能完成刷新，而不是標(biāo)準(zhǔn) 2T eDRAM 設(shè)計(jì)中傳統(tǒng)的一連串讀和寫操作。

4) 電壓檢測(cè)放大器的讀寫操作：圖 10.(a) 展示了使用電壓檢測(cè)放大器 (VSA) 的寫操作。寫入過程首先是向位線輸出端 (BLO1) 施加電壓，然后通過使能信號(hào) (EN) 啟用電壓檢測(cè)放大器。這一操作會(huì)導(dǎo)致位線充電或放電。當(dāng)字線 (WL) 被激活時(shí)，位線電壓會(huì)改變 6T SRAM 或 2T eDRAM 中的數(shù)據(jù)。對(duì)于 SRAM，6T SRAM 中的 PMOS 存取晶體管必須弱于存儲(chǔ)節(jié)點(diǎn)，寫入操作才能成功。對(duì)于 2T eDRAM，存儲(chǔ)節(jié)點(diǎn)的充放電過程與 SRAM 類似。

圖 10.(b) 顯示了 VSA 的讀操作。為初始化讀取操作的感測(cè)放大器，啟用了預(yù)充電，將 BLO1 和 BLO2 充至 1。對(duì)于 2T eDRAM，可將參考電壓施加到位線柵 (BLB)。該參考電壓 (VREF ) 用于比較存儲(chǔ)節(jié)點(diǎn)的電壓，并確定 BLO1 的數(shù)據(jù)輸出。一旦感測(cè)放大器中的 WL 和 EN 啟用，存儲(chǔ)節(jié)點(diǎn)將對(duì)位線進(jìn)行充電或放電。如果位線（BL）電壓大于檢測(cè)放大器內(nèi)的 VREF，BLO1 將被設(shè)置為 1；如果 BL 電壓小于 VREF，BLO1 將被設(shè)置為 0。因此，必須禁用感測(cè)放大器中的 WB，以便為 2T eDRAM 中的存儲(chǔ)節(jié)點(diǎn)充電。對(duì)于 6T SRAM，VSA 的 BLB 連接到 SRAM 單元的 BLB。

基準(zhǔn)電壓和刷新控制器

如圖 10(b)所示，我們改進(jìn)的 2T eDRAM 的讀操作允許停用回寫（WB：write-back）信號(hào)。由于位線電壓的存在，存儲(chǔ)節(jié)點(diǎn)可以充電或再充電，因此 MCAIMem 的刷新操作與執(zhí)行讀操作一樣簡單。

我們的混合單元存儲(chǔ)器設(shè)計(jì)采用了 2T eDRAM，它需要周期性刷新操作。我們選擇了 [3] 中所述的標(biāo)準(zhǔn)定期刷新方法，也稱為全局刷新操作。在這種方法中，必須在 12.57us 內(nèi)對(duì) MCAIMem 的每一行執(zhí)行刷新操作。詳細(xì)地說，普通刷新周期間隔是用刷新時(shí)間除以行數(shù)計(jì)算得出的。由于采用了單增強(qiáng)編碼器，用于存儲(chǔ) DNN 數(shù)據(jù)的靜態(tài)功耗大大降低，但 bit-0 仍需要頻繁刷新操作，以確保 DNN 數(shù)據(jù)的安全。該模塊負(fù)責(zé)確定 2T eDRAM 檢測(cè)放大器的參考電壓，這有助于延長刷新周期，降低 DNN 數(shù)據(jù)中 0 位的動(dòng)態(tài)刷新能量。參考電壓的決定及其詳細(xì)討論見第 IV-B 節(jié)。

減輕 MCAIMEM下的DNN精度損失

在本節(jié)中，我們將探討 MCAIMem 對(duì) DNN 應(yīng)用結(jié)果的影響。首先，我們將研究保留誤差對(duì) DNN 性能的影響。其次，我們將討論為人工智能芯片上的節(jié)能 DNN 應(yīng)用延長刷新周期的方法。

1

保留誤差對(duì)人工智能芯片結(jié)果的影響

DNN 以其魯棒性而著稱，其誤差通常較小，且僅發(fā)生在 LSB 中。在 MCAIMem 中，我們的內(nèi)存配置由一個(gè) SRAM 和七個(gè) 2T eDRAM 混合組成。在混合單元存儲(chǔ)器設(shè)計(jì)中，潛在錯(cuò)誤主要來自 2T eDRAM 的保持錯(cuò)誤，因此有必要探討其對(duì) DNN 應(yīng)用的影響。如圖 12(b)所示，在 12.57μs 之前，2T eDRAM 在不到 1%的情況下會(huì)發(fā)生位-0 到位-1 的翻轉(zhuǎn)，而在 13μs 之后，超過 25%的情況下會(huì)發(fā)生位-0 到位-1 的翻轉(zhuǎn)，沒有觀察到位-1 的錯(cuò)誤。因此，我們采用了錯(cuò)誤注入方法來評(píng)估翻轉(zhuǎn)錯(cuò)誤率，并確定其對(duì) DNN 應(yīng)用準(zhǔn)確性的影響，進(jìn)而影響 MCAIMem 的刷新周期。

值得注意的是，在本研究中，保留時(shí)間問題僅限于 2T eDRAM，不影響 SRAM。因此，我們故意在每次計(jì)算之前，將誤差注入 DNN 數(shù)據(jù)的權(quán)重和激活中，使誤差產(chǎn)生累積效應(yīng)。我們?cè)O(shè)計(jì)了兩種方法：首先，我們將誤差注入 DNN（不包括單增強(qiáng)編碼器/解碼器），在這種情況下，只有 0 位會(huì)按照預(yù)定的誤差率翻轉(zhuǎn)?；蛘?，在應(yīng)用一次增強(qiáng)編碼器后、解碼數(shù)據(jù)前，向第 0 位注入錯(cuò)誤，翻轉(zhuǎn)錯(cuò)誤率從 1%到 25%不等。

我們利用 MNIST、CIFAR10、CIFAR100 和 ImageNet 等數(shù)據(jù)集，對(duì) LeNet、VGG11、VGG16、AlexNet 和 ResNet50 等多個(gè) CNN 進(jìn)行了模擬。在語言建模方面，我們使用了 I-BERT（BERT 的整數(shù)版本）和 GLUE 數(shù)據(jù)集 。在生成建模方面，我們使用了 CycleGAN 的量化版本和 horse2zebra 數(shù)據(jù)集。這種綜合評(píng)估可以揭示不同的保留誤差水平對(duì) DNN 準(zhǔn)確性的影響程度以及 One-enhancement 方法的有效性。對(duì)于指定的每個(gè)誤差率，可以比較使用 MCAIMem 和不使用 One 增強(qiáng)編碼時(shí) DNN 的準(zhǔn)確性。

值得注意的是，就 GAN 而言，輸出的準(zhǔn)確性無法直接測(cè)量。因此，我們依靠平均相對(duì)誤差來量化我們的 GAN 與原始模型之間的差異。這種比較有助于評(píng)估 "一個(gè)增強(qiáng) "技術(shù)在多大程度上減少了保留誤差對(duì) DNN 精度的影響。

圖 11 顯示，如果不應(yīng)用 "一個(gè)增強(qiáng) "編碼器/解碼器，各種網(wǎng)絡(luò)的 DNN 精度都會(huì)驟降為零。造成精度下降的原因是，SRAM 中只有簽名位受到保護(hù)，而其他主位仍然容易受到保留誤差的影響。然而，在實(shí)施單增強(qiáng)編碼器/解碼器后，絕大多數(shù) MSB 位都變成了 1 位，不易發(fā)生翻轉(zhuǎn)，而少量保留 0 位的 LSB 位可能會(huì)遇到保留錯(cuò)誤。因此，AlexNet/ResNet50 上的 ImageNet、I-BERT 上的 GLUE 和 CycleGAN 上的 horse2zebra 可以容忍高達(dá) 1% 的注入誤差。此外，MNIST 和 CIFAR10/100 數(shù)據(jù)集的抗錯(cuò)能力更強(qiáng)，可容許高達(dá) 25% 的保留誤差。當(dāng)采用一次增強(qiáng)技術(shù)時(shí)，MSB 中的顯著位錯(cuò)誤會(huì)被引入權(quán)值和激活值，這明顯降低了推理任務(wù)的準(zhǔn)確性。不過，事實(shí)證明這種方法有利于延長 eDRAM 的保留時(shí)間。雖然會(huì)引入位錯(cuò)誤，但這些錯(cuò)誤主要影響 LSB，因此不會(huì)明顯影響推理過程的準(zhǔn)確性。

在 DNN 應(yīng)用中，結(jié)果是決定人工智能性能的關(guān)鍵。與硬件性能和能耗相比，保持 DNN 輸出的準(zhǔn)確性是一個(gè)更重要的因素。因此，我們的 MCAIMem 應(yīng)符合這些要求，并在混合單元設(shè)計(jì)中考慮最多 1% 的最大保留誤差。

2

利用自適應(yīng) VREF 延長刷新周期

在第 II-A 節(jié)中，我們解釋了隨著時(shí)間的推移，比特-0 趨向于翻轉(zhuǎn)為比特-1，只有比特-0 會(huì)出現(xiàn)保留誤差。為了使用單增強(qiáng)編碼器保持 DNN 輸出的準(zhǔn)確性，允許的最大保持誤差為 1%。因此，我們需要根據(jù)比特-0 的保持時(shí)間建立誤差模型，從而確定一個(gè)能保持 DNN 輸出精度的刷新時(shí)間。

在 2T eDRAM 中，泄漏電流會(huì)導(dǎo)致比特-0 在特定持續(xù)時(shí)間后傾向于翻轉(zhuǎn)到比特-1。根據(jù) 2T eDRAM 的訪問時(shí)間，這將導(dǎo)致位 0 讀數(shù)的變化。為了計(jì)算 0 到 1 的翻轉(zhuǎn)概率，我們執(zhí)行了蒙特卡羅模擬，生成了大量存儲(chǔ) bit-0 的 2T eDRAM 的變化樣本。然后，考慮到訪問時(shí)間和特定參考電壓 (VREF)，我們計(jì)算與 2T eDRAM 樣本總數(shù)相關(guān)的翻轉(zhuǎn)比特?cái)?shù)，如圖 12(a)所示。這一錯(cuò)誤翻轉(zhuǎn)模型有助于確定最佳 VREF，從而在 MCAIMem 中實(shí)現(xiàn)穩(wěn)健性、保持時(shí)間和能效之間的平衡。

我們?cè)?85℃ 的溫度下進(jìn)行了 100,000 次蒙特卡羅模擬，這反映了典型的臺(tái)式機(jī)和服務(wù)器工作環(huán)境，溫度范圍在 25-85℃ 之間 [24]。這包括評(píng)估存儲(chǔ)節(jié)點(diǎn)中的數(shù)據(jù)移動(dòng)，并在 0 到 20 微秒之間改變?cè)L問時(shí)間，同時(shí)讀取數(shù)據(jù)。圖 12.(b) 顯示，當(dāng) VREF 為 0.5 時(shí)，1% 的翻轉(zhuǎn)概率在 1.3 微秒時(shí)啟動(dòng)。相反，當(dāng) VREF 為 0.8 時(shí)，1% 的翻轉(zhuǎn)概率在 12.57 微秒時(shí)開始。從圖中可以看出，翻轉(zhuǎn)概率斜率很陡，這意味著根據(jù)特定的 VREF 來延長刷新周期所能降低的刷新功耗微乎其微。不過，調(diào)整 VREF 可以延長所需的刷新周期。因此，我們選擇 0.8V 的 VREF 來最大限度地延長比特-0 的刷新周期，并最大限度地減少混合單元存儲(chǔ)器中的動(dòng)態(tài)刷新操作。

評(píng)估

我們的研究主要涉及用于服務(wù)器和臺(tái)式機(jī)應(yīng)用的人工智能芯片，工作溫度范圍為 25 攝氏度至 85 攝氏度。我們特別沒有考慮電壓變化，而是通過蒙特卡洛仿真集中研究工藝變化。在本節(jié)中，我們將討論分為兩個(gè)主要部分。首先是電路仿真，然后是系統(tǒng)仿真。后者特別探討了由我們提出的 MCAImem 設(shè)計(jì)驅(qū)動(dòng)的 DNN 應(yīng)用。

1

電路評(píng)估

在電路評(píng)估中，我們使用 CMOS 45nm 技術(shù)創(chuàng)建了 1MB 6T SRAM、2T eDRAM 和混合單元存儲(chǔ)器的布局。我們根據(jù)布局尺寸計(jì)算這些嵌入式 RAM 的芯片面積，并進(jìn)行比較。此外，我們還提取了這些存儲(chǔ)器的 SPICE 模型，并進(jìn)行了后仿真，以分析每種存儲(chǔ)器類型的靜態(tài)功耗、讀取和寫入操作。表 II. 總結(jié)了特性分析結(jié)果。

如圖 13 所示，與單獨(dú)的 SRAM 存儲(chǔ)器相比，SRAM 和 eDRAM 混合設(shè)計(jì)的面積縮小了 48%。在電路仿真過程中，2T eDRAM 的非對(duì)稱特性會(huì)影響存儲(chǔ)數(shù)據(jù)值的靜態(tài)功耗和訪問功耗。當(dāng)所有位數(shù)據(jù)都為 1 時(shí)，eDRAM 的功耗較低，因?yàn)楫?dāng)存儲(chǔ)節(jié)點(diǎn)位于 VDD 時(shí)，漏電流大大降低。從 VDD 到存儲(chǔ)節(jié)點(diǎn)的柵極漏電極小，現(xiàn)在的主要漏電是 PMOS 的次閾值電流。由于我們對(duì) PMOS 存取晶體管的柵極施加了 0.4V 的三角電壓，因此該電流很小。如果所有比特?cái)?shù)據(jù)都為 0，則來自 VDD 的較高柵極漏電流會(huì)試圖將存儲(chǔ)節(jié)點(diǎn)充電到比特-1。因此，單增強(qiáng)技術(shù)增加了位-1 的位數(shù)，這對(duì)降低 2T eDRAM 的靜態(tài)功耗至關(guān)重要。

與 2T eDRAM 相比，我們的混合單元存儲(chǔ)器包括一個(gè) 6T SRAM 和七個(gè) 2T eDRAM。靜態(tài)功耗來自 SRAM 和 eDRAM，但與單獨(dú)的 SRAM 相比，可降低 3-6 倍。在讀寫操作方面，6T SRAM 大部分是平衡的，而 2T eDRAM 仍然顯示出不對(duì)稱的特性。讀取位-1 時(shí)，初始 BL 為 VDD，因此感應(yīng)放大器沒有變化，從而實(shí)現(xiàn)了低能耗。相反，當(dāng)讀取位-0 時(shí)，存儲(chǔ)節(jié)點(diǎn)必須重新充電至 0，來自存儲(chǔ)節(jié)點(diǎn)的電流是造成能耗的主要因素。

2

系統(tǒng)評(píng)估

本評(píng)估旨在通過模擬 LeNet、VGG11、VGG16、AlexNet 和 ResNet-50 等不同 CNN 網(wǎng)絡(luò)，以及 MNIST、CIFAR10/100 和 ImageNet 等數(shù)據(jù)集，確定 MCAImem 對(duì) DNN 應(yīng)用的影響。此外，我們還對(duì)語言網(wǎng)絡(luò) I-BERT 和生成網(wǎng)絡(luò) CycleGAN 進(jìn)行了模擬。考慮到 Eyeriss 和 Google TPUv1 的配置，我們修改了 SCALE-Sim ，以估算每個(gè)內(nèi)存設(shè)備的靜態(tài)和動(dòng)態(tài)能耗。為了使我們的功耗模型適應(yīng)各種設(shè)備配置，我們根據(jù)它們的內(nèi)存要求進(jìn)行了調(diào)整。具體來說，對(duì)于需要 108KB SRAM 的 Eyeriss，我們修改了嵌入式 RAM 功率模型，將其減少到原來 1MB 內(nèi)存設(shè)備配置的十分之一。

相反，對(duì)于需要 8MB 的 Google TPUv1，我們將嵌入式 RAM 功率模型提高了 8 倍。關(guān)于 RRAM 模型，我們采用了 [34] 中的模型，假設(shè)權(quán)重和激活都利用 RRAM 作為片上緩沖區(qū)。這反映了與 Eyeriss 和 TPUv1 配置相關(guān)的內(nèi)存大小調(diào)整。此外，考慮到 RRAM 的非易失性內(nèi)存可以在不丟失數(shù)據(jù)的情況下切換開關(guān)，我們沒有將靜態(tài)功耗歸因于 RRAM，而只考慮了每字節(jié)的讀寫能耗。

在這項(xiàng)以仿真為中心的研究中，我們提取了每種設(shè)備配置的計(jì)算時(shí)間，并假定其時(shí)鐘頻率為 100 MHz。在確定每種存儲(chǔ)器類型的計(jì)算時(shí)間后，我們應(yīng)用各自的功率模型計(jì)算最終的靜態(tài)和動(dòng)態(tài)能量。我們采用 6T SRAM 和傳統(tǒng) 2T eDRAM（不含一個(gè)增強(qiáng)編碼器/解碼器）作為基準(zhǔn)比較。我們的評(píng)估嚴(yán)格按照片上緩沖性能進(jìn)行，有意忽略了與 MAC 操作相關(guān)的能耗。我們選擇的時(shí)鐘頻率為 100MHz，與人工智能加速器中觀察到的最慢運(yùn)行時(shí)鐘頻率一致--以 100MHz 的 Eyeriss 和 700MHz 的 TPUv1 為例。所選的時(shí)鐘頻率不僅決定了跨層訪問和保持內(nèi)存的時(shí)間，而且由于我們使用的是 eDRAM，必須進(jìn)行刷新操作以保護(hù)數(shù)據(jù)，因此這一時(shí)鐘頻率也是必不可少的。因此，時(shí)鐘頻率對(duì)于估算人工智能加速器計(jì)算過程中所需的刷新操作次數(shù)至關(guān)重要。

利用 SCALE-SIM 技術(shù)，我們可以量化時(shí)鐘周期的數(shù)量。由于采用了合成陣列設(shè)計(jì)，每個(gè)時(shí)鐘周期都能同時(shí)促進(jìn) MAC 和內(nèi)存訪問，從而簡化了片上內(nèi)存訪問的統(tǒng)計(jì)。圖 15 描述了可實(shí)現(xiàn)的最小功耗節(jié)省。有趣的是，由于采用了更快的時(shí)鐘頻率，每層的數(shù)據(jù)保留時(shí)間被截?cái)?，這可能會(huì)導(dǎo)致計(jì)算進(jìn)行時(shí)刷新操作的次數(shù)減少，從而導(dǎo)致功耗降低。

在靜態(tài)功耗方面，SRAM 的能耗高于 2T eDRAM 和我們的混合電池存儲(chǔ)器。雖然我們的混合電池存儲(chǔ)器的靜態(tài)能耗高于 2T eDRAM，但其性能卻優(yōu)于 SRAM。在 SRAM/eDRAM 比例為 1/7 的情況下，混合單元存儲(chǔ)器中 SRAM 的固定能源開銷占總能耗的 76.5%。更多詳情可參見圖 14。

至于刷新功耗，SRAM 不需要刷新操作，而 2T eDRAM 和我們的混合單元存儲(chǔ)器則需要。如第 IV-B 節(jié)所述，調(diào)整參考電壓 (VREF ) 可以幫助延長刷新周期，減少刷新操作。我們選擇了帶有電流模式檢測(cè)放大器的傳統(tǒng) 2T eDRAM，并對(duì)混合單元存儲(chǔ)器中電壓模式檢測(cè)放大器的 VREF 值[0.5、0.6、0.7、0.8]進(jìn)行了實(shí)驗(yàn)。圖 15.(a) 表明，適當(dāng)?shù)?VREF 值可顯著降低刷新能量。因此，我們選擇的 0.8 VREF 值產(chǎn)生了最低的刷新操作，因?yàn)樗鼘⑺⑿轮芷谘娱L了近 10 倍，從 1.3us 延長到 12.57us。

關(guān)于總能耗（包括整個(gè)推理過程中的靜態(tài)和動(dòng)態(tài)能耗），eDRAM 占地面積小，但由于其刷新能耗要求，在總體能耗方面并不突出。相反，我們的混合單元存儲(chǔ)器在面積占用最小化和能耗降低方面都具有優(yōu)勢(shì)，能效比 6T SRAM 高出 3.4 倍，如圖 15...（b）所示。不過，RRAM 的能效比 SRAM 低 100 多倍，這是因?yàn)樗枰M(jìn)行大量寫入操作。

鑒于片上緩沖區(qū)在 Eyeriss 和 TPUv1中分別占 42.5% 和 37% 的功耗，使用 VREF =0.8 的 MCAIMem 配置可使每瓦性能提高 35.4% 到 43.2% 的峰值，超過采用 SRAM 的片上緩沖區(qū)的效率，如圖 16 所示。因此，MCAIMem 是一種引人注目的解決方案，有可能為高效人工智能存儲(chǔ)器設(shè)計(jì)的創(chuàng)新鋪平道路。

相關(guān)工作

深度神經(jīng)網(wǎng)絡(luò)（DNN）需要大量內(nèi)存才能實(shí)現(xiàn)卓越性能，這導(dǎo)致內(nèi)存需求增加。解決對(duì)片上數(shù)據(jù)緩沖區(qū)和數(shù)據(jù)移動(dòng)的更高要求對(duì)于提高 DNN 加速器性能至關(guān)重要。Chen 等人的研究表明，與 ALU 相比，片外 DRAM 訪問的能耗高出 200 倍，訪問時(shí)間也更長。因此，優(yōu)化片上緩沖區(qū)已成為提高 DNN 加速器吞吐量的首要挑戰(zhàn)。問題的關(guān)鍵在于如何最大限度地提高片上存儲(chǔ)器容量，同時(shí)最小化片外訪問，以提高 DNN 加速器的能效。

DaDianNao 建議在傳統(tǒng) DNN 加速器中用全 eDRAM（1T1C）取代 SRAM，以顯著提高片上緩沖區(qū)容量。然而，這種方法需要定期刷新以維護(hù) DNN 數(shù)據(jù)，從而導(dǎo)致大量能耗--占 DNN 加速器總能耗的 38.3%。RANA 是一種較新的技術(shù)，它利用了與 eDRAM 保留時(shí)間相比較短的激活數(shù)據(jù)壽命，從而消除了不必要的刷新操作。隨著 DNN 應(yīng)用的發(fā)展，這一觀點(diǎn)可能會(huì)變得不那么適用，從而導(dǎo)致激活數(shù)據(jù)增加，并有可能違反激活數(shù)據(jù)生命周期約束。

為了提高吞吐量，有人提出了內(nèi)存計(jì)算（CIM）來替代傳統(tǒng)的 DNN 加速器。目前已開發(fā)出采用兩個(gè) 2T eDRAM 的 4T Dual eDRAM 陣列和采用混合 SRAM 和 eDRAM 配置作為計(jì)算節(jié)點(diǎn)的 DualPIM [21]等技術(shù)。此外，最近的 eDRAM 節(jié)點(diǎn)優(yōu)化側(cè)重于減少泄漏和增強(qiáng) CIM 的魯棒性。雖然這些方法顯示出顯著的性能和節(jié)能效果，但對(duì)片上緩沖器的需求依然存在。

此外，一項(xiàng)名為 ZEM的研究探討了 DNN 數(shù)據(jù)的異或度量特性，以延長 DNN 數(shù)據(jù)在片外 DRAM 中的保留時(shí)間，從而顯著降低片外 DRAM 的功耗。然而，這項(xiàng)工作的主要目的是降低 DNN 應(yīng)用程序處理過程中的片外 DRAM 功耗，而不是解決通過最小化片外 DRAM 訪問來提高 DNN 加速器性能這一核心挑戰(zhàn)。在本文中，我們提出了一種針對(duì)片上緩沖器的設(shè)計(jì)，通過創(chuàng)建混合 SRAM 和 eDRAM 單元設(shè)計(jì)，最大限度地減少片上緩沖器的面積和能耗。這種方法有望用于下一代 DNN 加速器的片上緩沖器設(shè)計(jì)。

結(jié)論

本文介紹了 MCAIMem，這是一種創(chuàng)新的面積和能效 AI 存儲(chǔ)器設(shè)計(jì)，它采用混合 CMOS 存儲(chǔ)器單元設(shè)計(jì)，包括 SRAM 和 eDRAM 單元。我們優(yōu)化了 SRAM/eDRAM 單元的比例，以減少面積，并利用 DNN 的數(shù)據(jù)表示和非對(duì)稱 eDRAM 單元降低能耗。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的 SRAM 設(shè)計(jì)相比，我們的 MCAIMem 設(shè)計(jì)可將面積減少 48%，能耗降低 3.4 倍，而且不會(huì)犧牲精度。這項(xiàng)工作凸顯了混合 CMOS 存儲(chǔ)單元和非對(duì)稱 2T eDRAM 單元在實(shí)現(xiàn)人工智能存儲(chǔ)器設(shè)計(jì)的性能、面積和能耗優(yōu)化平衡方面的潛力。總之，我們的混合 CMOS 單元存儲(chǔ)器設(shè)計(jì) MCAIMem 提供了一種前景廣闊的解決方案，有望成為高效人工智能存儲(chǔ)器設(shè)計(jì)的新標(biāo)準(zhǔn)。

致謝本文作者：Duy-Thanh Nguyen, Abhiroop Bhattacharjee, Abhishek Moitra, Priyadarshini Panda

原文鏈接

https://arxiv.org/abs/2312.03559






審核編輯：劉清