魏少軍、劉雷波團(tuán)隊(duì)提出了DIMM間廣播技術(shù)

2021年6月14日～6月17日，第48屆國(guó)際計(jì)算機(jī)體系結(jié)構(gòu)大會(huì)（ISCA）通過線上模式順利召開。清華大學(xué)魏少軍、劉雷波教授團(tuán)隊(duì)作了題為“ABC-DIMM： Alleviating the Bottleneck of Communication in DIMM-based Near Memory Processing with Inter-DIMM Broadcast”的學(xué)術(shù)報(bào)告。

該報(bào)告針對(duì)DIMM（雙列直插式存儲(chǔ)模塊）近存計(jì)算架構(gòu)的通信瓶頸問題，提出了基于DIMM間廣播技術(shù)的通信優(yōu)化方法。該方法充分利用了內(nèi)存總線廣播的可擴(kuò)展性以及廣播機(jī)制的廣泛適用性，為DIMM近存計(jì)算的通信優(yōu)化提供了強(qiáng)有力的新工具。

報(bào)告人孫偉藝是論文第一作者，目前正在清華大學(xué)集成電路學(xué)院攻讀博士學(xué)位。論文通訊作者是劉雷波教授，主要合作者還有李兆石、尹首一等。

當(dāng)前，隨著數(shù)據(jù)密集型應(yīng)用的廣泛部署，傳統(tǒng)主存系統(tǒng)已難以應(yīng)對(duì)日益增長(zhǎng)的容量和帶寬需求。為應(yīng)對(duì)這一挑戰(zhàn)，諸多近存計(jì)算架構(gòu)被相繼提出，其中基于DIMM的近存計(jì)算架構(gòu)是公認(rèn)最具潛力的架構(gòu)之一。

該架構(gòu)把計(jì)算邏輯集成到DIMM的緩存芯片上，通過讓內(nèi)存通道內(nèi)多個(gè)DIMM并行訪存和計(jì)算，實(shí)現(xiàn)較高的總訪存帶寬，從而以較低的設(shè)計(jì)與生產(chǎn)代價(jià)獲得較高的性能提升潛力。

然而，DIMM近存計(jì)算系統(tǒng)的性能提升依賴于DIMM數(shù)量的增加，但現(xiàn)有DIMM間基于內(nèi)存總線的點(diǎn)對(duì)點(diǎn)通信機(jī)制卻可能嚴(yán)重制約系統(tǒng)性能相對(duì)于DIMM數(shù)量的可擴(kuò)展性。

具體來說，當(dāng)一個(gè)內(nèi)存通道內(nèi)DIMM數(shù)量增加時(shí)，每個(gè)DIMM分配到的平均點(diǎn)對(duì)點(diǎn)通信帶寬迅速減小，對(duì)于許多重要的數(shù)據(jù)密集型應(yīng)用，各個(gè)DIMM和CPU之間的通信主導(dǎo)了程序的運(yùn)行時(shí)間，極大限制了系統(tǒng)的整體性能。

針對(duì)該問題，魏少軍、劉雷波團(tuán)隊(duì)提出了DIMM間廣播技術(shù)。

從硬件角度來看，總線系統(tǒng)在物理層面上天然支持廣播，且主存總線的有效廣播帶寬隨著DIMM數(shù)量的增加而自然擴(kuò)展。而從軟件角度來看，大量數(shù)據(jù)密集型應(yīng)用都能以“廣播主導(dǎo)”的方式實(shí)現(xiàn)。

基于上述想法，團(tuán)隊(duì)設(shè)計(jì)了ABC-DIMM系統(tǒng)，通過在主存中實(shí)現(xiàn)并利用“DIMM間廣播”來消除DIMM近存計(jì)算架構(gòu)中的通信瓶頸。該系統(tǒng)由三部分構(gòu)成。

首先，團(tuán)隊(duì)設(shè)計(jì)了指導(dǎo)程序員以廣播主導(dǎo)方式實(shí)現(xiàn)各類應(yīng)用的“廣播-計(jì)算”編程框架，從而讓軟件能夠充分利用“DIMM間廣播”來優(yōu)化通信。它通過分割輸出來劃分任務(wù)，而任務(wù)間的通信則由輸入數(shù)據(jù)的廣播所主導(dǎo)。

其次，團(tuán)隊(duì)提供了“內(nèi)存通道內(nèi)”和“內(nèi)存通道間”的完整“DIMM間廣播”機(jī)制，利用這些機(jī)制，“廣播-計(jì)算”框架在多內(nèi)存通道下的通信可以得到高效的實(shí)現(xiàn)。

最后，團(tuán)隊(duì)為“DIMM間廣播”機(jī)制提供了全棧式的硬件和API設(shè)計(jì)。為使系統(tǒng)實(shí)現(xiàn)盡可能地簡(jiǎn)單和低廉，團(tuán)隊(duì)將設(shè)計(jì)開銷和范圍成功控制在了DIMM緩存芯片以及CPU的內(nèi)存控制器之內(nèi)。

具體而言，通過在緩存芯片中加入指令翻譯模塊，“DIMM間廣播”能夠在不更改DRAM芯片的前提下以新DDR指令的形式融入主存系統(tǒng)中。此外，通過對(duì)內(nèi)存控制器的有限修改以及相應(yīng)的API設(shè)計(jì)，“DIMM間廣播”能夠在不更改ISA的前提下被軟件有效使用。

模擬評(píng)估顯示，ABC-DIMM的平均性能分別達(dá)到了兩個(gè)主流基線近存系統(tǒng)性能的2.50倍和2.93倍。

過去10余年，魏少軍、劉雷波教授團(tuán)隊(duì)在軟件定義芯片領(lǐng)域取得了多項(xiàng)重要技術(shù)突破，關(guān)鍵技術(shù)在多項(xiàng)國(guó)家重大工程中得到批量應(yīng)用，曾獲國(guó)家技術(shù)發(fā)明二等獎(jiǎng)、教育部技術(shù)發(fā)明一等獎(jiǎng)、電子學(xué)會(huì)技術(shù)發(fā)明一等獎(jiǎng)、中國(guó)發(fā)明專利金獎(jiǎng)、世界互聯(lián)網(wǎng)大會(huì)15項(xiàng)世界互聯(lián)網(wǎng)領(lǐng)先科技成果等。

編輯：jq