如何走出摩爾定律困境?摩爾定律領(lǐng)域的困境與研究方向詳細(xì)概述

計(jì)算機(jī)體系結(jié)構(gòu)頂會(huì)ISCA-18上周結(jié)束，圖靈獎(jiǎng)得主John Hennessy和David Patterson發(fā)表特邀報(bào)告，展望體系結(jié)構(gòu)新的黃金時(shí)代。本屆會(huì)議近1/3的論文關(guān)于神經(jīng)網(wǎng)絡(luò)加速器，專用領(lǐng)域架構(gòu)和軟硬件協(xié)同設(shè)計(jì)是最受關(guān)注的議題。谷歌、Facebook等非傳統(tǒng)硬件公司的存在感也愈發(fā)強(qiáng)烈。加州大學(xué)圣芭芭拉分校（UCSB）謝源課題組神經(jīng)網(wǎng)絡(luò)架構(gòu)研究團(tuán)隊(duì)博士后胡杏、鄧?yán)凇⒅x新峰、谷芃和劉瀏對(duì)大會(huì)技術(shù)趨勢(shì)做了總結(jié)。

ISCA是計(jì)算機(jī)體系結(jié)構(gòu)領(lǐng)域的頂級(jí)會(huì)議，本屆ISCA的亮點(diǎn)無(wú)疑是新當(dāng)選的圖靈獎(jiǎng)得主、體系結(jié)構(gòu)領(lǐng)域的兩位宗師級(jí)人物John L. Hennessy和David A. Patterson做的特邀報(bào)告。

本文將先從兩位圖靈獎(jiǎng)得主的報(bào)告講起，總結(jié)會(huì)議關(guān)鍵技術(shù)趨勢(shì)，展現(xiàn)與會(huì)專家的觀點(diǎn)與評(píng)論，最后對(duì)論文接收和子領(lǐng)域熱度等會(huì)議情況進(jìn)行介紹。

從這屆會(huì)議中可以發(fā)現(xiàn)四大關(guān)鍵技術(shù)趨勢(shì)，

專用架構(gòu)與軟硬件協(xié)同設(shè)計(jì)將是未來(lái)專有化架構(gòu)研究趨勢(shì)，也將是走出摩爾定律困境一個(gè)富有前景的方向；

神經(jīng)網(wǎng)絡(luò)加速器開(kāi)始從設(shè)計(jì)走向落地；

由于Meltdown和Spectre，硬件安全性得到更多關(guān)注。安全領(lǐng)域的研究方法除軟件、系統(tǒng)，也需要從體系結(jié)構(gòu)的層面來(lái)進(jìn)一步加強(qiáng)；

RISC-V為敏捷開(kāi)發(fā)提供了可能，未來(lái)可能成為開(kāi)源硬件的基礎(chǔ)。

如何走出摩爾定律困境？Keynote演講人、Facebook Research的Kim Hazelwood博士半開(kāi)玩笑說(shuō)，這屆ISCA每個(gè)keynote前面都要放這張slide，表明了領(lǐng)域的困境與研究方向

Turing Lecture：體系結(jié)構(gòu)迎來(lái)新的黃金時(shí)代

在本次大會(huì)的圖靈講座（Turing Lecture）上，2017年榮獲圖靈獎(jiǎng)的John L. Hennessy和David A. Patterson首先簡(jiǎn)要回顧了計(jì)算機(jī)體系結(jié)構(gòu)的發(fā)展史，總結(jié)了目前體系結(jié)構(gòu)研究的兩大挑戰(zhàn)：通用處理器性能提升的停滯和體系結(jié)構(gòu)安全的問(wèn)題。

兩位演講者提及到上世紀(jì)80年代是體系結(jié)構(gòu)發(fā)展的黃金時(shí)期，諸如RISC、超標(biāo)量處理器（superscalar）、多層緩存（multilevelcaches）、預(yù)測(cè)技術(shù)（speculation）、編譯器優(yōu)化（compileroptimization）等等體系結(jié)構(gòu)創(chuàng)新，使得計(jì)算機(jī)性能每年提升約60%。在上世紀(jì)90年代到21世紀(jì)初，由于體系結(jié)構(gòu)創(chuàng)新的放緩，計(jì)算機(jī)性能的提升主要依賴于工藝技術(shù)的進(jìn)步、更高的時(shí)鐘頻率和更大的緩存。

目前，隨著摩爾定律（Moore’s Law）和登納德縮放比例定律（Dennard Scaling）的放緩甚至停滯，單處理器核心的性能每年的提升已降為3%左右。與此同時(shí)，近來(lái)的計(jì)算機(jī)漏洞幽靈（Spectre）和融毀（Meltdown），均利用了體系結(jié)構(gòu)設(shè)計(jì)的缺陷，而體系結(jié)構(gòu)的安全性問(wèn)題在近幾十年來(lái)沒(méi)有得到體系結(jié)構(gòu)研究者和設(shè)計(jì)者的足夠關(guān)注。

David Patterson（左）與John Hennessy（右）和與圖靈像合影；旁邊展示了本屆ISCA贊助商，谷歌、微軟、亞馬遜、Facebook等非傳統(tǒng)硬件廠商的存在感在增強(qiáng)

對(duì)于這些挑戰(zhàn)，兩位演講者總結(jié)了體系結(jié)構(gòu)新的機(jī)遇：（1）軟硬件協(xié)同設(shè)計(jì)（Hardware/Software Co-Design）和高層專用語(yǔ)言（High-Level and Domain-Specific Languages）；（2）計(jì)算機(jī)體系結(jié)構(gòu)安全性的提升；（3）開(kāi)源體系結(jié)構(gòu)設(shè)計(jì)（Free and Open Architectures and Open-Source Implementations）；（4）創(chuàng)新的敏捷芯片開(kāi)發(fā)（Agile Chip Development）。

這其中（1）強(qiáng)調(diào)了專用體系結(jié)構(gòu)（Application Specific IC/Architecture）和專用編程語(yǔ)言（Domain Specific）的開(kāi)發(fā)，對(duì)于提升特定領(lǐng)域性能、功耗和開(kāi)發(fā)效率的重要性，尤其是神經(jīng)網(wǎng)絡(luò)（neural network）、圖計(jì)算（graph computation）等新興且需要高性能計(jì)算的領(lǐng)域。（2）強(qiáng)調(diào)了安全應(yīng)該和性能同樣地受到體系結(jié)構(gòu)設(shè)計(jì)研究的重視，尤其是防止信息泄露和邊信道攻擊（Side-channel attack）。（3）強(qiáng)調(diào)了體系結(jié)構(gòu)設(shè)計(jì)開(kāi)源，尤其是指令集架構(gòu)（Instruction Set Architecture）開(kāi)源的重要性。兩位演講者介紹了他們近幾年在RISC-V方面所作的工作。最后，（4）強(qiáng)調(diào)了怎樣縮短芯片開(kāi)發(fā)的時(shí)間和成本這兩個(gè)核心要素。他們認(rèn)為敏捷開(kāi)發(fā)（Agile development process）可以使得較小的研究開(kāi)發(fā)組可以反復(fù)迭代地在短時(shí)間內(nèi)廉價(jià)地開(kāi)發(fā)產(chǎn)品原型。最終的目標(biāo)是體系結(jié)構(gòu)的研究者可以利用這種開(kāi)發(fā)方式，得以流片（tape-out）驗(yàn)證有價(jià)值的設(shè)計(jì)方案。

非硬件公司存在感增強(qiáng)，機(jī)器學(xué)習(xí)影響架構(gòu)和編程語(yǔ)言

在keynote方面，本次大會(huì)邀請(qǐng)了Kim Hazelwood（Facebook Research），Kunle Olukotun（斯坦福大學(xué)）以及Doug Burger（Microsoft Research），分別針對(duì)Facebook的機(jī)器學(xué)習(xí)、軟件2.0（機(jī)器學(xué)習(xí)怎樣影響架構(gòu)和編程語(yǔ)言）和數(shù)據(jù)流架構(gòu)（Explicit Dataflow Execution）進(jìn)行了介紹。

值得一提，本次大會(huì)同時(shí)頒發(fā)了 Eckert-Mauchly Award，這是計(jì)算機(jī)體系結(jié)構(gòu)領(lǐng)域最崇高的獎(jiǎng)項(xiàng)，此前JohnHennessy和David Patterson也先后獲得過(guò)這一榮譽(yù)。

今年Eckert-Mauchly Award的獲獎(jiǎng)?wù)呤侨A盛頓大學(xué)（University of Washington's Paul G. Allen School of Computer Science & Engineering）的Susan Eggers教授，基于她對(duì)同步多線程體系結(jié)構(gòu)和多核共享和一致性問(wèn)題的貢獻(xiàn)。她也是首位獲此殊榮的女性。Susan Eggers本身經(jīng)歷比較傳奇，她在本科拿到經(jīng)濟(jì)學(xué)學(xué)士后，在其他領(lǐng)域工作了十年才轉(zhuǎn)到計(jì)算機(jī)領(lǐng)域，47歲時(shí)博士畢業(yè)到華盛頓大學(xué)開(kāi)始教職生涯。

此外，Gabriel Loh本次因在三維堆疊架構(gòu)領(lǐng)域的杰出貢獻(xiàn)，獲得Maurice Wilkes獎(jiǎng)，Wilkes獎(jiǎng)每年一次，主要表彰推動(dòng)體系結(jié)構(gòu)工業(yè)發(fā)展的個(gè)人。Gabriel Loh于 2010年加入AMD，2013年成為AMD Fellow。

謝源課題組與Gabriel Loh（后排右數(shù)第六位）合影，后排右一是謝源教授

技術(shù)趨勢(shì)預(yù)測(cè)：專用領(lǐng)域架構(gòu)全棧設(shè)計(jì)和軟硬件協(xié)同，神經(jīng)網(wǎng)絡(luò)加速器從設(shè)計(jì)到落地

1、專用領(lǐng)域語(yǔ)言 (Domain Specific Language) 與專用領(lǐng)域架構(gòu)(Domain Specific Architecture)計(jì)算模型與架構(gòu)硬件能力的抽象至關(guān)重要。

針對(duì)專用領(lǐng)域或者應(yīng)用的架構(gòu)設(shè)計(jì)仍是今年ISCA的一大焦點(diǎn)，隨之而來(lái)的是專用領(lǐng)域語(yǔ)言與硬件的設(shè)計(jì)又被帶入了大眾的視野。隨著專用領(lǐng)域架構(gòu)的發(fā)展，對(duì)這些架構(gòu)進(jìn)行支持的編程語(yǔ)言也受到了廣泛的關(guān)注。這種考慮專用應(yīng)用領(lǐng)域的架構(gòu)與語(yǔ)言的軟硬件協(xié)同設(shè)計(jì)方法將會(huì)是未來(lái)專有化架構(gòu)研究的一個(gè)趨勢(shì)，以及這將成為走出摩爾定律帶來(lái)的困境的一個(gè)富有前景的方案。

在圖靈獎(jiǎng)演講中，2017年圖靈獎(jiǎng)獲得者John Hennessy教授指出了，隨著摩爾定律的終結(jié)，我們需要新的計(jì)算機(jī)架構(gòu)研究方法。他預(yù)言，計(jì)算機(jī)架構(gòu)團(tuán)隊(duì)縱向整合的時(shí)代即將復(fù)興，體系結(jié)構(gòu)設(shè)計(jì)者將如過(guò)去一樣，不僅需要了解底層器件，工藝，以及電路的知識(shí)，也需要有著對(duì)編程語(yǔ)言以及編譯器的了解。John在總結(jié)中慷慨激昂地提到：“一切舊的東西又是新的！(Everything old is new again!)”

John Hennessy在演講中指出，隨著摩爾定律的終結(jié)，我們需要新的計(jì)算機(jī)架構(gòu)研究方法。圖片來(lái)自ACM Twitter

在ISCA第二天的keynote中，來(lái)自斯坦福大學(xué)的Kunle Olukotun教授介紹了他們對(duì)于軟件2.0時(shí)代的計(jì)算機(jī)系統(tǒng)研究。他們指出了神經(jīng)網(wǎng)路應(yīng)用對(duì)計(jì)算機(jī)硬件設(shè)計(jì)帶來(lái)了極其難得的機(jī)遇，最重要的是，該應(yīng)用對(duì)于硬件的一些正確性指標(biāo)有著相對(duì)強(qiáng)大的容錯(cuò)能力，比如內(nèi)存一致性與計(jì)算精確度。同時(shí)，在他的演講中，Kunle也強(qiáng)調(diào)了全棧優(yōu)化的重要性。在他們的研究中，他們提出了若干并行計(jì)算的模式，并針對(duì)這些專用模式進(jìn)行專用領(lǐng)域硬件的設(shè)計(jì)，極大提升了在專用領(lǐng)域硬件的性能，以及通過(guò)開(kāi)發(fā)專用領(lǐng)域語(yǔ)言減輕了軟件開(kāi)發(fā)者在新興架構(gòu)上開(kāi)發(fā)高性能程序的壓力。

專用領(lǐng)域帶來(lái)了新的機(jī)會(huì)，這些新的機(jī)會(huì)幫助我們?cè)O(shè)計(jì)新硬件，也讓軟件開(kāi)發(fā)變得更加高效。從這些研究中，我們也看到了軟硬針對(duì)專用協(xié)同設(shè)計(jì)的未來(lái)！

2、神經(jīng)網(wǎng)絡(luò)加速器從設(shè)計(jì)到落地：加速器落地真實(shí)物理系統(tǒng)及全系統(tǒng)優(yōu)化

縱觀近兩年神經(jīng)網(wǎng)絡(luò)加速所采用的模型壓縮算法，主要包括對(duì)于神經(jīng)元狀態(tài)和權(quán)重連接參數(shù)的稀疏化和低比特量化，以及加速器硬件優(yōu)化策略，主要包括處理單元數(shù)據(jù)復(fù)用、存儲(chǔ)計(jì)算一體化、存儲(chǔ)器優(yōu)化等，對(duì)加速器性的提升幾乎已經(jīng)做到了極致的優(yōu)化。從最初的純硬件優(yōu)化到如今的算法和硬件協(xié)同優(yōu)化，使得神經(jīng)網(wǎng)絡(luò)加速器的優(yōu)化空間逐漸收縮，基于現(xiàn)有方法和技術(shù)很難再實(shí)現(xiàn)大幅度的性能改善。在這樣的情況下，未來(lái)會(huì)逐漸發(fā)生從如何設(shè)計(jì)加速器到如何使用加速器的轉(zhuǎn)變，從設(shè)計(jì)加速器本身到設(shè)計(jì)全系統(tǒng)，并最終落地現(xiàn)實(shí)應(yīng)用場(chǎng)景。

一方面，需要盡快構(gòu)建神經(jīng)網(wǎng)絡(luò)加速器的編程抽象模型、編程語(yǔ)言和編譯器，從而促進(jìn)加速器的模塊化、標(biāo)準(zhǔn)化和易用性；另一方面，需要根據(jù)不同應(yīng)用場(chǎng)景，選擇對(duì)應(yīng)特性的加速器進(jìn)行真實(shí)物理系統(tǒng)設(shè)計(jì)、優(yōu)化和實(shí)現(xiàn)，從而促進(jìn)加速器落地于現(xiàn)實(shí)生活。正如兩位圖靈獎(jiǎng)獲得者JohnL. Hennessy and David A. Patterson在演講中提到的兩大熱點(diǎn)：專用域架構(gòu)（Domain-specific Architecture）和專用域語(yǔ)言（Domain-specific Language），接下來(lái)學(xué)術(shù)界和產(chǎn)業(yè)界會(huì)更加關(guān)注上層語(yǔ)言的設(shè)計(jì)和開(kāi)發(fā)。

同時(shí)，在移動(dòng)平臺(tái)分會(huì)場(chǎng)，來(lái)自康奈爾大學(xué)的Mark Buckler和來(lái)自羅徹斯特大學(xué)的Yuhao Zhu在演講中均展示了如何把神經(jīng)網(wǎng)絡(luò)加速器作為一個(gè)IP模塊進(jìn)行移動(dòng)視覺(jué)系統(tǒng)設(shè)計(jì)和優(yōu)化。由此可見(jiàn)，神經(jīng)網(wǎng)絡(luò)加速器的標(biāo)準(zhǔn)化或開(kāi)源化，對(duì)于加速器的推廣和應(yīng)用至關(guān)重要。

3、安全性受到關(guān)注。安全領(lǐng)域的研究方法除軟件，系統(tǒng)，也需要從體系結(jié)構(gòu)的層面來(lái)進(jìn)一步加強(qiáng)

針對(duì)最近的體系結(jié)構(gòu)安全性問(wèn)題（Meltdown& Spectre Design Flaws），本次大會(huì)的專家討論（panel discussion）邀請(qǐng)了5位專家和教授：Mark Hill作為主持人，Paul Kocher, Ruby B. Lee, Simha Sethumadhavan和Timothy Sherwood作為嘉賓對(duì)安全問(wèn)題展開(kāi)了討論。Paul指出了現(xiàn)有系統(tǒng)設(shè)計(jì)主題思想是面向性能，而缺乏安全性分析和設(shè)計(jì)。雖然性能的量化指標(biāo)豐富且成熟，但安全性指標(biāo)的量化體系并沒(méi)有建立，比如緩存行為，預(yù)測(cè)器，debug模式，以及功耗，內(nèi)部傳感器等等對(duì)安全性的影響。由于量化分析方法的缺乏，加上微體系結(jié)構(gòu)設(shè)計(jì)本身對(duì)軟件開(kāi)發(fā)者不開(kāi)放，導(dǎo)致系統(tǒng)構(gòu)建時(shí)存在一些錯(cuò)誤的安全性假設(shè)，也無(wú)法做性能和安全性的聯(lián)合優(yōu)化和管理。Ruby Lee，Samira和Tim都認(rèn)為體系結(jié)構(gòu)社區(qū)需要對(duì)安全性投入更多關(guān)注，設(shè)計(jì)安全性能感知的計(jì)算機(jī)體系結(jié)構(gòu)十分重要。

4、RISC-V為敏捷開(kāi)發(fā)提供了可能，未來(lái)可能成為開(kāi)源硬件的基礎(chǔ)

從兩位圖靈獎(jiǎng)得主的演講當(dāng)中，我們可以看到RISC-V作為開(kāi)源精簡(jiǎn)指令集對(duì)專用領(lǐng)域架構(gòu)的重要性。隨著數(shù)據(jù)中心定制化硬件的普及，例如谷歌TPU和微軟Brainwave，硬件架構(gòu)師不能僅模擬單節(jié)點(diǎn)而把問(wèn)題留給流片后的測(cè)試，也需要模擬定制化部分。然后缺少高效和可擴(kuò)展的模擬環(huán)境阻礙著新一代Warehouse-Scale Computers (WSCs) 的發(fā)展。

來(lái)自加州大學(xué)伯克利Krste Asanovi教授團(tuán)隊(duì)的FireSim填補(bǔ)了這一項(xiàng)空白；也正是主推RISC-V的團(tuán)隊(duì)。通過(guò)利用云端FPGA，F(xiàn)ireSim結(jié)合基于RISC-V的Rocket Chip和cycle-accurateC++ switch模型可以模擬多達(dá)4096個(gè)核心和16TB存儲(chǔ)器。

同樣是來(lái)自伯克利的另一項(xiàng)工作，針對(duì)GarbageCollection設(shè)計(jì)了硬件加速器，并且集成到RocketChip 當(dāng)中。整個(gè)系統(tǒng)從JavaVM到Linux再到FPGA全面地展示了端到端模擬能力。同時(shí)，在關(guān)于RISC-V對(duì)計(jì)算機(jī)體系結(jié)構(gòu)研究的workshop（CARRV）當(dāng)中，基于RISC-V 的工具鏈在包括模擬器，加密，和數(shù)字信號(hào)處理中都影響著學(xué)界和業(yè)界。

大會(huì)概況：28%的論文有關(guān)神經(jīng)網(wǎng)絡(luò)加速器，清華大學(xué)入選一篇

1、神經(jīng)網(wǎng)絡(luò)加速依舊火熱

神經(jīng)網(wǎng)絡(luò)加速器依舊持續(xù)火熱，除兩個(gè)機(jī)器學(xué)習(xí)系統(tǒng)分會(huì)場(chǎng)外，還分布于云數(shù)據(jù)中心、新型應(yīng)用加速、新型計(jì)算范式、內(nèi)存持久性、新型存儲(chǔ)器、移動(dòng)平臺(tái)等各大分會(huì)場(chǎng)。

神經(jīng)網(wǎng)絡(luò)加速器共計(jì)接收18篇論文（28%），從研究?jī)?nèi)容可分為：DNN推理加速（10篇）、移動(dòng)系統(tǒng)（3篇）、脈沖神經(jīng)網(wǎng)絡(luò)（2篇）、DNN訓(xùn)練加速（1篇）、GAN加速（1篇）、編程指令集架構(gòu)（1篇）。

論文主要來(lái)自于美國(guó)，包括微軟、伊利諾伊大學(xué)香檳分校（UIUC）、威斯康星大學(xué)、密歇根大學(xué)、康奈爾大學(xué)、羅徹斯特大學(xué)、喬治亞理工學(xué)院、加州大學(xué)圣地亞哥分校（UCSD）、加州大學(xué)伯克利分校（UCB）、佛羅里達(dá)大學(xué)、ARM、高通（Qualcomm）、英偉達(dá)（NVIDIA）等，4篇來(lái)自于亞洲：清華大學(xué)、首爾國(guó)立大學(xué)（SNU）和新加坡國(guó)立大學(xué)（NUS），2篇來(lái)自于歐洲加泰羅尼亞理工大學(xué)（UPC）。

本屆大會(huì)對(duì)于DNN推理階段的加速優(yōu)化呈現(xiàn)多樣化，以DNN推理加速的10篇論文為例，3篇針對(duì)稀疏網(wǎng)絡(luò)（解決自動(dòng)語(yǔ)音識(shí)別系統(tǒng)中由于網(wǎng)絡(luò)裁剪導(dǎo)致的分類置信度下降和執(zhí)行時(shí)間增長(zhǎng)的問(wèn)題；通過(guò)預(yù)測(cè)零狀態(tài)輸出神經(jīng)元從而去除與其相關(guān)的冗余計(jì)算）、3篇針對(duì)低比特量化網(wǎng)絡(luò)（利用數(shù)據(jù)量化后狀態(tài)有限的特性從而共享重復(fù)的神經(jīng)元激活狀態(tài)和權(quán)重參數(shù)狀態(tài)，達(dá)到減小計(jì)算的目的；設(shè)計(jì)支持量化比特?cái)?shù)可變的加速器方案，提高對(duì)量化網(wǎng)絡(luò)支持的通用性）、2篇進(jìn)行SRAM緩存計(jì)算（Processing in SRAM）、1篇進(jìn)行eDRAM刷新優(yōu)化（對(duì)于生命周期較短的數(shù)據(jù)不進(jìn)行刷新，從而極大降低功耗）、1篇面向FPGA數(shù)據(jù)中心（提升數(shù)據(jù)中心對(duì)于用戶推理需求的響應(yīng)時(shí)間）。

2、機(jī)器學(xué)習(xí)與系統(tǒng)得到深入探討

機(jī)器學(xué)習(xí)與系統(tǒng)設(shè)計(jì)之間的關(guān)系也在此次大會(huì)中進(jìn)行了深入的探討，主要包括兩個(gè)方向：1）為機(jī)器學(xué)習(xí)應(yīng)用構(gòu)建加速系統(tǒng)；2）使用機(jī)器學(xué)習(xí)方法加速系統(tǒng)設(shè)計(jì)。大會(huì)第一天keynote由Kim Hazelwood介紹Facebook在第一個(gè)技術(shù)方向的嘗試和探索。Kim認(rèn)為除計(jì)算瓶頸外，存儲(chǔ)瓶頸和軟件瓶頸也是系統(tǒng)構(gòu)建時(shí)要考慮的關(guān)鍵因素。AIDArchworkshop討論了第二個(gè)技術(shù)方向。DanielSchanwz 教授和Cliff Young介紹了體系結(jié)構(gòu)領(lǐng)域中使用機(jī)器學(xué)習(xí)方法來(lái)優(yōu)化系統(tǒng)設(shè)計(jì)，以及軟硬件聯(lián)合優(yōu)化的重要性和可能性。

3、基礎(chǔ)框架和模擬器

DNN加速器模擬：來(lái)自Gerogia Tech和NVIDIA Research的團(tuán)隊(duì)在這次ISCA tutorial公布了兩個(gè)支持快速高效DNN加速器設(shè)計(jì)的工具：MAESTRO和MAERI。MAESTRO是針對(duì)不同卷積dataflow的分析工具。用戶可以通過(guò)改變loop-ordering，loop unrolling, spatial tiling和temporal tiling來(lái)模擬不同的dataflow，并且能在用戶定義的處理單元數(shù)目和緩存大小下估計(jì)運(yùn)行時(shí)間和能耗。參數(shù)化和模塊化的DNN加速器生成器MAERI可以輸出RTL，并且通過(guò)ASIC或者FPGA設(shè)計(jì)流程估計(jì)性能功耗和面積。目前MAERI支持卷積，LSTM，pooling，和全連接層，已經(jīng)完整的DNN模型運(yùn)行。

GPU模型。AMD Research在gem5中擴(kuò)展了APU模型。該模型使用基于GCN gen3ISA 的GPU時(shí)序并且支持開(kāi)源Radeon OpenCompute Platform (ROCm)。用戶可以在gem5APU 模擬器上運(yùn)行C++，OpenMP，HIP，和OpenCL編寫(xiě)的應(yīng)用，包括傳統(tǒng)的GPU workloads和機(jī)器學(xué)習(xí)應(yīng)用。由于APU中GPU直接與主存交互，針對(duì)GPU的訪存優(yōu)化得以更方便在gem5中驗(yàn)證。除此之外，來(lái)自康奈爾大學(xué)的研究人員在workshop中展示了在gem5中基于RISC-V的多核心模擬器。

4、其他方向

對(duì)于編程語(yǔ)言的動(dòng)態(tài)功能以及系統(tǒng)進(jìn)行從體系結(jié)構(gòu)層面進(jìn)行支持，在今年ISCA的論文中受到了廣泛的關(guān)注。在編程語(yǔ)言的動(dòng)態(tài)功能支持上，來(lái)自UCB的Martin Maas等人展示了針對(duì)Java內(nèi)存管理中垃圾回收的硬件優(yōu)化。對(duì)于系統(tǒng)層面的支持，本次ISCA錄用文章的關(guān)注點(diǎn)仍然在內(nèi)存，包括內(nèi)存模型，虛擬內(nèi)存，內(nèi)存一致性，內(nèi)存持久性（Memory Persistence）。

除此之外，新型互連架構(gòu)也受到了一定程度的關(guān)注，這些互連架構(gòu)有一些關(guān)注于芯片間的互連，另一些則關(guān)注分布式系統(tǒng)中的網(wǎng)絡(luò)互聯(lián)。最后，關(guān)于資源分配，一個(gè)傳統(tǒng)操作系統(tǒng)最關(guān)鍵的任務(wù)之一，來(lái)自UIUC的Josep Torrellas教授等人提出了基于健壯控制理論（Robust Control Theory）的分層資源控制方法，極大提升資源分配的效率。

綜上所述，在今年ISCA中，從體系結(jié)構(gòu)對(duì)于操作系統(tǒng)以及編程語(yǔ)言的支持，尤其是內(nèi)存系統(tǒng)的支持，仍然有廣泛的關(guān)注。這其中的許多研究，都圍繞著基于加速器的異構(gòu)系統(tǒng)以及基于持久性內(nèi)存的系統(tǒng)所帶來(lái)的問(wèn)題。我們期待這些研究對(duì)于實(shí)際的新興架構(gòu)部署能提供強(qiáng)有力幫助。