向量擴展將定稿，RISC-V機器學(xué)習(xí)的崛起

向量擴展將定稿，RISC-V機器學(xué)習(xí)的崛起

RISC-V作為一個與x86和Arm相比仍算年輕的架構(gòu)，自然需要不少擴展模塊來完善其指令集架構(gòu)，尤其是對標x86與Arm的SIMD指令集。然而SIMD指令集隨著時間的發(fā)展變得越來越臃腫，讓架構(gòu)變得愈發(fā)復(fù)雜，David Patterson也在幾年前的一篇文章中寫道，實現(xiàn)數(shù)據(jù)級并行性更優(yōu)雅的方式就是向量架構(gòu)，RISC-V的向量擴展（RVV）也應(yīng)運而生。

在機器學(xué)習(xí)算法中，向量被廣泛用于處理數(shù)據(jù)集和數(shù)組。而RVV為基礎(chǔ)指令集新增了多個向量寄存器和向量指令，可以讓基于RISC-V架構(gòu)的處理器核心處理數(shù)組，與傳統(tǒng)的標量運算一起來加速大數(shù)據(jù)集的指令運算。

RISC-V向量擴展指令于2018年推出，在經(jīng)過了多個版本的迭代后，終于在幾天前進入了1.0 PB狀態(tài)。RVV工作組認同了1.0版本的穩(wěn)定性，已經(jīng)可以在上游軟件項目中開發(fā)相關(guān)的工具鏈、功能模擬器與實現(xiàn)了。而前段時間的RISC-V論壇，也展示了RISC-V在向量與機器學(xué)習(xí)上的進展。

RISC-V機器學(xué)習(xí)用于太空應(yīng)用

相信不少人都注意到近期逐漸增加的各項太空探索任務(wù)，比如祝融號火星車與中國空間站建設(shè)等，這些任務(wù)中AI與機器學(xué)習(xí)的應(yīng)用也開始出現(xiàn)。然而將AI與機器學(xué)習(xí)加入太空任務(wù)依舊面臨著諸多挑戰(zhàn)，比如已有的太空處理器已經(jīng)無法跟上AI與ML的計算需求，但現(xiàn)成的商用設(shè)備既無法滿足輻射要求，也沒有太空認證的軟件棧支持。

來自加泰羅尼亞理工大學(xué)和巴塞羅那超算中心的兩位研究員Leonidas Kosmidis和Marc Solé Bonet給出了他們的創(chuàng)新方案，實現(xiàn)了在功率有限的RISC-V處理器上加速ML運算。與采用額外大面積向量寄存器文件的傳統(tǒng)方式不同，他們采用了一個開源的短SIMD模塊通過重復(fù)利用整數(shù)寄存器文件來減小面積。這一方案以2個未使用的RISC-V操作碼實現(xiàn)了17個高度可配置的定制指令，可以用于實現(xiàn)ML應(yīng)用中200多種組合運算。

他們成功將該模塊移植到了Cobham Gaisler開發(fā)的開源RISC-V太空處理器NOEL-V上，在最小的NOEL-V處理器的配置下進行通用ML程序的測試，得出的結(jié)果相當可觀。只需多用到25%的面積，就能實現(xiàn)3到7倍的性能提升，還不會影響到處理器的頻率。

兩位研究員也實現(xiàn)了Gaisler另一個太空處理器LEON3的版本，該處理器采用的是SPARC V8的架構(gòu)。未來他們還計劃引入TensorFlow和編譯器代碼生成等一系列軟件支持，并在歐洲航天局OPS-SAT實驗衛(wèi)星上的FPGA上進行測試。

RISC-V向量處理器的真正挑戰(zhàn)

90年代可以說是DSP、CISC與DSP三家爭霸的狀態(tài)，然而到了21世紀，DSP已經(jīng)越來越難突破GHz，而高頻CPU中乘積累加運算單元的流行使得DSP在性能上敗下陣來。而RISC與CISC相比的優(yōu)勢在于其簡單化的特性，更容易實現(xiàn)高頻率。然而在向量處理器（VPU）上，必須要解決數(shù)據(jù)傳輸?shù)膯栴}。

傳統(tǒng)VPU在帶寬上的瓶頸 / 晶心科技

從數(shù)據(jù)傳輸?shù)牧鞒虂砜?，系統(tǒng)總線已經(jīng)被處理器占用處于繁忙狀態(tài)，而所有數(shù)據(jù)都通過緩存走向總線，現(xiàn)在又多出了向量指令和向量數(shù)據(jù)，致使總線到內(nèi)存的延遲增加，整體性能下降。因此，提高總線帶寬的同時保持高頻率，又不會增加額外的功耗也就成了一大設(shè)計挑戰(zhàn)。傳統(tǒng)的解決方案有預(yù)讀取和更大的獨立內(nèi)存與緩存等，但往往需要犧牲功耗和尺寸。

晶心科技為了解決這一挑戰(zhàn)，推出了晶心自定義擴展（Andes Custom Extension，ACE），這一RISC-V擴展可以創(chuàng)造新的指令、新的協(xié)處理器和新的內(nèi)存位置。ACE引入了全新的Streaming Port，為外部硬件引擎創(chuàng)造了自定義數(shù)據(jù)接口和自定義數(shù)據(jù)內(nèi)存，以很小的功率代價解決了數(shù)據(jù)傳輸問題。除此之外，ACE還可以用于數(shù)據(jù)預(yù)處理與后處理，比如格式轉(zhuǎn)換等，進一步提升VPU的性能，更好地控制和管理外部加速器。

結(jié)語

RISC-V在向量擴展與處理器上的進展已經(jīng)相當驚人，要知道蘋果在前段時間招募RISC-V開發(fā)者的工作描述中，不僅要求掌握RISC-V的開發(fā)知識，還要求了解Arm NEON SIMD微架構(gòu)的向量編程。隨著RVV的定稿，向量寄存器與指令也將全部確定下來，屆時相關(guān)的編譯器等工具鏈也能夠及時做到兼容。