如何選擇存儲器類型 存算一體芯片發(fā)展趨勢

過去幾年，越來越多企業(yè)加入到存算一體技術(shù)的研究中，如今，存算一體芯片已經(jīng)逐漸走向商用。

從目前入局的企業(yè)來看，路線各異，包括采用不同類型的存儲器，從中小算力入手，或是直接進(jìn)行大算力存算一體芯片的研究，有的是采用模擬的存算技術(shù)，有的采用數(shù)字的存算技術(shù)。

那么如何選擇合適的存儲器類型，如何做大算力的存算一體芯片設(shè)計(jì)，采用模擬技術(shù)還是數(shù)字的方式？千芯科技董事長陳巍在接受電子發(fā)燒友采訪的時候做了詳細(xì)介紹。

推薦一場會議。9月14-15日，2023全球AI芯片峰會將在深圳灣萬麗酒店舉行。千芯科技董事長陳巍博士將在AI大算力芯片專場，發(fā)布主題為《面向大模型部署訓(xùn)練的存算一體架構(gòu)與多處理器融合》的演講。歡迎掃碼報(bào)名~

01.?人如何選擇存儲器類型

千芯科技致力于大算力存算一體芯片技術(shù)的研究，在SRAM、MRAM、RRAM方面都有探索，目前基于SRAM存算一體產(chǎn)品樣卡正在測試，公司也在與中科院、清華大學(xué)等機(jī)構(gòu)一起優(yōu)化基于RRAM、MRAM存算一體電路的設(shè)計(jì)。

該公司技術(shù)團(tuán)隊(duì)早期接觸過各類存儲器，陳巍博士10多年前就作為國家專項(xiàng)課題的技術(shù)負(fù)責(zé)人主持過當(dāng)時國內(nèi)最先進(jìn)的NOR Flash芯片及Memory Compiler（存儲器編譯器）的設(shè)計(jì)研發(fā)，作為負(fù)責(zé)人創(chuàng)建國內(nèi)首個3D NAND 閃存設(shè)計(jì)團(tuán)隊(duì)，SRAM、RRAM、MRAM等都接觸了10年以上，有不少這些存儲器的專利。

千芯科技也給這些存儲器做了自己的分類，陳巍強(qiáng)調(diào)，在進(jìn)行存算一體存儲器選擇的時候，重點(diǎn)還是要看客戶和應(yīng)用需求，根據(jù)實(shí)際應(yīng)用場景來選擇存儲器比較合適。

圖：存儲器類型，優(yōu)勢、不足和適用場景（來自千芯科技）

因?yàn)殡m然都是存算一體，但是從應(yīng)用來看，有些存算一體需要更偏向于存（Computing Memory），有些更偏向于算（Memory Computing），比如端側(cè)一些語音識別、人像識別的場景，對功耗和成本要求比較高，把AI計(jì)算的部分和存的部分合成一個器件，能夠有效降低成本。

比如在云計(jì)算領(lǐng)域，這個領(lǐng)域需要計(jì)算的模型非常大，同時訓(xùn)練場景下，需要不斷更新數(shù)據(jù)，因此在這樣的應(yīng)用場景下，一些非易失存儲器的讀寫速度，就不如SRAM、DRAM、RRAM好，這些場景更偏向于算，它目前會傾向于偏向計(jì)算能力的存儲器。

也就是說，如果是偏向于低成本，同時希望待機(jī)功耗更好，可以選擇非易失存儲器，包括Flash、RRAM、MRAM等；如果偏向于大規(guī)模計(jì)算，多數(shù)情況下可以選擇RRAM、SRAM和DRAM。另外具體來說選擇哪種存儲器，還和各家的專利布局綁定有關(guān)。

02.?大算力存算一體芯片設(shè)計(jì)

在自動駕駛、數(shù)據(jù)中心等領(lǐng)域，對大算力的需求比較明顯，因此各家企業(yè)也在大算力存算一體芯片的研發(fā)和推廣上投入精力。在陳巍看來，目前除了NOR閃存有些受容量限制，上述提到的各類存儲器基本可以用來做大算力存算一體。

閃存存算方面，目前主要路線是基于NOR flash（不是目前優(yōu)盤所用的閃存類型），多數(shù)情況下存儲容量較小，這使得NOR flash單片算力達(dá)到1 TOPS以上器件代價(jià)較大，通常業(yè)內(nèi)說大算力一般是20-100TOPS以上，因此不太好直接做大算力的存算一體。而其他的存儲器，包括SRAM、RRAM等，現(xiàn)在已經(jīng)看到，有實(shí)際產(chǎn)品證明可以是可以用來做到大算力的存算一體。

在設(shè)計(jì)上，大算力存算一體結(jié)構(gòu)和小算力會有所不同，據(jù)陳巍介紹，這跟存算一體架構(gòu)里面的計(jì)算架構(gòu)有關(guān)，大算力計(jì)算架構(gòu)和小算力計(jì)算架構(gòu)不一樣，一是大算力的計(jì)算核會有特別的外圍電路設(shè)計(jì)，來使它的吞吐能力比小算力更強(qiáng)；二是在整體結(jié)構(gòu)上，大算力有更多核心并聯(lián)，相當(dāng)于多個小算力整合成一個大算力，有點(diǎn)類似于GPU的整合方式，因?yàn)镚PU也相當(dāng)于是不同的小算力的核心，整合起來的架構(gòu)。

雖然說都可以做大算力，而基于非易失存儲器，目前做大算力存算一體，也會遇到一些工藝挑戰(zhàn)，基本上循環(huán)讀寫次數(shù)在十的六到八次方之后，就可能出錯，所以到目前為止，國際上直接用NVM做200Tops以上算力的還較少。

因?yàn)樵诖笏懔鼍跋?，它有非常高頻度的讀寫，這樣會較早的面臨失效的可能，而這個失效可能會導(dǎo)致計(jì)算錯誤，對于產(chǎn)品來說，這是必須要做優(yōu)化的，特別是在自動駕駛領(lǐng)域，如果遇到這種失效將會導(dǎo)致車輛失控。

這個問題如何解決呢，陳巍表示，經(jīng)過與業(yè)內(nèi)專家合作分析，他們認(rèn)為需要從兩方面去做，一是器件的工藝水平需要優(yōu)化，二是做冗余器件設(shè)計(jì)去解決這個問題，目前對于計(jì)算為主的場景，做冗余器件設(shè)計(jì)，它的性能可能就沒有先進(jìn)工藝下的SRAM強(qiáng)，做了冗余設(shè)計(jì)之后，它的面積也會進(jìn)一步提升，這樣成本的優(yōu)勢可能就會有一定的降低。

因此總結(jié)來看，選擇何種存儲器去做大算力存算一體，還是要看場景，看客戶的需求，以及還和器件本身的工藝水平有很大關(guān)系。

03.?模擬和數(shù)字存算一體技術(shù)的差別

可以看到，采用模擬還是數(shù)字的技術(shù)，也是企業(yè)常提到的一點(diǎn)，陳巍介紹，一般跟傳感器連接密切的部分，推薦用模擬存算一體的方式，如果計(jì)算結(jié)構(gòu)復(fù)雜，建議用數(shù)字的，因?yàn)橛媚M結(jié)構(gòu)去做復(fù)雜計(jì)算，代價(jià)比較大，而跟傳感器進(jìn)行結(jié)合的時候，模擬計(jì)算有它的天然優(yōu)勢。

所以其實(shí)更多的還是看場景，比如小算力需求，就是做一個聲音識別，或者做一個小規(guī)模的圖像識別，這時候用模擬比較合適，如果說要做云計(jì)算的大算力，計(jì)算結(jié)構(gòu)又復(fù)雜，目前看采用數(shù)字方式的多些。

上圖是一個存算一體的陣列，比如憶阻器，里面存入矩陣系數(shù)，或者叫權(quán)重，然后輸入數(shù)據(jù)，也就是輸入不同的電壓，根據(jù)歐姆定律，就會產(chǎn)生不同的電流，每個電流匯聚在一起，即相當(dāng)于是電流加和（基爾霍夫定理），就完成了一個乘積累加運(yùn)算，這是模擬電路完成深度學(xué)習(xí)等各種計(jì)算的基本思路。

簡單的理解，數(shù)字的方式就是把不同的模擬單元分離開，原來模擬電路，相當(dāng)于是一個單元存一個模擬數(shù)值，可能是幾位的，比如8位、或4位位寬，如果變成數(shù)字的方式，相當(dāng)于一個單元存入一個數(shù)值，是一個位寬的。這樣就很明顯，模擬的好處是存儲密度更高，但沒法直接做復(fù)雜計(jì)算，數(shù)字電路離散性會更好，更靈活，可以直接做復(fù)雜運(yùn)算。

04.?存算一體技術(shù)的挑戰(zhàn)和未來

目前而言，存算一體的發(fā)展還存在一些挑戰(zhàn)，陳巍談到兩點(diǎn)：一是生態(tài)建設(shè)，盡管存算一體這個概念并不是特別新，但是真正進(jìn)入實(shí)用階段的時間還比較短，特別是通用的編譯生態(tài)環(huán)境還沒有完全成熟，這樣它在落地上就會存在一些適配要求，因?yàn)榭蛻魧ι鷳B(tài)都是有要求的，因此急需建立存算一體的生態(tài)。

二是如何更好的滿足客戶的需求，這也是整個AI芯片落地需要解決的一個問題，企業(yè)需要更多從客戶的需求角度去設(shè)計(jì)產(chǎn)品，對于客戶來說，可能有很多計(jì)算場景，它其實(shí)不單是需要一個AI技術(shù)，還需要其他一些復(fù)合的計(jì)算類型，比如語音識別場景，它除了AI計(jì)算需求之后，還需要語音降噪的算法，這時候就需要根據(jù)客戶的需求進(jìn)行特定場景的優(yōu)化。

存算一體就技術(shù)的未來會怎樣？從兩個階段來看，陳巍認(rèn)為，目前基本都處于一個市場開拓期，很多客戶還沒有完全意識到存算一體的優(yōu)勢和價(jià)值，不過如果市場能夠出現(xiàn)一個很有影響力的廠商，來證明存算一體芯片，比傳統(tǒng)馮諾伊曼架構(gòu)AI芯片能力更強(qiáng)，那么很快就會有很大的突破，預(yù)計(jì)這樣的突破在近期就會發(fā)生。

從遠(yuǎn)期來看，存算一體會和GPU、CPU技術(shù)有很好的結(jié)合，成為CPU、GPU、DPU，或者是其他各種AI芯片的計(jì)算核心，相當(dāng)于現(xiàn)有的存算一體技術(shù)會給GPU或者CPU賦能，成為現(xiàn)有技術(shù)的計(jì)算核心。

從商用角度來看，目前國內(nèi)存算一體芯片至少有兩家量產(chǎn)，估計(jì)今年會有很多都可以開始商用，目前已落地的商用還主要是在端側(cè)可穿戴設(shè)備等領(lǐng)域，一些語音識別，小的視覺模型場景集中。

在自動駕駛和云計(jì)算領(lǐng)域，云計(jì)算領(lǐng)域的商用預(yù)計(jì)快一點(diǎn)，估計(jì)明后年開始就有產(chǎn)品可以逐步進(jìn)入中國互聯(lián)網(wǎng)大廠，自動駕駛領(lǐng)域的商用時間會比較長，因?yàn)樽詣玉{駛從架構(gòu)設(shè)計(jì)到最后大批量裝車，一般需要五年時間，如果前面兩年已經(jīng)完成了設(shè)計(jì)、流片，大約還要三年的適配和量產(chǎn)測試時間才能實(shí)現(xiàn)大批量落地應(yīng)用。

編輯：黃飛

?