AI終端應(yīng)用中需要怎么選擇最合適的閃存芯片

2016年3月，Google AlphaGo在與韓國九段棋手李世石進(jìn)行的圍棋比賽中，以4:1的絕對(duì)優(yōu)勢完勝；2018年底，Google AlphaStar與兩位世界頂尖游戲玩家在《星際爭霸(StartCraft II)》中展開對(duì)決，最終以兩個(gè)5:0的成績橫掃對(duì)手。盡管早在1997年，IBM開發(fā)的計(jì)算機(jī)程序“深藍(lán)”就戰(zhàn)勝了當(dāng)時(shí)的國際象棋特級(jí)大師加里·卡斯帕羅夫，但考慮到國際象棋的下法難度遠(yuǎn)遠(yuǎn)低于圍棋，所以AlphaGo的勝利在某種程度上也被視作“AI時(shí)代的真正來臨”。

AI的起源

1955年到1956年間，時(shí)任Dartmouth學(xué)院助理教授的John McCarthy，也是后來世界公認(rèn)的AI教父，與來自哈佛大學(xué)的Marvin Minsky、IBM的Claude Shannon、以及美國貝爾實(shí)驗(yàn)室的Nathaniel Rochester，首次共同定義了“人工智能(AI)”的概念，即：

“如果任何的機(jī)器通過不一樣的語言，就可以將抽象的事務(wù)或概念表達(dá)出來，并且通過這個(gè)抽象的概念去幫助人們解決現(xiàn)有的問題，或者是它本身可以通過自主學(xué)習(xí)不斷地精進(jìn)，我們就將其稱之為AI?！? 或者用更精煉的話語進(jìn)行陳述，那就是：當(dāng)任何機(jī)器的行為模式與人一樣時(shí)，我們就稱它是“智能(intelligent)”的。 如此寬泛的定義自然帶來了與之對(duì)應(yīng)的寬泛應(yīng)用。除了下棋與游戲，在自動(dòng)駕駛領(lǐng)域，美國部分地區(qū)已經(jīng)開放了Level 4級(jí)別的測試，相信真正的Level 5級(jí)別自動(dòng)駕駛也是指日可待，而要保障車輛和行人的安全，我們依賴的除了法律法規(guī)，還有AI算法的開發(fā)者；而在IoT應(yīng)用領(lǐng)域，傳感、智能手機(jī)、網(wǎng)絡(luò)搜索、人臉/汽車牌照識(shí)別、智能表計(jì)、機(jī)器視覺、工業(yè)控制……AI正變得無處不在，讓工作和生活變得更加便捷與智慧。

IDC的統(tǒng)計(jì)數(shù)據(jù)顯示，2020年到2021年間，全球AI服務(wù)的年復(fù)合增長率達(dá)到了17.4%，預(yù)計(jì)到2024年，這一數(shù)字將上升至18.4%，市值約為378億美元。這其中包括了定制化的應(yīng)用和針對(duì)定制化平臺(tái)所提供的相關(guān)支持與服務(wù)，例如一些深度學(xué)習(xí)架構(gòu)、卷積神經(jīng)網(wǎng)絡(luò)、與AI相關(guān)的芯片產(chǎn)品(CPU、GPU、FPGA、TPU、ASIC)等。

同樣是來自IDC的數(shù)據(jù)，全球數(shù)據(jù)儲(chǔ)存量將從2018年的33ZB猛增到2025年的175ZB，這其中超過50%都來自IoT設(shè)備。如果考慮到2025年，全球?qū)?huì)部署約140億部IoT設(shè)備，那么我們似乎就應(yīng)該大量地增加云端的計(jì)算單元數(shù)量與算力，才能應(yīng)對(duì)海量的數(shù)據(jù)增長。 不過，事實(shí)并非如此，這一想法顯然沒有顧及到從終端到云端的數(shù)據(jù)傳輸鏈條中面臨的帶寬、時(shí)間延遲等事實(shí)性挑戰(zhàn)，這也是為什么“邊緣計(jì)算”能夠得以迅速崛起的原因。 因?yàn)槲覀冏罱K發(fā)現(xiàn)，隨著IoT設(shè)備的快速增加，一味增加帶寬和服務(wù)器數(shù)量的做法并非最優(yōu)，不少應(yīng)用完全可以在端側(cè)設(shè)備中加以實(shí)現(xiàn)，而不必把所有數(shù)據(jù)都放到云端去進(jìn)行處理和傳輸、存儲(chǔ)和分析，這是不適合的。比如在工業(yè)自動(dòng)化領(lǐng)域，數(shù)據(jù)存儲(chǔ)距離一定要近才有效率；5G移動(dòng)設(shè)備制造商如果不強(qiáng)化終端側(cè)人工智能并進(jìn)行計(jì)算-存儲(chǔ)架構(gòu)更改，將會(huì)遭遇嚴(yán)重的電池壽命問題。 隱私安全，是另一個(gè)值得我們重視的環(huán)節(jié)，尤其是在當(dāng)前萬物互聯(lián)的時(shí)代，機(jī)密資料/數(shù)據(jù)外泄或是遭到黑客入侵的事件屢有發(fā)生。如果我們能讓計(jì)算在邊緣側(cè)發(fā)生，節(jié)省“云-管-端”通路中數(shù)據(jù)傳輸?shù)拇螖?shù)，那么，在確保數(shù)據(jù)和網(wǎng)絡(luò)安全的同時(shí)，也降低了功耗和系統(tǒng)總擁有成本。

不同AI芯片的比較

眾所周知，AI技術(shù)根據(jù)應(yīng)用不同被分為“訓(xùn)練(Training)”和“推理(Inference)”兩大類，前者主要在云端由CPU、GPU、TPU負(fù)責(zé)執(zhí)行，目的是不斷增加數(shù)據(jù)庫資源以建立數(shù)據(jù)模型；后者則比較適合應(yīng)用于邊緣裝置和特定應(yīng)用，常由ASIC、FPGA類芯片進(jìn)行處理，依托已經(jīng)訓(xùn)練好的數(shù)據(jù)模型進(jìn)行推理。

如前文所述，與AI相關(guān)的芯片產(chǎn)品包括CPU、GPU、FPGA、TPU、ASIC等多種類型。華邦電子閃存產(chǎn)品企劃處黃仲宇從五個(gè)維度對(duì)上述不同的芯片類型進(jìn)行了概略性的初步比較，包括算力(Computing)、軟件靈活性(Flexibility)、硬件兼容性(Compatibility)、功耗(Power)和成本(Cost)。

01

CPU

CPU發(fā)展多年，運(yùn)算能力強(qiáng)大，在軟硬件兼容性方面首屈一指。但是，由于受到馮·諾伊曼架構(gòu)的限制，數(shù)據(jù)需要在內(nèi)存和處理器之間不斷往復(fù)傳輸，所以限制了處理的平均速度、且在功耗和成本表現(xiàn)上相較其他方案不是最好的，處于折中的位置。

02

GPU

以Nvidia GPU為例，由于采用了“Compute Unifiled Device Architecture”架構(gòu)，且自身計(jì)算單元數(shù)量眾多，使得GPU不但能夠任意讀取內(nèi)存的位置，而且還可通過虛擬內(nèi)存的共用加速計(jì)算能力，盡管同樣受到馮·諾伊曼架構(gòu)的限制，但其平均算力超過CPU幾十倍甚至上千倍。

GPU同樣發(fā)展多年，軟硬件兼容性好，但在功耗與成本表現(xiàn)上仍有改善空間，此外還須考慮硬件上的投資，如額外加裝冷卻系統(tǒng)以降低發(fā)熱。

03

ASIC芯片

ASIC芯片是針對(duì)特定應(yīng)用開發(fā)出來的產(chǎn)品，在經(jīng)過驗(yàn)證調(diào)整之后運(yùn)算能力、整體功耗和成本可以達(dá)到最佳水平。

04

FPGA

FPGA同樣發(fā)展多年，軟硬件兼容方面值得稱贊，整體算力、成本和功耗即便不是最佳水平，但也不失為一個(gè)不錯(cuò)的折中解決方案，對(duì)開發(fā)者來說，從FPGA入手切入AI芯片開發(fā)是個(gè)不錯(cuò)的角度。

突破馮·諾依曼架構(gòu)瓶頸

在傳統(tǒng)計(jì)算設(shè)備廣泛采用的馮·諾依曼架構(gòu)中，計(jì)算和存儲(chǔ)功能不但是分離的，而且更側(cè)重于計(jì)算。數(shù)據(jù)在處理器和存儲(chǔ)器之間不停的來回傳輸，消耗了約80%的時(shí)間和功耗。學(xué)術(shù)界為此想出了很多方法試圖改變這種狀況，例如通過光互連、2.5D/3D堆疊實(shí)現(xiàn)高帶寬數(shù)據(jù)通信，或者通過增加緩存級(jí)數(shù)、高密度片上存儲(chǔ)這樣的近數(shù)據(jù)存儲(chǔ)，來緩解訪存延遲和高功耗。 但試想一下，人類大腦有計(jì)算和存儲(chǔ)的區(qū)別嗎?我們是用左半球來計(jì)算，右半球做存儲(chǔ)的嗎?顯然不是，人腦本身的計(jì)算和存儲(chǔ)都發(fā)生在同一個(gè)地方，不需要數(shù)據(jù)遷移。

因此，學(xué)術(shù)界和產(chǎn)業(yè)界都希望盡快找到一種與人腦結(jié)構(gòu)類似的創(chuàng)新架構(gòu)的想法就不足為奇了，最好是能夠?qū)⒋鎯?chǔ)和計(jì)算有機(jī)地結(jié)合在一起，直接利用存儲(chǔ)單元進(jìn)行計(jì)算，或者是將計(jì)算單元進(jìn)行分類，使之對(duì)應(yīng)不同的存儲(chǔ)單元，最大程度的消除數(shù)據(jù)遷移所帶來的功耗開銷，“計(jì)算存儲(chǔ)設(shè)備(Computational Storage Device)”的應(yīng)用概念應(yīng)運(yùn)而生。

存儲(chǔ)業(yè)界已有公司提出很值得借鑒的概念。NVM不只存儲(chǔ)經(jīng)過數(shù)模轉(zhuǎn)換器之后產(chǎn)生的模擬信號(hào)，還可以將算力進(jìn)行輸出，而輸入電壓和輸出電流則在NVM中扮演著可變電阻的角色，將模擬電流信號(hào)經(jīng)過模數(shù)轉(zhuǎn)換器變?yōu)?a target="_blank">數(shù)字信號(hào)，從而完成數(shù)字信號(hào)輸入-數(shù)字信號(hào)輸出的全過程。這一做法的最大優(yōu)勢在于它完全可以利用成熟的20/28nm CMOS工藝，而不用像CPU/GPU一樣去追求7nm/5nm這樣費(fèi)用高昂的先進(jìn)制程。 而伴隨成本和功耗開銷的降低，時(shí)間延遲特性也得到了顯著提升，這對(duì)無人機(jī)、智能機(jī)器人、自動(dòng)駕駛、安防監(jiān)控等應(yīng)用來說都是至關(guān)重要的。 總體來說，終端推理過程計(jì)算復(fù)雜度低，涉及的任務(wù)較為固定，對(duì)硬件加速功能的通用性要求不高，無需頻繁變動(dòng)架構(gòu)，更適合存內(nèi)計(jì)算的實(shí)現(xiàn)。相關(guān)數(shù)據(jù)顯示，2017年之前，人工智能無論是訓(xùn)練還是推理基本都在云端完成，但到了2023年，在邊緣側(cè)設(shè)備/芯片上進(jìn)行AI推理將占據(jù)該市場一半以上的份額，總額高達(dá)200-300億美元，這對(duì)IC廠商來說是一個(gè)非常龐大的市場。

AI需要怎樣的閃存？

相信沒有人會(huì)反對(duì)高品質(zhì)、高可靠性和低延遲閃存(Flash Memory)對(duì)AI芯片與應(yīng)用的重要性。但黃仲宇提醒，面對(duì)不同的應(yīng)用，需要從性能、功耗、安全、可靠性、高效能等多方面加以綜合考量，相比之下，成本考量雖然相當(dāng)重要，但相較之下不是第一優(yōu)先的考慮因素，不能顧此失彼。 高性能OctalNAND Flash W35N、面向低功耗應(yīng)用的W25NJW系列、與安全相關(guān)的W77Q/W75F系列安全閃存，是華邦最具代表性的產(chǎn)品，例如，華邦QspiNAND Flash的數(shù)據(jù)傳輸率大概是83MB每秒，而OctalNAND系列最快的速度可以達(dá)到240MB每秒，幾乎是前者的3倍；在車載應(yīng)用中，大量AG1 125C NOR系列和AG2+ 115C NAND系列Flash已經(jīng)量產(chǎn)面世；而在智能傳感器或是產(chǎn)線機(jī)器人應(yīng)用方面，華邦電子則可以提供具備成本-高效能的解決方案，比如W25N/W29N NAND Flash系列。

除了各式各樣的不同類型的Flash產(chǎn)品外，華邦SpiStack (NOR+NAND) 也很具特點(diǎn)。它將NOR芯片和NAND芯片堆疊到一個(gè)封裝中，例如64MB Serial NOR和1Gb QspiNAND芯片堆疊，使設(shè)計(jì)人員可以靈活地將代碼存儲(chǔ)在NOR芯片中，并將數(shù)據(jù)存儲(chǔ)在NAND芯片。此外，雖然是兩個(gè)芯片(NOR+NAND)的堆棧，但單一封裝的SpiStack，在使用上僅需6個(gè)信號(hào)引腳。

“華邦可以提供不錯(cuò)的Flash選型來保護(hù)客戶辛苦開發(fā)出來的代碼模型。就像在一場籃球比賽中一樣，芯片廠商扮演中鋒或前鋒，憑借強(qiáng)大的算力和算法不斷得分，而華邦就像后衛(wèi)，在后場提供高品質(zhì)、高性能的Flash產(chǎn)品，確保用戶在市場上不斷得分?！秉S仲宇表示。

原文標(biāo)題：如何在AI終端應(yīng)用中選擇合適的閃存芯片

文章出處：【微信公眾號(hào)：電子發(fā)燒友網(wǎng)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。