為AI端點應(yīng)用選擇合適的閃存

人工智能的起源

從1955年到1956年，達(dá)特茅斯學(xué)院助理教授約翰·麥卡錫（John McCarthy）被廣泛認(rèn)為是人工智能（AI）之父。哈佛大學(xué)的Marvin Minsky，IBM的Claude Shannon和美國貝爾實驗室的Nathaniel Rochester共同創(chuàng)造了人工智能（AI）的概念，他們說：“如果機(jī)器可以使用不同的語言來形成抽象或概念，解決現(xiàn)在留給人類的各種問題，并通過自主學(xué)習(xí)提高自己，我們稱之為AI。

牛津詞典將人工智能定義為“能夠執(zhí)行通常需要人類智能的任務(wù)的計算機(jī)系統(tǒng)的理論和發(fā)展，例如視覺感知、語音識別、決策和語言之間的翻譯。

隨著系統(tǒng)的發(fā)展，人工智能技術(shù)將出現(xiàn)在更多的物聯(lián)網(wǎng)應(yīng)用中，如傳感、智能手機(jī)、網(wǎng)絡(luò)搜索、人臉或車輛車牌識別、智能電表、工業(yè)控制和自動駕駛。

在自動駕駛領(lǐng)域，美國已經(jīng)進(jìn)行了4級測試（被認(rèn)為是完全自動駕駛，盡管人類駕駛員仍然可以請求控制）。隨著5級（真正的自動駕駛，汽車完成所有駕駛，沒有駕駛艙）自動駕駛指日可待，我們不僅要依靠交通法律法規(guī)，還要依靠人工智能算法的開發(fā)人員來確保車輛和行人的安全。

根據(jù)國際數(shù)據(jù)公司（IDC）的統(tǒng)計數(shù)據(jù)，到2024年，全球人工智能服務(wù)預(yù)計將上升到18.4%，市值約為378億美元。這包括定制應(yīng)用程序以及定制平臺的相關(guān)支持和服務(wù)，例如深度學(xué)習(xí)架構(gòu)、卷積神經(jīng)網(wǎng)絡(luò)（一類人工神經(jīng)網(wǎng)絡(luò)，最常用于分析視覺圖像）和人工智能相關(guān)芯片（CPU、GPU、FPGA、TPU、ASIC）等等。

IDC還預(yù)測，全球數(shù)據(jù)存儲將從2018年的33ZB飆升至2025年的175ZB，其中超過50%將來自物聯(lián)網(wǎng)設(shè)備。

考慮到到2025年全球?qū)⒉渴鸺s140億臺物聯(lián)網(wǎng)設(shè)備，我們大幅增加云中的計算單元數(shù)量和計算能力以應(yīng)對海量數(shù)據(jù)增長不是最重要的嗎？

好吧，簡短的回答是否定的。它沒有考慮從端點到云的數(shù)據(jù)傳輸鏈中的帶寬和延遲等實際挑戰(zhàn)，這就是“邊緣計算”如此迅速涌現(xiàn)的原因。

沒有必要增加帶寬和服務(wù)器數(shù)量來應(yīng)對物聯(lián)網(wǎng)設(shè)備的快速增長。最好將應(yīng)用程序移動到端點設(shè)備，這樣就無需將所有數(shù)據(jù)發(fā)送到云進(jìn)行處理、傳輸、存儲和分析。例如，在工業(yè)自動化應(yīng)用中，數(shù)據(jù)存儲距離會影響效率——如果不加強(qiáng)端點人工智能并改革計算存儲架構(gòu)，5G移動設(shè)備制造商可能會遇到嚴(yán)重的電池壽命困難。

安全性是另一個重要問題，尤其是在萬物互聯(lián)（IoE）時代，機(jī)密信息，數(shù)據(jù)泄漏或黑客事件很常見。在邊緣進(jìn)行計算可以最大限度地減少數(shù)據(jù)在“云-管道-端點”路徑中傳輸?shù)拇螖?shù)，在這種情況下，功耗和系統(tǒng)總擁有成本降低，同時確保數(shù)據(jù)和網(wǎng)絡(luò)安全。

比較人工智能芯片

人工智能技術(shù)分為兩類;訓(xùn)練和推理。訓(xùn)練由 CPU、GPU 和 TPU 在云中執(zhí)行，以不斷增加用于構(gòu)建數(shù)據(jù)模型的數(shù)據(jù)庫資源。推理依賴于經(jīng)過訓(xùn)練的數(shù)據(jù)模型，更適合完成邊緣設(shè)備和特定應(yīng)用。它通常由ASIC和FPGA芯片處理。

與AI相關(guān)的芯片包括CPU，GPU，F(xiàn)PGA，TPU和ASIC。為了了解這些芯片之間的比較情況，以下是 5 個關(guān)鍵因素的比較重點。這些是：

計算機(jī)科學(xué)

靈活性

兼容性

權(quán)力

成本。

-中央處理器

CPU的開發(fā)具有強(qiáng)大的計算能力和首屈一指的軟件和硬件兼容性。但由于馮諾依曼架構(gòu)的限制，數(shù)據(jù)需要在存儲器和處理器之間來回傳輸。與其他解決方案相比，這限制了平均處理速度以及推動功耗和成本的能力。

- 顯卡

例如，由于采用了計算統(tǒng)一設(shè)備架構(gòu)，英偉達(dá)的GPU可以主觀地讀取內(nèi)存位置，并通過共享虛擬內(nèi)存來提高計算能力。平均計算能力超過CPU數(shù)百甚至數(shù)千倍。

GPU已經(jīng)發(fā)展出良好的軟件和硬件兼容性，但需要提高功耗和成本效益。對硬件（如附加冷卻系統(tǒng)）的投資對于減少任何熱量問題也至關(guān)重要。

- 專用集成電路

ASIC芯片專為特定應(yīng)用而設(shè)計。它們的計算能力、整體功耗和成本效益可以在驗證和調(diào)整后進(jìn)行優(yōu)化。

- FPGA

FPGA在軟硬件上的兼容性值得稱道，即使整體算力、成本效率和功耗都不是最好的。對于開發(fā)人員來說，從FPGA開始AI芯片開發(fā)仍然是一個好主意。

突破馮·諾依曼建筑的界限

馮諾依曼架構(gòu)被傳統(tǒng)計算設(shè)備廣泛采用，它沒有將計算和存儲分開，而是更側(cè)重于計算。處理器和內(nèi)存之間的無休止數(shù)據(jù)傳輸消耗了大約 80% 的時間和功率。學(xué)術(shù)界已經(jīng)提出了許多不同的方法來解決這個問題 - 通過光互連和2.5D / 3D堆疊實現(xiàn)高帶寬數(shù)據(jù)通信。通過增加緩存層和近數(shù)據(jù)存儲（如高密度片上存儲）的數(shù)量來降低內(nèi)存訪問延遲和功耗。

但是人腦中的計算和存儲有什么區(qū)別嗎？我們是否使用左半球進(jìn)行計算，使用右半球進(jìn)行存儲？顯然不是。人腦的計算和存儲發(fā)生在同一個地方，不需要數(shù)據(jù)遷移。

然后，學(xué)術(shù)界和工業(yè)界都渴望找到一種類似于人腦結(jié)構(gòu)的新架構(gòu)，能夠有機(jī)地結(jié)合計算和存儲，這并不奇怪。解決方案是“計算存儲設(shè)備”，它直接使用存儲單元進(jìn)行計算或?qū)τ嬎銌卧M(jìn)行分類，以便它們對應(yīng)于不同的存儲單元 - 最大限度地減少數(shù)據(jù)遷移引起的功耗。

存儲行業(yè)的一些制造商已經(jīng)探索了不同的選擇。例如，非易失性存儲器（NVM）存儲數(shù)模轉(zhuǎn)換器產(chǎn)生的模擬信號并輸出計算能力。同時，輸入電壓和輸出電流在NVM中起著可變電阻的作用，模擬電流信號通過模數(shù)轉(zhuǎn)換器轉(zhuǎn)換為數(shù)字信號。這樣就完成了從數(shù)字信號輸入到數(shù)字信號輸出的轉(zhuǎn)換過程。這種方法的最大優(yōu)點是可以充分利用成熟的20/28nm CMOS工藝，而不是像CPU/GPU那樣追求昂貴的7nm/5nm高級工藝。

隨著成本和功耗的降低，延遲得到了顯著改善，這對于無人機(jī)、智能機(jī)器人、自動駕駛和安全監(jiān)控等應(yīng)用至關(guān)重要。

一般來說，端點推理過程的計算復(fù)雜度較低，涉及的任務(wù)相對固定。由于硬件加速功能的通用性要求較低，因此無需頻繁更改架構(gòu)。這更適合實現(xiàn)內(nèi)存計算。相關(guān)統(tǒng)計數(shù)據(jù)顯示，在2017年之前，人工智能無論是訓(xùn)練還是參考，都是在云端完成的;但到2023年，邊緣端設(shè)備/芯片上的AI參考將占到市場的一半以上，總計200-300億美元。對于IC制造商來說，這是一個巨大的市場。

AI需要什么樣的閃存？

每個人都會同意高質(zhì)量、高可靠性和低延遲的閃存對AI芯片和應(yīng)用的重要性。為不同的應(yīng)用找到性能、功耗、安全性、可靠性和高效率的適當(dāng)平衡至關(guān)重要。成本雖然重要，但不應(yīng)是最重要的考慮因素。

華邦的產(chǎn)品組合為人工智能應(yīng)用提供了合適的選擇，包括高性能OctalNAND閃存W35N、用于低功耗應(yīng)用的W25NJW系列，以及與安全相關(guān)的W77Q/W75F系列安全閃存。例如，華邦QspiNAND閃存的數(shù)據(jù)傳輸速率約為每秒83MB，OctalNAND系列的最快速度高達(dá)近3倍，接近每秒240MB。

我們的AG1 125C NOR系列和AG2+ 115C NAND系列閃存正在為汽車應(yīng)用量產(chǎn)。華邦亦提供高性價比的解決方案，例如W25N/W29N NAND閃存系列，適用于生產(chǎn)線機(jī)器人應(yīng)用。

除了華邦廣泛的閃存產(chǎn)品外，華邦的SpiStack（NOR+NAND）也提供了一個可行的替代方案。它將NOR和NAND芯片堆疊到一個封裝中，例如64MB串行NOR和1Gb QspiNAND芯片堆棧，使設(shè)計人員能夠靈活地在NOR芯片上存儲代碼，在NAND芯片上存儲數(shù)據(jù)。雖然它是兩個芯片（NOR+NAND）的堆棧，但SpiStack的單個封裝僅使用6個信號引腳。

“華邦提供多種閃存選項來保護(hù)客戶開發(fā)的代碼模型。就像在籃球比賽中一樣，芯片制造商扮演中鋒或前鋒，用強(qiáng)大的算力和算法得分;而華邦就像一個捍衛(wèi)者，用高質(zhì)量、高性能的閃存產(chǎn)品保護(hù)客戶，確保他們在市場上不斷得分。

審核編輯：郭婷