片上網(wǎng)絡(luò)Net-on-chip在人工智能和機(jī)器學(xué)習(xí)領(lǐng)域應(yīng)用

人工智能（AI）和機(jī)器學(xué)習(xí)（ML）在現(xiàn)代科技領(lǐng)域中的廣泛應(yīng)用，特別關(guān)注了它們?cè)?a href="http://www.ttokpm.com/v/tag/117/" target="_blank">傳感器、邊緣設(shè)備、邊緣計(jì)算、數(shù)據(jù)中心和云端的角色，在這些不同領(lǐng)域中，Net-on-chip（NoC）技術(shù)的關(guān)鍵作用。

在圣克拉拉舉行的人工智能硬件峰會(huì)和在布魯塞爾舉行的 Autosens 峰會(huì)，很多內(nèi)容都在交匯。

網(wǎng)絡(luò)片上網(wǎng)絡(luò)（Network-on-Chip，NoC）是集成電上的一種基于網(wǎng)絡(luò)的通信子系統(tǒng)，用于SoC中的模塊之間。IC上的模塊用于模擬計(jì)算機(jī)系統(tǒng)的各種功能，并且在網(wǎng)絡(luò)科學(xué)的意義上被設(shè)計(jì)成模塊化的。網(wǎng)絡(luò)片上網(wǎng)絡(luò)是一個(gè)基于路由器的分組交換網(wǎng)絡(luò)，連接了SoC模塊。

從傳感器到數(shù)據(jù)中心，人工智能和機(jī)器學(xué)習(xí)無(wú)處不在。

1）傳感器是人工智能和機(jī)器學(xué)習(xí)應(yīng)用的起點(diǎn)，負(fù)責(zé)從環(huán)境中收集各種原始數(shù)據(jù)，涵蓋了從溫度讀數(shù)到圖像的各種信息。傳感器內(nèi)部集成了SoC人工智能處理，這是一個(gè)新興的概念，主要用于基本數(shù)據(jù)的預(yù)處理。例如，物聯(lián)網(wǎng)傳感器使用輕量級(jí)機(jī)器學(xué)習(xí)模型對(duì)數(shù)據(jù)進(jìn)行過濾或處理，從而減少了傳輸負(fù)擔(dān)和原始數(shù)據(jù)量。這種本地處理不僅有助于減少延遲，還能保持帶寬的穩(wěn)定。隨著汽車電子架構(gòu)的不斷發(fā)展，EE架構(gòu)需要權(quán)衡在計(jì)算發(fā)生的位置以及如何在區(qū)域計(jì)算和中央計(jì)算之間分配任務(wù)方面做出決策。

2）邊緣設(shè)備通常包括移動(dòng)電話、平板電腦或其他靠近數(shù)據(jù)源的便攜式設(shè)備。汽車也可以看作是一種邊緣設(shè)備，但有著獨(dú)特的“輪上的傳感器到數(shù)據(jù)中心”的計(jì)算分布方式。在邊緣設(shè)備上執(zhí)行人工智能和機(jī)器學(xué)習(xí)模型對(duì)于需要實(shí)時(shí)處理和低延遲的應(yīng)用程序至關(guān)重要，例如增強(qiáng)現(xiàn)實(shí)（AR）和自動(dòng)駕駛汽車等無(wú)法依賴“始終在線”連接的應(yīng)用。這些設(shè)備上部署的模型經(jīng)過優(yōu)化，以在設(shè)備上實(shí)現(xiàn)更快的響應(yīng)速度，并增強(qiáng)數(shù)據(jù)隱私性，因?yàn)閿?shù)據(jù)不總是必須傳輸?shù)街醒敕?wù)器。

3）邊緣計(jì)算是人工智能和機(jī)器學(xué)習(xí)可能在用戶察覺之外發(fā)生的領(lǐng)域。遠(yuǎn)端計(jì)算指的是距離云數(shù)據(jù)中心最遠(yuǎn)但距離用戶最近的基礎(chǔ)設(shè)施。這種計(jì)算模式適用于需要比邊緣設(shè)備更多計(jì)算資源和功率，但又需要比云解決方案更低延遲的應(yīng)用程序。高級(jí)分析模型或推理模型，這些模型對(duì)邊緣設(shè)備至關(guān)重要，但對(duì)延遲非常敏感?！斑吘壢斯ぶ悄堋眮?lái)描述在這個(gè)層面進(jìn)行的計(jì)算，包括了自動(dòng)輔助駕駛汽車、聯(lián)網(wǎng)設(shè)備以及智能手機(jī)上的面部識(shí)別和實(shí)時(shí)交通更新等應(yīng)用。

4）數(shù)據(jù)中心和云則成為計(jì)算資源的中心，提供卓越的處理能力和存儲(chǔ)，非常適合用于訓(xùn)練復(fù)雜且資源密集型的人工智能和機(jī)器學(xué)習(xí)模型，并管理大規(guī)模的數(shù)據(jù)集。數(shù)據(jù)中心內(nèi)的高性能計(jì)算集群可以處理復(fù)雜任務(wù)，比如訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)或進(jìn)行廣泛的模擬。但由于資源限制，這些任務(wù)在邊緣設(shè)備上無(wú)法實(shí)現(xiàn)。最初，生成式人工智能主要駐留在這些中心地帶，通常需要特殊的加速設(shè)備，這種生成式人工智能逐漸向“設(shè)備上的生成式人工智能”發(fā)展，這就是高通等公司所展示的趨勢(shì)。

在整個(gè)人工智能和機(jī)器學(xué)習(xí)生態(tài)系統(tǒng)中，各層之間相互連接，形成了無(wú)縫的工作流程。傳感器可能會(huì)收集數(shù)據(jù)并進(jìn)行初始處理，然后將數(shù)據(jù)發(fā)送到邊緣設(shè)備進(jìn)行實(shí)時(shí)推理。在數(shù)據(jù)傳輸?shù)綌?shù)據(jù)中心進(jìn)行深入分析和（重新）訓(xùn)練模型之前，可能需要在遠(yuǎn)端或近端邊緣計(jì)算資源上進(jìn)行更詳細(xì)的分析，以獲得更精細(xì)的結(jié)果。

NoC（片上網(wǎng)絡(luò)）是人工智能和機(jī)器學(xué)習(xí)領(lǐng)域的關(guān)鍵推動(dòng)者，在以下三個(gè)方面發(fā)揮重要作用：

1）連接各種常規(guī)的人工智能/機(jī)器學(xué)習(xí)子系統(tǒng)，快速傳輸數(shù)據(jù)是關(guān)鍵，因此需要寬位寬、廣播能力和虛擬通道功能的支持；

2）降低芯片上所有模塊集成的風(fēng)險(xiǎn)，NoC確保各部件之間高效的通信，解決了集成問題；

3）在小芯片場(chǎng)景中連接各種硅芯片（D2D）或芯片到芯片（C2C）環(huán)境中的各種芯片，這需要適當(dāng)?shù)膮f(xié)議支持。為了實(shí)現(xiàn)這些功能，NoC必須支持各種協(xié)議。

Arteris的FlexNoC和Ncore技術(shù)受到了市場(chǎng)的關(guān)注，解決了片上網(wǎng)絡(luò)的問題，幫助客戶降低了集成風(fēng)險(xiǎn)，使他們能夠?qū)Ｗ⒂跇?gòu)建下一代AI和RISC-V CPU產(chǎn)品。關(guān)于小芯片之間的連接問題，行業(yè)內(nèi)正就物理接口（如XSR、BOW、OHBI、AIB和UCIe）及其數(shù)字控制器進(jìn)行激烈討論。NoC和“SuperNoC”等技術(shù)必須支持適當(dāng)?shù)膮f(xié)議，行業(yè)內(nèi)正在探討Arm的CHI C2C和其他提案。為了實(shí)現(xiàn)理想的開放式小芯片生態(tài)系統(tǒng)，需要各家公司共同努力。

AI/ML的快速發(fā)展將推動(dòng)半導(dǎo)體領(lǐng)域的發(fā)展，而NoC技術(shù)將在AI/ML集群中發(fā)揮關(guān)鍵作用，連接各個(gè)部分，促使技術(shù)不斷創(chuàng)新，實(shí)現(xiàn)更高效的數(shù)據(jù)處理和傳輸。

編輯：黃飛

?