支持大模型部署和運(yùn)行的邊緣計(jì)算SoC芯片

電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）如今，AI在邊緣側(cè)的應(yīng)用越來(lái)越廣泛，這其中少不了AI SoC芯片的支持，邊緣計(jì)算AI SoC是一種集成了人工智能（AI）和邊緣計(jì)算能力的系統(tǒng)級(jí)芯片。這種芯片結(jié)合了高性能的處理器核心、AI加速器、內(nèi)存控制器、外設(shè)接口以及通信接口等關(guān)鍵組件，旨在在數(shù)據(jù)產(chǎn)生的源頭附近（即邊緣）實(shí)現(xiàn)實(shí)時(shí)的數(shù)據(jù)處理、分析和決策。

邊緣計(jì)算SoC的發(fā)展歷程

SoC的發(fā)展經(jīng)歷了多個(gè)階段，早期階段（1970年代至1980年代），微處理器技術(shù)開(kāi)始興起，英特爾（Intel）推出了第一款微處理器Intel 4004，這通常被認(rèn)為是SoC技術(shù)的起點(diǎn)。隨著制造工藝的改進(jìn)，設(shè)計(jì)師開(kāi)始將更復(fù)雜的元素（如中央處理器CPU、內(nèi)存和輸入/輸出I/O電路）集成到單個(gè)芯片上，創(chuàng)建更先進(jìn)的應(yīng)用特定集成電路（ASIC）。

進(jìn)一步發(fā)展階段（1990年代至2000年代）：隨著半導(dǎo)體工藝技術(shù)的進(jìn)一步發(fā)展，將整個(gè)系統(tǒng)（包括模擬和數(shù)字功能）集成到單個(gè)芯片上成為可能。這為邊緣計(jì)算提供了更強(qiáng)大的硬件支持，因?yàn)檫吘壴O(shè)備需要具備一定的數(shù)據(jù)處理和計(jì)算能力。在這個(gè)時(shí)期，SoC的設(shè)計(jì)變得更加復(fù)雜，集成了更多的功能和組件，如圖形處理器（GPU）、數(shù)字信號(hào)處理器（DSP）等。

定制化SoC的發(fā)展（2010年代）：隨著物聯(lián)網(wǎng)（IoT）應(yīng)用、可穿戴設(shè)備以及邊緣計(jì)算設(shè)備的需求不斷增加，制造商開(kāi)始針對(duì)特定用例調(diào)整SoC設(shè)計(jì)，整合人工智能（AI）和機(jī)器學(xué)習(xí)（ML）功能。這推動(dòng)了定制化SoC的發(fā)展，使其能夠更好地滿足特定應(yīng)用的需求，提高性能和效率。

AI與SoC的深度融合（2020年代及以后）：隨著進(jìn)入AI、5G連接和邊緣計(jì)算時(shí)代，SoC繼續(xù)演變以適應(yīng)不斷增長(zhǎng)的復(fù)雜性和處理要求。AI技術(shù)成為SoC架構(gòu)的重要組成部分，為邊緣設(shè)備提供了更強(qiáng)大的智能處理能力。例如，通過(guò)集成AI加速器、神經(jīng)網(wǎng)絡(luò)處理器（NPU）等專用硬件，SoC可以加速AI算法的執(zhí)行，提高處理速度和效率。

如今，邊緣計(jì)算AI SoC的應(yīng)用涵蓋多個(gè)領(lǐng)域和行業(yè)。如智能制造，在通過(guò)安裝集成了AI SoC的邊緣計(jì)算設(shè)備，可以實(shí)時(shí)監(jiān)測(cè)生產(chǎn)設(shè)備的運(yùn)行狀態(tài)、產(chǎn)品質(zhì)量等信息。這些設(shè)備能夠?qū)崟r(shí)分析數(shù)據(jù)，預(yù)測(cè)設(shè)備故障，優(yōu)化生產(chǎn)流程，提高生產(chǎn)效率和產(chǎn)品質(zhì)量。

再如智慧城市，在智能交通系統(tǒng)中，邊緣計(jì)算AI SoC可以實(shí)時(shí)分析交通流量、車輛行駛軌跡等數(shù)據(jù)，優(yōu)化交通信號(hào)燈的控制策略，緩解交通擁堵。在智能安防領(lǐng)域，通過(guò)在城市各個(gè)角落部署邊緣計(jì)算設(shè)備，可以實(shí)時(shí)監(jiān)測(cè)城市的安全狀況，進(jìn)行人臉識(shí)別、行為分析等操作，提高城市的公共安全水平。

還有醫(yī)療領(lǐng)域，在醫(yī)院中，邊緣計(jì)算AI SoC可以實(shí)時(shí)監(jiān)測(cè)患者的生理數(shù)據(jù)，如心率、血壓、血糖等。通過(guò)對(duì)這些數(shù)據(jù)的實(shí)時(shí)分析，醫(yī)生可以及時(shí)了解患者的健康狀況，為患者提供更加準(zhǔn)確的診斷和治療方案。在遠(yuǎn)程醫(yī)療領(lǐng)域，邊緣計(jì)算AI SoC可以實(shí)現(xiàn)遠(yuǎn)程會(huì)診、遠(yuǎn)程手術(shù)等功能。醫(yī)生可以通過(guò)遠(yuǎn)程訪問(wèn)患者的醫(yī)療數(shù)據(jù)，進(jìn)行遠(yuǎn)程診斷和治療，提高醫(yī)療服務(wù)的效率和可及性。

邊緣AI SoC支持大模型

隨著大模型的發(fā)展，其在邊端側(cè)的部署應(yīng)用成為趨勢(shì)，如今也有不少企業(yè)推出邊緣SoC芯片支持大模型的運(yùn)行。如邊緣AI半導(dǎo)體公司安霸（Ambarella），日前在美國(guó) AutoSens 展會(huì)宣布推出兩款用于車載車隊(duì)遠(yuǎn)程信息處理系統(tǒng)的最新一代 AI 系統(tǒng)集成芯片（SoC）。

新款 CV75AX 非常適合集成前置 ADAS 和駕駛員監(jiān)控系統(tǒng)（DMS）的 AI 行車記錄儀，與安霸上一代SoC相比，其 AI 性能提高了 2 倍，使最新的Transformer神經(jīng)網(wǎng)絡(luò)能夠提高準(zhǔn)確性并減少誤報(bào)，而無(wú)需針對(duì)每個(gè)對(duì)象進(jìn)行訓(xùn)練。

新款CV72AX 非常適合下一代車載網(wǎng)關(guān)，支持多達(dá)10個(gè)攝像頭，其AI性能比其前代產(chǎn)品高出6倍，支持視覺(jué)Transformer和多模態(tài)視覺(jué)語(yǔ)言模型（VLM ) ，可提供實(shí)時(shí)監(jiān)測(cè)預(yù)警，以及多通道視頻預(yù)分類和自然語(yǔ)言搜索，以實(shí)現(xiàn)更高效的視頻分析。

安霸此前就宣布推出了基于 CV72 芯片的多模態(tài)大模型推理解決方案——Cooper Mini。這一解決方案是為邊緣計(jì)算環(huán)境量身定制的，特別適用于需要在設(shè)備上直接進(jìn)行高級(jí)數(shù)據(jù)處理的應(yīng)用。安霸在2024年CES期間推出了基于N1的多模態(tài)大模型解決方案 Cooper Max，通過(guò)單顆N1芯片支持高達(dá)340億參數(shù)的多模態(tài)大模型推理。新推出的基于CV72 的Cooper Mini，則可實(shí)現(xiàn)低功耗系統(tǒng)單芯片高達(dá)30億參數(shù)的多模態(tài)大模型推理。

還有AMD此前推出的第二代Versal自適應(yīng)SoC，其中的Versal AI Edge系列特別針對(duì)AI驅(qū)動(dòng)型嵌入式系統(tǒng)進(jìn)行了設(shè)計(jì)。這款SOC每瓦TOPS（每秒萬(wàn)億次操作/瓦特）最多提升3倍，標(biāo)量算力最多提升10倍，使其能夠更有效地支持大模型的部署和運(yùn)行。

國(guó)內(nèi)的云天勵(lì)飛也有一款邊緣計(jì)算芯片DeepEdge10，這是一款國(guó)產(chǎn)Chiplet大模型推理芯片，內(nèi)置自研新一代神經(jīng)網(wǎng)絡(luò)處理器NNP400T，通過(guò)D2D高速互聯(lián)Chiplet技術(shù)、C2CMesh互聯(lián)架構(gòu)實(shí)現(xiàn)算力擴(kuò)展，能夠支持千億級(jí)參數(shù)大模型，落地于邊緣設(shè)備和邊緣服務(wù)器。

還有北京奕斯偉推出的一款邊緣計(jì)算SoC芯片EIC7700X，采用64位RISC-V高性能處理器，并搭配自主研發(fā)的高效神經(jīng)網(wǎng)絡(luò)計(jì)算單元，支持全棧浮點(diǎn)計(jì)算，全面加速生成式大模型。它擁有豐富的外圍擴(kuò)展接口，并具備強(qiáng)大的音視頻處理能力，在計(jì)算機(jī)視覺(jué)應(yīng)用領(lǐng)域具有超高的適應(yīng)能力。

寫在最后

總之，邊緣計(jì)算AI SOC在當(dāng)前的計(jì)算領(lǐng)域具有顯著的優(yōu)勢(shì)，包括效率高、功耗低、安全性高、實(shí)時(shí)分析、分布式處理等，憑借著諸多優(yōu)勢(shì)，邊緣計(jì)算SOC已經(jīng)在各個(gè)領(lǐng)域得到應(yīng)用。同時(shí)，也有不少邊緣SOC能夠支持大模型的運(yùn)行。不過(guò)邊緣計(jì)算SOC也仍然尤其局限性，如定制化成本高、技術(shù)更新迅速、數(shù)據(jù)隱私和安全挑戰(zhàn)等，需要持續(xù)去突破。