英特爾攜手浪潮信息從邊緣計算向邊緣智算邁進

在數(shù)字化轉(zhuǎn)型和智能化升級的大背景下，數(shù)據(jù)的處理和計算能力的部署正逐漸向網(wǎng)絡(luò)邊緣和設(shè)備邊緣轉(zhuǎn)移。這種轉(zhuǎn)變不僅能夠顯著降低應(yīng)用的響應(yīng)延遲，確保數(shù)據(jù)安全，還能夠減少對集中式云服務(wù)和核心網(wǎng)絡(luò)的依賴，同時提升對多樣化應(yīng)用場景的適應(yīng)性和服務(wù)能力。隨著大模型和人工智能領(lǐng)域的快速發(fā)展，算力需求將愈發(fā)成為制約企業(yè)轉(zhuǎn)型、成長的因素。

從邊緣計算向邊緣智算邁進

隨著邊緣計算逐步進入穩(wěn)健發(fā)展期，使用單一邊緣計算技術(shù)構(gòu)建的應(yīng)用難以充分發(fā)揮其價值。2023年，大模型的突破和生成式 AI 的興起，帶來了新的技術(shù)發(fā)展轉(zhuǎn)折點，重塑算力格局。邊緣計算與 AI 的結(jié)合尤為亮眼，帶來了各種本地化的智能邊緣應(yīng)用，如智慧交通、智能制造和智慧零售等。

為滿足大模型在行業(yè)和企業(yè)的落地，基礎(chǔ)大模型會結(jié)合行業(yè)獨有的知識、流程和數(shù)據(jù)資源，彌合技術(shù)與需求間的差距，進一步分化為行業(yè)大模型或企業(yè)大模型。在生成式 AI 的驅(qū)動力下，邊緣計算加速向邊緣智算邁進，邊緣智算承載行業(yè)/企業(yè)大模型，滿足無處不在的智能化需求，為數(shù)字化轉(zhuǎn)型與智能化升級提供強大的技術(shù)支撐。不僅可以保證私有數(shù)據(jù)的調(diào)用安全，降低云端微調(diào)或推理的成本，還可以降低網(wǎng)絡(luò)延時，滿足用戶個性化的表達需求，助力落地“人工智能+”的最后一公里。

大模型時代

邊緣智算面臨的挑戰(zhàn)

大模型工作負載主要分成兩類：訓(xùn)練和推理。其中，訓(xùn)練的工作負載用于訓(xùn)練人工智能模型，如 GPT4、LLM，推理的工作負載用于接受用戶的輸入，產(chǎn)生對應(yīng)的輸出。

相對來說，訓(xùn)練所需的算力資源遠遠高于推理，因此對應(yīng)的算力資源需求也有所差異。在這個背景下，企業(yè)在邊緣使用大模型通常會遇到以下挑戰(zhàn)：算力需求多元、算力成本需不斷優(yōu)化、部署環(huán)境較為苛刻和計算架構(gòu)多樣且管理復(fù)雜。

基于英特爾 至強 可擴展處理器的

邊緣服務(wù)器

為了有效應(yīng)對大模型時代邊緣智算的挑戰(zhàn)，浪潮信息構(gòu)建了全棧的邊緣計算產(chǎn)品家族，包括四大硬件產(chǎn)品系列、支撐邊緣海量設(shè)備終端的三大管理軟件，以及邊緣 AI、云邊協(xié)同等多種解決方案。搭載第五代英特爾至強可擴展處理器的2U元腦 邊緣服務(wù)器 NE5260G7 和 1U元腦邊緣服務(wù)器 NE3160G7，融合了英特爾最新的處理器技術(shù)，支持多種加速算力選項。不僅提供了卓越的計算性能和能效，還具備強大的 AI 推理能力，支持國內(nèi)主流大模型及行業(yè)大模型應(yīng)用。

基于第五代英特爾 至強 可擴展處理器的元腦 邊緣服務(wù)器 NE5260G7，是浪潮信息推出的旗艦 2U 雙路邊緣服務(wù)器，同時搭載面向邊緣的英特爾銳炫 GPU，提供了強大的大模型適配能力：

英特爾銳炫 GPU：基于X? HPG 微架構(gòu)構(gòu)建，包括 16GB 的大顯存以及稱為英特爾 X? Matrix Extensions（英特爾XMX）的專用 AI 加速硬件，這些內(nèi)核專門用于 AI 工作負載中常用的矩陣運算，包括深度學(xué)習(xí)和大模型推理任務(wù)。

開放標(biāo)準(zhǔn)軟件堆棧：基于英特爾的開源 OpenVINO 工具套件，開發(fā)者可以輕松編寫能在 GPU、CPU 及其他硬件加速器上運行的代碼，避免了供應(yīng)商鎖定和潛在的斷供風(fēng)險。

全面的大模型支持：無論是國內(nèi)還是國外的主流大模型，NE5260G7 都能提供完善的訓(xùn)練和推理支持，滿足不同行業(yè)對于大模型應(yīng)用的需求。

元腦NE5260G7 支持高達近百 TB 的存儲容量，還可支持多種無線模組靈活接入，無論是面向 AI 算力、大模型應(yīng)用場景還是存儲場景，都能提供靈活的解決方案。

元腦 NE3160G7 則是針對小基站場景推出的解決方案，單機可處理128路攝像頭接入數(shù)據(jù)，靈活應(yīng)對貨架缺貨量分析、商品智能結(jié)算、客流量統(tǒng)計等各類 AI 推理任務(wù)。支持靈活的網(wǎng)絡(luò)和 AI 加速卡擴展、適應(yīng)惡劣的邊緣環(huán)境，支持1588、GPS、級聯(lián)3類時鐘同步通信，保證海量數(shù)據(jù)處理準(zhǔn)確無誤，可以穩(wěn)定用于智能基站、邊緣輕量化推理等場景。

同時，兩款產(chǎn)品均遵循最新的開放計算 OTII (Open Telecom IT Infrastructure) 標(biāo)準(zhǔn)，設(shè)計緊湊，適應(yīng)性強，能夠輕松適應(yīng)各種邊緣環(huán)境。目前的應(yīng)用場景/實例有：

大模型推理

智能電網(wǎng)調(diào)度

智能AGV/AMR調(diào)度

智慧交通

智慧物流

小基站

結(jié)語

邊緣向 AI 而行，邊緣智算將無處不在。邊緣智算作為新一代計算模式與智能化服務(wù)的重要載體，正引領(lǐng)著數(shù)字化轉(zhuǎn)型與智能化升級的新潮流。生成式AI與邊緣計算的融合正在激發(fā)全行業(yè)數(shù)智化創(chuàng)新，英特爾將AI能力融入所有軟硬件產(chǎn)品與方案，力求云、網(wǎng)、邊、端每個觸點支持AI應(yīng)用，滿足客戶應(yīng)用場景多元復(fù)雜、數(shù)據(jù)多樣化、算力性能等挑戰(zhàn)。

英特爾將與浪潮信息等生態(tài)伙伴攜手共進，共同推動邊緣智算技術(shù)的創(chuàng)新與發(fā)展，為構(gòu)建更加智慧、高效、可持續(xù)的未來世界貢獻力量。