浪潮信息與英特爾合作推出一種大模型效率工具“YuanChat”

3月26日，浪潮信息與英特爾正式宣布，浪潮信息“源2.0系列基礎大模型”已和最新的英特爾 酷睿 Ultra處理器平臺完成適配，本地推理速度提升100%。企業(yè)可以在全新的英特爾商用客戶端AI PC上，使用AI PC大模型效率工具“YuanChat”快速本地化部署和運行“源2.0”大模型， 以更快的訪問速度、更高的性能和更好的數(shù)據(jù)安全控制，輕松完成自動編程、商業(yè)數(shù)據(jù)計算、公文寫作等任務，釋放大模型在企業(yè)應用場景中的生產(chǎn)力和創(chuàng)新力！

安全靈活高效，YuanChat基于英特爾 酷睿 Ultra 處理器打造商用AI PC效率工具

2024年是 “大模型落地應用的元年”，AI PC（人工智能個人電腦），作為一種能夠在本地運行大模型及AIGC應用的PC終端，已經(jīng)成為AI實現(xiàn)規(guī)?；瘮U展及應用落地的重要載體。英特爾基于酷睿 Ultra 處理器強悍的 CPU+GPU+NPU 三大 AI 引擎，為商用客戶端AI PC提供強勁性能，滿足經(jīng)濟、物理、數(shù)據(jù)保密這三大生成式AI on AI PC 法則，可支持200億規(guī)模大語言模型的本地化運行，加速大模型應用落地。

浪潮信息與英特爾合作，針對“源2.0系列基礎大模型”，實現(xiàn)酷睿Ultra AI PC平臺推理優(yōu)化，并推出為AI PC而生的大模型效率工具“YuanChat”。浪潮信息“源2.0系列基礎大模型”作為首個全面開源的千億參數(shù)模型，包含1026億、518億、21億等三種參數(shù)規(guī)模?！癥uanChat”是基于“源2.0系列基礎大模型”設計的應用工具，旨在以對話形式調(diào)用大模型，幫助用戶完成數(shù)據(jù)計算、公文寫作、編程設計、知識問答、會議紀要、文本總結與摘要等任務導向型應用，真正實現(xiàn)重塑工作模式，提高生產(chǎn)力水平。

基于酷睿 Ultra AI PC上所部署的“YuanChat”，用戶能夠流暢地使用“源2.0-2B模型（Yuan2-2B-Februa-hf）”。作為業(yè)界最強的小規(guī)模語言模型，“源2.0-2B模型”具有領先的自動編程、數(shù)值計算和邏輯推理能力，在Python編程測試（Humaneval）、數(shù)學計算測試（GSM8K）中展現(xiàn)出超越ChatGPT3.5及其他百億（>10B）參數(shù)模型的評測結果，已成為最具競爭力的開源可商用模型。

■ 在編程方面，“YuanChat”提供強大的自動編程、代碼分析、代碼優(yōu)化與測試用例生成能力，支持Python、C++、Java等多種編程語言，每分鐘可生成50+行參考代碼，10分鐘即可開發(fā)出小型軟件項目；

■ 在數(shù)據(jù)分析領域，“YuanChat”同樣可以完成復雜的數(shù)學計算與問題推理，能夠滿足企業(yè)在不同場景下的復雜數(shù)據(jù)計算需求；

■ 在文本創(chuàng)作領域，“YuanChat”支持十余種公文寫作，可協(xié)助完成智能問答、會議紀要、文本摘要等高級文本處理任務，這意味著 "YuanChat" 不僅能夠生成標準的公文，還能夠理解和處理復雜的文本信息，提取關鍵信息，大大提高了文本創(chuàng)作的效率和質(zhì)量。

基于英特爾商用客戶端AI PC強大的獨立運算能力，“YuanChat”能解決數(shù)據(jù)傳輸過程中的延遲問題與泄露風險，能夠?qū)崿F(xiàn)更高的數(shù)據(jù)安全性、性能和控制權。同時，“YuanChat”支持離線狀態(tài)下的自主操作，這使得終端用戶能夠擺脫網(wǎng)絡限制，在任何時間、任何地點都能夠進行創(chuàng)造性的工作，享受更靈活的大模型交互體驗。

在英特爾商用客戶端AI PC上，可以基于BigDL-LLM大模型加速庫實現(xiàn)對“YuanChat”的模型量化處理，進一步提高模型的可移植性并加快計算速度，減少資源占用，彌合終端有限的算力與對高精度模型和實時智能應用的需求之間的差距。實測數(shù)據(jù)顯示，在處理復雜任務時，“YuanChat”在保證精度的同時，本地推理效率及性能提升達到100%，進一步降低了企業(yè)應用大模型的成本。

共建AI PC 應用，惠及千行百業(yè)智能變革

未來，浪潮信息與英特爾將持續(xù)攜手構建活躍的AIPC生態(tài)。雙方將聯(lián)合基于英特爾 酷睿 Ultra處理器平臺進行“源2.0系列基礎大模型”的進一步適配與優(yōu)化，不斷完善“YuanChat”應用系統(tǒng)，將大模型和商用平臺的生產(chǎn)力、安全性、可管理性和穩(wěn)定性有機結合，開拓商用 AI PC 更多的新應用、新場景、新形態(tài)，幫助企業(yè)用戶在PC端打造更加安全、流暢、易用的大模型效率工具，惠及企業(yè)提升效率，賦能世界的智能化變革。

審核編輯：劉清