軟通動(dòng)力大模型一體機(jī)亮相2024昇思人工智能框架峰會(huì)

人工智能框架作為軟件根技術(shù)，已成為加速人工智能大模型開(kāi)發(fā)、推動(dòng)產(chǎn)業(yè)智能化發(fā)展的核心力量。以“為智而昇，思創(chuàng)之源”為主題的昇思人工智能框架峰會(huì)2024在北京國(guó)家會(huì)議中心舉辦，旨在匯聚AI產(chǎn)業(yè)界創(chuàng)新力量，推動(dòng)根技術(shù)持續(xù)創(chuàng)新，共建人工智能開(kāi)源新生態(tài)。軟通動(dòng)力作為聯(lián)合承辦方深度參與該峰會(huì)。

大會(huì)期間，昇思MindSpore開(kāi)源社區(qū)理事會(huì)第三次閉門(mén)會(huì)議召開(kāi)，軟通動(dòng)力高級(jí)副總裁、數(shù)字基礎(chǔ)設(shè)施與集成總經(jīng)理謝睿作為理事會(huì)成員代表出席，與行業(yè)伙伴共探MindSpore未來(lái)發(fā)展趨勢(shì)。

會(huì)上，軟通動(dòng)力數(shù)字基礎(chǔ)設(shè)施與集成技術(shù)總監(jiān)單繼嶺發(fā)表了題為“軟通動(dòng)力訓(xùn)推一體化平臺(tái)加速企業(yè)智能化升級(jí)”的主題演講，旨通過(guò)一體機(jī)形式幫助客戶實(shí)現(xiàn)大模型場(chǎng)景推理“最后一公里”。

此外，昇思人工智能框架峰會(huì)2024的舉辦為業(yè)界提供了一個(gè)交流合作的平臺(tái)。大會(huì)期間，軟通動(dòng)力在峰會(huì)展區(qū)亮相了“AI訓(xùn)推一體化平臺(tái)”和“天璇2.0MaaS平臺(tái)，與眾多伙伴進(jìn)行了互動(dòng)與合作。

軟通動(dòng)力AI訓(xùn)推一體化平臺(tái)，打通AI應(yīng)用最后一公里

人工智能作為引領(lǐng)未來(lái)的戰(zhàn)略性技術(shù)，正在深刻推動(dòng)著人類(lèi)社會(huì)和產(chǎn)業(yè)變革；人工智能框架作為軟件根技術(shù)，在AI技術(shù)的迭代中扮演著重要角色。在此背景下，軟通動(dòng)力推出AI訓(xùn)推一體化平臺(tái)，該平臺(tái)集成了昇騰AI基礎(chǔ)硬件平臺(tái)、天鶴OS操作系統(tǒng)等組件，并搭載天璇2.0 MaaS平臺(tái)，支持一站式AI開(kāi)發(fā)，疊加行業(yè)AI大模型，深度適配企業(yè)不同AI應(yīng)用場(chǎng)景。軟通AI訓(xùn)推一體化平臺(tái)支持昇思MindSpore 全場(chǎng)景AI框架，具備用戶態(tài)易用、運(yùn)行態(tài)高效、部署態(tài)靈活的特點(diǎn)，可以為用戶提供設(shè)計(jì)友好、運(yùn)行高效的開(kāi)發(fā)體驗(yàn)。目前，軟通AI訓(xùn)推一體化平臺(tái)已覆蓋央國(guó)企、科技機(jī)構(gòu)、教育實(shí)訓(xùn)、金融等打造多個(gè)offering服務(wù)不同客戶。

當(dāng)前，大模型在各行各業(yè)的規(guī)模化應(yīng)用落地面臨精準(zhǔn)度不夠、與業(yè)務(wù)系統(tǒng)聯(lián)動(dòng)不足、數(shù)據(jù)安全擔(dān)憂、算力成本居高不下等問(wèn)題，為提升大模型在實(shí)際業(yè)務(wù)中的有效應(yīng)用，軟通動(dòng)力聯(lián)合百川智能推出“軟通-百川AI大模型一體機(jī)”。軟通動(dòng)力副總裁、數(shù)字基礎(chǔ)設(shè)施與集成副總經(jīng)理劉雅、數(shù)字基礎(chǔ)設(shè)施與集成技術(shù)總監(jiān)單繼嶺；百川智能政企事業(yè)群產(chǎn)研總經(jīng)理李劍、政企事業(yè)群一體機(jī)負(fù)責(zé)人謝楠共同出席發(fā)布儀式。

作為自主創(chuàng)新的軟硬一體解決方案，該一體機(jī)基于昇騰AI基礎(chǔ)硬件平臺(tái)，預(yù)裝百川大模型能力，支持多輪對(duì)話、報(bào)告生成、內(nèi)容生成、代碼生成、知識(shí)檢索、文本分類(lèi)、API平臺(tái)、企業(yè)知識(shí)庫(kù)等多樣化功能，在許多復(fù)雜的客戶業(yè)務(wù)場(chǎng)景中，助力用戶實(shí)現(xiàn)大模型場(chǎng)景推理的“最后一公里”。

同方AI算力底座

軟通-百川大模型一體機(jī)基于昇騰AI硬件底座，具備高能效、高算力、高可靠、易管理、易擴(kuò)展等優(yōu)點(diǎn)，可按需選擇兩款硬件產(chǎn)品：超強(qiáng)K620和超強(qiáng)A800I A2，整合天鶴OS操作系統(tǒng)，廣泛應(yīng)用于AI算法開(kāi)發(fā)和AI推理服務(wù)的場(chǎng)景。核心優(yōu)勢(shì)如下：

超強(qiáng)算力：

性能領(lǐng)先，加速AI推理效率，單臺(tái)推理服務(wù)器可達(dá)2.2 PFLOPS AI算力；

超高能效：

內(nèi)置高算力AI芯片、高性能算子庫(kù)，支持多卡高速互聯(lián)、分布式存儲(chǔ)；

平滑擴(kuò)展：

根據(jù)業(yè)務(wù)需要可以隨時(shí)擴(kuò)展存儲(chǔ)、算力、服務(wù)器；

安全啟動(dòng)：

一體機(jī)內(nèi)網(wǎng)部署，數(shù)據(jù)不出機(jī)房，數(shù)據(jù)安全可靠，構(gòu)建可信的起點(diǎn)。

百川基座大模型

軟通-百川大模型一體機(jī)基于全場(chǎng)景昇思MindSpore AI開(kāi)發(fā)框架，預(yù)裝百川大模型、軟通天璇MaaS平臺(tái)，助力企業(yè)快速開(kāi)展業(yè)務(wù)大模型場(chǎng)景推理，根據(jù)推理結(jié)果實(shí)現(xiàn)微調(diào)，提高模型預(yù)測(cè)的準(zhǔn)確率;解決企業(yè)大模型快速部署上線、算力成本居高不下、數(shù)據(jù)安全擔(dān)憂等問(wèn)題。

豐富的基座大模型：

內(nèi)置了Baichuan2 3B、7B、13B、33B大模型參數(shù)，且支持192K長(zhǎng)窗口，單次可輸入超35萬(wàn)字,極致的Transformer計(jì)算工程優(yōu)化;

搜索增強(qiáng)+知識(shí)庫(kù)：

基于搜索增強(qiáng)的企業(yè)知識(shí)庫(kù)與實(shí)時(shí)信息獲取,業(yè)界領(lǐng)先的Embedding model，稀疏檢索+向量檢索實(shí)現(xiàn)的多路召回能力,融合互聯(lián)網(wǎng)在線搜索和信息整合能力；

全生命周期服務(wù)：

安裝部署、模型部署、推理服務(wù)等全生命周期，提供優(yōu)質(zhì)高效技術(shù)服務(wù)。

隨著人工智能技術(shù)的不斷發(fā)展和普及，大模型一體機(jī)將在更多領(lǐng)域得到應(yīng)用和推廣。未來(lái)，軟通動(dòng)力將聯(lián)合華為、百川智能等伙伴繼續(xù)發(fā)揮優(yōu)勢(shì)，不斷創(chuàng)新突破，為人工智能技術(shù)的發(fā)展和產(chǎn)業(yè)的繁榮做出更大的貢獻(xiàn)。

審核編輯：劉清