浪潮信息發(fā)布大模型智算軟件棧OGAI，為大模型創(chuàng)新打造高效生產(chǎn)力

浪潮信息正式發(fā)布大模型智算軟件棧 OGAI。OGAI (Open GenAI Infra)"元腦生智"，是為大模型業(yè)務(wù)提供AI算力系統(tǒng)環(huán)境部署、算力調(diào)度保障及模型開發(fā)管理能力的全棧全流程的智算軟件棧。OGAI由浪潮信息基于大模型自身實踐與服務(wù)客戶的專業(yè)經(jīng)驗而開發(fā)，旨在為大模型研發(fā)與應(yīng)用創(chuàng)新全力打造高效生產(chǎn)力，加速生成式AI產(chǎn)業(yè)創(chuàng)新步伐。

大模型是當(dāng)前通用人工智能產(chǎn)業(yè)發(fā)展創(chuàng)新的核心技術(shù)。目前國內(nèi)已發(fā)布的生成式AI模型超過了100個，"百模爭秀"的格局初現(xiàn)。但大模型從研發(fā)到應(yīng)用的各環(huán)節(jié)中，依然面臨諸多挑戰(zhàn)，如大模型算力的系統(tǒng)全棧問題、兼容適配問題、性能優(yōu)化問題等。

OGAI是浪潮信息從當(dāng)前大模型算力建設(shè)、模型開發(fā)和應(yīng)用落地的實際需求出發(fā)，秉承全棧全流程、算力充分釋放、實戰(zhàn)驗證提煉的設(shè)計原則打造而成。OGAI由5層架構(gòu)組成，從L0到L4分別對應(yīng)基礎(chǔ)設(shè)施層的智算中心OS、系統(tǒng)環(huán)境層的PODsys、調(diào)度平臺層的AIStation、模型工具層的YLink和多模納管層的MModel。

L0層智算中心OS：面向大模型算力服務(wù)的智能算力運管平臺，滿足多租戶以裸金屬為主的彈性AI算力運管需求。其中，高效的裸金屬服務(wù)支持分鐘級部署上千規(guī)模裸金屬節(jié)點并按需進行彈性擴展，實現(xiàn)異構(gòu)計算芯片、IB、RoCE高速網(wǎng)絡(luò)、高性能存儲等環(huán)境一鍵獲取，并實現(xiàn)計算、網(wǎng)絡(luò)、數(shù)據(jù)隔離以保障業(yè)務(wù)安全。

L1層PODsys：開源、高效、兼容、易用的智算集群系統(tǒng)環(huán)境部署方案。聚焦智算集群部署場景，從OS、驅(qū)動到系統(tǒng)監(jiān)控可視化、資源調(diào)度等集群系統(tǒng)環(huán)境要素全面覆蓋，選用最穩(wěn)定和廣泛兼容的軟件版本，通過一系列腳本工具簡化部署過程，縮短算力上線周期，并可向企業(yè)用戶提供實施安裝服務(wù)和集群性能校準(zhǔn)的專家服務(wù)。

L2層AIStation：面向大模型開發(fā)的商業(yè)化人工智能算力調(diào)度平臺。針對大模型訓(xùn)練中常見的訓(xùn)練中斷難題，可實現(xiàn)訓(xùn)練異?？焖俣ㄎ唬瑪帱c自動續(xù)訓(xùn)：通過快速定位芯片、網(wǎng)卡、通訊設(shè)備異?；蚬收?，實現(xiàn)全局訓(xùn)練暫停保持，熱備算力自動彈性替換，健康節(jié)點快速CheckPoint讀取，實現(xiàn)斷點自動續(xù)訓(xùn)。

L3層YLink：面向大模型數(shù)據(jù)治理、預(yù)訓(xùn)練、微調(diào)的高效工具鏈。聚焦于大模型的數(shù)據(jù)治理、預(yù)訓(xùn)練、微調(diào)等開發(fā)過程，集成了浪潮信息在大模型研發(fā)中的自研工具和開源工具，如數(shù)據(jù)處理工具包(Y-DataKit)、大模型訓(xùn)練工具包(Y-TrainKit)和大模型微調(diào)工具包(Y-FTKit)等等，通過這些多樣且完善的工程化、自動化工具，加速大模型的訓(xùn)練和開發(fā)效率。

L4層MModel：提供多模型接入、服務(wù)、評測等功能的納管平臺。核心組件包括數(shù)據(jù)集管理、模型納管和評測，可以方便開發(fā)者和研究人員更好地管理多版本、多類型的基礎(chǔ)大模型與任務(wù)模型，并通過多樣化的評測數(shù)據(jù)集與評測任務(wù)，對多個模型進行生成準(zhǔn)確率、推理延遲、推理穩(wěn)定性等指標(biāo)進行全面評估。

浪潮信息高級副總裁、AI&HPC總經(jīng)理劉軍表示："OGAI提供完善的工程化、自動化工具軟件堆棧，將幫助更多企業(yè)順利跨越大模型研發(fā)應(yīng)用門檻，充分釋放大模型創(chuàng)新生產(chǎn)力。浪潮信息將通過智算系統(tǒng)軟硬件高度協(xié)同進行持續(xù)創(chuàng)新，持續(xù)培育繁榮元腦生態(tài)，推動實現(xiàn)‘助百模，智千行'，加速生成式AI產(chǎn)業(yè)創(chuàng)新。"

審核編輯：湯梓紅