并行計算 | 多樣性計算 | ARM架構(gòu)
深度學(xué)習(xí) | 高性能計算| ARM服務(wù)器
如今隨著算力、高性能計算的快速發(fā)展,數(shù)字經(jīng)濟(jì)已經(jīng)成為全球經(jīng)濟(jì)增長的主引擎。數(shù)字經(jīng)濟(jì)的快速發(fā)展,使得深度學(xué)習(xí)、數(shù)據(jù)分析、數(shù)據(jù)挖掘等技術(shù)迅猛發(fā)展起來。伴隨國家政策東數(shù)西算的出臺,傳統(tǒng)的風(fēng)冷散熱方式已經(jīng)不足以滿足散熱需要,這就需要新興的液冷散熱技術(shù)以此滿足節(jié)能減排、靜音高效的需求。
作為國內(nèi)品牌服務(wù)器廠商,藍(lán)海大腦液冷GPU服務(wù)器是基于ARM 架構(gòu)的基礎(chǔ)軟硬件設(shè)施、行業(yè)應(yīng)用及服務(wù),涵蓋從底層硬件、基礎(chǔ)軟件到上層行業(yè)應(yīng)用的全產(chǎn)業(yè)鏈條。硬件方面,圍繞ARM處理器,涵蓋包括智能網(wǎng)卡芯片、底板管理控制器(BMC)芯片、固態(tài)硬盤(SSD)、磁盤陣列卡(RAID卡)、主板等部件以及個人計算機(jī)、服務(wù)器、存儲等整機(jī)產(chǎn)品。基礎(chǔ)軟件方面,涵蓋操作系統(tǒng)、虛擬化軟件、數(shù)據(jù)庫、中間件、存儲軟件、大數(shù)據(jù)平臺、數(shù)據(jù)保護(hù)和云服務(wù)等基礎(chǔ)軟件及平臺軟件。行業(yè)應(yīng)用方面,藍(lán)海大腦產(chǎn)業(yè)生態(tài)覆蓋政府、金融、電信、能源、大企業(yè)等各大行業(yè)應(yīng)用,提供全面、完整、一體化的信息化解決方案。
隨著通用算力的普及,各行各業(yè)的數(shù)字化得到快速發(fā)展的同屬又產(chǎn)生更多的數(shù)據(jù),這就需要更多的算力。預(yù)計到2030年,全球通用計算算力相比2020年將增長10倍,AI算力將增長500倍。
計算從通用計算進(jìn)入通用計算+AI計算的多樣性計算時代。通用計算構(gòu)建了數(shù)字經(jīng)濟(jì)發(fā)展的基礎(chǔ),AI計算將成為數(shù)字經(jīng)濟(jì)發(fā)展的加速器。從數(shù)字化到智能化,人工智能作為新的GPT,將使數(shù)字經(jīng)濟(jì)邁向新高度。
為此華為聯(lián)合合作伙伴發(fā)出《邁向智能世界計算白皮書》,以下將對該白皮書進(jìn)行解讀,一起了解算力發(fā)展六大趨勢。
注:由于篇幅有限需要更多詳細(xì)資料,請在公眾號末尾留下您的郵箱,小編會將PDF文件發(fā)您郵箱,共同進(jìn)步。
ARM 成為多樣性計算的重要選擇
一、產(chǎn)業(yè)趨勢
1、應(yīng)用的多樣化驅(qū)動算力多樣性發(fā)展
1)隨著自動駕駛、云游戲VR/AR等應(yīng)用的興起,以及物聯(lián)網(wǎng)、移動應(yīng)用、短視頻、個人娛樂、人工智能的爆炸式增長,應(yīng)用越來越多樣化,用戶對應(yīng)用體驗的追求不斷提高。數(shù)據(jù)中心側(cè)傳統(tǒng)單一架構(gòu)難以滿足要求。
萬物互聯(lián)的智能時代非結(jié)構(gòu)化數(shù)據(jù)占比越來越大。相對應(yīng)原來可以用數(shù)據(jù)庫二維表結(jié)構(gòu)來實現(xiàn)的結(jié)構(gòu)化數(shù)據(jù),海量、多種多樣非結(jié)構(gòu)化數(shù)據(jù),如文本、圖片、語音、視頻等數(shù)據(jù)的加工、處理、傳輸,自然需要多樣性的計算來匹配。
舉例來說,CPU處理大數(shù)據(jù)、Web等場景是非常匹配的,但對于圖形、圖像的處理,需要GPU來匹配;而日常生活中的圖形 /圖像識別、智能搜索推薦等,需要基于AI計算的NPU處理。因此業(yè)務(wù)應(yīng)用場景的多樣性、數(shù)據(jù)的多樣化,使得計算進(jìn)入多樣性計算的新時代。
2)未來超過70%的數(shù)據(jù)和應(yīng)用將在邊緣產(chǎn)生和處理。邊緣和移動端設(shè)備受場景約束,處理能力和性能的提升受到限制,需要與云協(xié)同。隨著5G的規(guī)模部署,網(wǎng)絡(luò)傳輸時延、帶寬、連接密度均得到數(shù)量級的提升,給端-邊-云協(xié)同提供了基礎(chǔ)保障。目前云、邊、端的計算架構(gòu)、開發(fā)模式存在較大差異,應(yīng)用須多次開發(fā)和部署。
2、多樣性計算需求,加速算力格局轉(zhuǎn)換,ARM算力從嵌入式場景快速延深至服務(wù)器場景
ARM算力是從最初的端側(cè)起步,在智能手機(jī)、平板、智能電視等領(lǐng)域占據(jù)絕對領(lǐng)先的份額,但隨著云、邊、端協(xié)同的驅(qū)動、多樣性計算的發(fā)展,已經(jīng)開始進(jìn)入到算力更高的服務(wù)器領(lǐng)域,同時也表現(xiàn)出顯著的優(yōu)勢:
1)在分布式數(shù)據(jù)庫、大數(shù)據(jù)、Web前端等高并發(fā)應(yīng)用場景中,單芯片核數(shù)更多的ARM架構(gòu)處理器相比傳統(tǒng)處理器擁有更好的并發(fā)處理效率。
2)絕大多數(shù)移動終端采用ARM架構(gòu)處理器,端云同構(gòu)為開發(fā)人員在整個生態(tài)系統(tǒng)的編寫與優(yōu)化上提供便利,而且能夠降低異構(gòu)環(huán)境開發(fā)所造成的性能損失和潛在漏洞風(fēng)險。隨著云化進(jìn)程的推進(jìn),大量基于ARM架構(gòu)的終端業(yè)務(wù)與數(shù)據(jù)中心的云端業(yè)務(wù)維持同構(gòu),可以實現(xiàn)應(yīng)用開發(fā)、部署和運(yùn)行的無縫協(xié)同,大幅度降低開發(fā)者開發(fā)難度。
3)ARM生態(tài)優(yōu)勢不斷推動技術(shù)進(jìn)步,近年來不斷涌現(xiàn)出創(chuàng)新的服務(wù)器產(chǎn)品和解決方案,如藍(lán)海大腦液冷服務(wù)器就是基于ARM架構(gòu),華為基于ARM架構(gòu)鯤鵬處理器打造了TaiShan系列服務(wù)器等。在高性能計算領(lǐng)域,以ARM、RISC-V 為代表的多樣性計算平臺也逐漸發(fā)揮重要作用,例如歐盟EPI項目致力于打造本土基于ARM架構(gòu)核心處理器和RISC-V架構(gòu)加速器芯片的百億億級超級計算機(jī);日本“富岳”超算系統(tǒng)采用自主開發(fā)的ARM架構(gòu)處理器,成為全球首臺基于ARM芯片的TOP500冠軍超級計算機(jī)等。
4)ARM架構(gòu)授權(quán)模式讓合作伙伴既自主發(fā)展又共享生態(tài)平臺,加速產(chǎn)業(yè)鏈多樣化。ARM的商業(yè)模式不以出售芯片為主,而是架構(gòu)授權(quán)。 合作伙伴可以根據(jù)自身需求,靈活選擇不同的授權(quán)模式:
架構(gòu)授權(quán)模式,基于ARM 架構(gòu),可以自主擴(kuò)充指令集并升級產(chǎn)品
CPU核授權(quán)模式(軟核和硬核),基于ARM CPU IP可實現(xiàn)設(shè)計生產(chǎn),升級則需完成新CPU 核授權(quán)的獲取
5)2000年x86占據(jù)市場第一份額,總算力輸出達(dá)到70%。到2020年,算力架構(gòu)發(fā)生逆轉(zhuǎn),世界上最大算力架構(gòu)變成了ARM平臺,基于ARM指令的處理器總算力輸出占比超過 80%。
3、中國市場,服務(wù)器側(cè)ARM生態(tài)已逐步成熟,并全面應(yīng)用于國計民生行業(yè)
全球范圍內(nèi),以ARM為核心架構(gòu)的CPU已經(jīng)開始顯現(xiàn)出增長趨勢。在中國,眾多芯片廠商和云巨頭也紛紛布局基于ARM架構(gòu)的系列產(chǎn)品,鯤鵬、飛騰已耕耘多年,ARM服務(wù)器市場份額持續(xù)增加。
以鯤鵬為代表的ARM服務(wù)器,已經(jīng)廣泛應(yīng)用于包括政府、金融、電信、電力、交通、制造、教育、醫(yī)療等行業(yè)核心場景;各行業(yè)生態(tài)已經(jīng)建立,超過12000個行業(yè)應(yīng)用完成適配認(rèn)證,產(chǎn)業(yè)生態(tài)瓶頸已經(jīng)消除。
二、行動建議
1、基于業(yè)務(wù)需求,識別適合ARM架構(gòu)的業(yè)務(wù)場景,主動規(guī)劃部署ARM架構(gòu)服務(wù)器
數(shù)字化轉(zhuǎn)型、人工智能和5G在垂直行業(yè)的廣泛應(yīng)用帶來了海量數(shù)據(jù)處理、高能效邊緣計算等問題,尤其在電信、金融、政府、能源等重點行業(yè),ARM架構(gòu)能夠更好的滿足數(shù)字化應(yīng)用對IT基礎(chǔ)設(shè)施算力的嚴(yán)苛要求,在升級發(fā)展中發(fā)揮關(guān)鍵作用。
以電信行業(yè)為例,5G時代數(shù)據(jù)量爆發(fā)式增長、電信云面臨從架構(gòu)到底層硬件基礎(chǔ)設(shè)施的全面升級,在容器化部署、分布式存儲和邊緣計算等關(guān)鍵場景都非常適合引入ARM架構(gòu),充分利用其多核高并發(fā)、大內(nèi)存和高內(nèi)存帶寬等架構(gòu)優(yōu)勢。
1)IT云方面
IT支撐系統(tǒng)業(yè)務(wù)邏輯更趨復(fù)雜,實時數(shù)據(jù)處理、高并發(fā)數(shù)據(jù)處理、大數(shù)據(jù)分析等技術(shù)需求不斷擴(kuò)大,容器化部署、分布式處理等場景加速向CRM、BOSS、MSS等核心系統(tǒng)滲透,需要底層IT基礎(chǔ)設(shè)施在并行計算、內(nèi)存容量和帶寬等方面提供更好能力匹配
2)網(wǎng)絡(luò)云方面
5G核心網(wǎng)采用原生云化設(shè)計思路和微服務(wù)架構(gòu),將網(wǎng)元功能拆分為細(xì)顆粒度的網(wǎng)絡(luò)服務(wù),為差異化的業(yè)務(wù)場景提供敏捷的系統(tǒng)架構(gòu)支持,核心網(wǎng)容器化、硬件資源池化成為發(fā)展方向,對底層計算架構(gòu)的多樣性、負(fù)載能力和計算效率提出新要求
3)邊緣節(jié)點方面
為應(yīng)對大視頻、物聯(lián)網(wǎng)等各類高帶寬和低時延的邊緣計算類業(yè)務(wù),電信云計算能力將向移動邊緣節(jié)點下沉,邊緣數(shù)據(jù)中心 IT 基礎(chǔ)設(shè)施將面臨計算、存儲等網(wǎng)絡(luò)能力的全面提升以實現(xiàn)大流量、高并發(fā)、低時延的本地數(shù)據(jù)處理能力。
藍(lán)海大腦圍繞重點行業(yè)的計算訴求,主動推進(jìn)ARM架構(gòu)服務(wù)器的應(yīng)用,依托ARM處理器多核高并發(fā)、高效可靠的硬件平臺,以及在基礎(chǔ)軟件方面的領(lǐng)先優(yōu)勢和安全特性,在大數(shù)據(jù)、分布式存儲、數(shù)據(jù)庫和云平臺等計算場景中構(gòu)建安全可靠的算力底座。
電信行業(yè)主要計算場景
2、有節(jié)奏的開展現(xiàn)有應(yīng)用適配、遷移,并基于ARM架構(gòu),持續(xù)開發(fā)原生應(yīng)用
以電信行業(yè)為例,根據(jù)電信行業(yè)的業(yè)界專家評估繪制的《電信行業(yè)ARM架構(gòu)遷移路徑圖》顯示,ARM架構(gòu)平均優(yōu)勢高,平均遷移難度較小,其中云核心網(wǎng)、大數(shù)據(jù)經(jīng)營分析系統(tǒng)、大數(shù)據(jù)網(wǎng)絡(luò)優(yōu)化平臺、CRM前臺和中臺、網(wǎng)關(guān)資源管理系統(tǒng)、網(wǎng)管性能管理系統(tǒng)、BOSS話單存儲、Cloud VR等系統(tǒng)的ARM架構(gòu)優(yōu)勢明顯并且遷移難度偏低,均可優(yōu)先考慮適配遷移。
在遷移過程中,針對行業(yè)應(yīng)用跨架構(gòu)遷移周期長、工作量大的問題,通過ARM架構(gòu)配套的應(yīng)用遷移工具,將代碼修改、匯編語言翻譯、兼容文件替換、編譯調(diào)試、調(diào)優(yōu)診斷等遷移關(guān)鍵步驟在工具輔助下自動完成,降低開發(fā)人員技術(shù)門檻、提升應(yīng)用遷移效率,引導(dǎo)行業(yè)加快應(yīng)用遷移進(jìn)展。
遷移完成之后,在后續(xù)版本迭代及新功能開發(fā)過程中,通過ARM架構(gòu)配套的開發(fā)工具,幫助開發(fā)人員便捷獲取和使用ARM架構(gòu)優(yōu)勢特性,開發(fā)出高性能軟件,同時自動完成典型場景下的應(yīng)用包構(gòu)建和執(zhí)行,提升開發(fā)效率和體驗,引導(dǎo)開發(fā)人員持續(xù)基于ARM架構(gòu)原生開發(fā)行業(yè)應(yīng)用,深入構(gòu)建行業(yè)軟件生態(tài)。
電信行業(yè)ARM架構(gòu)遷移路徑圖
3、通過全棧軟硬件優(yōu)化,充分釋放多樣算力,發(fā)揮極致性能
為適應(yīng)行業(yè)應(yīng)用快速創(chuàng)新及多樣性計算的需求,進(jìn)一步提升軟件運(yùn)行性能,面向ARM架構(gòu)的全棧優(yōu)化能力必不可少,通過使用包括一系列的硬件加速庫、軟件加速包、開源加速組件、典型場景的性能優(yōu)化解決方案等,圍繞硬件、基礎(chǔ)軟件,到場景化應(yīng)用開展全棧優(yōu)化,充分發(fā)揮應(yīng)用極致性能。
1)硬件加速
提供CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)子系統(tǒng)等硬件基礎(chǔ)性能優(yōu)化參考,包括系統(tǒng)硬件配置優(yōu)化方法及硬件加速庫,消除性能瓶頸,提升硬件資源利用率
2)軟件加速
圍繞系統(tǒng)指令、媒體轉(zhuǎn)碼、數(shù)學(xué)算法、存儲網(wǎng)絡(luò)等方向,提供一系列軟件加速包,優(yōu)化大數(shù)據(jù)加解密、分布式存儲壓縮、視頻轉(zhuǎn)碼等常用軟件性能
3)基礎(chǔ)軟件優(yōu)化
開源軟件作為最重要的軟件開發(fā)模式之一是軟件生態(tài)的核心,讓開源軟件與ARM平臺進(jìn)行充分的適配和優(yōu)化尤為重要,持續(xù)在開源社區(qū)貢獻(xiàn)關(guān)鍵性能優(yōu)化成果,提供典型場景下的開源加速組件,讓主流開源軟件能夠在ARM架構(gòu)上發(fā)揮最佳性能
4)典型場景優(yōu)化
面向大數(shù)據(jù)、分布式存儲和數(shù)據(jù)庫等行業(yè)應(yīng)用的典型計算場景,提供加速數(shù)據(jù)處理、優(yōu)化存儲訪問和提升算力部署密度的場景優(yōu)化方案,有針對性的提升行業(yè)應(yīng)用性能
三、解決方案
藍(lán)海大腦提供基于ARM架構(gòu)的鯤鵬全?;A(chǔ)軟件平臺解決方案
鯤鵬計算產(chǎn)業(yè)是基于鯤鵬處理器(基于ARM 架構(gòu))的基礎(chǔ)軟硬件設(shè)施、行業(yè)應(yīng)用及服務(wù),涵蓋從底層硬件、基礎(chǔ)軟件到上層行業(yè)應(yīng)用的全產(chǎn)業(yè)鏈條??v觀鯤鵬計算產(chǎn)業(yè)生態(tài)全景,硬件方面,圍繞鯤鵬處理器,涵蓋包括智能網(wǎng)卡芯片、底板管理控制器(BMC)芯片、固態(tài)硬盤(SSD)、磁盤陣列卡(RAID卡)、主板等部件以及個人計算機(jī)、服務(wù)器、存儲等整機(jī)產(chǎn)品。基礎(chǔ)軟件方面,涵蓋操作系統(tǒng)、虛擬化軟件、數(shù)據(jù)庫、中間件、存儲軟件、大數(shù)據(jù)平臺、數(shù)據(jù)保護(hù)和云服務(wù)等基礎(chǔ)軟件及平臺軟件。行業(yè)應(yīng)用方面,鯤鵬計算產(chǎn)業(yè)生態(tài)覆蓋政府、金融、電信、能源、大企業(yè)等各大行業(yè)應(yīng)用,提供全面、完整、一體化的信息化解決方案。
鯤鵬計算產(chǎn)業(yè)從2019年正式起航,在全球鯤鵬計算產(chǎn)業(yè)伙伴的共同努力下,已經(jīng)構(gòu)筑了完整的基礎(chǔ)軟硬件生態(tài)和人才發(fā)展體系,并在各大國計民生行業(yè)實現(xiàn)了規(guī)模商用落地,為行業(yè)數(shù)字化變革和應(yīng)用創(chuàng)新提供了強(qiáng)大穩(wěn)定的算力支持。
作為鯤鵬計算產(chǎn)業(yè)的發(fā)起者和重要成員,華為秉持“硬件開放、軟件開源、使能伙伴,發(fā)展人才”的策略,通過戰(zhàn)略性、長周期的研發(fā)投入,吸納全球計算產(chǎn)業(yè)的優(yōu)秀人才和先進(jìn)技術(shù)和產(chǎn)業(yè)伙伴一起,持續(xù)推進(jìn)全棧計算技術(shù)的創(chuàng)新發(fā)展,構(gòu)筑面向多樣性計算的全球開源體系與產(chǎn)業(yè)標(biāo)準(zhǔn),推動鯤鵬生態(tài)全面發(fā)展。
鯤鵬全棧開放,使能全產(chǎn)業(yè)伙伴創(chuàng)新
1、鯤鵬主板開放,伙伴優(yōu)先,使能商業(yè)成功
2019年華為面向伙伴開放基于鯤鵬處理器的主板、網(wǎng)卡、硬盤等標(biāo)準(zhǔn)部件,幫助整機(jī)合作伙伴快速推出自有品牌的服務(wù)器產(chǎn)品。
2020年華為發(fā)布了主板開放2.0,通過基礎(chǔ)板+擴(kuò)展板的開放模式,基礎(chǔ)板沉淀共性,減少伙伴重復(fù)開發(fā);擴(kuò)展板實現(xiàn)創(chuàng)新,使能伙伴差異化競爭力;同時結(jié)合BIOS/BMC軟件開放,支持伙伴自行開發(fā)差異化部件,打造創(chuàng)新整機(jī)產(chǎn)品。當(dāng)前,鯤鵬主板走向更加開放,華為僅聚焦“CPU+內(nèi)存”最小計算單元,通過全量組件化方式,實現(xiàn)從使能伙伴創(chuàng)新走向伙伴主導(dǎo)創(chuàng)新。
此外,在鯤鵬主板開放的同時,華為從研發(fā)、制造、采購供應(yīng)、服務(wù)、商業(yè)模式、解決方案、市場、人力資源、財務(wù)、文化十大方面,全方面對伙伴進(jìn)行賦能,幫助伙伴快速成長,使能合作伙伴打造更有競爭力的鯤鵬計算產(chǎn)品。
市場上,華為踐行伙伴優(yōu)先,將自有品牌TaiShan服務(wù)器逐步退出市場,和伙伴不競爭,把市場空間讓出來,支持伙伴商業(yè)成功,2022年1到10月,伙伴出貨占比已達(dá)95%以上。
硬件開放,伙伴優(yōu)先,使能商業(yè)成功
2、基礎(chǔ)軟件開源,持續(xù)創(chuàng)新,實現(xiàn)最佳支持鯤鵬
基礎(chǔ)軟件方面,華為堅定開源,把自身多年來構(gòu)建的操作系統(tǒng)能力和數(shù)據(jù)庫能力開源出來,讓合作伙伴能夠在此基礎(chǔ)上做增量開發(fā),由此來提升中國的基礎(chǔ)軟件產(chǎn)業(yè)水平,和伙伴共建生態(tài)。并創(chuàng)建了openEuler開源社區(qū)和openGauss開源社區(qū),以社區(qū) 運(yùn)作的方式,同產(chǎn)業(yè)伙伴和廣大開發(fā)者共同構(gòu)建基礎(chǔ)軟件生態(tài)。
當(dāng)前無論是openEuler,或是openGauss,均在鯤鵬服務(wù)器上做了大量的性能優(yōu)化工作,最終實現(xiàn)最佳支持鯤鵬,為鯤鵬生態(tài)的體系構(gòu)建,奠定了基礎(chǔ)。
以openGauss為例,通過NUMA-Aware優(yōu)化,Inplace-Update融合引擎,多存儲引擎架構(gòu),軟硬協(xié)同優(yōu)化等技術(shù)為用戶帶來多樣化業(yè)務(wù)場景下極致、穩(wěn)定的數(shù)據(jù)業(yè)務(wù)處理能力,在鯤鵬2路服務(wù)器上實現(xiàn)性能達(dá)150W TpmC,鯤鵬4路服務(wù)器上達(dá)230W TpmC,單節(jié)點處理能力業(yè)界領(lǐng)先,同時保持內(nèi)核在高負(fù)載情況下性能抖動小于5%,業(yè)界穩(wěn)定性最優(yōu)。在2022年4月openGauss3.0版本,發(fā)布分布式解決方案,在性能方面持續(xù)精進(jìn),16節(jié)點性能達(dá)到1000萬 tpmC,領(lǐng)先目前競品性能2倍。
3、使能極簡開發(fā),極致性能,繁榮應(yīng)用生態(tài)
鯤鵬開發(fā)套件(鯤鵬DevKit)使能應(yīng)用極簡開發(fā)鯤鵬生態(tài)發(fā)展的關(guān)鍵挑戰(zhàn)是應(yīng)用軟件遷移,為了幫助開發(fā)者加速應(yīng)用遷移和算力升級,華為提供鯤鵬開發(fā)套件DevKit,包括代碼遷移、開發(fā)調(diào)試、編譯、測試、調(diào)優(yōu)和診斷等一系列工具套件。
鯤鵬DevKit主要面向不同計算平臺間的應(yīng)用遷移以及鯤鵬平臺原生開發(fā),當(dāng)前實現(xiàn)1-2人天應(yīng)用無憂遷移。2022年鯤鵬DevKit2.0聚焦原生開發(fā)能力增強(qiáng),面向全研發(fā)作業(yè)流程,提供鯤鵬開發(fā)框架和場景化SDK、鯤鵬編譯工具、鯤鵬調(diào)試器、云測服務(wù)、以及面向全場景性能分析和調(diào)優(yōu),讓開發(fā)者更便捷高效的基于鯤鵬原生開發(fā),效率提升50%+。
鯤鵬DevKit:從“應(yīng)用遷移”走向“原生開發(fā)”, 開發(fā)效率提升50%+
鯤鵬BoostKit,從硬件、基礎(chǔ)軟件,到場景化應(yīng)用開展全棧優(yōu)化,主要面向伙伴和客戶的開發(fā)者,提供高性能開源組件、基礎(chǔ)加速軟件包、應(yīng)用加速軟件包,使能應(yīng)用極致性能。其中,高性能開源組件由伙伴從開源社區(qū)、鯤鵬社區(qū)獲取,直接編譯/部署,目前90%主流開源軟件已支持鯤鵬,實現(xiàn)開源軟件在鯤鵬上開箱即用?;A(chǔ)加速軟件包,面向伙伴開源、開放豐富的基礎(chǔ)性能優(yōu)化方法、加速庫、加速算法,釋放鯤鵬算力。應(yīng)用加速軟件包,聯(lián)合伙伴開展解決方案創(chuàng)新,提供業(yè)界領(lǐng)先的加速組件、算法,實現(xiàn)應(yīng)用性能倍增。
鯤鵬BoostKit 1.0面向鯤鵬聚焦的八大主力場景,把鯤鵬算力性能發(fā)揮到極致。在很多傳統(tǒng)計算負(fù)載中,CPU的實際利用率并不高,大量有效計算能力浪費在等待數(shù)據(jù)的加載上。2021 年全新推出的BoostKit 2.0,提供五大類“數(shù)據(jù)親和”加速組件,包括數(shù)據(jù)就近計算,數(shù)據(jù)加速傳輸,數(shù)據(jù)并行化處理,數(shù)據(jù)安全等,對數(shù)據(jù)全處理流程進(jìn)行負(fù)載優(yōu)化,從而大幅提升應(yīng)用性能。
鯤鵬BoostKit :“數(shù)據(jù)親和”五大加速組件,使能應(yīng)用性能倍增
通過使能極簡開發(fā)、極致性能,鯤鵬在國計民生行業(yè)的技術(shù)生態(tài)滿足度從19年的僅9%,逐年穩(wěn)步提升,22年底預(yù)計達(dá)70%以上,生態(tài)兼容性的瓶頸已基本消除,初步構(gòu)建起繁榮的鯤鵬應(yīng)用生態(tài)。
極簡開發(fā),極致性能,繁榮應(yīng)用生態(tài)
4、全棧協(xié)同,加速行業(yè)規(guī)模應(yīng)用
鯤鵬與伙伴、開發(fā)者一路前行,全面進(jìn)入國計民生行業(yè)核心應(yīng)用場景。在政府,鯤鵬與北明、超圖、太極和神州軟件等伙伴服務(wù)于各省市政務(wù)云;在金融,鯤鵬攜手長亮、麒麟軟件、科藍(lán)、華銳等伙伴服務(wù)于大行和金融機(jī)構(gòu)的核心交易系統(tǒng)。
在電信運(yùn)營商,鯤鵬和亞信、浩瀚深度、東方國信等伙伴服務(wù)于三大運(yùn)營商的網(wǎng)絡(luò)云、IT云與公有云。在電力,鯤鵬攜手南瑞集團(tuán)、許繼、麒麟信安和岳能科技等伙伴服務(wù)于國網(wǎng)、南網(wǎng)電力調(diào)度系統(tǒng)。
郵儲銀行作為擁有百年歷史的金融機(jī)構(gòu),在中國有6億用戶,4萬個營銷網(wǎng)點,是國家普惠金融的主力,為國民經(jīng)濟(jì)發(fā)展做了突出貢獻(xiàn)?,F(xiàn)有的核心系統(tǒng)采用經(jīng)典的大型機(jī)+商業(yè)軟件搭建而成,支撐了郵儲銀行初期信息化,電子金融。但隨著金融服務(wù)在線化,小額交易頻次越來越高等這些服務(wù)場景的變化,對傳統(tǒng)的核心系統(tǒng)帶來了巨烈的沖擊,尤其在交易熱點時段,現(xiàn)有系統(tǒng)彈性不足,造成交易緩慢。商業(yè)軟件架構(gòu)與技術(shù)封閉,迭代慢,在應(yīng)對金融創(chuàng)新乏力。無法繼續(xù)支撐郵儲銀行向前發(fā)展。
因此,郵儲銀行從19年初開始啟動下一代金融核心的預(yù)研,為了保持持續(xù)創(chuàng)力的能力和可能,郵儲銀行決定基于通用計算平臺加開源軟件技術(shù)構(gòu)建分布基礎(chǔ)IT能力。整個不僅保持靈活的資源擴(kuò)縮容能力,還具有豐富的開源軟件生態(tài),使未來的技術(shù)獲取等方面成本更低。同時郵儲采用企業(yè)級業(yè)務(wù)建模,對郵儲上千種業(yè)務(wù)進(jìn)行抽像建模,使用業(yè)務(wù)邏輯關(guān)系更清晰。
同時基于鯤鵬服務(wù)器和openGauss的原型驗證,結(jié)果超越客戶預(yù)期。并引入了微服務(wù),容器等業(yè)界先進(jìn)成熟的技術(shù)。經(jīng)過一年多的建設(shè),并于21年4月18日技術(shù)平臺上線,開始接入生產(chǎn)系統(tǒng)進(jìn)行鏡像驗證于6月上線分布式運(yùn)維系統(tǒng),利用AI技術(shù)解決海量節(jié)點帶來的運(yùn)維復(fù)雜度。系統(tǒng)于22年3月份全量投產(chǎn),支持郵儲日均20億筆的交易和未來10年的業(yè)務(wù)發(fā)展。
郵儲銀行是國內(nèi)首個建成新一代個人業(yè)務(wù)新核心的國有大行,證明了鯤鵬openGauss在金融這種的對可靠性和性能要求極高的場景,不但可以勝任, 而且可以很好,鯤鵬的多核、高并發(fā),結(jié)合openGauss高性能、高可用及智能運(yùn)維等內(nèi)核能力,助力郵儲個人新核心業(yè)務(wù)處理能力5倍提升,支取和查詢等核心業(yè)務(wù)場景的性能提升25%以上,這些數(shù)據(jù)都可以提升客戶的使用體驗與感知,提升滿意度,加強(qiáng)郵儲銀行服務(wù)競爭力。
郵儲銀行通過分布式金融新核心建設(shè),在金融服務(wù)技術(shù)上已走到同行前列,相信憑借郵儲銀行人的勇于開拓的創(chuàng)新精神,未來會持續(xù)領(lǐng)先,為同業(yè)樹立新的標(biāo)桿和為用戶帶來更好的服務(wù)。
多樣性算力全場景的協(xié)同
操作系統(tǒng)作為計算產(chǎn)業(yè)中最基礎(chǔ)的軟件,承擔(dān)著抽象底層硬件,向上層應(yīng)用提供統(tǒng)一接口的核心功能,是計算產(chǎn)業(yè)的關(guān)鍵環(huán)節(jié)。面向多樣性計算和海量應(yīng)用場景,操作系統(tǒng)應(yīng)支持多樣算力和多種應(yīng)用的協(xié)同,成為數(shù)字產(chǎn)業(yè)的可靠軟件底座。
一、產(chǎn)業(yè)趨勢
在IT產(chǎn)業(yè)的全棧系統(tǒng)中,處理器是硬件的基礎(chǔ),操作系統(tǒng)是所有軟件的根基。
操作系統(tǒng)是軟件的根
操作系統(tǒng)作為連接底層基礎(chǔ)硬件(處理器,整機(jī)/部件)和上層應(yīng)用的最基礎(chǔ)軟件,被稱為IT產(chǎn)業(yè)的魂:硬件提供算力的供給,應(yīng)用軟件是算力價值的實現(xiàn),而操作系統(tǒng)則完成算力釋放。一方面,操作系統(tǒng)面向硬件系統(tǒng),提供更好更高效的硬件資源管理能力;另一方面,操作系統(tǒng)面向應(yīng)用和用戶,沉淀應(yīng)用領(lǐng)域共性,提供更為便利易用的人機(jī)交互。
1、多樣性計算時代,呼喚面向數(shù)字基礎(chǔ)設(shè)施的操作系統(tǒng)
計算產(chǎn)業(yè)從通用計算已經(jīng)進(jìn)入到通用計算+AI計算的多樣性計算時代。多種算力協(xié)同發(fā)展,對操作系統(tǒng)提出了新的要求。首先,操作系統(tǒng)對上層應(yīng)用,要屏蔽不同硬件的差異,提供統(tǒng)一的接口,要完成不同計算架構(gòu)、不同硬件的兼容適配,提供良好的兼容 性,為應(yīng)軟件用的部署提供盡可能的便利。其次,針對不同的硬件的特征,操作系統(tǒng)需要針對性的優(yōu)化,確保能充分發(fā)揮硬件的能力,提升性能。比如,基于ARM架構(gòu)的處理器,其典型特征是核數(shù)更多,這使得ARM處理器在高并發(fā)應(yīng)用場景,更具競爭力。因此,操作系統(tǒng)需要針對多核的處理器進(jìn)行優(yōu)化,確保多核任務(wù)并發(fā)時的任務(wù)調(diào)度更加合理,避免任務(wù)沖突,提高系統(tǒng)整體性能。
此外,除了針對不同架構(gòu)的CPU優(yōu)化,CPU和GPU、NPU等其他特定用途之間處理器之間的協(xié)同,也是影響系統(tǒng)效率的關(guān)鍵因素。操作系統(tǒng)層面,在處理CPU任務(wù)和GPU、NPU任務(wù)時,協(xié)調(diào)好這些任務(wù)的調(diào)度,成為必要的能力。
2、數(shù)字化走向深入,操作系統(tǒng)面向云管邊端全場景應(yīng)用協(xié)同發(fā)展
隨著云計算的快速發(fā)展,云計算和云服務(wù)已經(jīng)成為各企業(yè)進(jìn)行數(shù)字化轉(zhuǎn)型的優(yōu)先選擇。無論是高科技行業(yè)還是傳統(tǒng)行業(yè),無論是大企業(yè)還是小企業(yè),都可以通過云服務(wù)隨時隨地獲取數(shù)字化轉(zhuǎn)型所必需的計算、存儲等硬件資源,大數(shù)據(jù)、AI、IoT 等技術(shù)資源,以及凝結(jié)了領(lǐng)先企業(yè)大量投入的經(jīng)驗知識資源,極大提升了企業(yè)運(yùn)行效率。
云上的應(yīng)用與其他場景的應(yīng)用協(xié)同場景越來越豐富,比如AI應(yīng)用在云和邊緣的協(xié)同。通過云端充足強(qiáng)大的算力進(jìn)行AI訓(xùn)練,而且云端能很好的支持多種不同的服務(wù)和AI框架,此外云端可以簡化訓(xùn)練的開發(fā),無需軟件下載、無需配置、無需安裝。邊緣端則利用靠近數(shù)據(jù)產(chǎn)生和采集的優(yōu)勢,在邊緣端可以迅速把采集的數(shù)據(jù)拿去做推理,快速得到推理結(jié)果的同時,避免了向云端傳輸大量數(shù)據(jù)帶來的高成本。
因此,操作系統(tǒng)通過在軟件底層實現(xiàn)應(yīng)用在云、管、邊、端、數(shù)據(jù)的高效、可靠、安全交換,是可以大幅提升系統(tǒng)整體效率和安全性的。
3、開源成為主流軟件開發(fā)模式, 操作系統(tǒng)開源共建成為產(chǎn)業(yè)共識
開源已經(jīng)成為主流軟件開發(fā)模式。從全球范圍來看,過去一年,開源整體呈現(xiàn)高速發(fā)展的趨勢。據(jù)最新官方報告,2021年全球最大開源代碼平臺GitHub活躍用戶數(shù)和活躍代碼倉庫數(shù)量均有明顯增長,其中新增活躍用戶數(shù)超過 1600 萬、新增活躍代碼倉庫數(shù)量超過 6100 萬。中國開源貢獻(xiàn)者占比明顯提升,從2015年的7%的占比,快速提升至2021年的11%。開源模式越來越成為全球軟件技術(shù)和產(chǎn)業(yè)創(chuàng)新的主導(dǎo)模式。
同時,開放開源是軟件技術(shù)創(chuàng)新,特別是發(fā)展操作系統(tǒng)這類基礎(chǔ)軟件的重要途徑,充分利用開源,參與開源,支持開源,發(fā)展操作系統(tǒng),聯(lián)合做大做強(qiáng)是當(dāng)前最為可行之路。構(gòu)建根植于中國的開源社區(qū),培養(yǎng)良好的土壤和與環(huán)境,可以為產(chǎn)業(yè)打造可持續(xù)發(fā)展的創(chuàng)新之地。
二、行動建議
1、規(guī)劃部署支持?jǐn)?shù)字基礎(chǔ)設(shè)施多樣算力的操作系統(tǒng),使能全場景應(yīng)用協(xié)同創(chuàng)新
通過規(guī)劃部署支持不同應(yīng)用場景、支持多樣性算力的統(tǒng)一數(shù)字基礎(chǔ)設(shè)施操作系統(tǒng),打通不同硬件架構(gòu)和多種場景應(yīng)用,實現(xiàn)更優(yōu)的性能,業(yè)務(wù)更好的協(xié)同。
在企業(yè)的各類數(shù)字應(yīng)用場景中,通常部署了各種不同類型的計算設(shè)備,典型的包括服務(wù)器、邊緣設(shè)備,嵌入式等等。不同設(shè)備安裝各類不同的操作系統(tǒng),給整體系統(tǒng)運(yùn)行運(yùn)維帶來挑戰(zhàn);設(shè)備間的互聯(lián)互通復(fù)雜度也因此顯著提升;不同應(yīng)用之間的可靠、安全的交互,協(xié)同相對繁瑣。
統(tǒng)一的數(shù)字基礎(chǔ)設(shè)施操作系統(tǒng),可以實現(xiàn)從操作系統(tǒng)底層完成設(shè)備間的連接、數(shù)據(jù)交互,從而大幅提升運(yùn)行運(yùn)維效率。
2、分析應(yīng)用遷移策略,制定應(yīng)用遷移計劃,完成應(yīng)用高效遷移
部署新的操作系統(tǒng),應(yīng)選擇具備可持續(xù)演進(jìn)性、基礎(chǔ)兼容性和支持應(yīng)用快速遷移的能力的技術(shù)路線??沙掷m(xù)演進(jìn)是指除了可靠、穩(wěn)定、安全等基礎(chǔ)能力外,所選擇的技術(shù)路線有具備獨立維護(hù)、長期演進(jìn)的機(jī)制和能力;基礎(chǔ)兼容性是指在操作系統(tǒng)南向各類處理器、整機(jī)、板卡的兼容性支持,以及北向的各類應(yīng)用的適配性;應(yīng)用遷移能力是指需要提供包括兼容性識別、應(yīng)用遷移與調(diào)優(yōu),系統(tǒng)測試等全流程的自動化工具和技術(shù)支持文檔。
操作系統(tǒng)遷移是一個系統(tǒng)工程,包括從技術(shù)路線選型、系統(tǒng)分析、方案設(shè)計、移植適 配、遷移實施和測試上線等全流程,因此需要組建合理的團(tuán)隊、詳細(xì)的計劃,有節(jié)奏分階段實施,在確保業(yè)務(wù)持續(xù)穩(wěn)定運(yùn)行的情況下有序開展。
3、加入開源操作系統(tǒng)社區(qū),積極擁抱開源、回饋開源
通過主動加入開源社區(qū),與社區(qū)核心組織和成員的運(yùn)作與溝通,保持與業(yè)界各類領(lǐng)先技術(shù)的同步,可獲取最新的技術(shù)趨勢、業(yè)務(wù)方向以及關(guān)鍵支撐。企業(yè)、高校、操作系統(tǒng)廠商等組織單位加入操作系統(tǒng)開源社區(qū),加強(qiáng)交流,合作共建共贏,共同發(fā)展。
更為重要的是操作系統(tǒng)開源社區(qū)提供各類開發(fā)工具,硬件資源,技術(shù)指導(dǎo)以及各類在線服務(wù),企業(yè)鼓勵有能力的開發(fā)人員加入社區(qū),獲取最新的開發(fā)手冊、技術(shù)補(bǔ)丁以及開發(fā)平臺,可以大幅度提升應(yīng)用開發(fā)效率。成熟的開源社區(qū),除了提供日常代碼審核、提交的工具之外,還包括大量滿足開發(fā)全流程所需要的各類資源,同時社區(qū)是技術(shù)人員積累能力、了解技術(shù)趨勢、解決技術(shù)難題,互相交流的平臺。
三、解決方案
華為是全球領(lǐng)先的ICT(信息與通信)基礎(chǔ)設(shè)施和智能終端提供商,在ICT領(lǐng)域提供包括服務(wù)器、存儲、云服務(wù)、邊緣計算、基站、路由器、工業(yè)控制等各類產(chǎn)品和解決方案。在多年的全系列產(chǎn)品研發(fā)過程中,不斷累積軟件根技術(shù),全面布局操作系統(tǒng)等基礎(chǔ)軟件,滿足自身業(yè)務(wù)發(fā)展需要。
2019年12月,華為創(chuàng)立歐拉開源項目,通過開源的方式,把積累的操作系統(tǒng)能力開放出來,攜手產(chǎn)業(yè)伙伴共同發(fā)展操作系統(tǒng)產(chǎn)業(yè),得到了產(chǎn)業(yè)積極響應(yīng)。
目前,歐拉開源操作系統(tǒng)發(fā)展迅速,生態(tài)快速構(gòu)建,已累計實現(xiàn)超過245萬套裝機(jī),國內(nèi)新增市場份額超過22%,跨越生態(tài)拐點,成為企業(yè)數(shù)字化轉(zhuǎn)型、應(yīng)用創(chuàng)新、構(gòu)筑安全可靠操作系統(tǒng)的首選技術(shù)路線。
1、歐拉,面向數(shù)字基礎(chǔ)設(shè)施的開源操作系統(tǒng)
歐拉是面向數(shù)字基礎(chǔ)設(shè)施的開源操作系統(tǒng),支持服務(wù)器、云計算、邊緣計算、嵌入式等應(yīng)用場景,支持多樣性計算,致力于提供安全、穩(wěn)定、易用的操作系統(tǒng)。通過為應(yīng)用提供確定性保障能力,支持OT領(lǐng)域應(yīng)用及OT與ICT的融合。
歐拉持續(xù)豐富南向多樣性設(shè)備支持,北向使能 IT、CT和OT全場景應(yīng)用。當(dāng)前歐拉已經(jīng)實現(xiàn)主流計算架構(gòu)100%覆蓋,支持包括ARM、x86、RISC-V等全部主流CPU指令集,同時支持NPU、GPU和DPU等多種異構(gòu)算力,適配超過100款整機(jī)、300款板卡,成為最佳支持多樣性算力的開源操作系統(tǒng)。在北向應(yīng)用生態(tài)上,與伙伴協(xié)作,適配了一萬多款應(yīng)用,主流應(yīng)用場景100%支持,滿足各行業(yè)不同應(yīng)用需求。
歐拉,面向數(shù)字基礎(chǔ)設(shè)施的開源操作系統(tǒng)
1)統(tǒng)一操作系統(tǒng),支持多設(shè)備
通過一套操作系統(tǒng)架構(gòu),支持多樣性設(shè)備。歐拉采用全量組件原子化,支持內(nèi)核靈活組合,全棧服務(wù)化按需構(gòu)建,可以根據(jù)設(shè)備不同的資源能力和業(yè)務(wù)需求靈活裁剪,按需構(gòu)建不同的操作系統(tǒng)版本,滿足不同設(shè)備對于操作系統(tǒng)的要求。
同時,歐拉支持構(gòu)建服務(wù)自助化,支持“菜單式”配置內(nèi)核和系統(tǒng)服務(wù),可以針對軟件包、文件級、函數(shù)級的不同層級分級靈活組合,自動化、簡化版本構(gòu)建。 進(jìn)一步,歐拉還提供多設(shè)備協(xié)同套件,來實現(xiàn)不同設(shè)備間的能力互助和資源共享。
2)應(yīng)用一次開發(fā),覆蓋全場景
歐拉通過一套標(biāo)準(zhǔn)API,ICT+OT全場景提供統(tǒng)一API,這樣就實現(xiàn)了操作系統(tǒng)與應(yīng)用之間交互語言的統(tǒng)一; 同時,通過歐拉SDK,把各種應(yīng)用所需數(shù)據(jù)能力、音視頻能力、安全等能力,進(jìn)行統(tǒng)一封裝,使能極簡開發(fā);歐拉Devkit開發(fā)套件,還可以方便的集成到各種主流應(yīng)用開發(fā)平臺。
3)歐拉與鴻蒙能力共享,生態(tài)互通
歐拉是數(shù)字基礎(chǔ)設(shè)施開源操作系統(tǒng),鴻蒙是面向萬物互聯(lián)的智能終端操作系統(tǒng),歐拉和鴻蒙,進(jìn)一步打通,就可以更好地服務(wù)數(shù)字全場景。歐拉和鴻蒙已經(jīng)實現(xiàn)了內(nèi)核技術(shù)和分布式能力共享。通過共享分布式套件,實現(xiàn)了歐拉和鴻蒙的互通,兩大開源操作系統(tǒng)打通,歐拉覆蓋云管邊,鴻蒙覆蓋端,歐拉+鴻蒙共同服務(wù)全場景數(shù)字應(yīng)用。未來進(jìn)一步在安全OS、設(shè)備驅(qū)動框架、以及新編程語言等方面實現(xiàn)共享,通過能力共享,實現(xiàn)生態(tài)互通。
歐拉與鴻蒙能力共享 生態(tài)互通
2、歐拉開源共建,已構(gòu)建成熟的產(chǎn)業(yè)生態(tài)
1)歐拉開源項目
2019年12月,華為創(chuàng)建歐拉開源項目,成立歐拉開源社區(qū),開源代碼上線。
2021年11月,在操作系統(tǒng)產(chǎn)業(yè)峰會2021上,在“政產(chǎn)學(xué)研用”各方代表的共同見證下,華為攜手社區(qū)全體伙伴,將歐拉開源操作系統(tǒng)全量代碼、品牌商標(biāo)、社區(qū)基礎(chǔ)設(shè)施等相關(guān)資產(chǎn)貢獻(xiàn)給中國開放原子開源基金會,具體包括:華為自己開發(fā)的數(shù)百萬的自研代碼,版權(quán)和知識產(chǎn)權(quán)許可,超過8000多個經(jīng)過華為和社區(qū)驗證的軟件包,openEuler以及相關(guān)項目的中英文的商標(biāo)品牌共30多個,域名4個,以及構(gòu)建服務(wù)與測試體系代碼托管,社區(qū)運(yùn)營平臺等社區(qū)基礎(chǔ)設(shè)施。這實現(xiàn)了歐拉開源操作系統(tǒng)從企業(yè) 主導(dǎo)到產(chǎn)業(yè)主導(dǎo)的重要轉(zhuǎn)變,有利于促進(jìn)歐拉開源項目從開放治理走向自治繁榮。
2)歐拉生態(tài)繁榮,歐拉社區(qū)已成為國內(nèi)最具活力開源社區(qū)
截止目前,國內(nèi)外10+家主流操作系統(tǒng)廠商 (麒麟、統(tǒng)信、麒麟信安、SUSE等)均已發(fā)布了歐拉路線的操作系統(tǒng)商業(yè)發(fā)行版;社區(qū)當(dāng)前已有超過400家企業(yè)加入,匯聚了從處理 器、整機(jī)、到基礎(chǔ)軟件、應(yīng)用軟件、行業(yè)客戶等全產(chǎn)業(yè)鏈核心伙伴;社區(qū)已經(jīng)有超過1萬名開源貢獻(xiàn)者,創(chuàng)立近100個SIG組(特別興趣小組),社區(qū)維護(hù)的核心軟件包達(dá)到8000多個。
歐拉創(chuàng)新領(lǐng)先的技術(shù),良好的硬件兼容性,豐富的應(yīng)用軟件生態(tài)和覆蓋全場景的部署能力,為歐拉的規(guī)模部署提供了充分的條件。
截至目前,歐拉技術(shù)路線的操作系統(tǒng),已經(jīng)在數(shù)字政府、電信、金融、電力等多個行業(yè)實現(xiàn)大規(guī)模部署應(yīng)用在核心系統(tǒng)中,為各行業(yè)提供穩(wěn)定、可靠的數(shù)字根基,累計部署量超過245萬套,國內(nèi)新增市場份額占比達(dá)到22%,在數(shù)字政府、金融行業(yè)增速第一。
部署歐拉路線操作系統(tǒng)的用戶包括三大運(yùn)營商(中國移動、中國電信、中國聯(lián)通)、兩大電網(wǎng)(國家電網(wǎng)、南方電網(wǎng))以及多個大型國有和商業(yè)銀行(建設(shè)銀行、工商銀行、中信銀行、中國銀聯(lián)等)等。典型應(yīng)用案例包括:中移在線大數(shù)據(jù)平臺、中國電信云平臺、國家電網(wǎng)核心調(diào)度系統(tǒng)、中國建設(shè)銀行信用卡核心系統(tǒng)等等。
3、歐拉,以發(fā)展根技術(shù)引領(lǐng)操作系統(tǒng)創(chuàng)新
歐拉以內(nèi)核級創(chuàng)新,打造最佳多樣性算力支持、全場景數(shù)字基礎(chǔ)設(shè)施操作系統(tǒng),成為企業(yè)數(shù)字化轉(zhuǎn)型、應(yīng)用創(chuàng)新的首選可靠操作系統(tǒng)技術(shù)路線。
歐拉引領(lǐng)操作系統(tǒng)內(nèi)核創(chuàng)新。作為社區(qū)主要成員,華為自 2012 年以來向 Linux Kernel 社區(qū)貢獻(xiàn),在 Linux Kernel 5.10版本中,華為內(nèi)核代碼貢獻(xiàn)排名第一。
歐拉最佳支持多樣性算力。支持鯤鵬、x86、飛騰、龍芯、申威、RISC-V等多種處理器架構(gòu),并且性能相比主流操作系統(tǒng)更佳。
歐拉打破不同場景操作系統(tǒng)生態(tài)壁壘,成為首個全場景數(shù)字基礎(chǔ)設(shè)施操作系統(tǒng)。歐拉統(tǒng)一支持服務(wù)器、云計算、邊緣計算、嵌入式等等應(yīng)用場景。
截止目前,歐拉已經(jīng)發(fā)布2個LTS(長生命周期支持)版本和4個創(chuàng)新版本。華為不做歐拉商業(yè)發(fā)行版,通過社區(qū)使能伙伴商業(yè)發(fā)行版、企業(yè)自用版、社區(qū)發(fā)行版等多種形式,促進(jìn)操作系統(tǒng)產(chǎn)業(yè)健康、高速發(fā)展。華為持續(xù)在歐拉開源項目貢獻(xiàn),包括技術(shù)創(chuàng)新、社區(qū)運(yùn)營、生態(tài)建設(shè)等。華為聯(lián)接、計算和云等各領(lǐng)域繼續(xù)全面使用歐拉技術(shù)路線,以社區(qū)版本為基線,構(gòu)筑華為自用操作系統(tǒng)版本。
歐拉技術(shù)路線的操作系統(tǒng),主要包括以下集中形式:
1)社區(qū)發(fā)行版
由歐拉社區(qū)成員和社區(qū)開發(fā)者共同構(gòu)建發(fā)布的開源操作系統(tǒng)版本,以免費的形式通過社區(qū)提供。社區(qū)每2年發(fā)布一個長周期(LTS:Long Term Support)版本, 比如:openEuler 20.03 LTS版,openEuler 22.03 LTS版。
2)商業(yè)發(fā)行版
操作系統(tǒng)產(chǎn)業(yè)伙伴(即OSV), 結(jié)合各自的優(yōu)勢,基于歐拉的社區(qū)版,開發(fā)自己的商業(yè)發(fā)行版操作系統(tǒng),面向最終用戶提供和銷售有競爭力的產(chǎn)品。比如麒麟軟件有限公司的銀河麒麟高級服務(wù)器操作系統(tǒng)V10、統(tǒng)信服務(wù)器操作系統(tǒng)V20(1020e), 麒麟信安操作系統(tǒng)V3(歐拉版),SUSE數(shù)碩Linux等。
3)企業(yè)自用版
具備自研能力的企業(yè),基于歐拉的社區(qū)發(fā)行版,開發(fā)自用的操作系統(tǒng)版本 (非獨立銷售或不銷售)。比如華為公司通信設(shè)備搭載的自研操作系統(tǒng)、中國移動BCLinux for Euler、中國電信CTyunOS,中國聯(lián)通CULinux、百度 Linux 智能云操作系統(tǒng)等。
歐拉已發(fā)布2個LTS版本和4個創(chuàng)新版本
人工智能算力增長是主要增量
一、宏觀趨勢
1、數(shù)字經(jīng)濟(jì)飛速發(fā)展將催生強(qiáng)勁算力需求,人工智能算力是主要增量
當(dāng)前,數(shù)字經(jīng)濟(jì)正在成為全球經(jīng)濟(jì)的主要增長點,算力作為數(shù)字經(jīng)濟(jì)時代新的生產(chǎn)力,是支撐數(shù)字經(jīng)濟(jì)發(fā)展的堅實基礎(chǔ)。算力已成為全球戰(zhàn)略競爭新焦點,是國民經(jīng)濟(jì)發(fā)展的重要引擎,全球各國的算力水平與經(jīng)濟(jì)發(fā)展水平也呈現(xiàn)出顯著的正相關(guān)。
與此同時,人工智能技術(shù)的不斷發(fā)展帶來了遠(yuǎn)遠(yuǎn)超越摩爾定律的算力需求。從2011年深度學(xué)習(xí)技術(shù)興起到今天,對人工智能算力的需求一直是指數(shù)級增長的,每隔3-4個月算力需求翻一倍。2020年,自然語言處理模型GPT-3參數(shù)量達(dá)到1750億,算力需求是3640PD(PD代表 以千萬億次每秒的算力計算一天所用的浮點計算量);2021年,鵬程盤古——業(yè)界首個全開源 2000億參數(shù)中文預(yù)訓(xùn)練語言模型,使用E級AI算力的鵬城云腦II算了50天,算力需求達(dá)到了 25000PD;到2023年,這種大模型的算力需求能到百萬PD,這就對現(xiàn)有計算處理能力提出了嚴(yán)峻的考驗。
在蓬勃的需求帶動下,全球算力發(fā)展水平正在持續(xù)擴(kuò)大,而在這其中,人工智能算力成為主要增量。華為預(yù)測,到2030年,人類將進(jìn)入YB 數(shù)據(jù)時代,全球通用算力將增長10倍達(dá)到3.3 ZFLOPS(FP32),人工智能算力將增長500倍, 超過105 ZFLOPS(FP16)。
2、人工智能正日益快速滲透行業(yè) 應(yīng)用的核心場景
人工智能技術(shù)的落地為行業(yè)帶來更多價值,不僅提高了企業(yè)的運(yùn)作效率、生產(chǎn)效率,還推動了企業(yè)創(chuàng)新的能力。調(diào)研發(fā)現(xiàn),采用人工智能三年以上的企業(yè),已經(jīng)在多方面獲得顯著的收益,實現(xiàn)收入增加和生產(chǎn)效率提升。在2021的行業(yè)調(diào)研中,TOP3的行業(yè)人工智能滲透度均超過了50%,最高的滲透度甚至超過了80%。
人工智能將在城市、交通、制造、能源、醫(yī)藥、教育、農(nóng)業(yè)等行業(yè)持續(xù)滲透,為衣食住行帶來更智能的體驗:在城市領(lǐng)域,城市的智慧化治理成為實現(xiàn)城市可持續(xù)發(fā)展的必然選擇。未來,每一個物理實體都將有一個數(shù)字孿生,如城市樓宇、水資源、基礎(chǔ)設(shè)施等將組成城市數(shù)字孿生,實現(xiàn)更加智能的城市管理。城市智慧治理將帶來100 倍的社會數(shù)據(jù)聚集,人工智能技術(shù)將實現(xiàn)高效城市治理。
在交通領(lǐng)域,預(yù)計2030年,全球道路上的電動汽車、面包車、重型卡車和公共汽車數(shù)量將達(dá)到1.45億輛。每輛汽車行駛中產(chǎn)生的數(shù)據(jù)需要在汽車與城市之間頻繁進(jìn)行數(shù)據(jù)交換,借助智慧交通基礎(chǔ)設(shè)施的AI分析能力,城市通勤時間將得到大幅提升(日均通勤縮短15-30分鐘),交通事故和汽車對城市碳排放量也隨之大幅降低。智能帶來的交通安全、效率、體驗的提升,必將釋放出新的生產(chǎn)力,推動社會經(jīng)濟(jì)的發(fā)展。
在制造領(lǐng)域,AI可以幫助制造企業(yè)實現(xiàn)智慧化運(yùn)營管理、海量數(shù)據(jù)分析挖掘以及低時延診斷預(yù)警。中國制造2025提出,制造業(yè)重點領(lǐng)域全面實現(xiàn)智能化,試點示范項目運(yùn)營成本將降低50%,產(chǎn)品生產(chǎn)周期縮短50%,不良品率降低50%。 人工智能將融入千行百業(yè)的核心場景,實現(xiàn)多個人工智能場景的落地,帶來源源不斷的創(chuàng)新與無所不及的智能。
二、行動建議
1、加速AI基礎(chǔ)設(shè)施建設(shè),讓AI算力成為像水和電一樣的公共資源
作為新基建的重要組成部分,人工智能已經(jīng)成為數(shù)字經(jīng)濟(jì)發(fā)展的重要驅(qū)動力,人工智能產(chǎn)業(yè)在發(fā)展過程中仍面臨諸多挑戰(zhàn)。
1)人工智能產(chǎn)業(yè)布局不均衡
通過對多個城市的實際調(diào)研發(fā)現(xiàn),人工智能產(chǎn)業(yè)存在基礎(chǔ)薄弱和研發(fā)實力弱等情況,無法匹配產(chǎn)業(yè)發(fā)展規(guī)劃和戰(zhàn)略布局
2)企業(yè)使用AI算力成本高
大規(guī)模預(yù)訓(xùn)練模型的參數(shù)量越來越大,需要的算力也從TFLOPS級別增加到PFLOPS級別,多數(shù)企業(yè)表示當(dāng)前算力不足。企業(yè)使用人工智能算力成本昂貴,僅算力成本就占據(jù)企業(yè)開發(fā)成本的15%~25%
3)AI人才缺口大
大量人工智能企業(yè)表示缺乏AI技術(shù)人才,在全國各地都缺乏核心AI技術(shù)人才的背景下,加強(qiáng)培育本土AI人才非常必要。鑒于上述挑戰(zhàn),建議大力發(fā)展以人工智能計算中心為代表的新型基礎(chǔ)設(shè)施,讓AI成為水和電一樣的基礎(chǔ)公共資源,為數(shù)字經(jīng)濟(jì)發(fā)展提供新動能。
人工智能計算中心建設(shè)具有技術(shù)實現(xiàn)復(fù)雜、建設(shè)周期長、資源投入巨大、產(chǎn)業(yè)輻射面廣的特點,需要進(jìn)一步強(qiáng)化戰(zhàn)略統(tǒng)籌和政策保障,進(jìn)行系統(tǒng)的組織機(jī)制和體制創(chuàng)新,加強(qiáng)關(guān)鍵核心技術(shù)攻關(guān)和標(biāo)準(zhǔn)化建設(shè),以加快推動人工智能計算中心的高質(zhì)量發(fā)展和網(wǎng)絡(luò)化建設(shè)。系統(tǒng)總結(jié)已建成的人工智能計算中心的建設(shè)經(jīng)驗,持續(xù)加強(qiáng)人工智能計算中心的統(tǒng)籌建設(shè),在確保已建成的人工智能計算中心保持高效運(yùn)營的同時,順應(yīng)人工智能發(fā)展趨勢和產(chǎn)業(yè)落地的需求,堅持以應(yīng)用為導(dǎo)向,堅持自主創(chuàng)新技術(shù)路線,加強(qiáng)人工智能計算中心建設(shè)。
2、加速人工智能進(jìn)入行業(yè)關(guān)鍵場景,使能行業(yè)智能化升級
促進(jìn)人工智能與各行業(yè)融合創(chuàng)新,在城市、交通、制造、能源、醫(yī)療、金融等重點行業(yè)和領(lǐng)域開展人工智能應(yīng)用試點示范,推動人工智能規(guī)模化應(yīng)用,全面提升產(chǎn)業(yè)發(fā)展智能化水平
1)智慧城市
構(gòu)建適用于政府服務(wù)與決策的人工智能融合賦能平臺,實現(xiàn)AI在智慧城市建設(shè)中 “大腦”般的智慧,將人工智能技術(shù)與城市應(yīng) 用場景深度融合,實現(xiàn)城市在各類場景下的高效治理。研制面向開放環(huán)境的決策引擎,在復(fù)雜社會問題研判、政策評估、風(fēng)險預(yù)警、應(yīng)急處置等重大戰(zhàn)略決策方面推廣應(yīng)用
2)智慧交通
針對高速公路自由流收費、收費稽核、視頻云聯(lián)網(wǎng)、車路協(xié)同等典型交通AI應(yīng)用場景,打造智慧交通解決方案,用人工智能技術(shù)對車輛、軌跡等進(jìn)行智能分析,讓出行管理更高效,讓通行更通暢
3)智慧制造
打造數(shù)字工廠AI使能解決方案,為制造行業(yè)量身定制的質(zhì)量檢測、廠區(qū)安全等應(yīng)用領(lǐng)域的一站式、高精度、支持快速換線、開箱即用的AI解決方案,打通AI落地制造行業(yè)的“最后一公里”,加速AI應(yīng)用在工廠規(guī)模化部署,把AI帶入每一條產(chǎn)線,為工廠生產(chǎn)和運(yùn)營提質(zhì)增效
4)智慧巡檢
用人工智能的分析取代傳統(tǒng)的人工巡檢,讓巡檢更安全,效率和準(zhǔn)確率更高。 結(jié)合智能電網(wǎng)、智能油氣和智能礦山的發(fā)展需求,以AI技術(shù)為基礎(chǔ),打造智慧巡檢解決方 案,為輸電線路、變電站、配電房、油氣田、加油站和煤礦等場景提供區(qū)域智能感知
5)智慧醫(yī)療
打造傳染病AI監(jiān)測預(yù)警平臺、緊密型縣域醫(yī)共體AI解決方案、智慧醫(yī)院AI 解決方案等,助力醫(yī)療行業(yè)智能化升級,將AI科技進(jìn)步服務(wù)于人類健康
6)智慧金融
面向金融行業(yè)提供更加高效、安全、個性化的綜合性金融解決方案,貫穿于金融服務(wù)垂直全流程,為銀行智慧網(wǎng)點、金融OCR、智能雙錄等AI應(yīng)用場景提供智慧化解決方案。
三、解決方案
1、以昇騰AI基礎(chǔ)軟硬件平臺,構(gòu)筑智能根基
昇騰AI產(chǎn)業(yè)是以昇騰AI基礎(chǔ)軟硬件平臺為基礎(chǔ),堅持“硬件開放、軟件開源、使能伙伴、 發(fā)展人才”,聯(lián)合技術(shù)和商業(yè)伙伴,打造“共建、共享、共贏”的人工智能產(chǎn)業(yè),致力于讓 AI“用得起、用得好、用得放心”,以人工智能賦能社會發(fā)展與產(chǎn)業(yè)升級,為人類社會發(fā)展帶來價值。
昇騰AI產(chǎn)業(yè)(簡稱昇騰AI/昇騰)是以昇騰AI基礎(chǔ)軟硬件平臺為基礎(chǔ)構(gòu)建的人工智能計算產(chǎn)業(yè)。 昇騰AI基礎(chǔ)軟硬件平臺包含Atlas系列硬件及伙伴硬件、異構(gòu)計算架構(gòu)CANN、全場景AI框架昇思MindSpore、昇騰應(yīng)用使能MindX、全流程開發(fā)工具鏈MindStudio和一站式AI開發(fā)平臺ModelArts等。
1)Atlas系列硬件及伙伴硬件
基于昇騰AI處理器,通過模組、板卡、小站、服務(wù)器、集群等豐富的產(chǎn)品形態(tài),打造面向“云、 邊、端”的全場景昇騰AI基礎(chǔ)設(shè)施解決方案
2)異構(gòu)計算架構(gòu)CANN
異構(gòu)計算架構(gòu)CANN,北向支持業(yè)界主流AI 框架,南向支持系列化芯片的硬件差異,通過軟硬協(xié)同,充分釋放硬件的澎湃算力
3)全場景AI框架昇思MindSpore
全場景AI框架昇思MindSpore,致力于成為全球主流AI框架,具備一次開發(fā)云邊端全場景部署、原生支持大模型訓(xùn)練、支持AI+科學(xué)計算等關(guān)鍵特性,加速科研創(chuàng)新和產(chǎn)業(yè)應(yīng)用
4)MindX昇騰應(yīng)用使能
昇騰應(yīng)用使能MindX包含深度學(xué)習(xí)使能MindX DL、智能邊緣使能MindX Edge、模型優(yōu)選庫ModelZoo,和行業(yè)應(yīng)用開發(fā)套件MindX SDK,旨在沉淀行業(yè)知識,使能行業(yè)應(yīng)用極簡開發(fā),加速人工智能應(yīng)用落地
昇騰AI產(chǎn)業(yè)
2、以“一中心四平臺”建設(shè)人工智能計算中心,打造人工智能算力基礎(chǔ)設(shè)施
1)人工智能計算中心
是專注于AI計算的新型城市基礎(chǔ)設(shè)施,它以昇騰AI基礎(chǔ)軟硬件平臺為基礎(chǔ),是涵蓋了從基建基礎(chǔ)設(shè)施、硬件基礎(chǔ)設(shè)施到軟件基礎(chǔ)設(shè)施的完整系統(tǒng)。作為一體化城市人工智能新型基礎(chǔ)設(shè)施,AICC承載著“一中心四平臺”的產(chǎn)業(yè)模式創(chuàng)新,解決算力普惠、科研創(chuàng)新、應(yīng)用孵化與落地、人才培養(yǎng)等AI發(fā)展關(guān)鍵問題,旨在讓AI算力像水和電一樣成為城市公共基礎(chǔ)資源,為數(shù)字經(jīng)濟(jì)發(fā)展提供新動能,讓智能無所不及
2)公共算力服務(wù)平臺
通過產(chǎn)業(yè)政策牽引,將人工智能計算中心的算力資源有序、高效、普惠地開放給當(dāng)?shù)氐钠髽I(yè)、科研機(jī)構(gòu)和高校,解決當(dāng)?shù)谹I技術(shù)發(fā)展和產(chǎn)業(yè)智能升級的算力和服務(wù)需求
3)應(yīng)用創(chuàng)新孵化平臺
各地AI企業(yè)、高校、科研機(jī)構(gòu),針對各地特色的AI應(yīng)用場景項目機(jī)會,依托人工智能計算中心,進(jìn)行科技創(chuàng)新成果商用轉(zhuǎn)化、形成有本地特色的的重大產(chǎn)品創(chuàng)新和示范應(yīng)用
4)產(chǎn)業(yè)聚合發(fā)展平臺
依托計算中心,配套相關(guān)產(chǎn)業(yè)政策、吸引和招募AI產(chǎn)業(yè)鏈上的各類公司(算法公司、數(shù)據(jù)處理公司、行業(yè)集成公司等)入駐形成完整產(chǎn)業(yè)閉環(huán),促進(jìn)和推動AI產(chǎn)業(yè)集約集聚發(fā)展
5)科研創(chuàng)新和人才培養(yǎng)平臺
基于人工智能計算中心充沛的算力資源,促進(jìn)高校院所聯(lián)合行業(yè)龍頭企業(yè),圍繞產(chǎn)業(yè)技術(shù)創(chuàng)新需求,開展人工智能技術(shù)研發(fā)、科技成果轉(zhuǎn)化等重點工作,落地科技創(chuàng)新成果的、培養(yǎng)關(guān)鍵人才。
當(dāng)前,在國家統(tǒng)籌規(guī)劃下,已有20多個城市在規(guī)劃和建設(shè)人工智能計算中心,華為也積極參與其中。深圳、武漢、中原、西安、成都、南京、杭州、沈陽、青島、重慶已相繼上線或試運(yùn)營,已經(jīng)累計為1200+企業(yè)、120+高校、70+科研單位提供了算力服務(wù)。
深圳“鵬城云腦II”于2020年10月正式上線,實現(xiàn)上線即飽和運(yùn)營,其三項打榜獲得世界第一:2021年7月,在IO500排行榜中,蟬聯(lián)全系統(tǒng)輸入輸出和10節(jié)點規(guī)模系統(tǒng)兩項世界冠軍。其中,全系統(tǒng)輸入輸出性能超越第二名近20 倍,至今仍保持榜單第一。2021年11月,在AI Perf500排行榜中,保持世界第一。依托鵬城云腦IIE級的澎湃算力,鵬城實驗室與華為聯(lián)合研發(fā)了全開源開放的兩千億參數(shù)中文NLP大模型鵬程.盤古,以及賦能生物醫(yī)藥探索的大模型鵬程神農(nóng)。
武漢人工智能計算中心基于昇騰AI基礎(chǔ)軟硬件建設(shè),于2021年5月31日正式竣工并投入運(yùn)營,上線即算力資源滿負(fù)荷使用。于2022年2 月7日完成擴(kuò)容,總算力達(dá)200P,并再次飽和運(yùn)營。率先實踐“一中心四平臺”,開創(chuàng)“武 漢模式”。5個月從進(jìn)場施工到正式投運(yùn),讓業(yè)界見證了“武漢速度”,打造了全國人工智能示范標(biāo)桿。目前,基于武漢人工智能計算中心,孵化了全球全球首個三模態(tài)大模型——紫東太初,全球首個遙感影像智能解譯專用框架——武漢LuojiaNet,業(yè)界最大遙感影像樣本數(shù)據(jù)集——武漢LuojiaSet,并成立多模態(tài)人工智能產(chǎn)業(yè)聯(lián)盟和智能遙感開源生態(tài)聯(lián)盟,為武漢孵化數(shù)百億級智能遙感和多模態(tài)產(chǎn)業(yè)(大于300億),截止到2022年9月底,已服務(wù)企業(yè)120+,孵化AI創(chuàng)新解決方案130+。
3、產(chǎn)學(xué)研攜手,共筑人工智能產(chǎn)業(yè)生態(tài)
華為開放昇騰AI基礎(chǔ)軟硬件平臺,包括Atlas系列硬件、異構(gòu)計算架構(gòu)CANN、全場景AI框架昇思MindSpore、昇騰應(yīng)用使能MindX以及一站式開發(fā)平臺ModelArts等,幫助伙伴和開發(fā)者高效使用AI能力,創(chuàng)新場景化AI應(yīng)用,加速千行百業(yè)智能升級。
完成昇騰AI生態(tài)的初步構(gòu)建,目前發(fā)展了100 萬+開發(fā)者,在100多所高校開設(shè)昇騰AI相關(guān)的人工智能課程,發(fā)展700+行業(yè)合作伙伴,共同孵化了超過1600+解決方案,為中國人工智能產(chǎn)業(yè)繁榮提供一個強(qiáng)健、穩(wěn)固的基石。
全場景AI框架昇思MindSpore是業(yè)界首個全自動并行的框架且具備全場景協(xié)同和全流程極簡的特點。華為于2020年3月28日開源昇思 MindSpore框架,開源后獲得國內(nèi)外開發(fā)者的積極響應(yīng),訪問量數(shù)千萬,超過320萬用戶下載安裝使用,在碼云千萬開源項目中綜合排名第一,服務(wù)企業(yè)數(shù)量超過5500家,高校授課數(shù)量超過140所,超過40所科研機(jī)構(gòu)選擇昇思進(jìn)行科研創(chuàng)新,社區(qū)貢獻(xiàn)者達(dá)8000+,ModelZoo支持模型350+,獲得業(yè)界首個AI框架類產(chǎn)品級CC安全認(rèn)證和AI可信開源社區(qū)認(rèn)證,成為國內(nèi)最具創(chuàng)新活力的AI開源社區(qū)。
昇騰眾智計劃是華為圍繞昇騰基礎(chǔ)軟件平臺推出的一項生態(tài)合作計劃,旨在匯聚高校、科研院所、企業(yè)等組織和機(jī)構(gòu)的開發(fā)團(tuán)隊,通過項目合作方式,基于昇騰基礎(chǔ)軟硬件平臺開發(fā)算子、網(wǎng)絡(luò)模型及行業(yè)參考設(shè)計,不斷豐富昇騰計算產(chǎn)業(yè)生態(tài),為加速千行百業(yè)智能化升級貢獻(xiàn)智慧與力量。目前,通過昇騰眾智計劃,已經(jīng)完成4000多個AI模型、算子等。2022年,將繼續(xù)投入2億人民幣激勵基金,推出超過4000 個眾智任務(wù)。
此外,在人才培養(yǎng)方面,教育部-華為“智能基座”產(chǎn)教融合協(xié)同育人基地項目由教育部、華為于2020年底聯(lián)合發(fā)起,首批布局72所高校。
華為聯(lián)合72所高校持續(xù)深化“智能基座”項目,在理工科專業(yè)深入實踐,產(chǎn)教融合,把鯤鵬、昇騰、歐拉、高斯、昇思等根技術(shù)融入高校教學(xué)。目前,已賦能3000多個老師,開設(shè) 1500多門課程,覆蓋了30多萬學(xué)生,成立了72 個智能基座社團(tuán),出版約20本教材教輔書籍和12門精品慕課,并推出“智能基座”優(yōu)秀教學(xué)資源獎勵計劃,激勵更多教師百花齊放,自主開發(fā)教材和慕課。華為聯(lián)合教育部已建設(shè)17個教育部智能基座課程虛擬教研室。
大模型成為 AI 規(guī)模應(yīng)用重要途徑
一、宏觀趨勢
1、“大算力+大數(shù)據(jù)”正在催生大模型的快速發(fā)展,孵化系列行業(yè)新應(yīng)用
當(dāng)前人工智能領(lǐng)域,大規(guī)模預(yù)訓(xùn)練模型得到長足發(fā)展和廣泛關(guān)注,以大數(shù)據(jù)和大算力優(yōu)勢取代了一些小的算法模型,“大模型+大數(shù)據(jù)+大算力”成為邁向通用人工智能的一條可行路徑。以GPT-3為代表的超大規(guī)模預(yù)訓(xùn)練模型,展示了一條通向通用人工智能的可能方向。
在此背景下,我國超大規(guī)模預(yù)訓(xùn)練模型的發(fā)展如火如荼。2021年以來,國內(nèi)相繼發(fā)布了一系列大模型,華為與鵬城實驗室聯(lián)合發(fā)布了“鵬程盤古”系列超大規(guī)模預(yù)訓(xùn)練稠密模型,中科院自動化所發(fā)布了全球首個三模態(tài)大模型“紫東太初”,以及北京智源人工智能研究院發(fā)布了“悟道2.0”稀疏模型等。
人工智能大模型可以實現(xiàn)在眾多場景通用、泛化和規(guī)?;瘡?fù)制,減少對數(shù)據(jù)標(biāo)注的依賴。隨著超大規(guī)模預(yù)訓(xùn)練模型系統(tǒng)的開放,預(yù)訓(xùn)練基線智能水平大幅提升,行業(yè)人工智能應(yīng)用不必從零開始開發(fā),只需結(jié)合某個行業(yè)的領(lǐng)域數(shù)據(jù)進(jìn)行調(diào)整,即可生成某個領(lǐng)域的相關(guān)模型,且得到良好的精度和性能。華為云發(fā)布的盤古預(yù)訓(xùn)練大模型已經(jīng)在多個行業(yè)、100多個場景成功驗證,包括能源、零售、金融、工業(yè)、醫(yī)療、環(huán)境、物流等等。其中,在能源領(lǐng)域,盤古預(yù)訓(xùn)練大模型幫助行業(yè)客戶實現(xiàn)設(shè)備能耗的智能控制,可以節(jié)約電力成本50%;在金融行業(yè)中的異常財務(wù)檢測,讓模型精度提升20%以 上;在塵肺檢測中,病例識別準(zhǔn)確率提升22%等等。行業(yè)應(yīng)用和算法高效流通可以讓人工智 能應(yīng)用和場景快速復(fù)制。
2、科學(xué)計算正在從傳統(tǒng)HPC進(jìn)入科學(xué)智能新階段
科學(xué)計算是繼大模型之后,AI 發(fā)展的另一重要方向。此前,借助HPC高性能計算技術(shù),科學(xué)計算對基礎(chǔ)科學(xué)研究和國計民生行業(yè)發(fā)展起到重大推動作用。但是,隨著求 解問題不斷復(fù)雜化、高維化,科學(xué)計算仍然面臨著維數(shù)災(zāi)難、計算尺度受限、理論突破與工程方法創(chuàng)新緩慢三大挑戰(zhàn)。
因此,越來越多的科學(xué)家正在將AI技術(shù)引入到科學(xué)計算,科學(xué)計算正在從傳統(tǒng)HPC進(jìn)入到科學(xué)智能的新階段??茖W(xué)智能同時覆蓋HPC與AI 兩大技術(shù)領(lǐng)域,包含AI賦能機(jī)理計算、數(shù)據(jù)驅(qū)動AI計算、機(jī)理計算與AI計算相融合三大計算場景。
第一個場景是AI賦能機(jī)理計算,它是將AI計算嵌入到機(jī)理計算中,實現(xiàn)AI對機(jī)理計算的加速。 第二個場景是數(shù)據(jù)驅(qū)動的AI計算,它則不依賴于數(shù)學(xué)機(jī)理,通過大量的數(shù)據(jù)輸入,獲得AI模型,通過AI計算獲得結(jié)果。 第三個場景則是機(jī)理計算與AI計算相結(jié)合,它提升了科學(xué)計算的準(zhǔn)確率和計算效率。
目前,科學(xué)計算已經(jīng)進(jìn)入科學(xué)智能新階段,其創(chuàng)新技術(shù)已經(jīng)在氣象、新材料研發(fā)、生物信息等領(lǐng)域中得到應(yīng)用。
二、建議
1、匯聚大模型發(fā)展要素,使能大模型從規(guī)劃到落地
當(dāng)前人工智能技術(shù)趨勢正朝著通用大模型方向發(fā)展,大模型具備更強(qiáng)泛化能力、可覆蓋多業(yè)務(wù)場景,發(fā)展大模型也成為產(chǎn)學(xué)研各界共識。為了更好的推動大模型的發(fā)展,倡議匯聚大模型的發(fā)展要素,構(gòu)建從規(guī)劃、開發(fā)到產(chǎn)業(yè)化的大模型全流程使能體系,與產(chǎn)業(yè)界共筑中國大模型生態(tài)。
1)以大模型地圖,統(tǒng)籌大模型有序發(fā)展
首先,建議統(tǒng)籌規(guī)劃大模型發(fā)展布局,匯聚大模型發(fā)展要素,在算力方面加強(qiáng)發(fā)展人工智能計算中心和算力網(wǎng)絡(luò),塑造我國人工智能大模型人才培養(yǎng)體系,同時以自主創(chuàng)新的人工智能根技術(shù)發(fā)展我國大模型;其次,強(qiáng)化場景創(chuàng)新,提升大模型的活躍度和影響力;最后,強(qiáng)化政府支持,鼓勵產(chǎn)學(xué)研各界攜手在產(chǎn)業(yè)條件具備的行業(yè)和區(qū)域加速大模型的產(chǎn)業(yè)落地。
2)打造大模型開發(fā)使能平臺,讓大模型易開發(fā)、易適配、易部署
針對基礎(chǔ)模型開發(fā),建議打造大模型開發(fā)套件,通過算法開發(fā)、并行計算、存儲優(yōu)化等能力,實現(xiàn)大模型的高效開發(fā);此外,建議開發(fā)大模型微調(diào)組件來適配行業(yè)應(yīng)用,實現(xiàn)一鍵式微調(diào)和調(diào)優(yōu)功能;在模型推理部署方面,還需要提供大模型部署套件,以實現(xiàn)分布式推理服務(wù)化、模型輕量化和動態(tài)加密部署功能。
3)成立大模型產(chǎn)業(yè)聯(lián)盟,推動大模型應(yīng)用落地
技術(shù)維度端到端打通后,大模型下一個最為關(guān)鍵的問題是產(chǎn)業(yè)化落地。為了打通科研創(chuàng)新和產(chǎn)業(yè)應(yīng)用的斷點、促進(jìn)大模型產(chǎn)業(yè)化落地,建議圍繞大模型打通產(chǎn)學(xué)研用,建立大模型產(chǎn)業(yè)聯(lián)盟,促進(jìn)產(chǎn)業(yè)伙伴直接基于大模型孵化行業(yè)應(yīng)用,實現(xiàn)產(chǎn)業(yè)聚集,讓大模型真正賦能產(chǎn)業(yè)。
同時,產(chǎn)業(yè)聯(lián)盟模式可以加速大模型從科研創(chuàng)新到行業(yè)落地的進(jìn)程,在這樣的大模型產(chǎn)業(yè)化落地過程中,各行業(yè)領(lǐng)域可以以更為豐富的數(shù)據(jù)和參數(shù)、更泛化的應(yīng)用場景,來反哺大模型基礎(chǔ)能力,讓大模型更智能、場景適用性更好,從而迭代升級,為行業(yè)應(yīng)用提供更大的支持,從而形成大模型創(chuàng)新-應(yīng)用-迭代創(chuàng)新的產(chǎn)業(yè)正循環(huán),開啟了“煉大模型”的新范式。
2、打造科學(xué)智能基礎(chǔ)平臺、攜手產(chǎn)學(xué)研構(gòu)筑科學(xué)智能生態(tài),加速產(chǎn)業(yè)閉環(huán)
過去單一、煙囪狀的軟硬件平臺已無法滿足科學(xué)智能需求。因此,華為建議打造原生科學(xué)智能基礎(chǔ)軟硬件平臺,以實現(xiàn)極致性能、極簡開發(fā)。華為認(rèn)為,該基礎(chǔ)平臺在硬件方面應(yīng)當(dāng)擁有面向多樣性算力的液冷整機(jī)柜,在軟件方面包含業(yè)界領(lǐng)先的融合編程語言、編譯器和操作系統(tǒng),在開發(fā)使能方面則需要全場景統(tǒng)一的工具鏈,應(yīng)用使能方面需要AI與HPC融合的框架和調(diào)度器。從底層硬件到上層應(yīng)用協(xié)同創(chuàng)新,為科學(xué)研究提供“AI范式”。
對于科學(xué)智能的產(chǎn)業(yè)生態(tài)建設(shè),華為倡議成立科學(xué)智能創(chuàng)新聯(lián)合體,匯聚政策、科研和產(chǎn)業(yè)優(yōu)質(zhì)資源,攜手產(chǎn)學(xué)研伙伴,以科學(xué)智能新范式,拓展科學(xué)邊界,助力技術(shù)創(chuàng)新,加速科研創(chuàng)新到產(chǎn)業(yè)落地進(jìn)程,加強(qiáng)交叉學(xué)科建設(shè)和人才培養(yǎng),構(gòu)筑中國科學(xué)智能領(lǐng)先格局。
三、解決方案
1、基于大模型全流程使能體系, 使能大模型規(guī)劃、開發(fā)、產(chǎn)業(yè)化
華為的人工智能大模型全流程使能體系,包含從大模型規(guī)劃、大模型開發(fā)到大模型產(chǎn)業(yè)化的全流程,可端到端加速大模型產(chǎn)業(yè)落地,是以大模型產(chǎn)業(yè)化推動AI產(chǎn)業(yè)化的新范式。
1)規(guī)劃大模型沙盤,與產(chǎn)業(yè)界共筑中國大模型創(chuàng)新高地
從2020年開始,國內(nèi)外頂尖公司的AI技術(shù)發(fā)展,越來越像一場比拼資金與人才的軍備競賽,推動AI競爭從2018年前后興起的“大煉(?。┠P汀?,進(jìn)入到今天的“煉大模型”時代。大模型的優(yōu)勢不言而喻,但動則上百億的大參數(shù),也帶來了訓(xùn)練成本太昂貴,模型修正不容易等難題,導(dǎo)致本來定位于“不再重復(fù)造 輪子”的大模型,面臨重新陷入粗放式發(fā)展的境地。華為看到這一問題,積極聯(lián)合產(chǎn)業(yè)界規(guī)劃大模型沙盤,牽引產(chǎn)業(yè)界建設(shè)真正需要的大模型,共筑中國大模型創(chuàng)新高地。
昇騰大模型沙盤
從任務(wù)和應(yīng)用類別兩個維度出發(fā),過去的一年,華為攜手產(chǎn)業(yè)界伙伴基于昇騰AI先后推出 了各個領(lǐng)域有影響力的大模型,形成了基礎(chǔ)大模型+行業(yè)大模型的整體布局?;A(chǔ)大模型面向多行業(yè)領(lǐng)域通用需求,行業(yè)大模型面向特定行業(yè)多應(yīng)用場景,類似“新基建”中的信息基 礎(chǔ)設(shè)施+融合基礎(chǔ)設(shè)施,形成既有橫向,也有縱深的立體支撐。
值得一提的是,考慮到“煉大模型”對大算力的強(qiáng)需求,華為與產(chǎn)業(yè)界在規(guī)劃大模型沙盤的同時,全國20多個城市也都規(guī)劃和建設(shè)了人工智能計算中心,并已開始將部分算力中心連點成片構(gòu)建中國算力網(wǎng)——智算網(wǎng)絡(luò),以便基于它們的超強(qiáng)算力孵化AI大模型,大幅縮短大模型的訓(xùn)練時間。鵬程、武漢、秦嶺、金陵系列大模型的快速推出,正得益于這一布局的強(qiáng)力支持。反過來,這些帶有一定地域特色的大模型,又能夠結(jié)合本地AI算力更好地服務(wù)產(chǎn)業(yè)。
2)打造大模型開發(fā)使能平臺,讓大模型易開發(fā)、易適配、易部署
依托長期的根技術(shù)積累,華為建立起了完整的大模型開發(fā)使能平臺,加速從基礎(chǔ)模型開發(fā)到推理部署的全流程,讓大模型易開發(fā)、易適配、易部署。
首先,在基礎(chǔ)模型開發(fā)方面,華為推出大模型開發(fā)套件,通過算法開發(fā)、并行計算、存儲優(yōu)化、斷點續(xù)訓(xùn)重磅特性支撐大模型的高效開發(fā)。這其中,作為人工智能之“魂”,昇思 MindSpore自誕生起就有著鮮明的產(chǎn)業(yè)導(dǎo)向,可以在云、邊、端等不同環(huán)境下進(jìn)行開發(fā)部署,是并行維度業(yè)界最多、模型切分支持結(jié)構(gòu)最全、單機(jī)容納模型參數(shù)業(yè)界最強(qiáng)的的AI框架,這使其原生支持AI大模型訓(xùn)練,具備實現(xiàn)開發(fā)并行代碼量降低80%、系統(tǒng)調(diào)整時間下降60%、僅用512卡就能完成十萬億模型參數(shù)訓(xùn)練的超強(qiáng)能力。
其次,在行業(yè)應(yīng)用適配方面,華為推出基于MindX的大模型微調(diào)組件,其預(yù)置典型行業(yè)任務(wù)微調(diào)模板,通過小樣本學(xué)習(xí)等手段,實現(xiàn)一鍵式微調(diào)和低參數(shù)調(diào)優(yōu),可以快速適配各種行業(yè)應(yīng)用。目前紫東太初大模型就基于微調(diào)套件,提供了開放服務(wù)平臺,已有40多個企業(yè)在平臺上孵化了近60個產(chǎn)品解決方案,可以快捷的完成場景適配。
最后,在推理部署方面,推出基于MindStudio的大模型部署套件,其提供量化、剪枝、蒸餾等模型小型化能力,實現(xiàn)10倍級模型壓縮率,同時分布式推理服務(wù)化能力還大幅提高吞吐率,此外模型動態(tài)加密技術(shù),可在保證模型性能的同時對部署的模型進(jìn)行加密,保護(hù)開發(fā)者的模型資產(chǎn)。
3)從科研創(chuàng)新到行業(yè)落地,開創(chuàng)人工智能產(chǎn)業(yè)聚集新模式
技術(shù)維度端到端打通后,大模型下一個最為關(guān)鍵的問題是產(chǎn)業(yè)化落地。去年底,基于全球首個智能遙感框架及數(shù)據(jù)集武漢LuoJia和全球首個三模態(tài)大模型紫東太初,產(chǎn)業(yè)各界成立了智能遙感開源生態(tài)聯(lián)盟和多模態(tài)人工智能產(chǎn)業(yè)聯(lián)盟,如今60余家伙伴已陸續(xù)孵化出多個行業(yè)解決方案。
千博信息與中科院自動化所、華為三方聯(lián)手, 基于昇騰AI基礎(chǔ)軟硬件平臺以及紫東太初三模態(tài)大模型,打造出手語多模態(tài)模型并發(fā)布手語教考一體機(jī),大幅改善了特殊人群的學(xué)習(xí)環(huán)境。此外,長安汽車、新華社技術(shù)局、浙江移動、愛奇藝等多模態(tài)人工智能產(chǎn)業(yè)聯(lián)盟成員也分別打造了自己的多模態(tài)+智能座艙、多模態(tài)+新媒體內(nèi)容檢索平臺、多模態(tài)+南宋御街?jǐn)?shù)字人、多模態(tài)+視頻摘要智能平臺等場景化大模型及行業(yè)應(yīng)用。智能遙感開源生態(tài)聯(lián)盟下,基于武漢LuoJia的自然資源大腦、全場景類腦遙感矩陣、耕地保護(hù)自然監(jiān)測平臺、智能遙感解譯平臺等創(chuàng)新成果也不斷涌現(xiàn)。
大模型是AI產(chǎn)業(yè)加快發(fā)展的必然,也是科研創(chuàng)新走向產(chǎn)業(yè)應(yīng)用的關(guān)鍵。華為聯(lián)合產(chǎn)業(yè)界基于昇騰AI開啟的“煉大模型”新范式,首次從大模型規(guī)劃、開發(fā)到產(chǎn)業(yè)化構(gòu)建了大模型全流程使能體系,拉通了技術(shù)生態(tài)與商業(yè)生態(tài)之間的橋梁,將加速我國大模型產(chǎn)業(yè)化發(fā)展,進(jìn)而推動AI產(chǎn)業(yè)化和產(chǎn)業(yè)AI化,加速智能世界到來。
2、打造原生支持科學(xué)智能的基礎(chǔ)軟硬件平臺,原生構(gòu)建科學(xué)智能新生態(tài)
華為基于鯤鵬和昇騰AI,融合HPC和AI兩大技術(shù)優(yōu)勢,通過創(chuàng)新的計算架構(gòu),打造原生科學(xué)智能基礎(chǔ)軟硬件平臺,以全棧的創(chuàng)新實現(xiàn)科學(xué)智能基礎(chǔ)設(shè)施的極致性能、極簡開發(fā)。
在硬件方面,華為推出科學(xué)智能全場景液冷“天成”多樣性算力平臺,其支持多樣性算力靈活彈性部署,可實現(xiàn)液冷級能效,整系統(tǒng) TCO降低20%,性能提升20~30%;在基礎(chǔ)軟件方面,華為發(fā)布畢昇C++編程語言并全面升級畢昇編譯器,實現(xiàn)系統(tǒng)開發(fā)效率提升一倍,系統(tǒng)性能提升30~50%;在開發(fā)使能方面,華為升級全場景統(tǒng)一工具M(jìn)indStudio,實現(xiàn)軟件融合編程、編譯和調(diào)優(yōu),可使科學(xué)智能全場景開發(fā)效率提升50%;在應(yīng)用使能方面,昇思MindSpore 2.0升級為AI融合框架,原生支持科學(xué)智能以及多瑙融合調(diào)度器,其內(nèi)嵌科學(xué)智能套件,讓科學(xué)智能應(yīng)用的開發(fā)、部署和調(diào)度更 高效,應(yīng)用性能提升10~20倍,系統(tǒng)資源利用率提升15%。
目前,科學(xué)智能基礎(chǔ)軟硬件平臺已在新材料研發(fā)、大飛機(jī)設(shè)計、蛋白質(zhì)結(jié)構(gòu)預(yù)測等領(lǐng)域中應(yīng)用??茖W(xué)智能要實現(xiàn)產(chǎn)業(yè)化落地,還需要突破科研理論,創(chuàng)新工程方法,并構(gòu)建產(chǎn)業(yè)生態(tài),聚焦產(chǎn)業(yè)價值場景,打通科研創(chuàng)新、應(yīng)用示范到產(chǎn)業(yè)推廣的通道。在華為全聯(lián)接大會2022中,華為倡議成立科學(xué)智能創(chuàng)新聯(lián)合體,呼吁產(chǎn)學(xué)研各方共同攜手,為大力發(fā)展科學(xué)智能生態(tài)奠定基礎(chǔ)。
科學(xué)智能基礎(chǔ)軟硬件平臺
綠色高效成為算力基礎(chǔ)設(shè)施建設(shè)的關(guān)鍵訴求
一、產(chǎn)業(yè)趨勢
1、在雙碳目標(biāo)下,算力基礎(chǔ)設(shè)施的建設(shè)更加注重能耗
未來算力將爆炸式增長,而數(shù)據(jù)中心是算力的主要載體,是新型基礎(chǔ)設(shè)施節(jié)能降耗的關(guān)鍵環(huán)節(jié),也是促進(jìn)全社會降碳增效的有力抓手。傳統(tǒng)數(shù)據(jù)中心能耗高、算力利用率低,在“3060 雙碳”目標(biāo)牽引下,國家對數(shù)據(jù)中心能耗提出更嚴(yán)格的要求,各省也出臺了能耗指標(biāo)及PUE要求,算力爆發(fā)式增長和降低碳排放的矛盾愈發(fā)突出,數(shù)據(jù)中心綠色化轉(zhuǎn)型升級勢在必行,算力基礎(chǔ)設(shè)施的建設(shè)更加注重綠色高效。
2、從單領(lǐng)域創(chuàng)新走向系統(tǒng)級創(chuàng)新,實現(xiàn)綠色高效
傳統(tǒng)數(shù)據(jù)中心能耗控制往往是單領(lǐng)域創(chuàng)新優(yōu)化,比如材料優(yōu)化、供配電優(yōu)化、空調(diào)制冷優(yōu)化等,但提升效果有限,因此需要通過系統(tǒng)工程的創(chuàng)新,包括提升集成度、多領(lǐng)域全棧協(xié)同優(yōu)化,比如通過AI技術(shù)對設(shè)備功率進(jìn)行動態(tài)控制、IT設(shè)備與供配電及制冷設(shè)備全棧協(xié)同聯(lián)動等,解決大規(guī)模數(shù)據(jù)中心建設(shè)能耗的難題,降低能耗,提高能效比和系統(tǒng)性能,實現(xiàn)綠色高效。
二、建議
1、建設(shè)模式從傳統(tǒng)的部件堆疊逐步走向集群全棧一體化
傳統(tǒng)的數(shù)據(jù)中心都是分層建設(shè)、部件堆砌,導(dǎo)致建設(shè)周期長、能耗高、算力利用率低;集群計算中心為代表的新建數(shù)據(jù)中心,采用全棧一體化設(shè)計,從L0到L3整系統(tǒng)創(chuàng)新和協(xié)同優(yōu)化,集中化建設(shè)、集約化使用,達(dá)到多樣算力融合、模塊化快速部署、液冷綠色高效,實現(xiàn)DC as a Computer。
數(shù)據(jù)中心建設(shè)從部件堆疊走向全棧一體化
2、散熱方式逐步從傳統(tǒng)風(fēng)冷走向風(fēng)液混合或全液冷
數(shù)字經(jīng)濟(jì)時代,對高性能、高密度的計算需求逐漸增多。芯片和單機(jī)柜功率密度不斷增大,傳統(tǒng)散熱方式難以為繼,房間級空調(diào)方案,受限于物理空間和空氣比熱容低,難以支持每柜12KW以上機(jī)柜;行級空調(diào)方案,單機(jī)柜超過12KW時,需冗余配置空調(diào)以增加換熱量,影響機(jī)房出柜率和TCO;超過15KW,風(fēng)冷換熱效率不足,難以支撐高功率元器件散熱負(fù)荷,無法滿足散熱需求,液冷技術(shù)逐漸普及。液冷提供了高能效、高可靠、低碳環(huán)保的散熱技術(shù),逐漸成為算力基礎(chǔ)設(shè)施的主流散熱方式。
3、算力評估逐步從面向硬件的裸算力,走向面向業(yè)務(wù)的有效算力
傳統(tǒng)算力度量采用裸算力或部件級算力評估,如規(guī)格算力(芯片標(biāo)稱的算力規(guī)格)指標(biāo),單機(jī)或單服務(wù)器的性能評測,只關(guān)注IT計算設(shè)備的單臺設(shè)備理論性能,無法完全體現(xiàn)集群系統(tǒng)或者算力中心整體性能。算力中心的真實性能需要綜合考慮芯片、存儲、網(wǎng)絡(luò)以及平臺軟件各層協(xié)調(diào)所呈現(xiàn)的綜合業(yè)務(wù)性能,也就是“有效算力”。有效算力通過評測真實業(yè)務(wù)性能表現(xiàn),來衡量算力基礎(chǔ)設(shè)施對業(yè)務(wù)的支撐效果,也就是業(yè)務(wù)實際可獲得的算力水平。通過有效算力的模式來牽引算力基礎(chǔ)設(shè)施的建設(shè),提升算力的利用率,推動算力建設(shè)綠色高效訴求的落地,更好地支撐當(dāng)?shù)禺a(chǎn)業(yè)的發(fā)展。
三、解決方案
1、集群計算全棧協(xié)同優(yōu)化,實現(xiàn) DC as a computer
集群計算解決方案,通過系統(tǒng)級工程創(chuàng)新,采用軟硬件協(xié)同設(shè)計,包括應(yīng)用軟件與平臺軟件的協(xié)同優(yōu)化,基礎(chǔ)硬件平臺及供電散熱系統(tǒng)與平臺軟件的協(xié)同優(yōu)化,實現(xiàn)從應(yīng)用到平臺到基礎(chǔ)硬件平臺、供電散熱系統(tǒng)的縱向業(yè)務(wù)聯(lián)動,數(shù)據(jù)中心全棧優(yōu)化DC基礎(chǔ)架構(gòu);采用數(shù)據(jù)中心整體設(shè)計,包括計算、存儲、互聯(lián)等各子系統(tǒng)協(xié)同優(yōu)化,結(jié)合基礎(chǔ)架構(gòu)及通信網(wǎng)絡(luò)優(yōu)化使能平臺及中間件持續(xù)提升,CPU/NPU/xPU多樣性算力平臺及融合調(diào)度,實現(xiàn)橫向資源整合,突破硬件基礎(chǔ)算力瓶頸。
通過上述措施,軟硬協(xié)同、縱向業(yè)務(wù)聯(lián)動;整體優(yōu)化、橫向資源整合,提升數(shù)據(jù)中心的有效算力,提高能效比,實現(xiàn)DC as a Computer。
集群計算解決方案整體架構(gòu)
算力網(wǎng)絡(luò)將成為重要的算力供給方式
一、產(chǎn)業(yè)趨勢
1、算力建設(shè)從分散化走向集約化
在“東數(shù)西算”“網(wǎng)絡(luò)強(qiáng)國”等戰(zhàn)略的牽引下,在“3060雙碳”目標(biāo)牽引下,原來傳統(tǒng)的分散化算力建設(shè)的弊端也越來越突出,建設(shè)周期長、能耗高、利用率低,不符合綠色高效的算力發(fā)展趨勢。以人工智能計算中心、超算中心、一體化大數(shù)據(jù)中心等為代表的算力基礎(chǔ)設(shè)施,成為國家新基建的重要組成,算力建設(shè)走向集約化,建設(shè)周期短、能耗低、算力利用率高。各地集中進(jìn)行算力中心的建設(shè),讓算力像水和電一樣,成為城市新型基礎(chǔ)設(shè)施和公共資源。就像過去每個核心城市標(biāo)配有機(jī)場、有高鐵站,未來數(shù)字經(jīng)濟(jì)發(fā)展、智能化發(fā)展,核心城市都將標(biāo)配一個公共算力中心,來以算力賦 能科研創(chuàng)新和產(chǎn)業(yè)發(fā)展。
2 從算力中心,走向算力網(wǎng)絡(luò)
各地算力中心、算力基礎(chǔ)設(shè)施陸續(xù)建成后,結(jié)合網(wǎng)絡(luò)基礎(chǔ)設(shè)施,就可以連成一張算力網(wǎng)絡(luò)。像過去有電力網(wǎng)、通信網(wǎng)一樣,在數(shù)字世界也一定會有一張算力網(wǎng)。以人工智能算力為例,2021年,中國科學(xué)技術(shù)信息研究所、新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟(AITISA)、鵬城實驗室共同發(fā)布《人工智能計算中心發(fā)展白皮書2.0》,指出了人工智能中心發(fā)展的新階段——從人工智能計算中心走向人工智能算力網(wǎng)絡(luò)。2021年底,在科技部的指導(dǎo)下,鵬城實驗室牽頭成立了人工智能算力網(wǎng)絡(luò)推進(jìn)聯(lián)盟, 推進(jìn)各地上線的人工智能計算中心連接成網(wǎng)上線運(yùn)行。2022年6月,“中國算力網(wǎng)—智算網(wǎng) 絡(luò)”一期正式上線,這是中國算力網(wǎng)絡(luò)建設(shè)邁出的關(guān)鍵一步。各地的算力建設(shè),開始從單獨的算力中心,走向全國范圍內(nèi)的算力網(wǎng)絡(luò)。
二、行動建議
1、加速算力基礎(chǔ)設(shè)施的建設(shè)
集約化建設(shè)綠色高效的算力基礎(chǔ)設(shè)施,既是響應(yīng)國家產(chǎn)業(yè)政策的需要,也是區(qū)域社會經(jīng)濟(jì)發(fā)展的需要。算力基礎(chǔ)設(shè)施建設(shè),需要結(jié)合當(dāng)?shù)氐漠a(chǎn)業(yè)布局、科研實力及數(shù)字經(jīng)濟(jì)發(fā)展情況,以應(yīng)用為導(dǎo)向,以信息技術(shù)與制造等傳統(tǒng)技術(shù)深度融合為主線,推動人工智能計算、超級計算等先進(jìn)技術(shù)的產(chǎn)業(yè)化與集成應(yīng)用,發(fā)展高端智能產(chǎn)品,夯實核心基礎(chǔ),提升智能制造水平。促進(jìn)算力服務(wù)相關(guān)各基礎(chǔ)設(shè)施的建設(shè),完善公共支撐體系,促進(jìn)產(chǎn)業(yè)發(fā)展,推動制造強(qiáng)國和網(wǎng)絡(luò)強(qiáng)國建設(shè),助力實體經(jīng)濟(jì)轉(zhuǎn)型升級。
結(jié)合各地實際情況,聯(lián)合高校、科研院所、企業(yè)等行業(yè)技術(shù)力量,適度超前、加速建設(shè)算力基礎(chǔ)設(shè)施,可以服務(wù)于千行百業(yè),滿足高校、 科研院所、企業(yè)不斷增長的算力需求,以充沛算力,促進(jìn)本地各行各業(yè)發(fā)展的訴求;同時,承擔(dān)國家和區(qū)域里涉及國際民生的關(guān)鍵行業(yè)科研訴求,帶來良好的經(jīng)濟(jì)效益和社會效益。
2、積極加入中國算力網(wǎng),實現(xiàn)算力匯聚共享
2022年6月,在科技部指導(dǎo)下,由鵬城實驗室牽頭的“中國算力網(wǎng)-智算網(wǎng)絡(luò)”正式上線,伴隨各地算力基礎(chǔ)設(shè)施的不斷建設(shè)。截止2022年11月,鵬城云腦、北京、成都、中原、合肥、 武漢、西安、濟(jì)南、青島、沈陽、廣州、重 慶、昆明、福州、長沙、河北(廊坊)等20多個節(jié)點已接入中國算力網(wǎng)。多個人工智能計算中心間的AI算力調(diào)度與協(xié)同訓(xùn)練已完成初步驗證,全國AI算力一張網(wǎng)初具雛形。
未來,各地的人工智能計算中心、超算中心、一體化大數(shù)據(jù)中心、算力樞紐、以及社會泛在云算力中心都可以接入中國算力網(wǎng),共同構(gòu)建一個支撐中國數(shù)字經(jīng)濟(jì)發(fā)展的強(qiáng)大算力底座,匯聚多種社會算力,實現(xiàn)綠色高效布局、泛在算力協(xié)同和全網(wǎng)交易流通,以東數(shù)西存、東數(shù)西算、東數(shù)西訓(xùn)為牽引,將逐步形成綠色集約的算力布局;匯聚多種社會算力,形成更加泛在的算力協(xié)同,并通過全網(wǎng)的算力交易流通, 彈性滿足全網(wǎng)范圍內(nèi)的算力需求。讓算力成為與水電一樣,可“一點接入、即取即用”的社會級服務(wù)。
三、解決方案
1、算力網(wǎng)絡(luò)架構(gòu)創(chuàng)新,打造全網(wǎng)一臺計算機(jī)
算力網(wǎng)絡(luò)需要以終為始,站在最終用戶使用者的角度,打造全網(wǎng)一臺計算機(jī)的架構(gòu),實現(xiàn)全程全網(wǎng)的社會級算力服務(wù)。算力網(wǎng)絡(luò)的參考架構(gòu)包括算網(wǎng)大腦及運(yùn)營層、算網(wǎng)基礎(chǔ)設(shè)施及使能層。
1)單域自治
使能層通過算力使能、網(wǎng)絡(luò)使能和數(shù)據(jù)使能實現(xiàn)算力、網(wǎng)絡(luò)和數(shù)據(jù)的單域管理與調(diào)度,確保單域獨立交付與演進(jìn)
2)跨域編排
實現(xiàn)跨域跨廠家的業(yè)務(wù)編排與調(diào)度,負(fù)責(zé)多云管理
3)北向接口
制定統(tǒng)一接口標(biāo)準(zhǔn),各單域使能以服務(wù)化形式(云服務(wù)或Restful API)對外,供上層調(diào)用
4)以云調(diào)算
云納管算,通過云服務(wù)來調(diào)度各種算力,重用云在大規(guī)模、跨域和異構(gòu)算力的統(tǒng) 一調(diào)度能力
非云化資源池由云管納管,不參與全局調(diào)度;通過單域自治、跨域編排、北向接口、以云調(diào)算,實現(xiàn)“全網(wǎng)一臺計算機(jī)”,為用戶提供無所不在的算力服務(wù)。
算力網(wǎng)絡(luò)架構(gòu)創(chuàng)新,打造全網(wǎng)一臺計算機(jī)
面向未來,華為將堅持圍繞鯤鵬和昇騰,攜手產(chǎn)業(yè)伙伴共建計算產(chǎn)業(yè)生態(tài);堅持“硬件開 放、軟件開源、使能伙伴和發(fā)展人才”,和產(chǎn)業(yè)伙伴共同構(gòu)筑堅實的算力底座。 共建計算產(chǎn)業(yè),共贏數(shù)智時代。
審核編輯黃宇
-
ARM
+關(guān)注
關(guān)注
134文章
9027瀏覽量
366482 -
服務(wù)器
+關(guān)注
關(guān)注
12文章
8958瀏覽量
85085 -
AI
+關(guān)注
關(guān)注
87文章
29806瀏覽量
268106 -
數(shù)字經(jīng)濟(jì)
+關(guān)注
關(guān)注
2文章
1036瀏覽量
18238
發(fā)布評論請先 登錄
相關(guān)推薦
評論