Intel和Linux技術(shù)帶來分布式計(jì)算的高潮?

回顧計(jì)算機(jī)發(fā)展的歷史，任何一個(gè)計(jì)算架構(gòu)的成功都離不開強(qiáng)大的硬件，但這背后更需要繁榮的軟件生態(tài)。

1960年的集中式計(jì)算出現(xiàn)后，諸多基礎(chǔ)軟件應(yīng)運(yùn)而生，隨后進(jìn)入“Win-tel”獨(dú)霸PC的時(shí)代，近年來，Intel和Linux又帶來了分布式計(jì)算的高潮。

如今，隨著5G的到來，移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)進(jìn)一步發(fā)展，大數(shù)據(jù)、物聯(lián)網(wǎng)、人工智能等創(chuàng)新應(yīng)用場景層出不窮，應(yīng)用場景的多樣性催生出數(shù)據(jù)的多樣性，導(dǎo)致原有的單一計(jì)算架構(gòu)明顯跟不上龐雜的業(yè)務(wù)需求，業(yè)界對(duì)提出一種全新計(jì)算架構(gòu)的呼聲愈烈。

很快，華為瞄準(zhǔn)了多樣性算力架構(gòu)。在去年9月的華為全聯(lián)接大會(huì)上，他們提出了“鯤鵬+昇騰”的雙引擎計(jì)算戰(zhàn)略以應(yīng)對(duì)算力需求的爆發(fā)式增長。

這是一個(gè)全棧協(xié)同創(chuàng)新的過程，需要硬件提供算力，軟件釋放算力，盡最大可能讓上層應(yīng)用使用算力，并且最終創(chuàng)造價(jià)值。硬件是整個(gè)生態(tài)的基礎(chǔ)，但決定多算力架構(gòu)能否取得成功的關(guān)鍵樞紐是軟件，這是華為需要啃下的另一塊硬骨頭。

四大基礎(chǔ)軟件再升級(jí)

要想充分釋放硬件的算力，需要先了解其瓶頸究竟是什么。

華為鯤鵬計(jì)算領(lǐng)域副總裁江大勇告訴CSDN，在硬件方面，ARM這樣的主流處理器從百核甚至到千核的多核方向發(fā)展，但問題在于，核數(shù)的線性增長并不意味著算力的效能會(huì)隨之增長，因?yàn)樗懔Φ姆峙浜驼{(diào)度復(fù)雜度的增加反而會(huì)消耗一部分算力的效能。與此同時(shí)，端邊云協(xié)同的趨勢對(duì)ARM計(jì)算架構(gòu)也提出了相應(yīng)需求，而X86、ARM和xPU的異構(gòu)計(jì)算框架的趨勢也正在形成。

如此，多核多算力的硬件架構(gòu)轉(zhuǎn)變相應(yīng)地迫使基礎(chǔ)軟件架構(gòu)做出調(diào)整。

去年以來，趁著國內(nèi)開源的熱烈氣氛，華為也相繼開源了四大基礎(chǔ)軟件：openEuler（歐拉）操作系統(tǒng)、openGauss（高斯）數(shù)據(jù)庫、openLooKeng（羅庚）高性能數(shù)據(jù)虛擬化引擎，以及MindSpore全場景AI計(jì)算框架。

操作系統(tǒng)是所有計(jì)算機(jī)系統(tǒng)軟件的“根”，但目前的操作系統(tǒng)并不能很好地支持多樣性算力和ARM等架構(gòu)。華為則希望面向未來的場景，通過openEuler創(chuàng)建一個(gè)創(chuàng)新平臺(tái)，能夠全面支持ARM，X86，RISC-V 等現(xiàn)在主流計(jì)算機(jī)架構(gòu)。openEuler已于去年12月31日正式開源。

而在9月24日的HC大會(huì)分論壇上，江大勇發(fā)布了openEuler 20.09版本，包括極致性能、安全可信、生態(tài)引擎三大特點(diǎn)，背后提供支撐的項(xiàng)目主要是輕量級(jí)虛擬機(jī)StratoVirt 1.0和云原生容器iSula 2.0，secGear機(jī)密計(jì)算框架和IMA完整性度量架構(gòu)，自動(dòng)化測試平臺(tái)Compass-CI和UKUI桌面。OpenEuler21.03及后續(xù)版本，將在云、邊、端全場景協(xié)同上持續(xù)創(chuàng)新，支持應(yīng)用一次開發(fā)，多場景部署。

目前，openEuler操作系統(tǒng)，代碼量超過100萬行，代碼貢獻(xiàn)者數(shù)量已超過1000個(gè)，下載量超1.4萬次，社區(qū)訪問量超過150萬次，已有多家伙伴基于openEuler做了商業(yè)應(yīng)用。

同樣，數(shù)據(jù)庫是基礎(chǔ)軟件皇冠上的明珠，也是客戶業(yè)務(wù)系統(tǒng)的核心，所有應(yīng)用軟件的運(yùn)行和數(shù)據(jù)處理都要與其進(jìn)行數(shù)據(jù)交互。雖然以MySQL， PGSQL為代表的開源數(shù)據(jù)庫已成為主流選擇，但真正的企業(yè)級(jí)用戶對(duì)企業(yè)關(guān)鍵數(shù)據(jù)、核心業(yè)務(wù)的承載體，有著性能、安全和運(yùn)維的更高要求。江大勇認(rèn)為，現(xiàn)在開源的數(shù)據(jù)庫沒有完全達(dá)到企業(yè)級(jí)的能力。

今年6月已經(jīng)開源的openGauss數(shù)據(jù)庫則具備企業(yè)級(jí)性能，包括高性能、高可用、高安全三大特性。openGuass第一個(gè)開源版本聚焦在與鯤鵬協(xié)同性能優(yōu)化上，基于2路鯤鵬服務(wù)器，性能可達(dá)到150萬tmpC，相對(duì)業(yè)界主流產(chǎn)品的 性能超過50%。

而在今年12月底，openGauss還會(huì)進(jìn)一步迭代企業(yè)級(jí)特性，包括行列混合存儲(chǔ)引擎，支持混合負(fù)載，內(nèi)存引擎MOT達(dá)到250W tmpC，有512個(gè)功能參數(shù)推薦的智能運(yùn)維以及安全審計(jì)。明年3月底，openGauss則會(huì)關(guān)注企業(yè)安全，實(shí)現(xiàn)全密態(tài)數(shù)據(jù)庫和智能增強(qiáng)功能。江大勇稱，未來，openGauss將在每6個(gè)月發(fā)布一個(gè)新版本，每年發(fā)布一個(gè)穩(wěn)定版本。

面向海量數(shù)據(jù)，盡管目前有HBase、Hadoop、Hive，MySQL等各種數(shù)倉，但缺乏統(tǒng)一的SQL接口，支持多數(shù)倉的軟件，這是大數(shù)據(jù)使用的一大難題。

今年3月，華為開源的openLooKeng則是一個(gè)數(shù)據(jù)虛擬化引擎，致力于為大數(shù)據(jù)用戶提供極簡的數(shù)據(jù)分析體驗(yàn)，讓用戶像用“數(shù)據(jù)庫”一樣使用“大數(shù)據(jù)”。

openLooKeng具備引擎歸一、多樣分析，生態(tài)引擎以及高可靠、易用性特點(diǎn)，可以進(jìn)行跨格式、跨倉、跨域使用，讓開發(fā)者做數(shù)據(jù)治理更加簡單。江大勇稱，百億級(jí)的數(shù)據(jù)量可以做到10秒級(jí)的分析處理。未來，openLooKeng將在極致性能、全場景高效融合分析、批流交互式方面持續(xù)突破。

此外，華為正式發(fā)布了端邊云全場景的AI計(jì)算框架MindSpore 1.0：支持模型、算子及硬件處理單元級(jí)全自動(dòng)并行；對(duì)端邊云設(shè)備如手機(jī)、攝像機(jī)、服務(wù)器等全場景自適配；開發(fā)流程極簡，開發(fā)者可基于MindSpore快速實(shí)現(xiàn)模型導(dǎo)入、靈活調(diào)試。

為什么要開源基礎(chǔ)軟件

開源軟件的商業(yè)模式早已被驗(yàn)證。華為也希望通過開源的方式快速構(gòu)建上述基礎(chǔ)軟件能力，并繁榮軟件生態(tài)。

事實(shí)上，在Linux最新的內(nèi)核5.8版本中，華為在全球范圍對(duì)內(nèi)核的貢獻(xiàn)排名第二，修改代碼量全球排名第一。另外，華為還為ARM架構(gòu)打通全棧能力，貢獻(xiàn)了全球超過40+的主流開源社區(qū)。

這些基礎(chǔ)軟件能開源也主要得益于華為過去10多年的技術(shù)積累，比如openEuler、openGauss數(shù)據(jù)庫在開源前，就已在運(yùn)營商業(yè)務(wù)中廣泛使用，背后凝結(jié)了數(shù)千名工程師的技術(shù)研發(fā)投入。

由此也不難看出，現(xiàn)在的華為在貢獻(xiàn)開源和引領(lǐng)開源上是齊頭并進(jìn)。

當(dāng)然，華為也并非能完全參考英特爾等廠商的開源模式。江大勇對(duì)CSDN稱，與原來其他廠商做產(chǎn)品和解決方案不同，華為做計(jì)算產(chǎn)業(yè)更強(qiáng)調(diào)“生態(tài)”，這就決定了華為“有所為有所不為”。

這一點(diǎn)也讓華為在基礎(chǔ)軟件的開源策略上更加清晰，華為所做的即是為開發(fā)者和合作方提供開發(fā)工具和應(yīng)用實(shí)踐等底層支持，幫助后者應(yīng)用快速遷移到整個(gè)鯤鵬平臺(tái)，以此促進(jìn)計(jì)算產(chǎn)業(yè)的發(fā)展。

在江大勇看來，現(xiàn)在應(yīng)用的發(fā)展已經(jīng)遠(yuǎn)快于以前做應(yīng)用標(biāo)準(zhǔn)的方式，所以開源可能是當(dāng)下更能被認(rèn)可和接受的一種趨勢，而通過這種方式也更能促進(jìn)社會(huì)效率的提升。更重要的是，通過開源社區(qū)的協(xié)作模式把底層的基礎(chǔ)技術(shù)做好后，差異化應(yīng)用也會(huì)更快落地，社會(huì)效益也會(huì)更大，這也會(huì)形成事實(shí)上的統(tǒng)一標(biāo)準(zhǔn)。

最具挑戰(zhàn)的是開源意識(shí)

對(duì)華為來說，開源上述四大基礎(chǔ)軟件只是開始。因?yàn)閼?yīng)用、處理器、新的項(xiàng)目需求還在不斷發(fā)展，江大勇認(rèn)為，只開源這些軟件并不足夠。

“openEuler剛開放的時(shí)候大約有30多個(gè)SIG組，但現(xiàn)在已經(jīng)有70多個(gè)，因?yàn)椴粩嗟赜虚_發(fā)者提出了新的業(yè)務(wù)需求或創(chuàng)新想法，也有開發(fā)者主動(dòng)把RISC-V等能力開放到了社區(qū)?！?/p>

他預(yù)計(jì)，在分布式方面，未來可能還會(huì)增加一些新的能力，在元函數(shù)方面，可能在今年年底或明年年初也會(huì)有相應(yīng)能力開放。而要壯大軟件功能和生態(tài)，更重要的是依靠開發(fā)者社區(qū)的力量。

作為一家公認(rèn)的執(zhí)行力強(qiáng)悍的企業(yè)，華為在社區(qū)建設(shè)上也卓有成效。近期的鯤鵬開發(fā)者活動(dòng)首次進(jìn)行18個(gè)城市同步聯(lián)動(dòng)，采用線下+線上的方式進(jìn)行，吸引了上萬名開發(fā)者參與。

在江大勇看來，中國的開發(fā)者軟件開發(fā)者數(shù)量并不少，但需要形成一種活躍的開源社區(qū)文化，而不只是把社區(qū)當(dāng)做代碼托管的地方。

而通過華為在構(gòu)建開發(fā)者社區(qū)和生態(tài)過程中的經(jīng)歷，他也總結(jié)了中國開源需要提升的地方：

首先，開源社區(qū)本身的代碼托管等基礎(chǔ)設(shè)施服務(wù)要加強(qiáng)；其次，中國需要有更適合的開源協(xié)議；最后，最具挑戰(zhàn)的是擁有開源意識(shí)和文化，他認(rèn)為，應(yīng)該鼓勵(lì)高校學(xué)生和研究機(jī)構(gòu)參與到開源中，加快社會(huì)性的協(xié)同創(chuàng)新，持續(xù)性支持和發(fā)揚(yáng)開源協(xié)作精神。最終，讓中國開發(fā)者實(shí)現(xiàn)從貢獻(xiàn)開源進(jìn)一步在全球范圍內(nèi)引領(lǐng)開源。
責(zé)任編輯:tzh