交大攜手openEuler共建計(jì)算集群，共創(chuàng)開源技術(shù)新紀(jì)元

數(shù)字經(jīng)濟(jì)乘風(fēng)起，百舸揚(yáng)帆正當(dāng)時(shí)。大數(shù)據(jù)、區(qū)塊鏈、云計(jì)算、人工智能、工業(yè)互聯(lián)網(wǎng)加速演進(jìn)，信息化浪潮日新月異，新一輪科技革命和產(chǎn)業(yè)變革深入發(fā)展，數(shù)字經(jīng)濟(jì)產(chǎn)業(yè)集群紛紛涌現(xiàn)。

黨的二十大報(bào)告提出“加快建設(shè)制造強(qiáng)國(guó)、質(zhì)量強(qiáng)國(guó)、航天強(qiáng)國(guó)、交通強(qiáng)國(guó)、網(wǎng)絡(luò)強(qiáng)國(guó)、數(shù)字中國(guó)”?！稊?shù)字中國(guó)建設(shè)整體布局規(guī)劃》明確“建設(shè)數(shù)字中國(guó)是數(shù)字時(shí)代推進(jìn)中國(guó)式現(xiàn)代化重要引擎”。鋪好數(shù)字經(jīng)濟(jì)發(fā)展的基石，打通數(shù)字基礎(chǔ)設(shè)施，為數(shù)字經(jīng)濟(jì)全面高質(zhì)量啟航營(yíng)造良好生態(tài)尤為重要。

以操作系統(tǒng)為代表的基礎(chǔ)軟件，既是連接底層算力資源和計(jì)算生態(tài)應(yīng)用層的產(chǎn)業(yè)核心，也是統(tǒng)籌各類數(shù)字資源、激發(fā)數(shù)字要素活力、構(gòu)建數(shù)字經(jīng)濟(jì)整體布局的關(guān)鍵。培育好連接底層算力資源和上層應(yīng)用的操作系統(tǒng)基礎(chǔ)軟件，推動(dòng)信息技術(shù)應(yīng)用覆蓋社會(huì)生產(chǎn)生活的方方面面，構(gòu)建互聯(lián)互通的新型數(shù)字化產(chǎn)業(yè)，才能夠真正實(shí)現(xiàn)釋放數(shù)字潛能，廣泛賦能實(shí)體經(jīng)濟(jì)。

從星火到燎原，歐拉成為中國(guó)第一服務(wù)器操作系統(tǒng)

此前，我國(guó)基礎(chǔ)軟件產(chǎn)品大多依賴國(guó)外技術(shù)，操作系統(tǒng)作為軟件領(lǐng)域基礎(chǔ)研究中的重要環(huán)節(jié)，在基礎(chǔ)軟件中處于核心地位，也長(zhǎng)期為國(guó)外所主導(dǎo)，國(guó)產(chǎn)化操作系統(tǒng)以及與之相應(yīng)的共創(chuàng)共享的開源模式呼之欲出。

近年來(lái)，隨著我國(guó)計(jì)算生態(tài)和算力設(shè)施建設(shè)的日臻提升，中國(guó)操作系統(tǒng)迎來(lái)了高速發(fā)展，其中openEuler(歐拉)操作系統(tǒng)歷經(jīng)四年開源生態(tài)建設(shè)，成為國(guó)產(chǎn)操作系統(tǒng)的一騎絕塵。根據(jù)IDC 報(bào)告預(yù)測(cè)，2023 年中國(guó)服務(wù)器操作系統(tǒng)領(lǐng)域，openEuler(歐拉)系市場(chǎng)份額第一，達(dá)到 36.8%。

openEuler(歐拉)操作系統(tǒng)，面向數(shù)字基礎(chǔ)設(shè)施，支持服務(wù)器、云計(jì)算、邊緣計(jì)算、嵌入式等應(yīng)用場(chǎng)景，自2019年正式開源以來(lái)，連接全球開源基金會(huì)、開源組織、開發(fā)者，共建全球開源新生態(tài)。四年來(lái)，從星星之火到燎原之勢(shì)，openEuler已經(jīng)成長(zhǎng)為符合國(guó)際標(biāo)準(zhǔn)的開放治理、合規(guī)運(yùn)作、具備安全供應(yīng)鏈的全球化社區(qū)，在中國(guó)匯聚全球開源力量，為世界開源貢獻(xiàn)中國(guó)智慧。

openEule操作系統(tǒng)的崛起與openEule開源社區(qū)的生態(tài)發(fā)展、社區(qū)治理，以及openEule生態(tài)參與全球體系息息相關(guān)。中國(guó)工程院院士倪光南在由開放原子開源基金會(huì)、中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院，國(guó)家工業(yè)信息安全發(fā)展研究中心、中國(guó)軟件行業(yè)協(xié)會(huì)共同主辦的“操作系統(tǒng)大會(huì)2023”上表示：“在當(dāng)前我國(guó)正處在全面建設(shè)社會(huì)主義現(xiàn)代化國(guó)家的新征程，面臨新形勢(shì)、新任務(wù)，我們迫切需要重視開源，學(xué)習(xí)開源，用好開源，特別是在信息領(lǐng)域，開源可以成為發(fā)揮中國(guó)人才優(yōu)勢(shì)的創(chuàng)新平臺(tái)，成為中國(guó)融入科技創(chuàng)新網(wǎng)絡(luò)，參與國(guó)際治理的有效方式。正是在這個(gè)大背景下，開源歐拉的成功實(shí)踐，具有強(qiáng)大的現(xiàn)實(shí)意義?！?/p>

開放原子開源基金會(huì)孫文龍理事長(zhǎng)認(rèn)為，openEuler的快速發(fā)展證明，充分利用開源、參與開源、支持開源、回饋開源，是實(shí)現(xiàn)操作系統(tǒng)技術(shù)創(chuàng)新和產(chǎn)業(yè)繁榮的路徑。

openEule的繁榮同樣也是產(chǎn)業(yè)各界集智薈力的結(jié)果，在openEule操作系統(tǒng)廣泛應(yīng)用，推動(dòng)數(shù)字化轉(zhuǎn)型走深走實(shí)的過(guò)程中，出現(xiàn)了一批具有示范性商業(yè)實(shí)踐的應(yīng)用落地。其中，上海交通大學(xué)“交我算”平臺(tái)openEuler集群作為教育行業(yè)的成功實(shí)踐，獲得由OpenAtom openEuler社區(qū)聯(lián)合國(guó)家工業(yè)信息安全發(fā)展研究中心，攜手業(yè)界專家最終評(píng)選的“2023年度openEuler領(lǐng)先商業(yè)實(shí)踐”殊榮。

“交我算”openEuler集群為教研計(jì)算平臺(tái)提供示范推廣價(jià)值

隨著信息通信技術(shù)的迅速發(fā)展，尤其是互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等技術(shù)的廣泛應(yīng)用，新的學(xué)習(xí)渠道和教學(xué)方式正在形成，教育要素也在發(fā)生深刻變革，教育行業(yè)正面臨著轉(zhuǎn)型課題與巨大的發(fā)展機(jī)遇，教育數(shù)字化轉(zhuǎn)型成為全球教育變革的重要戰(zhàn)略。黨的二十大將“推進(jìn)教育數(shù)字化”首次寫進(jìn)黨代會(huì)報(bào)告，提出“推進(jìn)教育數(shù)字化，建設(shè)全民終身學(xué)習(xí)的學(xué)習(xí)型社會(huì)、學(xué)習(xí)型大國(guó)”。面向新一輪科技革命和產(chǎn)業(yè)變革，積極推進(jìn)教育數(shù)字化轉(zhuǎn)型，適應(yīng)新時(shí)代人才培養(yǎng)的需求，是推動(dòng)教育強(qiáng)國(guó)的必然要求。

獲得“2023年度openEuler領(lǐng)先商業(yè)實(shí)踐”榮譽(yù)的上海交通大學(xué)“交我算”平臺(tái)openEuler集群從屬于校級(jí)高性能計(jì)算服務(wù)平臺(tái)“交我算”。校級(jí)計(jì)算平臺(tái)“交我算”由網(wǎng)絡(luò)信息中心負(fù)責(zé)建設(shè)及管理，全面支撐學(xué)校的教學(xué)、科研和管理的計(jì)算需求，重點(diǎn)支持校內(nèi)高水平用戶科研，提供HPC+AI算力資源，覆蓋各學(xué)科門類，支撐海洋學(xué)、生物醫(yī)學(xué)、航空航天、機(jī)械制造、天體物理等領(lǐng)域的科學(xué)研究及工程應(yīng)用。

“交我算”寓意師生的計(jì)算需求可以放心交給“我”來(lái)算，平臺(tái)從2013年開始建設(shè)，目前已發(fā)展成為國(guó)內(nèi)高校頂尖的計(jì)算平臺(tái)，根據(jù)計(jì)算需求提供“思源一號(hào)”高性能計(jì)算平臺(tái)、π2.0超算平臺(tái)、AI 平臺(tái)、ARM平臺(tái)四種計(jì)算支持。“交我算”openEuler計(jì)算集群是國(guó)內(nèi)高校首個(gè)基于ARM處理器的HPC集群，集群建設(shè)初期采用CentOS 7.6系統(tǒng)，2023年交大網(wǎng)絡(luò)信息中心開展了國(guó)產(chǎn)操作系統(tǒng)遷移專項(xiàng)工作，將ARM集群操作系統(tǒng)全面替換為openEuler22.03。

此前，在服務(wù)器操作系統(tǒng)居領(lǐng)先地位的CentOS操作系統(tǒng)于2020年開始停止維護(hù)，對(duì)高性能計(jì)算來(lái)說(shuō)繼續(xù)使用CentOS將面臨重大安全隱患，同時(shí)我國(guó)信息技術(shù)的發(fā)展也對(duì)操作系統(tǒng)安全性能的要求進(jìn)一步提高，這使得計(jì)算領(lǐng)域?qū)Π踩€(wěn)定、自主可控、可替代CentOS的國(guó)產(chǎn)操作系統(tǒng)的需求更為迫切。

openEuler搭載了鯤鵬，相較CentOS擁有更好的性能與兼容性，然而在高性能計(jì)算領(lǐng)域還未有大規(guī)模應(yīng)用。在openEuler系統(tǒng)的遷移準(zhǔn)備過(guò)程中，交大網(wǎng)絡(luò)中心圍繞openEuler的兼容性、使用openEuler對(duì)于超算應(yīng)用性能的影響，開展了一系列的測(cè)試與分析，具體包括：在搭載了鯤鵬的ARM架構(gòu)超級(jí)計(jì)算機(jī)上成功部署了32個(gè)openEuler計(jì)算節(jié)點(diǎn)，為其部署了超算軟件棧，隨后安裝并成功運(yùn)行了共計(jì)22個(gè)基準(zhǔn)測(cè)試與超算應(yīng)用；進(jìn)行了操作系統(tǒng)層面的微基準(zhǔn)測(cè)試、單節(jié)點(diǎn)的核函數(shù)測(cè)試，以及千核規(guī)模的超算應(yīng)用測(cè)試，將評(píng)測(cè)結(jié)果與使用CentOS時(shí)的結(jié)果進(jìn)行了對(duì)比與詳細(xì)的分析；過(guò)程中優(yōu)化集合通信性能，使用MPI和OpenMP混合編程、調(diào)整OpenMPI 的集合通信算法、更換編譯器與通信庫(kù)等方法，提高了使用openEuler時(shí)的集合通信性能。

“交我算”ARM 架構(gòu)超算平臺(tái)是國(guó)內(nèi)首臺(tái)基于ARM處理器的校級(jí)超級(jí)計(jì)算機(jī)。交大網(wǎng)絡(luò)中心依托“交我算”平臺(tái)對(duì)openEuler開展的評(píng)測(cè)與分析工作，驗(yàn)證了openEuler對(duì)于ARM架構(gòu)超級(jí)計(jì)算機(jī)與多個(gè)典型科學(xué)計(jì)算應(yīng)用具有良好的兼容性，并且發(fā)現(xiàn)openEuler相較于CentOS具有更低的操作系統(tǒng)噪聲和更優(yōu)的內(nèi)存管理能力。

交大網(wǎng)絡(luò)中心通過(guò)openEuler的遷移，定制了適用于“交我算”平臺(tái)的openEuler批量部署和集群配置管理方案，實(shí)現(xiàn)了國(guó)內(nèi)高校首個(gè)基于ARM處理器的HPC集群在硬件和系統(tǒng)層面上均采用了全國(guó)產(chǎn)化解決方案，積極呼應(yīng)了國(guó)家提升自主創(chuàng)新能力、推動(dòng)國(guó)產(chǎn)化替代的政策大方向；同時(shí)在高性能計(jì)算領(lǐng)域集群評(píng)測(cè)、分析以及性能優(yōu)化的工作，不僅判斷了ARM架構(gòu)超級(jí)計(jì)算機(jī)上openEuler代替CentOS的可行性，也為國(guó)產(chǎn)操作系統(tǒng)在高性能計(jì)算領(lǐng)域的大規(guī)模應(yīng)用和完善提供了應(yīng)用先例和推廣經(jīng)驗(yàn)。

“交我算”openEuler集群建設(shè)為開源社區(qū)貢獻(xiàn)生態(tài)發(fā)展力量

2023年7月，“交我算”平臺(tái)正式上線了遷移完成后的openEuler計(jì)算集群。集群上線后面向上千個(gè)課題組共數(shù)千個(gè)用戶，提供了持續(xù)可靠的計(jì)算服務(wù)。到目前為止集群已穩(wěn)定運(yùn)行5個(gè)月，月平均資源利用率穩(wěn)步上升，用戶對(duì)openEuler系統(tǒng)的易用性和穩(wěn)定性受到了普遍認(rèn)可。另一方面，“交我算”平臺(tái)openEuler計(jì)算集群的實(shí)踐也充分驗(yàn)證了openEuler在HPC領(lǐng)域替代CentOS的可行性。

在“操作系統(tǒng)大會(huì)2023”上，openEuler的開源生態(tài)和中國(guó)開源走向國(guó)際成為與會(huì)專家和產(chǎn)業(yè)界代表們熱議的話題。據(jù)openEuler平臺(tái)最新數(shù)據(jù)，目前開源社區(qū)已吸引213萬(wàn)開源用戶，匯聚17000多名開源貢獻(xiàn)者，1400多家頭部企業(yè)、研究機(jī)構(gòu)和高校加入，成立104個(gè)特別興趣小組(SIG)，這表示國(guó)產(chǎn)操作系統(tǒng)已經(jīng)取得了里程碑式的重要進(jìn)展。

openEuler委員會(huì)主席江大勇在“操作系統(tǒng)大會(huì)2023”上表示，openEule開源四年，歷經(jīng)了1445天成為中國(guó)服務(wù)器操作系統(tǒng)新增第一份額，實(shí)現(xiàn)了跨越式的發(fā)展。在技術(shù)創(chuàng)新、行業(yè)應(yīng)用、產(chǎn)業(yè)生態(tài)建立了完善的發(fā)展體系，形成了正循環(huán)。歐拉通過(guò)開源協(xié)作的社區(qū)模式，匯聚了從服務(wù)器、SV、ISV和萬(wàn)千開發(fā)者的力量，以開放的產(chǎn)業(yè)生態(tài)賦能千行萬(wàn)業(yè)的生產(chǎn)，支撐了智能化的升級(jí)。歐拉操作系統(tǒng)支持全球98%的開源軟件，致力于打造國(guó)際化的開源協(xié)作平臺(tái)，匯聚全球開源力量，為世界開源貢獻(xiàn)智慧。

江大勇在談到openEuler作為數(shù)據(jù)基礎(chǔ)設(shè)施的開源操作系統(tǒng)，解決以往操作系統(tǒng)在實(shí)際應(yīng)用中面臨“一種操作系統(tǒng)對(duì)應(yīng)一個(gè)應(yīng)用、用戶需要進(jìn)行一次適配”問(wèn)題時(shí)說(shuō)：“openEuler創(chuàng)造性地提出一套代碼、一套架構(gòu)支持多樣性算力、支持全場(chǎng)景，openEuler的通用支持也包括對(duì)智能芯片的支持。openEuler不僅僅是替代者，更符合接下來(lái)共用共享、生態(tài)互通操作系統(tǒng)的技術(shù)趨勢(shì)?！?/p>

與openEuler生態(tài)的不斷發(fā)展同步而行的是，openEuler系統(tǒng)已經(jīng)在通信、金融、能源、交通、政務(wù)、信息化等領(lǐng)域開展規(guī)?；逃茫休d產(chǎn)業(yè)鏈各端力量，廣泛賦能實(shí)體經(jīng)濟(jì)并創(chuàng)造了顯著的社會(huì)效益。

上海交通大學(xué)“交我算”openEuler集群在平臺(tái)建設(shè)和推廣過(guò)程中所集成的經(jīng)驗(yàn)給openEuler開源社區(qū)貢獻(xiàn)了生態(tài)發(fā)展力量。在系統(tǒng)遷移的前期測(cè)試中，交大網(wǎng)絡(luò)中心“交我算”團(tuán)隊(duì)發(fā)現(xiàn)HPC領(lǐng)域廣泛使用的開源并行文件系統(tǒng)Lustre在openEuler系統(tǒng)上存在部分兼容性問(wèn)題，如內(nèi)核模塊編譯失敗?！敖晃宜恪眻F(tuán)隊(duì)與openEuler社區(qū)、Linaro協(xié)作，共同推進(jìn)了lustre并行文件系統(tǒng)在openEuler上的適配工作。目前經(jīng)過(guò)適配的系統(tǒng)組件包和預(yù)編譯的lustre 2.12.5版本client端軟件包已被納入openEuler 22.03 SP2發(fā)行版本。由Linaro主導(dǎo)的server端適配工作也在繼續(xù)進(jìn)行，計(jì)劃納入22.03 SP3發(fā)行版本。此項(xiàng)適配工作填補(bǔ)了openEuler在并行存儲(chǔ)領(lǐng)域支撐能力的一塊空白，增強(qiáng)了openEuler系統(tǒng)在高性能計(jì)算行業(yè)的競(jìng)爭(zhēng)力。

上海交通大學(xué)網(wǎng)絡(luò)信息中心“交我算”平臺(tái)開發(fā)工程師張?zhí)礻?yáng)回想起在openEuler集群應(yīng)用推廣中OpenFOAM的應(yīng)用案例移植給他留下了深刻的印象：“OpenFOAM是一個(gè)廣泛應(yīng)用于工程領(lǐng)域的自由、開源的計(jì)算流體力學(xué)軟件，在交我算平臺(tái)上使用該軟件的用戶群體數(shù)量非常多。這本來(lái)是個(gè)較為復(fù)雜的程序，但openEuler系統(tǒng)提供了友好的開發(fā)環(huán)境和豐富的應(yīng)用生態(tài)，使得我們能夠沿用CentOS環(huán)境的部署經(jīng)驗(yàn)，大大降低了移植難度。用戶使用角度來(lái)說(shuō)，也能夠直接在openEuler集群上復(fù)用他們的工程項(xiàng)目，有助于迅速提升openEuler集群的利用率?！?/p>

接下來(lái)，上海交大網(wǎng)絡(luò)信息中心還將與openEuler社區(qū)展開深度合作，針對(duì)“交我算”openEuler集群系統(tǒng)中發(fā)現(xiàn)的問(wèn)題，向社區(qū)直接提出改進(jìn)需求并跟進(jìn)相關(guān)優(yōu)化和適配工作。張?zhí)礻?yáng)相信這些從生產(chǎn)環(huán)境中挖掘出來(lái)、立足于實(shí)際業(yè)務(wù)的需求，和在實(shí)際操作過(guò)程中總結(jié)出的成熟經(jīng)驗(yàn)有助于推動(dòng)openEuler開源生態(tài)的自我完善和發(fā)展。交大超算平臺(tái)團(tuán)隊(duì)人員還將參與openEuler SIG組的工作會(huì)議和年度用戶大會(huì)，為openEuler開源社區(qū)貢獻(xiàn)交大計(jì)算支持。

openEuler開源生態(tài)立足數(shù)字技術(shù)關(guān)鍵期，服務(wù)國(guó)家現(xiàn)代化建設(shè)

自openEuler推廣社區(qū)開源生態(tài)至今，秉承“共建、共享、共治”的原則，四年生態(tài)發(fā)展歷程也是中國(guó)開源界在當(dāng)前數(shù)字經(jīng)濟(jì)技術(shù)自主創(chuàng)新的關(guān)鍵時(shí)期鼎立革新、奮力推進(jìn)中國(guó)式現(xiàn)代化進(jìn)程的縮影。openEuler計(jì)算生態(tài)和開源社區(qū)的崛起，表明國(guó)內(nèi)操作系統(tǒng)扭轉(zhuǎn)了過(guò)往信息技術(shù)領(lǐng)域軟件生態(tài)建設(shè)不足的歷史，全面支持大數(shù)據(jù)、云計(jì)算、人工智能、算力基礎(chǔ)設(shè)施、工業(yè)互聯(lián)網(wǎng)等數(shù)字要素云邊端協(xié)同的發(fā)展體系，開啟了國(guó)產(chǎn)操作系統(tǒng)研發(fā)與推廣的新局面。

正如倪光南院士所述：在上萬(wàn)名開發(fā)者的參與和貢獻(xiàn)下，openEuler已經(jīng)從一粒種子成長(zhǎng)為參天大樹，承擔(dān)起構(gòu)建我國(guó)信息領(lǐng)域技術(shù)和數(shù)字經(jīng)濟(jì)底座的重任。

與時(shí)俱進(jìn)，守正創(chuàng)新。上海交通大學(xué)“交我算”平臺(tái)建于2013年，彼時(shí)已是當(dāng)時(shí)國(guó)內(nèi)高校最大超算系統(tǒng)，經(jīng)過(guò)十年交大人的持續(xù)建設(shè)，目前發(fā)展成國(guó)內(nèi)高校頂尖的算力中心，同時(shí)“交我算”團(tuán)隊(duì)是目前國(guó)內(nèi)最大的校級(jí)計(jì)算團(tuán)隊(duì)。在校級(jí)計(jì)算平臺(tái)的探索與實(shí)踐上，“交我算”平臺(tái)openEuler集群既為交大全?？蒲袆?chuàng)新的支撐升級(jí)計(jì)算服務(wù)模式，在國(guó)內(nèi)高校計(jì)算平臺(tái)建設(shè)領(lǐng)域推出了與國(guó)產(chǎn)開源生態(tài)合作的先例，以積極響應(yīng)新時(shí)期教育數(shù)字化轉(zhuǎn)型、高校教學(xué)科研對(duì)計(jì)算平臺(tái)和軟件生態(tài)支持升級(jí)以及國(guó)產(chǎn)化操作系統(tǒng)應(yīng)用的需求，又推動(dòng)了openEuler開源社區(qū)豐富應(yīng)用生態(tài)、完善優(yōu)化與適配、提升高性能計(jì)算性能的生態(tài)建設(shè)。

產(chǎn)教融合、產(chǎn)學(xué)實(shí)踐，持續(xù)推動(dòng)國(guó)產(chǎn)操作系統(tǒng)與開源生態(tài)進(jìn)步與創(chuàng)新。上海交通大學(xué)網(wǎng)絡(luò)中心“交我算”平臺(tái)開發(fā)工程師張?zhí)礻?yáng)期望“交我算”openEuler集群的實(shí)踐經(jīng)驗(yàn)對(duì)于其他高校起到借鑒意義，同時(shí)期望openEuler能夠進(jìn)一步完善系統(tǒng)的應(yīng)用生態(tài)，吸引到更多用戶和機(jī)構(gòu)，進(jìn)一步擴(kuò)大在國(guó)際上的知名度和影響力。

審核編輯：黃飛