Apache Spark社區(qū)讓openEuler與外部開(kāi)源社區(qū)更好的連接、融合

2022年10月初，openEuler Maintainer 姜逸坤接受Apache Spark PMC邀請(qǐng)，正式成為Apache Spark Committer（核心貢獻(xiàn)者）。

他的主要貢獻(xiàn)是Apache Spark在基礎(chǔ)設(shè)施、云原生、PySpark等方向的改進(jìn)。

開(kāi)源之路，從懵懂到深入

姜逸坤2016年加入華為計(jì)算開(kāi)源團(tuán)隊(duì)，先后成為OpenStack社區(qū) （OpenInfra基金會(huì)） Core Member、openEuler社區(qū) （開(kāi)放原子開(kāi)源基金會(huì)） Maintainer、Volcano社區(qū) （CNCF基金會(huì)） Reviewer、Spark社區(qū) （Apache基金會(huì)） Committer，橫跨多個(gè)頂級(jí)開(kāi)源社區(qū)的經(jīng)歷讓他快速完成知識(shí)積累和個(gè)人成長(zhǎng)，而他對(duì)于技術(shù)和開(kāi)源的熱愛(ài)始終如一。

從多樣性算力支持

到Apache Spark核心貢獻(xiàn)者

openEuler 作為最優(yōu)支持多樣性算力的原生操作系統(tǒng)，支持x86、ARM、RISC-V、LoongArch、SW64 等多種處理器架構(gòu)，而開(kāi)源社區(qū)的應(yīng)用軟件多架構(gòu)支持最初并不完善，應(yīng)用軟件的短板使得openEuler社區(qū)用戶無(wú)法充分、便利地發(fā)揮多樣性算力的最大價(jià)值。

早在2019年，逸坤所在團(tuán)隊(duì)就開(kāi)始了開(kāi)源社區(qū)的多架構(gòu)支持工作，在Apache Spark社區(qū)，他與團(tuán)隊(duì)成員和Spark社區(qū)協(xié)作共同完成了ARM64架構(gòu)的適配，并且在Apache Spark 3.0.0版本正式支持ARM64架構(gòu)（SPARK-30057），為Spark社區(qū)添加了 ARM CI 確保Spark在ARM64平臺(tái)持續(xù)可用（SPARK-29106）。

隨著在Spark社區(qū)貢獻(xiàn)的逐步深入，他所做的工作從最初的多樣性算力適配，慢慢地變?yōu)槎鄻有运懔軜?gòu)級(jí)的增強(qiáng)。2021年11月，逸坤作為第一作者，聯(lián)合華為、Apple、Netflix、Cloudera等開(kāi)發(fā)者在Spark社區(qū)共同完成特性的設(shè)計(jì)和代碼開(kāi)發(fā)——《Spark-36057： 支持Spark on Kubernetes自定義調(diào)度功能》，并以Apache Spark + Volcano調(diào)度系統(tǒng)作為參考實(shí)現(xiàn)合入到社區(qū)，最終在Apache Spark 3.3.0版本作為亮點(diǎn)特性發(fā)布，增強(qiáng)了Spark多樣性算力調(diào)度能力。隨后，openEuler社區(qū)中的眾多大數(shù)據(jù)用戶（如華為、亞信、中國(guó)系統(tǒng)等），開(kāi)始集成該方案到其下游的產(chǎn)品和服務(wù)中，以增強(qiáng)隊(duì)列調(diào)度、資源預(yù)留、多樣性算力調(diào)度的能力?！癠pstream first”，并積極推動(dòng)下游開(kāi)源用戶使用，是他一直堅(jiān)持的理念。

近期，他在Apache Spark社區(qū)發(fā)起了一個(gè)新的提案——《SPARK-40513： 為Spark提供Docker官方鏡像支持》，這個(gè)提案為Apache Spark社區(qū)提供官方容器鏡像規(guī)范、標(biāo)準(zhǔn)及參考實(shí)現(xiàn)，并發(fā)布鏡像，目前已獲得Spark社區(qū)全票通過(guò)。這為后續(xù)諸如openEuler等操作系統(tǒng)更高效、更高質(zhì)量地完成定制Spark大數(shù)據(jù)應(yīng)用鏡像奠定了基礎(chǔ)。

同時(shí)，逸坤通過(guò)他在云計(jì)算、云原生、基礎(chǔ)設(shè)施、ARM CI等領(lǐng)域的積累，為Apache Spark社區(qū)的基礎(chǔ)設(shè)施穩(wěn)定和優(yōu)化付出了很多努力。最終，順利獲得了Apache Spark社區(qū)的認(rèn)可，成為Apache Spark Committer。

讓openEuler與外部開(kāi)源社區(qū)

更好的連接、融合

Apache Spark社區(qū)的貢獻(xiàn)僅僅是一個(gè)縮影，逸坤和他所在的團(tuán)隊(duì)持續(xù)活躍在openEuler社區(qū)的大數(shù)據(jù)、OpenStack、云原生、HPC、基礎(chǔ)設(shè)施等SIG組，努力將openEuler社區(qū)連接并融入到更廣闊的開(kāi)源世界。也歡迎更多的人加入進(jìn)來(lái)，讓openEuler社區(qū)與外部開(kāi)源社區(qū)更好融合，產(chǎn)生更多偉大的合作與創(chuàng)新！