Volcano:云原生高性能批量計算平臺

云原生時代,Kubernetes(K8s) 已經(jīng)成為云原生應(yīng)用編排、管理的事實(shí)標(biāo)準(zhǔn),越來越多的應(yīng)用選擇向 Kubernetes 遷移。

在 CAE 仿真、動漫渲染、物理化學(xué)、石油勘探、生命科學(xué)、氣象環(huán)境等需要進(jìn)行大規(guī)模數(shù)據(jù)計算的領(lǐng)域,HPC(高性能計算) 作為傳統(tǒng)的分布式計算模式,有著廣泛的應(yīng)用。在這些相關(guān)領(lǐng)域的從業(yè)者中,也有很多人希望能將 HPC 應(yīng)用遷移到容器中運(yùn)行,通過 Kubernetes 強(qiáng)大的功能來進(jìn)行作業(yè)管理。開源的 Volcano 項目就是一個很好的解決方案。

Volcano 是一個基于 Kubernetes 的云原生批量計算平臺,也是 CNCF 的首個容器批量計算項目,主要用于 AI、大數(shù)據(jù)、基因、渲染等諸多高性能計算場景,對主流通用計算框架均有很好的支持。它提供面向高性能負(fù)載的調(diào)度策略、完善的作業(yè)生命周期管理、異構(gòu)硬件管理、面向高性能負(fù)載的性能優(yōu)化等能力,目前在很多領(lǐng)域都已落地應(yīng)用。

業(yè)界在使用一些計算框架進(jìn)行大規(guī)模運(yùn)算時,由于不同框架對作業(yè)管理、并行計算等要求不同,導(dǎo)致在高計算密度情況下,資源需求波動大,缺乏高級調(diào)度能力。同時也導(dǎo)致了后續(xù)部署運(yùn)維復(fù)雜等問題。

Volcano 面向主流計算框架提供統(tǒng)一的批量調(diào)度平臺,提高資源利用率。同時還提供通用的作業(yè)管理、隊Fair-share,Gang ,bin-pack 、preempt、reservation等高級調(diào)度算法,簡化運(yùn)維管理。目前 Volcano 已經(jīng)支持幾乎所有的主流計算框架,包括 MindSpore、TensorFlow、Kubeflow、MPI、PyTorch、飛槳、Spark、Flink、HOROVOD 等。

Volcano 支持的部分計算框架

Volcano 整體架構(gòu)

Volcano 利用聲明式的 CRD 定義 API,主要有 3 個核心的 API:Volcano Job、PodGroup、Queue。

Volcano Job 是對高性能作業(yè)通用定義,PodGroup 提供了 Job 中 Task 的管理能力,Queue為作業(yè)排隊、公平調(diào)度提供了基礎(chǔ)。

Volcano 的架構(gòu)

Volcano 核心組件主要包含三個:Admission、ControllerManager、Scheduler 。

Admission 對 Volcano CRD API 提供校驗(yàn)?zāi)芰?

ControllerManager 負(fù)責(zé)對 Volcano CRD 進(jìn)行資源管理;

Scheduler 對作業(yè)供豐富的調(diào)度能力。

Volcano社區(qū)概況

Volcano 起源于 kube-batch 項目,這個項目最初的目的是解決 Kubernetes 中的分組調(diào)度問題。隨著 AI 和大數(shù)據(jù)服務(wù)開始要求 Kubernetes 提供更強(qiáng)大、更靈活的調(diào)度,kube-batch 與各種場景特定的實(shí)踐相結(jié)合,提供了更豐富的調(diào)度能力,同時增加了作業(yè)管理、數(shù)據(jù)管理、運(yùn)行時管理、異構(gòu)硬件管理等,形成了一個統(tǒng)一的批處理系統(tǒng),并被重新命名為Volcano。2020 年 4 月,Volcano 項目由華為云正式貢獻(xiàn)給 CNCF,成為 CNCF 迎來的首個容器批量計算項目。

在開源開放、廠商中立的社區(qū)治理下,目前 Volcano 在代碼托管平臺上已獲得了 2k+ star,430+ fork,有 290+ 來自國內(nèi)外的開發(fā)者參與代碼貢獻(xiàn)。Volcano 社區(qū)擁有 9位 Maintainer,12 位 Reviewer,有超過 50家業(yè)與科研機(jī)構(gòu)參與項目合作,合作伙伴包括華為、騰訊、百度、愛奇藝、滴滴出行、京東、建信金融科技等。在未來,Volcano 將在企業(yè)數(shù)字化、云原生轉(zhuǎn)型過程中發(fā)揮越來越重要的作用。

若想了解更多 Volcano 項目的技術(shù)原理與實(shí)踐干貨,敬請關(guān)注 12 月 9 日 - 10 日舉辦的 KubeCon + CloudNativeCon + Open Source Summit China 2021。屆時將有來自華為云的資深云原生技術(shù)專家,為廣大開發(fā)者帶來精彩的 Volcano 技術(shù)分享:

議題:基于Volcano的離在線業(yè)務(wù)混部技術(shù)探索

演講嘉賓:

王雷博/華為云批量計算服務(wù)架構(gòu)師

吳雷/華為云原生開源團(tuán)隊核心成員&Volcano社區(qū)Maintainer

議題簡介:為了保證服務(wù)SLA,集群需要大量冗余資源,這將導(dǎo)致集群資源利用率低下,資源浪費(fèi)嚴(yán)重。為了提高資源利用率,Volcano將在線服務(wù)和離線批處理作業(yè)混合在同一集群上。kubelet使調(diào)度器感知到已分配資源和實(shí)際已有資源量的差距。Volcano還提供了資源超賣能力,可將已分配給低優(yōu)先級作業(yè)的空閑資源加以復(fù)用。在操作系統(tǒng)維度,Volcano還通過cgroup提供任務(wù)隔離,以確保關(guān)鍵的在線服務(wù)QoS。

KubeCon + CloudNativeCon + Open Source Summit China 2021 由云原生計算基金會 CNCF 主辦。作為云原生領(lǐng)域的頂級技術(shù)盛會,歷年的 KubeCon + CloudNativeCon + Open Source Summit China 都匯聚了國內(nèi)外最活躍的開源云原生社區(qū)、最先進(jìn)的技術(shù)代表與行業(yè)的最佳落地實(shí)踐,推動云原生計算領(lǐng)域的知識更新和技術(shù)進(jìn)步。本屆大會的議程安排已全面上線,更多詳情請查看大會官網(wǎng)。

編輯：fqj