Caelus全場景在離線混部系統(tǒng)

Caelus是一套 Kubernetes 解決方案，通過運(yùn)行額外的批處理作業(yè)來重新利用節(jié)點(diǎn)的閑置資源，這些資源來自于在線作業(yè)的利用率不足，尤其是在低流量時(shí)期。為了使批處理作業(yè)與在線作業(yè)兼容，caelus 動(dòng)態(tài)地管理多種資源隔離機(jī)制，同時(shí)檢查各種指標(biāo)的異常情況。如果檢測到干擾，批處理作業(yè)將被限制甚至終止。

特性：

• 收集各種指標(biāo)，包括節(jié)點(diǎn)資源、cgroup 資源和在線作業(yè)延遲

• 批處理作業(yè)可以在 YARN 或 Kubernetes 上運(yùn)行

• 預(yù)測節(jié)點(diǎn)的總資源使用情況，包括在線作業(yè)和內(nèi)核模塊，例如slab

• 動(dòng)態(tài)管理CPU、內(nèi)存、磁盤空間等多種資源隔離機(jī)制

• 動(dòng)態(tài)檢查各種指標(biāo)的異常，例如CPU使用率或在線作業(yè)延遲

• 當(dāng)檢測到資源壓力或延遲峰值時(shí)限制甚至終止批處理作業(yè)

• 支持 Prometheus 指標(biāo)

• 支持報(bào)警

Caelus為了適應(yīng)各種的混部場景，遵循了幾個(gè)關(guān)鍵原則，主要包括：

• 不改變業(yè)務(wù)使用方式，便于業(yè)務(wù)遷移到Caelus混部平臺。比如大數(shù)據(jù)任務(wù)仍然可以使用原有的方式提交job，如果原來是Yarn，Caelus實(shí)現(xiàn)了Yarn on k8s。如果大數(shù)據(jù)已經(jīng)是on k8s的方式，也可以更方便的使用統(tǒng)一調(diào)度；
• 對基礎(chǔ)生態(tài)零入侵。不論是對hadoop，還是對k8s，都是零入侵的實(shí)現(xiàn)，因此保證了對多種版本的兼容性，以及后續(xù)的可擴(kuò)展性；
• 非耦合、可擴(kuò)展的架構(gòu)。在實(shí)現(xiàn)時(shí)，充分兼顧了未來的可擴(kuò)展性，大多功能都是以插件的形式實(shí)現(xiàn)。