Kubernetes jobs主要是針對短時(shí)和批量的工作負(fù)載。它是為了結(jié)束而運(yùn)行的,而不是像deployment、replicasets、replication controllers和DaemonSets等其他對象那樣持續(xù)運(yùn)行。
本文將介紹如何創(chuàng)建Kubernetes jobs和cronjobs,以及一些小技巧。
Kubernetes Jobs會(huì)一直運(yùn)行到Job中指定的任務(wù)完成。也就是說,如果pods給出退出代碼0,那么Job就會(huì)退出。而在正常的Kubernetes中,無論退出代碼是什么,deployment對象在終止或出現(xiàn)錯(cuò)誤時(shí)都會(huì)創(chuàng)建新的pod,以保持deployment的理想狀態(tài)。
在job運(yùn)行過程中,如果托管pod的節(jié)點(diǎn)發(fā)生故障,Job pod將被自動(dòng)重新安排到另一個(gè)節(jié)點(diǎn)。
Kubernetes Jobs用例????
對于Kubernetes Jobs最好的用例實(shí)踐是:
1.批處理任務(wù):比如說你想每天運(yùn)行一次批處理任務(wù),或者在指定日程中運(yùn)行。它可能是像從存儲(chǔ)庫或數(shù)據(jù)庫中讀取文件那樣,將它們分配給一個(gè)服務(wù)來處理文件。
2.運(yùn)維/ad-hoc任務(wù):比如你想要運(yùn)行一個(gè)腳本/代碼,該腳本/代碼會(huì)運(yùn)行一個(gè)數(shù)據(jù)庫清理活動(dòng),甚至備份一個(gè)Kubernetes集群。
如何創(chuàng)建Kubernetes Job
在本例中,我們將使用Ubuntu 容器來運(yùn)行一個(gè)帶有for循環(huán)的shell腳本,并根據(jù)你傳遞給容器的參數(shù)來呼應(yīng)消息。這個(gè)參數(shù)是一個(gè)數(shù)字,決定shell腳本循環(huán)應(yīng)該運(yùn)行多少次。
例如,如果你傳遞了參數(shù)100,那么shell腳本將呼應(yīng)消息100次然后容器將會(huì)退出。
你可以訪問以下鏈接查看Dockerfile和shell腳本:
https://github.com/devopscube/Kubernetes-jobs-example/tree/master/Docker
我們先從一個(gè)簡單設(shè)置的job開始。
Step1:使用自定義的Docker鏡像創(chuàng)建一個(gè)job.yaml文件,命令參數(shù)為100。100將會(huì)作為參數(shù)傳遞給docker ENTRYPOINT腳本。
apiVersion:batch/v1
Step2 :使用kubectl創(chuàng)建一個(gè)job.yaml文件的job
kubectlapply-fjob.yam
Step3:使用kubectl檢查job的狀態(tài)
kubectlgetjobs
Step4:使用kubectl獲取pod列表
kubectlgetpo
Step5:使用kubectl獲取job pod 日志。使用你在輸出中看到的Pod名稱替換原本的Pod名稱。
kubectllogskubernetes-job-example-bc7s9-f
你應(yīng)該看到如下輸出:
并行運(yùn)行多Job pods
當(dāng)一個(gè)job被部署后,你可以讓它在多個(gè)Pod上并行運(yùn)行。例如,在一個(gè)job中如果你想要運(yùn)行6個(gè) pods,同時(shí)并行運(yùn)行2個(gè)pods,你需要添加以下2個(gè)參數(shù)到你的job manifets中:
completions:6
以下是帶有那些參數(shù)的manifest:
apiVersion:batch/v1為Kubernetes Job生成隨機(jī)名稱
你不能從一個(gè)job manifest文件中創(chuàng)建多個(gè)job,因?yàn)镵ubernetes會(huì)報(bào)錯(cuò),說存在一個(gè)同名的job。為了規(guī)避這個(gè)問題,你可以在元數(shù)據(jù)中添加 generateName 名稱參數(shù)。
例如:
apiVersion:batch/v1
在上方示例中,每次你運(yùn)行該manifest,job將以kube-job-作為前綴,后面跟著一個(gè)隨機(jī)字符串來創(chuàng)建。
如何創(chuàng)建Kubernetes CronJob
如果你想按照特定的時(shí)間表運(yùn)行批處理job,例如,每2個(gè)小時(shí)運(yùn)行一次。你可以用cron表達(dá)式創(chuàng)建一個(gè)Kubernetes cronjob。Job會(huì)按照你在job中提到的時(shí)間表自動(dòng)啟動(dòng)。
下面我們將介紹如何指定一個(gè)cron計(jì)劃,你可以使用crontab生成器(https://crontab-generator.org/)來生成自己的時(shí)間計(jì)劃。
schedule:"0,15,30,45****"
下圖顯示了Kubernetes cronjob schedule語法。
來源:kubernetes.io
如果我們以cronjob的形式每15分鐘運(yùn)行一次我們之前的job,manifest應(yīng)該如下所示。創(chuàng)建一個(gè)名為cron-job.yaml的文件,并復(fù)制以下manifest:
apiVersion:batch/v1beta1
讓我們使用kubectl部署cronjob。
kubectlcreate-fcron-job.yaml
列出cronjobs:
kubectlgetcronjobs
你可以列出cronjob pod并從處于運(yùn)行狀態(tài)或完成狀態(tài)的pods中獲取日志來檢查Cronjob日志。
手動(dòng)運(yùn)行Kubernetes CronJob
在某些情況下,你可能希望以臨時(shí)的方式執(zhí)行cronjob。你可以通過從現(xiàn)有的cronjob創(chuàng)建一個(gè)job來實(shí)現(xiàn)。
例如,如果你想手動(dòng)觸發(fā)一個(gè)cronjob,我們應(yīng)該這樣做:
kubectlcreatejob--from=cronjob/kubernetes-cron-jobmanual-cron-job
--from=cronjob/kubernetes-cron-job將復(fù)制cronjob模板并創(chuàng)建一個(gè)名為manual-cron-job的job。
Kubernetes Job的關(guān)鍵參數(shù)
根據(jù)你的需求,你還可以使用kubernetes jobs/cronjobs的幾個(gè)關(guān)鍵參數(shù):
1.failedJobHistoryLimit & successfulJobsHistoryLimit:根據(jù)你提供的保留數(shù)量刪除失敗和成功的job歷史記錄。當(dāng)你嘗試列出job時(shí),這對于減少所有失敗的條目非常有用。例如:
2.backoffLimit:如果你的Pod失敗,重試的總次數(shù)。
3.activeDeadlineSeconds:如果你想對cronjob的運(yùn)行時(shí)間進(jìn)行硬性限制,可以使用此參數(shù)。例如,如果你想只運(yùn)行1分鐘的cronjob,你可以將其設(shè)置為60。
通過本文我們了解了創(chuàng)建Job以及Cron Job的步驟并且一些詳細(xì)的配置過程和關(guān)鍵參數(shù),希望藉由本文可以幫助你開始上手了解K8S Job和Cron Job,輕松搞定批處理任務(wù)!
圖片來源:kubernetes.io
文章來源:PHP開源社區(qū)
責(zé)任編輯:lq6
-
kubernetes
+關(guān)注
關(guān)注
0文章
223瀏覽量
8683
原文標(biāo)題:帶你5分鐘快速了解 K8S Job
文章出處:【微信號(hào):magedu-Linux,微信公眾號(hào):馬哥Linux運(yùn)維】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評(píng)論請先 登錄
相關(guān)推薦
評(píng)論