Containerd常見命令操作

一、概述

作為接替 Docker 運(yùn)行時的 Containerd 在早在 Kubernetes1.7 時就能直接與 Kubelet 集成使用，只是大部分時候我們因熟悉 Docker，在部署集群時采用了默認(rèn)的 dockershim。在V1.24起的版本的 kubelet 就徹底移除了dockershim，改為默認(rèn)使用Containerd了，當(dāng)然也使用 cri-dockerd 適配器來將 Docker Engine 與 Kubernetes 集成?？梢詤⒖脊俜轿臋n：

https://kubernetes.io/zh-cn/docs/setup/production-environment/container-runtimes/#docker

二、Containerd 常見命令操作

更換 Containerd 后，以往我們常用的 docker 命令也不再使用，取而代之的分別是 crictl 和 ctr 兩個命令客戶端。

• crictl 是遵循 CRI 接口規(guī)范的一個命令行工具，通常用它來檢查和管理kubelet節(jié)點(diǎn)上的容器運(yùn)行時和鏡像。
• ctr 是 containerd 的一個客戶端工具。
• ctr -v 輸出的是 containerd 的版本，crictl -v 輸出的是當(dāng)前 k8s 的版本，從結(jié)果顯而易見你可以認(rèn)為 crictl 是用于 k8s 的。
• 一般來說你某個主機(jī)安裝了 k8s 后，命令行才會有 crictl 命令。而 ctr 是跟 k8s 無關(guān)的，你主機(jī)安裝了 containerd 服務(wù)后就可以操作 ctr 命令。

使用crictl命令之前，需要先配置/etc/crictl.yaml如下：

runtime-endpoint:unix:///run/containerd/containerd.sock
image-endpoint:unix:///run/containerd/containerd.sock
timeout:10
debug:false

也可以通過命令進(jìn)行設(shè)置：

crictlconfigruntime-endpointunix:///run/containerd/containerd.sock
crictlconfigimage-endpointunix:///run/containerd/containerd.sock

更多命令操作，可以直接在命令行輸入命令查看幫助。

docker--help
ctr--help
crictl--help

由于 Containerd 也有 namespaces 的概念，對于上層編排系統(tǒng)的支持，ctr 客戶端 主要區(qū)分了 3 個命名空間分別是k8s.io、moby和default，以上我們用crictl操作的均在k8s.io命名空間，使用ctr 看鏡像列表就需要加上-n 參數(shù)。crictl 是只有一個k8s.io命名空間，但是沒有-n 參數(shù)。

【溫馨提示】ctr images pull 拉取的鏡像默認(rèn)放在default，而 crictl pull 和 kubelet 默認(rèn)拉取的鏡像都在 k8s.io 命名空間下。所以通過ctr導(dǎo)入鏡像的時候特別注意一點(diǎn)，最好指定命名空間。

#注意-n不能放在命令最后面，下面幾行查看的鏡像是一樣的
ctr-n=k8s.ioimagels
ctr-nk8s.ioimagels

# crictl 沒有-n參數(shù)，操作都在`k8s.io`命名空間下。
crictlimagels
crictlimages
#crictlimagelist=ctr-n=k8s.ioimagelist
#crictlimagels=ctr-n=k8s.ioimagels
#crictlimages=ctr-n=k8s.ioimagelist
#crictlimages=ctr-n=k8s.ioimagels

#使用ctr命令指定命名空間導(dǎo)入鏡像
ctr-n=k8s.ioimageimportdashboard.tar

#查看鏡像，可以看到可以查詢到了
crictlimages

三、containerd 客戶端工具 nerdctl

推薦使用 nerdctl，使用效果與 docker 命令的語法一致，github 下載鏈接：

https://github.com/containerd/nerdctl/releases

• 精簡 (nerdctl--linux-amd64.tar.gz): 只包含 nerdctl
• 完整 (nerdctl-full--linux-amd64.tar.gz):包含 containerd, runc, and CNI 等依賴

nerdctl 的目標(biāo)并不是單純地復(fù)制 docker 的功能，它還實(shí)現(xiàn)了很多 docker 不具備的功能，例如延遲拉取鏡像（lazy-pulling）、鏡像加密（imgcrypt）等。具體看 nerdctl。

延遲拉取鏡像功能可以參考這篇文章：Containerd 使用 Stargz Snapshotter 延遲拉取鏡像

https://icloudnative.io/posts/startup-containers-in-lightning-speed-with-lazy-image-distribution-on-containerd/

1）安裝 nerdctl（精簡版）

wgethttps://github.com/containerd/nerdctl/releases/download/v0.22.2/nerdctl-0.22.2-linux-amd64.tar.gz
#解壓
tar-xfnerdctl-0.22.2-linux-amd64.tar.gz

ln-s/opt/k8s/nerdctl/nerdctl/usr/local/bin/nerdctl

2）安裝 nerdctl（完整版，這里不裝）

wgethttps://github.com/containerd/nerdctl/releases/download/v0.22.2/nerdctl-full-0.22.2-linux-amd64.tar.gz
tar-xfnerdctl-full-0.16.0-linux-amd64.tar.gz-C/usr/local/

cp/usr/local/lib/systemd/system/*.service/etc/systemd/system/

啟動服務(wù) buildkit

systemctlenablebuildkitcontainerd--now
systemctlstatusbuildkitcontainerd

3）安裝 buildkit 支持構(gòu)建鏡像

buildkit GitHub 地址：

https://github.com/moby/buildkit

使用精簡版 nerdctl 無法直接通過 containerd 構(gòu)建鏡像，需要與 buildkit 組全使用以實(shí)現(xiàn)鏡像構(gòu)建。當(dāng)然你也可以安裝上面的完整 nerdctl；buildkit 項(xiàng)目是 Docker 公司開源出來的一個構(gòu)建工具包，支持 OCI 標(biāo)準(zhǔn)的鏡像構(gòu)建。它主要包含以下部分:

• 服務(wù)端 buildkitd，當(dāng)前支持 runc 和 containerd 作為 worker，默認(rèn)是 runc；
• 客戶端 buildctl，負(fù)責(zé)解析 Dockerfile，并向服務(wù)端 buildkitd 發(fā)出構(gòu)建請求。

buildkit 是典型的C/S 架構(gòu)，client 和 server 可以不在一臺服務(wù)器上。而 nerdctl 在構(gòu)建鏡像方面也可以作為 buildkitd 的客戶端。

#https://github.com/moby/buildkit/releases
wgethttps://github.com/moby/buildkit/releases/download/v0.10.4/buildkit-v0.10.4.linux-amd64.tar.gz

tar-xfbuildkit-v0.10.4.linux-amd64.tar.gz-C/usr/local/

配置 buildkit 的啟動文件，可以從這里下載：

https://github.com/moby/buildkit/tree/master/examples/systemd

buildkit 需要配置兩個文件

• /usr/lib/systemd/system/buildkit.socket

cat>/usr/lib/systemd/system/buildkit.socket<

• /usr/lib/systemd/system/buildkit.service

cat>/usr/lib/systemd/system/buildkit.service<#Replaceruncbuildswithcontainerdbuilds
ExecStart=/usr/local/bin/buildkitd--addrfd://
[Install]
WantedBy=multi-user.target
EOF

啟動 buildkit

systemctldaemon-reload
systemctlenablebuildkit--now

四、實(shí)戰(zhàn)操作

1）修改 containerd 配置文件

可以參考我之前的文章：

containerdconfigdefault>/etc/containerd/config.toml

配置如下：

[plugins."io.containerd.grpc.v1.cri".registry]
config_path=""

[plugins."io.containerd.grpc.v1.cri".registry.auths]

[plugins."io.containerd.grpc.v1.cri".registry.configs]
[plugins."io.containerd.grpc.v1.cri".registry.configs."myharbor-minio.com".tls]
insecure_skip_verify=true#跳過認(rèn)證
ca_file="/etc/containerd/myharbor-minio.com/ca.crt"
[plugins."io.containerd.grpc.v1.cri".registry.configs."myharbor-minio.com".auth]
username="admin"
password="Harbor12345"

[plugins."io.containerd.grpc.v1.cri".registry.headers]

[plugins."io.containerd.grpc.v1.cri".registry.mirrors]
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."myharbor-minio.com"]
endpoint=["https://myharbor-minio.com"]

重啟 containerd

#重新加載配置
systemctldaemon-reload
#重啟containerd
systemctlrestartcontainerd

注意：這個配置文件是給crictl和kubelet使用，ctr是不可以用這個配置文件的，ctr 不使用 CRI，因此它不讀取 plugins."io.containerd.grpc.v1.cri"配置。

2）ctr 拉取推送鏡像

#推送鏡像到harbor
ctr--namespace=k8s.ioimagespushmyharbor-minio.com/bigdata/minio:2022.8.22-debian-11-r0--skip-verify--useradmin:Harbor12345

#--namespace=k8s.io指定命名空間，不是必須，根據(jù)環(huán)境而定
#--skip-verify跳過認(rèn)證
#--user指定harbor用戶名及密碼

ctrimagespull--useradmin:Harbor12345--tlscacert=/etc/containerd/myharbor-minio.com/ca.crtmyharbor-minio.com/bigdata/minio:2022.8.22-debian-11-r0

不想-u user:password 每次必須使用 ctr pull/ctr push， 可以使用nerdctl 。

3）鏡像構(gòu)建

cat>Dockerfile<echo'HelloNerdctlFromContainerd'>/usr/share/nginx/html/index.html
EOF

然后在文件所在目錄執(zhí)行鏡像構(gòu)建命令：

#不加-n指定命名空間，crictl看不到，kubelet也不能使用它，默認(rèn)在default命名空間下
nerdctl-nk8s.iobuild-tnginx:nerctl-f./Dockerfile.
###參數(shù)解釋
#-t：指定鏡像名稱
# . ：當(dāng)前目錄Dockerfile
#-f：指定Dockerfile路徑
#--no-cache：不緩存

4）打標(biāo)簽 tag

# crictl沒有tag命令，只能使用nerdctl和ctr，必須指定命名空間，要不然kubelet無法使用。
ctr-nk8s.ioitag
nerdctl-nk8s.iotagnginx:nerctlmyharbor-minio.com/bigdata/nginx:nerctl
#ctr-nk8s.iotagnginx:nerctlmyharbor-minio.com/bigdata/nginx:nerctl
#查看鏡像
nerdctl-nk8s.ioimagesmyharbor-minio.com/bigdata/nginx:nerctl

5）將鏡像推送到 Harbor

第一種情況：http方式，配置如下：

#以下兩個哪個都可以
#mkdir-p/etc/docker/certs.d/myharbor-minio.com:443
mkdir-p/etc/containerd/certs.d/myharbor-minio.com:443

cat>/etc/containerd/certs.d/myharbor-minio.com:443/hosts.toml<"https://docker.io"

[host."http://myharbor-minio.com:80"]
capabilities=["pull","resolve","push"]
#skip_verify=true
#ca="ca.crt"#相對路徑
#ca="/opt/auth/ca.crt"#絕對路徑
#ca=["/opt/auth/ca.crt"]
#ca=["ca.crt"]
#client=[["/opt/auth/nginx.cclinux.cn.crt","/opt/auth/nginx.cclinux.cn.key"]]

EOF

第一種情況：https方式，配置如下：

#以下兩個哪個都可以
#mkdir-p/etc/docker/certs.d/myharbor-minio.com:443
mkdir-p/etc/containerd/certs.d/myharbor-minio.com:443

cat>/etc/containerd/certs.d/myharbor-minio.com:443/hosts.toml<"https://docker.io"

[host."https://myharbor-minio.com:443"]
capabilities=["pull","resolve","push"]
skip_verify=true
#ca="ca.crt"#相對路徑
#ca="/opt/auth/ca.crt"#絕對路徑
#ca=["/opt/auth/ca.crt"]
ca=["/etc/containerd/myharbor-minio.com/ca.crt"]
#client=[["/opt/auth/nginx.cclinux.cn.crt","/opt/auth/nginx.cclinux.cn.key"]]
EOF

通過 nerdctl 登錄 harbor

echoHarbor12345|nerdctllogin--username"admin"--password-stdinmyharbor-minio.com:443

#nerdctllogin--username"admin"--passwordHarbor12345myharbor-minio.com:443

#登出
#nerdctllogout

開始將鏡像推送到 harbor

###推送到Harbor
#--insecure-registryskipsverifyingHTTPScerts,andallowsfallingbacktoplainHTTP
nerdctl--insecure-registry--namespace=k8s.iopushmyharbor-minio.com/bigdata/nginx:nerctl
#ctr--namespace=k8s.ioimagespushmyharbor-minio.com/bigdata/nginx:nerctl--skip-verify--useradmin:Harbor12345

#--namespace=k8s.io指定命名空間，跟-n一樣，不是必須，根據(jù)環(huán)境而定
#--skip-verify跳過認(rèn)證
#--user指定harbor用戶名及密碼

Containerd ctr，crictl，nerdctl 客戶端命令介紹與實(shí)戰(zhàn)操作就到這里了，有疑問的小伙伴歡迎給我留言哦！

審核編輯：湯梓紅