Docker 網(wǎng)絡(luò) IP 地址沖突如何解決

Docker 網(wǎng)絡(luò) IP 地址沖突這個(gè)問(wèn)題其實(shí)稍微有一點(diǎn)點(diǎn)麻煩，網(wǎng)上也沒(méi)有看到有比較全面正確的文章， 值得單獨(dú)寫一篇記錄一下。

1前置知識(shí)

因?yàn)?a target="_blank">交換機(jī)的能力有限制，以及網(wǎng)線的連接不可能無(wú)限長(zhǎng)， 所以我們不可能把所有的主機(jī)都連到同一個(gè)交換機(jī)上，然后處于同一個(gè)二層網(wǎng)絡(luò)中。

就算能，主機(jī)間的 ARP 廣播也會(huì)讓這個(gè)網(wǎng)絡(luò)瞬間癱瘓。

所以我們得把主機(jī)拆分到一個(gè)個(gè)的小的子網(wǎng)里，然后通過(guò)路由器再并成三層網(wǎng)絡(luò)。

我們俗稱的 IP 地址其實(shí)由兩個(gè)部分組成，網(wǎng)絡(luò)地址和主機(jī)地址。比如10.0.0.1/8中，第一個(gè)10是網(wǎng)絡(luò)地址，后面的0.0.1是主機(jī)地址。那我怎么知道怎么去拆分這兩段呢？靠的就是子網(wǎng)掩碼，也就是那個(gè)/8。

IP 其實(shí)是由 32 位的二進(jìn)制組成的，x.x.x.x只是為了方便人類閱讀將其轉(zhuǎn)成了十進(jìn)制。有個(gè)簡(jiǎn)單粗暴的辦法就是可以認(rèn)為每一段都是 8 位，所以/8就代表第一段是網(wǎng)絡(luò)地址。

同理，/16就代表前兩段都是網(wǎng)絡(luò)地址，10.0.0.0/16中， 網(wǎng)絡(luò)地址是10.0，后兩位0.0代表每個(gè)子網(wǎng)中的主機(jī)地址。

比如10.0.0.1/16和10.0.0.2/16是同一個(gè)子網(wǎng)的兩個(gè)主機(jī)。10.0.0.1/16和10.1.0.1/16是不同的子網(wǎng)的兩個(gè)主機(jī)。

這里只是簡(jiǎn)單粗暴的介紹下，更多的信息還是自己去查資料了解學(xué)習(xí)。

2問(wèn)題表現(xiàn)

docker 進(jìn)程無(wú)法啟動(dòng)

容器端口無(wú)法訪問(wèn)，抓包顯示為有入站但是沒(méi)有出站

3排查

此處針對(duì)的是 dockerd 無(wú)法啟動(dòng)的情況，如果 dockerd 能啟動(dòng)，可以直接跳到解決一節(jié)

首先是看下日志

$systemctlstatusdocker
$journalctl-udocker
$dmesg|grepdocker

一般能看到如下日志：

docker0:linkisnotready
docker_gwbridge:linkisnotready

或者更簡(jiǎn)單的排查方法，直接手動(dòng)啟動(dòng) dockerd 看看。啟動(dòng)方法可以通過(guò)grep ExecStart /usr/lib/systemd/system/docker.service查看。

一般來(lái)說(shuō)按如下執(zhí)行就行：

$/usr/bin/dockerd--debug

然后能看到最后輸出：

INFO[2021-07-29T0255.811673622Z]stoppingeventstreamfollowinggracefulshutdownerror=""module=libcontainerdnamespace=moby
failedtostartdaemon:Errorinitializingnetworkcontroller:listbridgeaddressesfailed:PredefinedLocalScopeDefaultNetworksList:[10.252.0.0/2410.252.1.0/2410.252.2.0/24]:noavailablenetwork

這時(shí)候可以看下ip addr，是否有docker0和docker_gwbridge，

如果發(fā)現(xiàn)沒(méi)有docker0，那基本可以肯定是 docker0 無(wú)法創(chuàng)建導(dǎo)致 dockerd 啟動(dòng)失敗了。

4解決

找到占用的網(wǎng)段

默認(rèn)的 docker0 網(wǎng)段是172.17.0.0/16，docker_gwbridge 網(wǎng)段是172.18.0.0/24，你需要確認(rèn)下這兩個(gè)網(wǎng)段是否被占用了。

最簡(jiǎn)單的方法就是 ping 一下，如果無(wú)響應(yīng)的話，那么就說(shuō)明沒(méi)有被占用。

其次就是看一下本機(jī)的路由表route -n，確認(rèn)一下有沒(méi)有沖突的段。一般來(lái)說(shuō)，你會(huì)發(fā)現(xiàn)相關(guān)網(wǎng)段要么已經(jīng)被占用，要么是路由表里存在沖突。

案例

比如在我的環(huán)境里，我給 docker0 配置為10.252.0/24，然后 dockerd 起不來(lái)。

排查后發(fā)現(xiàn)route -n里有這么一條：

10.0.0.0172.21.0.1255.0.0.0UG000eth0

也就是說(shuō)10/8被占用了，導(dǎo)致和我的10.252.0/24沖突。后來(lái)聯(lián)系網(wǎng)管刪除了這條10/8的路由后解決。

修改 docker 占用的網(wǎng)段

以下操作需要先停止 docker 進(jìn)程

$systemctlstopdocker

如果你用 docker service，那么 docker 會(huì)占用四個(gè)網(wǎng)段：

docker0

docker_gwbridge

ucp（docker engine 占用，不常見(jiàn)）

ingress

其中前三個(gè)的網(wǎng)段可以通過(guò)配置文件配置，第四個(gè)只能手動(dòng)創(chuàng)建。

前三個(gè)網(wǎng)段會(huì)讀取/etc/docker/daemon.json這個(gè)配置文件， 這個(gè)文件默認(rèn)是沒(méi)有的，需要手動(dòng)創(chuàng)建。

{
"bip":"",
"default-address-pools":[
{"base":"10.252.0.0/24","size":24},
{"base":"10.252.1.0/24","size":24},
{"base":"10.252.2.0/24","size":24}
]
}

注意這個(gè)default-address-pools至少要有兩項(xiàng)，按順序依次為：

docker0

docker_gwbridge

ucp

以防萬(wàn)一的話，配置三個(gè)是最好的。

接下來(lái)是修改 ingress，這個(gè)比較麻煩，需要手動(dòng)創(chuàng)建。

我的辦法是在初始化 docker swarm 以后，啟動(dòng) docker stack/service 以前，執(zhí)行以下腳本：

刪除 ingress

刪除 my-ingress（不一定存在，不存在就忽略）

新建 my-ingress

$yes'y'|dockernetworkrmingress
$yes'y'|dockernetworkrmmy-ingress2>&1|true
$dockernetworkcreate
--driveroverlay
--ingress
--subnet=10.252.3.0/24#指定ingress的網(wǎng)段，不要和上面daemon.json的網(wǎng)段沖突
--gateway=10.252.3.2
--optcom.docker.network.driver.mtu=1200
my-ingress

ingress 是默認(rèn)名，之所以新建一個(gè)名字不一樣的，是因?yàn)閯h除 ingress 是異步的。如果你刪除 ingress 后立刻新建一個(gè)也叫 ingress 的網(wǎng)絡(luò)，很可能會(huì)報(bào)一個(gè)重名的錯(cuò)誤。

重啟 docker 前，最好先清理一下 docker 的緩存：

$iplinkdeldevdocker0
$iplinkdeldevdocker_gwbridge
$rm-rf/var/lib/docker/network

另一種粗糙簡(jiǎn)單的解決辦法

另一種粗糙簡(jiǎn)單的解決辦法就是干脆直接手動(dòng)創(chuàng)建一個(gè) docker0。

這種解決方法最簡(jiǎn)單，但是機(jī)器 reboot 后 docker0 會(huì)自動(dòng)被刪掉， 所以這方法并不持久。

而且，實(shí)際上也不一定能解決網(wǎng)段沖突的問(wèn)題，只是說(shuō) docker 能啟動(dòng)了而已。

iplinkaddnamedocker0typebridge
ipaddradddevdocker010.252.0.1/24