docker的跨主机网络
前言
这篇文件分两种方式介绍docker跨主机通信，overlay和macvlan，macvlan的方式给大家做个参考，生产环境下不推荐大家使用这种方式 🐴 。。。。
解决方案一：overlay的解决方案
默认的自定义网络的类型就是bridge,但是无法在单宿主机网络里面的可以通过docker network connect的命令互通；但是跨主机的时候bridge就明显不可用的；可以使用overlay和macvlan实现
为支持容器跨主机通信，Docker 提供了 overlay driver，使用户可以创建基于 VxLAN 的 overlay 网络。VxLAN 可将二层数据封装到 UDP 进行传 输，VxLAN 提供与 VLAN 相同的以太网二层服务，但是拥有更强的扩展性和灵活性
Overlay网络是指在不改变现有网络基础设施的前提下，通过某种约定通信协议，把二层报文封装在IP报文之上的新的数据格式。这样不但能够充分利用成熟的IP路由协议进程数据分发；而且在Overlay技术中采用扩展的隔离标识位数，能够突破VLAN的4000数量限制支持高达16M的用户，并在必要时可将广播流量转化为组播流量，避免广播数据泛滥。
因此，Overlay网络实际上是目前最主流的容器跨节点数据传输和路由方案
Docker overlay 网络需要一个 key-value数据库用于保存网络状态信息， 包括 Network、Endpoint、IP 等。Consul、Etcd 和 ZooKeeper 都是 Docker 支持的 key-vlaue 软件，我们这里使用 Consul
环境限制：
- 必须安装key-value存储服务，如consul
- 宿主机已经安装docker engine
- 宿主机的hostname必须不同
前提准备：
关闭防火墙，关闭selinux
运行consul服务
选择任意一台节点安装consul节点，这里安装consul只用到的是key-value值的动态配置，功能标记的特性
docker run -d -p 8500:8500 -h consul --name consul --restart always progrium/consul -server -bootstrapPS: -server -bootstrap 单节点使用
容器生产之后，我们可以通过浏览器访问consul服务，验证consul服 务是否正常。访问dockerHost加映射端口
安装完成后浏览器访问，发现只有一台节点
修改其他的节点的配置文件,，使得每一台都通过本机的2376端口被转发到172.16.46.111:8500,consul收集存储并使用这些信息实现网络一致。
修改docker配置文件
[root@docker03 ~]# vim /usr/lib/systemd/system/docker.service
ExecStart=/usr/bin/dockerd -H unix:///var/run/docker.sock -H tcp://0.0.0.0:2376 --cluster-store=consul://172.16.46.111:8500 --cluster-advertise=ens33:2376
[root@docker03 ~]# systemctl daemon-reload
[root@docker03 ~]# systemctl restart docker加入其它的2个节点，配置文件添加以下即可😎
ExecStart=/usr/bin/dockerd -H unix:///var/run/docker.sock -H tcp://0.0.0.0:2376 --cluster-store=consul://172.16.46.111:8500 --cluster-advertise=ens33:2376
[root@docker01 ~]# scp /usr/lib/systemd/system/docker.service root@172.16.46.112:/usr/lib/systemd/system/docker.service
The authenticity of host '172.16.46.112 (172.16.46.112)' can't be established.
ECDSA key fingerprint is 7c:a2:0a:5e:4b:a0:f7:3f:7b:e1:09:dc:6c:07:1a:07.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '172.16.46.112' (ECDSA) to the list of known hosts.
root@172.16.46.112's password:
docker.service 100% 1716 1.7KB/s 00:00
[root@docker01 ~]#
[root@docker01 ~]#
[root@docker01 ~]# scp /usr/lib/systemd/system/docker.service root@172.16.46.113:/usr/lib/systemd/system/docker.service
The authenticity of host '172.16.46.113 (172.16.46.113)' can't be established.
ECDSA key fingerprint is 27:2d:ca:ff:27:6d:02:9d:7e:c1:aa:25:90:a6:15:8b.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '172.16.46.113' (ECDSA) to the list of known hosts.
root@172.16.46.113's password:
docker.service 100% 1716 1.7KB/s 00:00
[root@docker01 ~]#
#修改完配置后重启docker
[root@docker02 ~]# systemctl daemon-reload
[root@docker02 ~]# systemctl restart docker
....
....最后浏览网页界面，3台不同主机的docker已经添加到了一起
在任意一个节点创建一个网络
[root@docker03 ~]# docker network create -d overlay myovernet
e9d8d6890c4545c12956e78324b550cd77b699b51833521ba2c9ca94c36da39f
[root@docker03 ~]# docker network ls
NETWORK ID NAME DRIVER SCOPE
5319a64fec1d bridge bridge local
4f64be31d339 host host local
e9d8d6890c45 myovernet overlay global
73778fbffd07 none null local这时候每一个节点都会有这个网卡，并且范围是global
查看这个网卡的信息
默认的网段是10.0.0.0/24；如果与主机冲突，我们是可以在创建网卡的时候自定义网段
有了这个网卡以后，去建立容器这个时候跨主机的容器之间就可以ping；
docker基础网络的时候也知道，自定义的网卡是自带域名解析的，所以直接ping名字
[root@docker01 ~]# docker run -itd --name busybox01 --network ovnet busybox:latest
[root@docker02 ~]# docker run -itd --name busybox02 --network ovnet busybox:latest
[root@docker03 ~]# docker run -itd --name busybox03 --network ovnet busybox:latestping测试
[root@docker01 ~]# docker exec -it busybox01 ping busybox02
PING busybox02 (10.0.0.3): 56 data bytes
64 bytes from 10.0.0.3: seq=0 ttl=64 time=0.916 ms
64 bytes from 10.0.0.3: seq=1 ttl=64 time=0.535 ms
64 bytes from 10.0.0.3: seq=2 ttl=64 time=0.542 ms
64 bytes from 10.0.0.3: seq=3 ttl=64 time=0.490 ms
^C
--- busybox02 ping statistics ---
4 packets transmitted, 4 packets received, 0% packet loss
round-trip min/avg/max = 0.490/0.620/0.916 ms
[root@docker01 ~]# docker exec -it busybox01 ping busybox03
PING busybox03 (10.0.0.4): 56 data bytes
64 bytes from 10.0.0.4: seq=0 ttl=64 time=0.465 ms
64 bytes from 10.0.0.4: seq=1 ttl=64 time=1.027 ms
64 bytes from 10.0.0.4: seq=2 ttl=64 time=1.074 ms
^C
--- busybox03 ping statistics ---
3 packets transmitted, 3 packets received, 0% packet loss
round-trip min/avg/max = 0.465/0.855/1.074 ms解决方案二：docker跨主机之二Macvlan
此方案仅作为参考，慎用！！！
macvlan 本身是 linxu kernel 模块，其功能是允许在同一个物理网卡上配 置多个 MAC 地址，即多个 interface，每个 interface 可以配置自己的 IP。macvlan 本质上是一种网卡虚拟化技术
Macvlan工作原理：
- Macvlan是Linux内核支持的网络接口。要求的Linux内部版本是v3.9–3.19和4.0+；
- 通过为物理网卡创建Macvlan子接口，允许一块物理网卡拥有多个独立的MAC地址和IP地址。虚拟出来的子接口将直接暴露在相邻物理网络中。从外部看来，就像是把网线隔开多股，分别接受了不同的主机上一样；
- 物理网卡收到包后，会根据收到包的目的MAC地址判断这个包需要交给其中虚拟网卡
使用Macvlan需要注意以下几点：
- 容器直接连接物理网络，由物理网络负责分配IP地址，可能的结果是物理网络IP地址被耗尽，另一个后果是网络性能问题，物理网络中接入的主机变多，广播包占比快速升高而引起的网络性能下降问题；
- 宿主机上的物理网卡（ens33）需要工作在 混乱模式 下；
- 前面说到，工作在混乱模式下的物理网卡，其MAC地址会失效，所以，此模式中运行的容器并不能与外网进行通信，但是不会影响宿主机与外网通信；
- 从长远来看bridge网络与overlay网络是更好的选择，原因就是虚拟网络应该与物理网络隔离而不是共享。
·
Macvlan本身不创建网络，本质上首先使宿主机物理网卡工作在‘混杂模式’，这样物理网卡的MAC地址将会失效，所有二层网络中的流量物理网卡都能收到。接下来就是在这张物理网卡上创建虚拟网卡，并为虚拟网卡指定MAC地址，实现一卡多用，在物理网络看来，每张虚拟网卡都是一个单独的接口 .
macvlan的单网络通信
前提准备：
#关闭防火墙和selinux
#重载daemon && 重启docker
#docker01可以ping通docker02
打开网卡的混杂模式
#开启混杂模式
ip link set ens33 promisc on
#查看ens33混杂网卡
ip link show ens33开启路由转发
echo "net.ipv4.ip_forward = 1" > /etc/sysctl.conf
sysctl -pdocker01创建macvlan 网络
docker network create -d macvlan --subnet 172.22.16.0/24 --gateway 172.22.16.1 -o parent=ens33 mac_net1PS: -o parent=绑定在哪张网卡之上
基于macvlan运行一个容器
docker run -itd --name bbox1 --ip 172.22.16.10 --network mac_net1 busyboxdocker02创建网络,与docker01一米一样
docker network create -d macvlan --subnet 172.22.16.0/24 --gateway 172.22.16.1 -o parent=ens33 mac_net1docker02运行一个容器
docker run -itd --name bbox2 --network mac_net1 --ip 172.22.16.20 busybox验证单网络跨主机
[root@docker01 ~]# docker exec -it bbox1 ping 172.22.16.20
PING 172.22.16.20 (172.22.16.20): 56 data bytes
64 bytes from 172.22.16.20: seq=0 ttl=64 time=1.162 ms
64 bytes from 172.22.16.20: seq=1 ttl=64 time=1.171 ms
^C此时，正如上面说的这样
只能单网络之间互相通信，不能和自己网关ping，不能和宿主机ping
但是不会影响和宿主机与外网互通
[root@docker01 ~]# ping baidu.com
PING baidu.com (39.156.69.79) 56(84) bytes of data.
64 bytes from 39.156.69.79 (39.156.69.79): icmp_seq=1 ttl=49 time=8.14 ms
64 bytes from 39.156.69.79 (39.156.69.79): icmp_seq=2 ttl=49 time=9.91 ms
^C实现多网络跨主机之间的网络互通
这个时候，需要使用到macvlan来虚拟出来的虚拟网卡
来保证只能多网络相同的网络才可以通信
macvlan需要解决的问题：基于真实的ens33网卡，生产新的虚拟网卡。
~]# modinfo 8021q
//如果内核模块没有开启，运行下边的命令导入一下
~]# modprobe 8021q
基于ens33创建虚拟网卡
修改物理网卡ens33配置文件
PS：BOOTPROTO指定的类型都无所谓，只要的一个固定的ip就可以，可以有static，可以是manual，还可以是none，但是注意ip不要冲突
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nXfZaKRG-1628215985402)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1596249935220.png)]
docker02修改ens33物理网卡
基于ens33创建虚拟网卡
cd /etc/sysconfig/network-scripts/
ls
vim ifcfg-ens33
cp ifcfg-ens33 ifcfg-ens33.10
vi ifcfg-ens33.10
cp ifcfg-ens33.10 ifcfg-ens33.20
vim ifcfg-ens33.20
systemctl restart networkork
docker02也要去创建虚拟网卡
启动ens33.10和ens33.20
ifup ifcfg-ens33.10
ifup ifcfg-ens33.20[root@docker02 network-scripts]# ip a | grep ens33
2: ens33: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
inet 192.168.2.112/24 brd 192.168.2.255 scope global ens33
9: ens33.10@ens33: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP qlen 1000
inet 192.168.12.10/24 brd 192.168.12.255 scope global ens33.10
10: ens33.20@ens33: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP qlen 1000
inet 192.168.22.10/24 brd 192.168.22.255 scope global ens33.20基于虚拟网卡创建macvlan网络
同单网络跨主机，docker01和docker02都创建macvlan网络
[root@docker02 ~]# docker network create -d macvlan --subnet 172.12.26.0/24 --gateway 172.12.26.1 -o parent=ens33.10 mac_net01
8440437a4a804df1ab878de725835015d4a966442e04138763b7458ff422ca7c
[root@docker02 ~]#
[root@docker02 ~]# docker network create -d macvlan --subnet 172.12.36.0/24 --gateway 172.12.36.1 -o parent=ens33.20 mac_net02
58458c1c899da4e291b80f46bc6d07deaee836ce9db1b6617bc5e4b1f017d898
[root@docker02 ~]# docker network ls
NETWORK ID NAME DRIVER SCOPE
50bdd8e3aa78 bridge bridge local
a62f15abc7cf host host local
66b73948aa9b mac_net macvlan local
8440437a4a80 mac_net01 macvlan local
58458c1c899d mac_net02 macvlan local
ae356e9ff53e none null local基于macvlan网络创建容器
docker01创建容器
[root@docker01 ~]# docker run -itd --name dc01 --network mac_net01 --ip 172.12.26.10 busybox
bcbf22d5a9e44882d02452100b92e966cf1df48a9a1febdc5a5f0338c4f57af0
[root@docker01 ~]#
[root@docker01 ~]#
[root@docker01 ~]# docker run -itd --name dc02 --network mac_net02 --ip 172.12.36.10 busybox
65c5da8b4a500821c4bcdca4d75555d9a2df1ad6983f229a783b633a88758a3cdocker02创建容器
[root@docker02 ~]# docker run -itd --name t1 --network mac_net01 --ip 172.12.26.11 busybox
f34cb4857f746ddd40f67a3b93610253c566257fdbd8d2ea8558f5bb9a872320
[root@docker02 ~]# docker run -itd --name t2 --network mac_net02 --ip 172.12.36.11 busybox
822187b2231eae576dd7e20d90962f56d9508e82755002d001bd09c7d8f36302容器互通验证
[root@docker01 ~]# docker exec -it dc01 ping 172.12.26.11
PING 172.12.26.11 (172.12.26.11): 56 data bytes
64 bytes from 172.12.26.11: seq=0 ttl=64 time=1.050 ms
64 bytes from 172.12.26.11: seq=1 ttl=64 time=0.196 ms
^C
--- 172.12.26.11 ping statistics ---
2 packets transmitted, 2 packets received, 0% packet loss
round-trip min/avg/max = 0.196/0.623/1.050 ms
[root@docker01 ~]# docker exec -it dc02 ping 172.12.36.11
PING 172.12.36.11 (172.12.36.11): 56 data bytes
64 bytes from 172.12.36.11: seq=0 ttl=64 time=0.940 ms
64 bytes from 172.12.36.11: seq=1 ttl=64 time=1.155 ms
^C因为我们知道macvlan网络是ping不通宿主机的；但是不影响宿主机与外网ping通
PS：因为我这里是使用桥接的方式做的，所以在ping t2的时候直接就会ping通，如果你使用的VMware虚拟机摒并且网络使用的Nat8网络，需要改成桥接才可以ping通，再起修改一个静态的桥接ip地址，就可以ping外网了。
