作者设置：由于当前各个常用镜像站无法正常代理下载镜像，这篇实验中所用到的镜像建议先从网络下载获取再导入到私仓使用，
或私信后台回复：9521 获取~ ~
另外这份实验材料总结下来出奇的字数多，提示超出字数，所以这篇分为了3章来发布
目录描述
- Kubernetes高可用集群部署架构要求说明
- Kubeadm部署Kubernetes v1.25.0高可用集群（一部分）
- Kubeadm部署Kubernetes v1.25.0高可用集群（二部分）
- Kubeadm部署Kubernetes v1.25.0高可用集群（完结）
一、实验环境配置要求
该次实验中的Kubernetes集群部署将基于以下环境进行：
1. 主机配置：
- 共5台主机，角色分工如下：
- 每个主机2G内存以上,2核CPU以上
- 操作系统: Ubuntu 20.04.4
- Kubernetes：v1.25.0
- Container Runtime: Docker CE 20.10.17
- CRI：cri-dockerd v0.2.5
2. 网络环境：
- 节点网络：192.168.157.0/24（自定义），节点地址分配如下：
- Pod网络：10.244.0.0/16（默认）
- Service网络：10.96.0.0/12（默认）
- 架构展示如下：
3. 基于Kubeadm实现Kubernetes v1.25.0集群部署流程说明
官方说明
https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/
https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm/
https://kubernetes.io/zh-cn/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/
使用 kubeadm ，能创建一个符合最佳实践的最小化 Kubernetes 集群。 事实上，你可以使用 kubeadm配置一个通过 Kubernetes 一致性测试的集群。 kubeadm 还支持其他集群生命周期功能， 例如启动引导令牌和集群升级。
- Kubernetes集群API访问入口的高可用
- 每个节点主机的初始环境准备
- 在所有Master和Node节点都安装容器运行时,实际Kubernetes只使用其中的Containerd
- 在所有Master和Node节点安装kubeadm 、kubelet、kubectl
- 在所有节点安装和配置 cri-dockerd
- 在第一个 master 节点运行 kubeadm init 初始化命令 ,并验证 master 节点状态
- 在第一个 master 节点安装配置网络插件
- 在其它master节点运行kubeadm join 命令加入到控制平面集群中
- 在所有 node 节点使用 kubeadm join 命令加入集群
- 创建 pod 并启动容器测试访问 ，并测试网络通信
二、Kubeadm部署Kubernetes v1.25.0高可用集群
1. 部署集群API访问入口的高可用
在192.168.157.101和192.168.157.102上执行操作，利用 HAProxy 实现 Kubeapi 服务的负载均衡
1.1 安装Hapaoxy
#修改内核参数
root@master1ha1:~# cat >> /etc/sysctl.conf <<EOF
net.ipv4.ip_nonlocal_bind = 1
EOF
root@master1ha1:~# sysctl -p
net.ipv4.ip_nonlocal_bind = 1
#安装配置haproxy
root@master1ha1:~# apt update
root@master1ha1:~# apt -y install haproxy
#添加下面行参数
root@master1ha1:~# cat >> /etc/haproxy/haproxy.cfg <<EOF
listen stats
mode http
bind 0.0.0.0:8888
stats enable
log global
stats uri /status
stats auth admin:123456
listen kubernetes-api-6443
bind 192.168.157.100:16443 #备注：IP写*，端口改9443
mode tcp
server master1ha1 192.168.157.101:6443 check inter 3s fall 3 rise 3
server master2ha2 192.168.157.102:6443 check inter 3s fall 3 rise 3
server master3harbor1 192.168.157.103:6443 check inter 3s fall 3 rise 3
EOF
#测试配置是否正确，并做重启配置生效
root@master1ha1:~# haproxy -f /etc/haproxy/haproxy.cfg -c
[WARNING] 169/064553 (1896) : parsing [/etc/haproxy/haproxy.cfg:23] : 'option httplog' not usable with proxy 'kubernetes-api-6443' (needs 'mode http'). Falling back to 'option tcplog'.
Configuration file is valid
root@master1ha1:~# systemctl restart haproxy
#检查服务vip和端口监听正常后，做服务开机自启
root@master1ha1:~# ss -ntl
State Recv-Q Send-Q Local Address:Port Peer Address:Port Process
LISTEN 0 4096 127.0.0.53%lo:53 0.0.0.0:*
LISTEN 0 128 0.0.0.0:22 0.0.0.0:*
LISTEN 0 4096 0.0.0.0:8888 0.0.0.0:*
LISTEN 0 128 127.0.0.1:6010 0.0.0.0:*
LISTEN 0 4096 192.168.157.100:6443 0.0.0.0:*
LISTEN 0 128 [::]:22 [::]:*
LISTEN 0 128 [::1]:6010 [::]:*
root@master1ha1:~# systemctl enable haproxy1.2 安装 Keepalived
安装 keepalived 实现 HAProxy的高可用
root@master1ha1:~# apt update
root@master1ha1:~# apt -y install keepalived
root@master1ha1:~# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
router_id ha1.org #指定router_id,#在ha2上为ha2.org
}
vrrp_script check_haproxy { #定义检测脚本
script "/etc/keepalived/check_haproxy.sh"
interval 1
weight -30
fall 3
rise 2
timeout 2
}
vrrp_instance VI_1 {
state MASTER #另一台ha2为BACKUP
interface ens33
virtual_router_id 60 #指定虚拟路由器ID,ha1和ha2此值必须相同
priority 100 #在ha2上为80
advert_int 1
authentication {
auth_type PASS
auth_pass 123456 #指定验证密码,ha1和ha2此值必须相同
}
virtual_ipaddress {
192.168.157.100 #指定VIP,ha1和ha2此值必须相同
}
track_script {
check_haproxy #调用上面定义的检测脚本
}
}
#添加keepalived中的执行脚本并赋权，最后操作服务重启和设置开机自启
root@master1ha1:~# cat > /etc/keepalived/check_haproxy.sh <<EOF
#!/bin/bash
/usr/bin/killall -0 haproxy || systemctl restart haproxy
EOF
root@master1ha1:~# chmod a+x /etc/keepalived/check_haproxy.sh
root@master1ha1:~# systemctl restart keepalived
root@master1ha1:~# systemctl enable keepalived补充：我是在5台节点初始化操作系统后，就把hosts解析写进去了，在 5台节点的/etc/hosts添加一下
root@master1ha1:~# vim /etc/hosts
127.0.0.1 localhost
127.0.1.1 master1_ha1 #这里记得更正为当前台的
# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
192.168.157.100 vip
192.168.157.101 master1ha1
192.168.157.102 master2ha2
192.168.157.103 master3harbor1
192.168.157.104 node1
192.168.157.105 node2后面的测试需要在本机上进行，所以本机host解析也得加一下，我这里偷懒用了huo绒自带的修改工具，修改添加如下：
1.3 测试访问
经过上面的本机hosts配置过，就可以在浏览器上测试vip地址的访问验证，用户名密码是前面配置的 admin:123456
http://vip:8888/status
2. 所有的主机做初始化配置
2.1 配置ssh key验证
配置 ssh key 验证，做免密后，方便集群内同步文件
#生成key，实验环境，直接把回车敲到底
root@master1ha1:~# ssh-keygen
#将id_rsa.pub文件同步到所有节点
root@master1ha1:~# ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.157.101
root@master1ha1:~# ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.157.102
root@master1ha1:~# ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.157.103
root@master1ha1:~# ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.157.104
root@master1ha1:~# ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.157.105
#测试一下能否免密登录到其他4个节点
root@master1ha1:~# ssh root@192.168.157.102
root@master1ha1:~# ssh root@192.168.157.103
root@master1ha1:~# ssh root@192.168.157.104
root@master1ha1:~# ssh root@192.168.157.1052.2 设置主机名和解析
上面已经配置过了
2.3 禁用 swap
swapoff -a
sed -i '/swap/s/^/#/' /etc/fstab
#或者
systemctl disable --now swap.img.swap
systemctl mask swap.target2.4 配时间同步
#借助于chronyd服务（程序包名称chrony）设定各节点时间精确同步
apt -y install chrony
chronyc sources -v2.5 禁用默认防火墙
#禁用默认配置的iptables防火墙服务
ufw disable
ufw status2.6 内核参数调整（可选）
允许 iptables 检查桥接流量,若要显式加载此模块，需运行 sudo modprobe br_netfilter，通过运行lsmod | grep br_netfilter 来验证 br_netfilter 模块是否已加载.
sudo modprobe br_netfilter
lsmod | grep br_netfilter为了让 Linux 节点的 iptables 能够正确查看桥接流量，请确认 sysctl 配置中的 net.bridge.bridge-nf-call-iptables 设置为 1。
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF
modprobe overlay
modprobe br_netfilter
# 设置所需的 sysctl 参数，参数在重新启动后保持不变
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1
EOF
# 应用 sysctl 参数而不重新启动
sysctl --system
最后~欢迎关注我！ @Linux学习的那些事儿
我的个人资源整理，满满都是干货： → 可按需访问领取
如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！
