一、问题与环境

1.为什么更新证书？局域网如何保障服务稳定性？
  众所周知k8s（Kubernetes）有一个默认证书期限为一年不成文的规定，官方的解释是“最佳的做法是经常升级集群以确保安全。（升级后集群证书自动续期一年）”，这就导致运维人员有概率遗忘更新证书而导致整个k8s集群管理命令无法使用的惨状，但往往事与愿违很多政府合作的项目更看重稳定性，因为它们都运行在”政务网“也可以理解为局域网，在局域网当然就不存在安全性问题了。本文通过实战项目将k8s集群证书期限更改至100年！

2.环境

系统环境CentOS7.8

kubesphere ssl证书_kubesphere ssl证书

运行环境Go1.19.4

kubesphere ssl证书_Pod_02

HA高可用k8s1.23.1集群

kubesphere ssl证书_kubesphere ssl证书_03

二、安装包

  • go1.19.4.linux-amd64.tar.gz【提取码：r7q1】
  • kubernetes-1.23.1.zip【提取码：r7q1】

三、步骤

注意：所有master节点都需要进行以下操作

1.备份配置文件

mkdir ~/confirm
cp -rf /etc/kubernetes/ ~/confirm/
mkdir ~/confirm/data_etcd
cp -rf /var/lib/etcd/* ~/confirm/data_etcd
cp /usr/bin/kubeadm /usr/bin/kubeadm.bak

kubesphere ssl证书_Pod_04

2.二次编译环境安装

mkdir k8s-cet
cd k8s-cet/
tar xzf go1.19.4.linux-amd64.tar.gz -C /usr/local/

vim /etc/profile
export GOROOT=/usr/local/go
export PATH=$PATH:/usr/local/go/bin
export GOPATH=/go
:wq

source /etc/profile

kubesphere ssl证书_java_05

3.kubeadm二次编译并修改期限【核心】

unzip kubernetes-1.23.1.zip 
cd kubernetes-1.23.1/

vim cmd/kubeadm/app/constants/constants.go
#搜索CertificateValidity
修改证书时间 ：CertificateValidity = time.Hour * 24 * 365 * 100

vim staging/src/k8s.io/client-go/util/cert/cert.go
#搜索KeyUsageDigitalSignatur
修改 ：NotAfter:              now.Add(duration365d * 100).UTC(),

make -j4 WHAT=cmd/kubeadm
rm -rf /usr/bin/kubeadm
cp /srv/soft/k8s-cet/kubernetes-1.23.1/_output/bin/kubeadm /usr/bin/kubeadm
kubeadm certs renew all
kubeadm certs check-expiration

kubesphere ssl证书_kubesphere ssl证书_06


kubesphere ssl证书_docker_07

注意：可以看到图中所圈区域时间年限已经变成99年了，但是这不意味着结束，还需要执行一个关键步骤“重启静态pod”

4.重启静态pod【重要】

静态pod是什么？
  静态Pod是由kubelet进行管理的仅存在于特定Node的Pod上，他们不能通过API Server进行管理，无法与ReplicationController、Deployment或者DaemonSet进行关联，并且kubelet无法对他们进行健康检查。简单来说就是组成k8s本身的pod例如：etcd、kube-apiserver、kube-controller-manager、kube-scheduler

cd ~/confirm
tar -cvf static.tar.gz /etc/kubernetes/manifests/*
tar -tf static.tar.gz 
rm -f /etc/kubernetes/manifests/*.yaml
# 等待20s 命令死掉（kubectl get ns 执行报错后开始执行下面解压命令）
# HA集群需要所有主节点一起进行，否则无法验证kubectl服务pod是否停止（会轮询道其他主节点）
tar -xvf static.tar.gz -C /etc/kubernetes/manifests/

说明：这样做的目的好处是 在不影响现有的线上服务动态Pod前提起到重启静态pod的效果从而实现所谓的“热更新”

5.更新kubeconfig【重要】

cd /etc/kubernetes/
cp admin.conf  /root/.kube/config
# 如果文件存在则会问是否覆盖，输入y回车即可
y

kubesphere ssl证书_kubesphere ssl证书_08

注意：如果不更新kubeconfig则kubectl将无权限管理Pod

6.验证

kubectl get ns

检验kubectl命令

kubesphere ssl证书_java_09


检验整个HA集群证书时间

kubesphere ssl证书_docker_10


检验报警是否恢复

kubesphere ssl证书_java_11

四、结束语

  本次k8s证书更新项目实战到此结束了，感谢认真读完，如果觉得还可以并且给予了你一定的帮助，那么给作者点赞、收藏、关注吧！