前面的学习，我们已经基本完成了在k8s中部署一个web服务，运行pod、创建service、创建ingress对外提供域名的七层代理。
下一个环境就得去关注应用部署后的数据存储问题，容器化如何管理，k8s化如何管理。
1.什么是Volume
1.容器内部的存储数据，再容器生命周期中是很短暂的，伴随容器的销毁而删除，很不稳定。
2.并且在一个pod下同时运行多个容器，经常需要再多个容器之间共享文件。
3.因此k8s抽象了一个Volume存储卷来解决这些问题。
4.volume属于是pod的一部分，不能单独创建，只能在pod中定义（谨记）。
5.pod中的所有容器都可以访问Volume，且是挂载后使用，可以挂载到容器内任何目录。
6.k8s的volume不仅支持集群内部的资源类型，还支持第三方的存储类型。
2.Volume类型
Kubernetes的Volume有非常多的类型，在实际使用中使用最多的类型如下。
- emptyDir：一种简单的空目录，主要用于临时存储。
- hostPath：将主机某个目录挂载到容器中。
- ConfigMap、Secret：特殊类型，将Kubernetes特定的对象类型挂载到Pod，在ConfigMap和Secret章节介绍过如何将ConfigMap和Secret挂载到Volume中。
- persistentVolumeClaim：Kubernetes的持久化存储类型，详细介绍请参考PV、PVC和StorageClass中会详细介绍。
2.1 EmptyDir类型
EmptyDir是最简单的一种Volume类型，根据名字就能看出，这个Volume挂载后就是一个空目录，应用程序可以在里面读写文件，emptyDir Volume的生命周期与Pod相同，Pod删除后Volume的数据也同时删除掉。
emptyDir配置示例如下。
- Pod内的容器共享卷的数据
- 存在于Pod的生命周期，Pod销毁，数据丢失
- Pod内的容器自动重建后，数据不会丢失
[root@k8s-master-10 ~/test-volumes]#cat busybox-volume.yml
apiVersion: v1
kind: Pod
metadata:
name: busybox-empty
namespace: yuchaoit
spec:
containers:
- image: busybox
name: test-busybox
volumeMounts:
- mountPath: /data/busybox/
name: cache-busybox
command: ["/bin/sh","-c","while true;do echo $(date) >> /data/busybox/www.yuchaoit.cn.log;sleep 2;done"]
volumes:
- name: cache-busybox
emptyDir: {}emptyDir实际是将Volume的内容写在Pod所在节点的磁盘上
创建资源
[root@k8s-master-10 ~/test-volumes]#kubectl create -f busybox-volume.yml
[root@k8s-master-10 ~/test-volumes]#kubectl -n yuchaoit get po busybox-empty -owide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
busybox-empty 1/1 Running 0 2m18s 10.2.1.48 k8s-node-11 <none> <none>查看目标机器的Volume情况
# 1. docker inspect查看容器挂载信息
# 2. 查看宿主机挂载目录
[root@k8s-node-11 ~]#tail -f /var/lib/kubelet/pods/e631e809-d3e7-4bcf-8d13-3364a4e4add2/volumes/kubernetes.io~empty-dir/cache-busybox/*
Mon Sep 12 08:44:03 UTC 2022
Mon Sep 12 08:44:05 UTC 2022
Mon Sep 12 08:44:07 UTC 2022
Mon Sep 12 08:44:09 UTC 2022
Mon Sep 12 08:44:11 UTC 2022
Mon Sep 12 08:44:13 UTC 2022
Mon Sep 12 08:44:15 UTC 2022
Mon Sep 12 08:44:17 UTC 2022
Mon Sep 12 08:44:19 UTC 2022干掉pod
[root@k8s-master-10 ~/test-volumes]#kubectl -n yuchaoit delete po busybox-empty
pod "busybox-empty" deleted
查看Volume状态
随之也被清空了2.2 HostPath类型
Container 中的文件在磁盘上是临时存放的，这给 Container 中运行的较重要的应用程序带来一些问题。
问题之一是当容器崩溃时文件丢失。 kubelet 会重新启动容器，但容器会以干净的状态重启。
第二个问题会在同一 Pod 中运行多个容器并共享文件时出现。 Kubernetes 卷（Volume） 这一抽象概念能够解决这两个问题。
阅读本文前建议你熟悉一下 Pod。
1.HostPath是一种持久化存储，emptyDir里面的内容会随着Pod的删除而消失，但HostPath不会
2.如果对应的Pod删除，HostPath Volume里面的内容依然存在于节点的目录中，如果后续重新创建Pod并调度到同一个节点，挂载后依然可以读取到之前Pod写的内容。
3.HostPath存储的内容与节点相关，所以它不适合像数据库这类的应用，想象下如果数据库的Pod被调度到别的节点了，那读取的内容就完全不一样了。
4.记住永远不要使用HostPath存储跨Pod的数据，一定要把HostPath的使用范围限制在读取节点文件上，这是因为Pod被重建后不确定会调度哪个节点上，写文件可能会导致前后不一致。yaml
[root@k8s-master-10 ~/test-volumes]#cat busybox-volume.yml
apiVersion: v1
kind: Pod
metadata:
name: busybox-hostpath
namespace: yuchaoit
spec:
volumes:
- name: hostpath-busybox
hostPath:
path: /data/hostpath-busybox # 宿主机映射点
type: DirectoryOrCreate # 目录不存在自动创建
containers:
- image: busybox
name: test-busybox
volumeMounts: # 容器数据挂到Volume里
- mountPath: /data/busybox/ # 容器内挂载点
name: hostpath-busybox # 容器内挂载点，挂到哪个卷
command: ["/bin/sh","-c","while true;do echo $(date) 超哥带你学k8s >> /data/busybox/www.yuchaoit.cn.log;sleep 2;done"]创建结果
[root@k8s-master-10 ~/test-volumes]#kubectl -n yuchaoit get po busybox-hostpath -owide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
busybox-hostpath 1/1 Running 0 42s 10.2.1.49 k8s-node-11 <none> <none>查看宿主机日志挂载
删除pod，查看hostPath数据
2.3 NFS 类型
很明显，这种不一致的数据持久化，必然是不可取的，我们可以采用共享式存储文件系统，NFS就是个代表。
nfs 卷能将 NFS (网络文件系统) 挂载到你的 Pod 中。
不像 emptyDir 那样会在删除 Pod 的同时也会被删除，nfs 卷的内容在删除 Pod 时会被保存，卷只是被卸载。 这意味着 nfs 卷可以被预先填充数据，并且这些数据可以在 Pod 之间共享。
注意： 在使用 NFS 卷之前，你必须运行自己的 NFS 服务器并将目标 share 导出备用。
# 变化的只有关于Volume设置参数
# 查看应该用什么字段
# [root@k8s-master-10 ~/test-volumes]#kubectl explain pod.spec.volumes.nfs
# 提前准备好一个NFS服务器即可。
# yum install nfs-utils rpcbind -y
# /nfsShare *(insecure,rw,sync,root_squash)具体yaml
[root@k8s-master-10 ~/test-volumes]#cat busybox-volume.yml
apiVersion: v1
kind: Pod
metadata:
name: nginx-volume-nfs
namespace: yuchaoit
spec:
volumes:
- name: nfs-data
nfs:
server: 10.0.0.11
path: /nfsShare
containers:
- image: nginx:1.14.1
name: nginx-volume-nfs
ports:
- name: http
containerPort: 80
volumeMounts: # 容器数据挂到Volume里
- mountPath: /usr/share/nginx/html/ # 容器内挂载点
name: nfs-data # 容器内挂载点，挂到哪个卷创建pod查看nfs共享数据
[root@k8s-master-10 ~/test-volumes]#kubectl create -f nfs-volume.yml
pod/nginx-volume-nfs created
[root@k8s-master-10 ~/test-volumes]#
[root@k8s-master-10 ~/test-volumes]#kubectl -n yuchaoit get po -owide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
nginx-deployment-6f7886b6db-pvjd5 1/1 Running 0 6h 10.2.2.60 k8s-node-12 <none> <none>
nginx-deployment-6f7886b6db-xsj8n 1/1 Running 0 6h 10.2.1.47 k8s-node-11 <none> <none>
nginx-volume-nfs 1/1 Running 0 6s 10.2.1.50 k8s-node-11 <none> <none>
[root@k8s-master-10 ~/test-volumes]#
[root@k8s-master-10 ~/test-volumes]#curl 10.2.1.50
<meta charset=utf-8>超哥带你学k8s www.yuchaoit.cn思考
这只是给pod单个的添加Volume字段，如果一组pod控制器需要使用nfs，该如何配置？
volume支持的种类众多（参考 https://kubernetes.io/docs/concepts/storage/volumes/#types-of-volumes ）
每种对应不同的存储后端实现，因此为了屏蔽后端存储的细节，同时使得Pod在使用存储的时候更加简洁和规范，k8s引入了两个新的资源类型，PV和PVC。
PersistentVolume（持久化卷），是对底层的存储的一种抽象，它和具体的底层的共享存储技术的实现方式有关，比如 Ceph、GlusterFS、NFS 等，都是通过插件机制完成与共享存储的对接。
如使用PV对接NFS存储。
apiVersion: v1
kind: PersistentVolume
metadata:
name: nfs-pv
spec:
capacity:
storage: 1Gi
accessModes:
- ReadWriteMany
persistentVolumeReclaimPolicy: Retain
nfs:
path: /nfsShare
server: 10.0.0.112.4 实践持久化mysql数据
学习点
1.基于节点选择器指定运行mysql的Node
2.使用Deployment管理mysql
3.使用hostPath持久化mysql数据yaml
apiVersion: apps/v1 # 注意这里与Pod的区别，Deployment是apps/v1而不是v1
kind: Deployment # 资源类型为Deployment
metadata:
name: mysql-deploy # Deployment的名称
namespace: yuchaoit
spec:
selector: # 要和pod的label对应上
matchLabels:
app: mysql
replicas: 1 # Pod的数量，Deployment会确保一直有1个Pod运行
template: # Pod的定义，用于创建Pod，也称为Pod template
metadata: # pod的信息
labels: # pod打上标签
app: mysql
spec: # pod具体字段属性，如容器信息，存储卷，pod部署节点等
volumes:
- name: mysql-volume # 卷名
hostPath: # 卷类型
path: /www.yuchaoit.cn/mysql # 宿主机目录
type: DirectoryOrCreate
nodeSelector: # pod部署节点选择器
diskType: ssd # label的key-value
containers: # pod内容器信息
- image: mysql:5.7 # 镜像下载地址
name: mysql-pod # 容器名
imagePullPolicy: IfNotPresent # 镜像下载策略
ports: # 容器内暴露端口
- name: mysql-port
containerPort: 3306 # 指明容器内要暴露的端口
env: # 给容器设置运行环境变量
- name: MYSQL_ROOT_PASSWORD
value: "www.yuchaoit.cn"
volumeMounts:
- mountPath: /var/lib/mysql # 容器内挂载点
name: mysql-volume # 挂载的设备，卷的名字创建mysql-pod
[root@k8s-master-10 ~/test-volumes]#kubectl create -f mysql-deploy.yml
deployment.apps/mysql-deploy created
[root@k8s-master-10 ~/test-volumes]#kubectl -n yuchaoit get po
NAME READY STATUS RESTARTS AGE
mysql-deploy-569f9d64fc-86mpq 0/1 Pending 0 10s
# 查看事件，为什么pending
[root@k8s-master-10 ~/test-volumes]#kubectl -n yuchaoit describe pod mysql-deploy-569f9d64fc-86mpq
# 经典的事件报错
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Warning FailedScheduling 41s default-scheduler 0/3 nodes are available: 3 node(s) didn't match node selector.
Warning FailedScheduling 41s default-scheduler 0/3 nodes are available: 3 node(s) didn't match node selector.
# 给Node打上标签
[root@k8s-master-10 ~/test-volumes]#kubectl label nodes k8s-node-12 diskType=ssd
node/k8s-node-12 labeled
# 此时会发现pod动态已自动更新了
[root@k8s-master-10 ~/test-volumes]#kubectl -n yuchaoit get po mysql-deploy-569f9d64fc-86mpq -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
mysql-deploy-569f9d64fc-86mpq 1/1 Running 0 2m47s 10.2.2.61 k8s-node-12 <none> <none>图解mysql-pod数据持久化
1.检查mysql节点的持久化数据
[root@k8s-node-12 /www.yuchaoit.cn/mysql]#ls
auto.cnf ca-key.pem ca.pem chaoge666 client-cert.pem client-key.pem ib_buffer_pool ibdata1 ib_logfile0 ib_logfile1 ibtmp1 mysql performance_schema private_key.pem public_key.pem server-cert.pem server-key.pem sys
[root@k8s-node-12 /www.yuchaoit.cn/mysql]#
2.尝试连接集群内pod的mysql
# 这里临时运行一个新pod，去登录mysql-pod。
创建pod远程连接mysql-pod
[root@k8s-master-10 ~/test-volumes]#kubectl run client-mysql -it --image=mysql:5.7 -- bash -c 'mysql -uroot -pwww.yuchaoit.cn -h10.2.2.61 -P3306'
If you don't see a command prompt, try pressing enter.
mysql> status
--------------
mysql Ver 14.14 Distrib 5.7.36, for Linux (x86_64) using EditLine wrapper
Connection id: 6
Current database:
Current user: root@10.2.2.63
SSL: Cipher in use is ECDHE-RSA-AES128-GCM-SHA256
Current pager: stdout
Using outfile: ''
Using delimiter: ;
Server version: 5.7.36 MySQL Community Server (GPL)
Protocol version: 10
Connection: 10.2.2.61 via TCP/IP
Server characterset: latin1
Db characterset: latin1
Client characterset: latin1
Conn. characterset: latin1
TCP port: 3306
Uptime: 8 min 39 sec
Threads: 1 Questions: 15 Slow queries: 0 Opens: 105 Flush tables: 1 Open tables: 98 Queries per second avg: 0.028
--------------
mysql>2.5 综合练习 k8s运行wordpress
以目前所有所学知识点，完成wordpress在k8s下的运行，并且可以通过域名
1. wordpress.yuchaoit.cn 访问博客集群入口
2. 用deployment控制器单独管理mysql(副本数1)、单独管理wordpress（副本数2）
3. 创建Service代理mysql，以及wordpress
4. 创建wordpress访问集群入口实践
nfs共享存储
选用随便一个机器，如11机器。
yum install nfs-utils -y
cat >/etc/exports <<'EOF'
/nfs-volume/blog/ *(rw,sync,no_root_squash)
EOF
mkdir -p /nfs-volume/blog/
systemctl restart nfs1. mydel-deployment.yml
yaml所有字段，不要求你去记住，会看、会修改、确保业务运行即可。
面试官问你，k8s中遇见不认识的字段，你是怎么处理的？
答。基于kubectl explain查阅资料，以及官网。
apiVersion: apps/v1 # 注意这里与Pod的区别，Deployment是apps/v1而不是v1
kind: Deployment # 资源类型为Deployment
metadata:
name: mysql-deploy # Deployment的名称
namespace: yuchaoit
labels:
app: mysql
spec:
selector: # RS控制器基于label匹配pod，确保副本数
matchLabels:
app: mysql
template: # Pod的定义，用于创建Pod，也称为Pod template
metadata:
labels: # pod打上标签
app: mysql # 必须和selector一样
spec:
volumes:
- name: db
hostPath:
path: /data/mysql
nodeSelector:
diskType: ssd
containers:
- image: mysql:5.7
name: mysql-blog
imagePullPolicy: IfNotPresent
args: # 容器运行参数
- --default_authentication_plugin=mysql_native_password
- --character-set-server=utf8mb4
- --collation-server=utf8mb4_unicode_ci
ports:
- name: dbport
containerPort: 3306 # 指明容器内要暴露的端口
env:
- name: MYSQL_ROOT_PASSWORD
value: www.yuchaoit.cn
- name: MYSQL_DATABASE
value: wordpress
- name: MYSQL_USER
value: wordpress
- name: MYSQL_PASSWORD
value: www.yuchaoit.cn
volumeMounts:
- name: db
mountPath: /var/lib/mysql/创建结果
[root@k8s-master-10 ~]#kubectl -n yuchaoit get po -owide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
mysql-deploy-75f47f87c-l7t8f 1/1 Running 0 6s 10.2.2.64 k8s-node-12 <none> <none>2. mysql-svc.yml
给mysql服务，进行服务发现（选择pod 带有app: mysql）
apiVersion: v1
kind: Service
metadata:
name: mysql # Service的名称，服务发现名称
namespace: yuchaoit
spec:
selector: # Label Selector，选择包含app=nginx标签的Pod
app: mysql
ports:
- name: mysql-port
targetPort: dbport # 直接基于mysql-pod暴露的端口名即可对应
port: 3306 # Service对外暴露的端口，也就是ClusterIP的port
protocol: TCP # 转发协议类型，支持TCP和UDP查看svc
[root@k8s-master-10 ~]#kubectl -n yuchaoit get svc mysql -owide
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
mysql ClusterIP 10.1.225.170 <none> 3306/TCP 103s app=mysql
# 确认svc可用
[root@k8s-master-10 ~]#docker run mysql:5.7.25 bash -c 'mysql -uroot -pwww.yuchaoit.cn -h10.1.225.170 -P3306 -e "status;"'
mysql: [Warning] Using a password on the command line interface can be insecure.
--------------
mysql Ver 14.14 Distrib 5.7.25, for Linux (x86_64) using EditLine wrapper
Connection id: 3
Current database:
Current user: root@10.2.0.0
SSL: Cipher in use is DHE-RSA-AES256-SHA
Current pager: stdout
Using outfile: ''
Using delimiter: ;
Server version: 5.7.36 MySQL Community Server (GPL)
Protocol version: 10
Connection: 10.1.225.170 via TCP/IP
Server characterset: utf8mb4
Db characterset: utf8mb4
Client characterset: latin1
Conn. characterset: latin1
TCP port: 3306
Uptime: 9 min 46 sec
Threads: 1 Questions: 10 Slow queries: 0 Opens: 105 Flush tables: 1 Open tables: 98 Queries per second avg: 0.017
--------------3. wordpress-deploy.yml
于超老师强烈建议，纯手敲，前期别偷懒，挨个的理解字段的作用。
你可能会遇见N个错误，但是你也有了N个成长。
[root@k8s-master-10 ~]#cat deploy-wordpress.yml
apiVersion: apps/v1 # 注意这里与Pod的区别，Deployment是apps/v1而不是v1
kind: Deployment # 资源类型为Deployment
metadata:
name: wordpress-deploy # Deployment的名称
namespace: yuchaoit
labels:
app: wordpress
spec:
replicas: 2 # pod副本数
selector: # RS控制器基于label匹配pod，确保副本数
matchLabels:
app: wordpress
minReadySeconds: 5 # 新创建的 pod 应准备就绪的最小秒数
strategy: # 设置Deployment滚动更新pod的策略
type: RollingUpdate # 默认就是滚动更新
rollingUpdate:
maxSurge: 1 # 最大调度1个pod
maxUnavailable: 1 # 最多不可用1个
template: # Pod的定义，用于创建Pod，也称为Pod template
metadata:
labels: # pod打上标签
app: wordpress
spec:
volumes:
- name: nfs-data # 定义pod的数据卷，给容器使用
nfs:
server: 10.0.0.11
path: /nfs-volume/blog/ # 使用nfs的什么共享目录
initContainers: # 初始化容器，启动wordpress前，至少确认呢mysql是连通的，否则没意义
- name: init-db
image: busybox
command: ['sh','-c','until nslookup mysql;do echo waiting for mysql service done....www.yuchaoit.cn...;sleep 1;done;']
containers:
- image: wordpress
name: wordpress-blog
imagePullPolicy: IfNotPresent
ports:
- name: wordpressport # 容器暴露端口，对应的名字，便于其他服务调用
containerPort: 80
env: # 根据wordpress镜像要求的环境变量，传入参数
- name: WORDPRESS_DB_HOST
value: mysql:3306 # 传入的是Service名字，以及端口
- name: WORDPRESS_DB_USER
value: wordpress
- name: WORDPRESS_DB_PASSWORD
value: www.yuchaoit.cn
readinessProbe: # 就绪探针
tcpSocket:
port: 80
initialDelaySeconds: 5 #5秒后开始探测
periodSeconds: 10 # 10S探测一次
resources:
requests: # 节点所需的最小资源
memory: 256Mi
cpu: 200m
limits: # 限制pod最大资源使用量
memory: 256Mi
cpu: 200m
volumeMounts: # 容器使用卷
- name: nfs-data
mountPath: /var/www/html/wp-content # 容器内挂载点
# 这是一个经典的应用部署yaml，对于基础所需的deployment，部署应用，需要考虑到的pod字段，都用上了，作为学习pod部署样本。
#
[root@k8s-master-10 ~]#创建wordpress应用pod，过程估计得有1分钟，有一个下载时间，可以提前先准备好镜像。
查看pod运行结果
[root@k8s-master-10 ~]#kubectl -n yuchaoit get po -owide -l app=wordpress
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
wordpress-deploy-c4df856c7-4p4bt 0/1 Init:0/1 0 5m8s <none> k8s-node-12 <none> <none>
wordpress-deploy-c4df856c7-qncj2 1/1 Running 0 5m8s 10.2.1.51 k8s-node-11 <none> <none>
# 熟练用describe去看资源状态
[root@k8s-master-10 ~]#kubectl -n yuchaoit describe pod wordpress-deploy-c4df856c7-踩坑记录，客户端主机，不支持nfs插件
In some cases useful info is found in syslog - try
dmesg | tail or so.
Warning FailedMount 88s (x4 over 7m34s) kubelet (combined from similar events): MountVolume.SetUp failed for volume "nfs-data" : mount failed: exit status 32
Mounting command: systemd-run
Mounting arguments: --description=Kubernetes transient mount for /var/lib/kubelet/pods/ae9fd074-e367-4b0b-a84a-8a2132e265ff/volumes/kubernetes.io~nfs/nfs-data --scope -- mount -t nfs 10.0.0.11:/nfs-volume/blog/ /var/lib/kubelet/pods/ae9fd074-e367-4b0b-a84a-8a2132e265ff/volumes/kubernetes.io~nfs/nfs-data
Output: Running scope as unit run-116975.scope.
mount: wrong fs type, bad option, bad superblock on 10.0.0.11:/nfs-volume/blog/,
missing codepage or helper program, or other error
(for several filesystems (e.g. nfs, cifs) you might
need a /sbin/mount.<type> helper program)
In some cases useful info is found in syslog - try
dmesg | tail or so.
Warning FailedMount 49s (x4 over 7m39s) kubelet Unable to attach or mount volumes: unmounted volumes=[nfs-data], unattached volumes=[default-token-nkzpq nfs-data]: timed out waiting for the condition
[root@k8s-master-10 ~]#
# 给客户端机器，安装nfs套件即可。
[root@k8s-node-12 ~]#yum install nfs-utils -y
# 重建pod查看结果
[root@k8s-master-10 ~]#kubectl -n yuchaoit delete po -l app=wordpress
# 提示：可以去看目标机器的init容器运行结果
# 等待片刻后，通信没问题了
[root@k8s-master-10 ~]#kubectl -n yuchaoit get po -owide -l app=wordpress
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
wordpress-deploy-c4df856c7-qjs68 1/1 Running 0 6m51s 10.2.1.52 k8s-node-11 <none> <none>
wordpress-deploy-c4df856c7-x8gm9 1/1 Running 0 6m51s 10.2.2.66 k8s-node-12 <none> <none>4.wordpress-svc.yml
apiVersion: v1
kind: Service
metadata:
name: wordpress # Service的名称，服务发现名称
namespace: yuchaoit
spec:
selector: # Label Selector，选择包含app=nginx标签的Pod
app: wordpress
ports:
- name: wordpress-port
targetPort: wordpressport # 直接基于wordpress-pod暴露的端口名即可对应
port: 80 # Service对外暴露的端口，也就是ClusterIP的port
protocol: TCP # 转发协议类型，支持TCP和UDP查看svc
[root@k8s-master-10 ~]#kubectl -n yuchaoit get svc wordpress -owide
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
wordpress ClusterIP 10.1.49.131 <none> 80/TCP 60s app=wordpress5.wordpress-ingress.yml
支持集群内配置就完毕了，提供一个外部访问入口吧。
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: wordpress
namespace: yuchaoit
spec:
rules: # 转发规则
- host: "wordpress.yuchaoit.cn" # 填入你们的业务域名
http: # 基于http协议解析
paths: # 基于url路径匹配
- pathType: Prefix #要设置路径类型，否则不合法，
path: "/" # 以 / 分割的URL路径前缀匹配，区分大小写，这里表默认所有路径。
backend: # 后端Service信息的组合
service:
name: wordpress # 代理到名字是service1的ClusterIP
port: # 代理到的Service的端口号。
number: 80查看结果
[root@k8s-master-10 ~]#kubectl -n yuchaoit get ingress
Warning: extensions/v1beta1 Ingress is deprecated in v1.14+, unavailable in v1.22+; use networking.k8s.io/v1 Ingress
NAME CLASS HOSTS ADDRESS PORTS AGE
test-ingress <none> www.yuchaoit.cn 80 32h
wordpress <none> wordpress.yuchaoit.cn 80 4s
# 可以去ingress控制器里看nginx规则6.访问试试！！
hosts解析来一波
10.0.0.10 www.yuchaoit.cn wordpress.yuchaoit.cn
[root@k8s-master-10 ~]#kubectl --namespace=nginx-ingress logs -f nginx-ingress-75c88594dc-klfqc
3.PV(PersistentVolume) 持久化存储卷
前面介绍的是针对pod资源设置Volume的三种玩法
EmptyDir，非持久化
hostPath，属于持久化，但只限在具体Node，只适合读的场景。
nfs，属于持久化。如果要求pod在重新被调度后，依然能保留，使用之前读写后的数据，就必须用网络存储；
网络存储有很多主流的方案，块存储、文件存储、对象存储等。
开源技术
cephFS
GlusterFS
NFS
生产环境下的公有云厂商提供的
-对象存储
-云硬盘
-弹性文件系统k8s为了解适配诸多的存储技术，抽象了PV、PVC两个资源，让运维不用关心具体的存储基础设施来源，只需要关心使用存储资源，声明好自己要用多少资源即可。
图解生产下的k8s存储架构
PV是什么
PersistentVolume
PV描述的是持久化存储卷，主要定义的是一个持久化存储在宿主机上的目录，比如一个NFS的挂载目录。
PVC是什么
PersistentVolumeClaim
PVC描述的是Pod所希望使用的持久化存储的属性，比如，Volume存储的大小、可读写权限等等。
PVC绑定PV
1. pv是对底层网络共享存储的抽象，将共享存储定义为一种"资源"
2. PV由管理员先创建和配置
3. PVC则是用户对存储资源的一种 `申请`
4.对比理解的话
Pod的运行会消耗Node的资源、PVC会消耗PV的资源。
5.PVC的申请，有特定的存储空间，以及访问方式。PV、PVC关系、与使用流程
nfs与mysql数据共享持久化
1.准备NFS
yum install nfs-utils -y
mkdir /nfs-volume/mysql/ -p
cat > /etc/exports <<'EOF'
/nfs-volume/mysql/ 10.0.0.0/24(rw,async,no_root_squash,no_all_squash)
EOF
systemctl restart nfs rpcbind
systemctl enable nfs rpcbind
showmount -e 127.0.0.12.node安装nfs套件
yum install nfs-utils -y
showmount -e 10.0.0.103.管理员准备NFS-PV
apiVersion: v1
kind: PersistentVolume
metadata:
name: nfs-pv # pv资源名
# namespace: yuchaoit
spec:
capacity:
storage: 10Gi # 存储10Gi资源
accessModes:
- ReadWriteMany # 多个节点可以读写PV
persistentVolumeReclaimPolicy: Retain # PV回收策略，保留数据，需要管理员手工删除
nfs: # 对接存储类型
path: /nfs-volume/mysql/
server: 10.0.0.10创建pv
[root@k8s-master-10 /all-k8s-yml]#kubectl create -f mysql-nfs-pv.yml
persistentvolume/nfs-pv created
[root@k8s-master-10 /all-k8s-yml]#kubectl -n yuchaoit get pv -owide
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE VOLUMEMODE
nfs-pv 10Gi RWX Retain Available 9s Filesystem
一个 PV 的生命周期中，可能会处于4中不同的阶段：
Available（可用）：表示可用状态，还未被任何 PVC 绑定
Bound（已绑定）：表示 PV 已经被 PVC 绑定
Released（已释放）：PVC 被删除，但是资源还未被集群重新声明
Failed（失败）： 表示该 PV 的自动回收失败pv资源字段解释
capacity，存储能力， 目前只支持存储空间的设置， 就是我们这里的 storage=1Gi，不过未来可能会加入 IOPS、吞吐量等指标的配置。
accessModes，访问模式， 是用来对 PV 进行访问模式的设置，用于描述用户应用对存储资源的访问权限，访问权限包括下面几种方式：
ReadWriteOnce（RWO）：读写权限，但是只能被单个节点挂载
ReadOnlyMany（ROX）：只读权限，可以被多个节点挂载
ReadWriteMany（RWX）：读写权限，可以被多个节点挂载
persistentVolumeReclaimPolicy，pv的回收策略, 目前只有 NFS 和 HostPath 两种类型支持回收策略
Retain（保留）- 保留数据，需要管理员手工清理数据
Recycle（回收）- 清除 PV 中的数据，效果相当于执行 rm -rf /volume_yuchaoit.cn/*
Delete（删除）- 与 PV 相连的后端存储完成 volume 的删除操作，当然这常见于云服务商的存储服务，比如 ASW EBS。
目前只有NFS、HostPath两个类型的PV支持Recycle，直接删除。PV不属于集群资源
因为PV是直接对接底层存储的，就像集群中的Node可以为Pod提供计算资源（CPU和内存）一样，PV可以为Pod提供存储资源。
因此PV不是namespaced的资源，属于集群层面可用的资源。
Pod如果想使用该PV，需要通过创建PVC挂载到Pod中。
当PV进入Released状态备注
若PVC被删除，PV会进入Released状态，PVC也无法重新绑定，PVC只能和Availabel状态的PV绑定。
生产做法是
1. 备份PV数据，迁移走
2. 修改PV状态，删除对PVC的引用记录，此时k8s的PV控制器watch到PV变化，更新PV状态，恢复Availabel状态。
claimRef该字段记录PV、PVC的双向绑定记录
[root@k8s-master-10 /all-k8s-yml]#kubectl edit pv nfs-pv
persistentvolume/nfs-pv edited
[root@k8s-master-10 /all-k8s-yml]#kubectl -n yuchaoit get pv -owide
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE VOLUMEMODE
nfs-pv 10Gi RWX Retain Available 24m Filesystem
[root@k8s-master-10 /all-k8s-yml]#4.用户创建mysql-pvc
PVC全写是PersistentVolumeClaim（持久化卷声明），PVC 是用户存储的一种声明，创建完成后，可以和PV实现一对一绑定。
对于真正使用存储的用户不需要关心底层的存储实现细节，只需要直接使用 PVC 即可。
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: mysql-pvc
namespace: yuchaoit # pvc属于ns下的资源
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 1Gi # 声明PVC用多少存储
volumeName: nfs-pv # PVC绑定PV
# 也可以不填,
#PersistentVolumeController会不断地循环去查看每一个 PVC，是不是已经处于 Bound（已绑定）状态。
# 如果不是，那它就会遍历所有的、可用的 PV，并尝试将其与未绑定的 PVC 进行绑定
# 这样，Kubernetes 就可以保证用户提交的每一个 PVC，只要有合适的 PV 出现，它就能够很快进入绑定状态。
# 而所谓将一个 PV 与 PVC 进行“绑定”，其实就是将这个 PV 对象的名字，填在了 PVC 对象的 spec.volumeName 字段上。创建pvc，绑定PV
[root@k8s-master-10 /all-k8s-yml]#kubectl create -f mysql-nfs-pvc.yml
persistentvolumeclaim/nfs-pvc created
[root@k8s-master-10 /all-k8s-yml]#kubectl -n yuchaoit get pvc -owide
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE VOLUMEMODE
nfs-pvc Bound nfs-pv 10Gi RWX 7m43s Filesystem
[root@k8s-master-10 /all-k8s-yml]#kubectl -n yuchaoit get pv -owide
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE VOLUMEMODE
nfs-pv 10Gi RWX Retain Bound yuchaoit/nfs-pvc 25m Filesystem5.storageClass实现动态挂载
上面于超老师讲的PV、PVC、创建pv及pvc过程是手动，且pv与pvc一一对应，手动创建很繁琐。
k8s提供了一个更简单的方法，能动态自动创建PV。
通过storageClass + provisioner的方式来实现通过PVC自动创建并绑定PV。
这里作为高阶存储玩法，以后再补充。
6.创建mysql-deployment控制器
apiVersion: apps/v1 # 注意这里与Pod的区别，Deployment是apps/v1而不是v1
kind: Deployment # 资源类型为Deployment
metadata:
name: mysql-deploy # Deployment的名称
namespace: yuchaoit
labels:
app: mysql
spec:
selector: # RS控制器基于label匹配pod，确保副本数
matchLabels:
app: mysql
template: # Pod的定义，用于创建Pod，也称为Pod template
metadata:
labels: # pod打上标签
app: mysql # 必须和selector一样
spec:
volumes: # 给pod内定义2个卷
- name: mysql-pvc
persistentVolumeClaim: # pod引用PVC
claimName: mysql-pvc
- name: mysql-log
hostPath:
path: /var/log/mysql
nodeSelector: # pod部署节点选择器
diskType: SSD
containers:
- image: mysql:5.7
name: mysql
imagePullPolicy: IfNotPresent
ports:
- name: dbport
containerPort: 3306 # 指明容器内要暴露的端口
env:
- name: MYSQL_ROOT_PASSWORD
value: "www.yuchaoit.cn"
volumeMounts:
- name: mysql-pvc # 容器内挂载pvc
mountPath: /var/lib/mysql # 挂载点
- name: mysql-log
mountPath: /var/log/mysql运行
[root@k8s-master-10 /all-k8s-yml]#kubectl create -f mysql-deploy.yml
起不来？看看问题
[root@k8s-master-10 /all-k8s-yml]#kubectl -n yuchaoit describe pod mysql-deploy-98b786585-p9b9g
加上label
[root@k8s-master-10 /all-k8s-yml]#kubectl label nodes k8s-node-12 diskType=SSD
error: 'diskType' already has a value (ssd), and --overwrite is false
[root@k8s-master-10 /all-k8s-yml]#kubectl label nodes k8s-node-12 diskType=SSD --overwrite
node/k8s-node-12 labeled
查看结果
[root@k8s-master-10 /all-k8s-yml]#kubectl -n yuchaoit get po -owide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
mysql-deploy-98b786585-p9b9g 1/1 Running 0 2m12s 10.2.2.74 k8s-node-12 <none> <none>7.结果测试
按如下流程测试即可
1.查看PV里的数据
[root@k8s-master-10 /nfs-volume/mysql]#ls
auto.cnf ca.pem client-key.pem ibdata1 ib_logfile1 mysql private_key.pem server-cert.pem sys
ca-key.pem client-cert.pem ib_buffer_pool ib_logfile0 ibtmp1 performance_schema public_key.pem server-key.pem
2.加一个数据试试
mysql> create database yuchao_k8s;
Query OK, 1 row affected (0.01 sec)
3.删除pod，查看数据能回来吗？（deployment保障了pod的副本数）
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
