kubernetes配置证书 kubernetes rbac配置

 

https://blog.51cto.com/ylw6006/2067326

Kubernetes API的其它服务。Service Account它并不是给kubernetes集群的用户使用的，而是给pod里面的进程使用的，它为pod提供必要的身份认证。

Kubernetes提供了Secret来处理敏感信息，目前Secret的类型有3种： 
Opaque(default): 任意字符串 
kubernetes.io/service-account-token: 作用于ServiceAccount
kubernetes.io/dockercfg: 作用于Docker registry，用户下载docker镜像认证使用。

本文将介绍在kubernetes集群中配置serviceaccount和secret，可以让kubernetes使用私有仓库，并支持nginx basic认证。由于我们采用的是rpm包方式安装的kubernetes集群，默认没有ca.crt、kubecfg.crt kubecfg.key 、server.cert 、server.key这些文件，需要下载源码生成。

一、使用工具生成key文件

# mkdir git
# cd git/
# git clone https://github.com/kubernetes/kubernetes

科学上网方式下载easy-rsa.tar.gz，下载地址在make-ca-cert.sh脚本中可以找到，将文件放到~/kube目录下

# ls ~/kube
easy-rsa.tar.gz
# cd /root/git/kubernetes/
# sh cluster/centos/make-ca-cert.sh 192.168.115.5
# ls /srv/kubernetes/
ca.crt  kubecfg.crt  kubecfg.key  server.cert  server.key
# chown -R kube:kube /srv/kubernetes/*

将这些文件发送到vm2主机的相同目录

# chown -R kube:kube /srv/kubernetes/*
# scp -rp /srv/ root@vm2:/

二、修改配置文件

# grep -v '^#' /etc/kubernetes/apiserver |grep -v '^$'
KUBE_API_ADDRESS="--insecure-bind-address=192.168.115.5"
KUBE_ETCD_SERVERS="--etcd-servers=http://192.168.115.5:2379"
KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.254.0.0/16"
KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,ServiceAccount,SecurityContextDeny,ResourceQuota"
KUBE_API_ARGS="--storage-backend=etcd2 --secure-port=6443 --client-ca-file=/srv/kubernetes/ca.crt --tls-cert-file=/srv/kubernetes/server.cert --tls-private-key-file=/srv/kubernetes/server.key"

# grep -v '^#' /etc/kubernetes/controller-manager |grep -v '^$'
KUBE_CONTROLLER_MANAGER_ARGS="--root-ca-file=/srv/kubernetes/ca.crt --service-account-private-key-file=/srv/kubernetes/server.key"

三、重启相关服务

Master:
# systemctl restart kube-apiserver
# systemctl restart kube-controller-manager
# systemctl restart kube-scheduler

Slave：
# systemctl restart kubelet
# systemctl restart kube-proxy

# kubectl get secret    
# kubectl describe secret default-token-6pddn

四、通过配置secret，让kubernetes可以从私有仓库中拉取镜像

# kubectl create secret docker-registry regsecret \
--docker-server=registry.fjhb.cn  \
--docker-username=ylw \
 --docker-password=123 \
 --docker-email=[e-mail]

在yaml文件sepc节加入imagePullSecrets，指定使用创建好的secret

# kubectl create -f frontend-controller.yaml

通过参考kubernetes的官方文档，并不能解决实际问题
https://kubernetes.io/docs/tasks/configure-pod-container/pull-image-private-registry/

nginx日志依然报401认证错误

我们知道使用docker pull去私有仓库拉取镜像，需要先使用docker login登陆一下私有仓库，而login执行的操作，实际上就是在用户的家目录写入了.docker/config.json文件。将此文件做一个软链接到 /var/lib/kubelet/.docker/就可以解决此问题了。当配置了软连接后就不需要在yaml文件中引用前面的创建的secret了。

# cat /root/.docker/config.json
# ln -s /root/.docker/ /var/lib/kubelet/.docker/

# kubectl create -f frontend-controller.yaml

一、介绍

Service Account概念的引入是基于这样的使用场景：运行在pod里的进程需要调用Kubernetes API以及非Kubernetes API的其它服务。Service Account它并不是给kubernetes集群的用户使用的，而是给pod里面的进程使用的，它为pod提供必要的身份认证。
 

二、创建Service Account

###serviceaccount（服务账号） 1、#创建serviceaccount kubectl create serviceaccount mysa 2、#查看mysa [root@k8s-m ~]# kubectl describe sa mysa Name: mysa Namespace: default Labels: <none> Annotations: <none> Image pull secrets: <none> Mountable secrets: mysa-token-2zjlp Tokens: mysa-token-2zjlp Events: <none> 3、#查看mysa自动创建的secret [root@k8s-m ~]# kubectl get secret NAME TYPE DATA AGE default-token-29dpx kubernetes.io/service-account-token 3 119d mysa-token-2zjlp kubernetes.io/service-account-token 3 1m 4、#使用mysa的sa资源配置pod [root@k8s-m ~]# cat mysa-pod.yaml apiVersion: v1 kind: Pod metadata: name: nginx-pod labels: app: my-pod spec: containers: - name: my-pod image: nginx ports: - name: http containerPort: 80 serviceAccountName: mysa 5、#导入 [root@k8s-m ~]# kubectl apply -f mysa-pod.yaml 6、#查看 [root@k8s-m ~]# kubectl describe pod nginx-pod 7、#查看使用的token和secret（使用的是mysa的token） kubectl get pod nginx-pod -o jsonpath={".spec.volumes"}

 

创建k8s账号及RBAC授权

一、介绍

在Kubernetes中，授权有ABAC（基于属性的访问控制）、RBAC（基于角色的访问控制）、Webhook、Node、AlwaysDeny（一直拒绝）和AlwaysAllow（一直允许）这6种模式。从1.6版本起，Kubernetes 默认启用RBAC访问控制策略。从1.8开始，RBAC已作为稳定的功能。通过设置–authorization-mode=RBAC，启用RABC。在RABC API中，通过如下的步骤进行授权：1）定义角色：在定义角色时会指定此角色对于资源的访问控制的规则；2）绑定角色：将主体与角色进行绑定，对用户进行访问授权。

二、创建k8s账号与RBAC授权使用

##创建账号 #1、创建私钥 (umask 077; openssl genrsa -out zhang.key 2048) #用此私钥创建一个csr(证书签名请求)文件 openssl req -new -key zhang.key -out zhang.csr -subj "/CN=zhang" openssl x509 -req -in zhang.csr -CA /etc/kubernetes/pki/ca.crt -CAkey /etc/kubernetes/pki/ca.key -CAcreateserial -out zhang.crt -days 365 #2、查看证书内容 openssl x509 -in zhang.crt -text -noout kubectl config set-credentials zhang --client-certificate=./zhang.crt --client-key=./zhang.key --embed-certs=true #3、设置上下文 kubectl config set-context zhang@kubernetes --cluster=kubernetes --user=zhang #4、切换用户 kubectl config use-context zhang@kubernetes ##测试（还未赋予权限） [root@k8s-m ssl]# kubectl get pod No resources found. Error from server (Forbidden): pods is forbidden: User "zhang" cannot list pods in the namespace "default" ##授权 #K8S授权请求是http的请求 对象URL格式： /apis/[GROUP]/[VERSION]/namespace/[NAMESPACE_NAME]/[KIND]/[OBJECT_ID] k8s授权方式分为：serviceaccount和自己签证ca证书的账号，及签证ca的用户组（group）上（授权给这个组的权限） #简介 role: 1、允许的操作，如get,list等 2、允许操作的对象，如pod,svc等 rolebinding:将哪个用户绑定到哪个role或clusterrole上 clusterrole：(集群角色) clusterrolebinding:(绑定到集群) 3、如果使用rolebinding绑定到clusterrole上，表示绑定的用户只能用于当前namespace的权限 #创建一个角色（role） kubectl create role myrole --verb=get,list,watch --resource=pod,svc #绑定用户zhang（上面创建的用户），绑定role为myrole kubectl create rolebinding myrole-binding --role=myrole --user=zhang #切换用户 [root@k8s-m ~]# kubectl config use-context zhang@kubernetes Switched to context "zhang@kubernetes". #查看权限（只授权了default名称空间pod和svc的get，list，watch权限） [root@k8s-m ~]# kubectl get pod NAME READY STATUS RESTARTS AGE nginx-pod 0/1 ImagePullBackOff 0 1h [root@k8s-m ~]# kubectl get pod -n kube-system #无权访问kube-system No resources found. Error from server (Forbidden): pods is forbidden: User "zhang" cannot list pods in the namespace "kube-system" [root@k8s-m ~]# kubectl delete pod nginx-pod #无删除权限 Error from server (Forbidden): pods "nginx-pod" is forbidden: User "zhang" cannot delete pods in the namespace "default" #创建clusterrole#可以访问全部的namespace kubectl create clusterrole mycluster-role --verb=get,list,watch --resource=pod,svc #删除zhang账号之前绑定的rolebinding kubectl delete rolebinding myrole-binding #使用clusterrolebinding绑定clusterrole kubectl create clusterrolebinding my-cluster-rolebinding --clusterrole=mycluster-role --user=zhang #切换账号 kubectl config use-context zhang@kubernetes #查看权限 查看kube-system空间的pod [root@k8s-m ~]# kubectl get pod -n kube-system NAME READY STATUS RESTARTS AGE coredns-78fcdf6894-67h9h 1/1 Running 1 11h coredns-78fcdf6894-lzxmz 1/1 Running 1 11h etcd-k8s-m 1/1 Running 2 11h ......

　　

 

配置一个新账号和配置文件并授权

##创建证书 (umask 077; openssl genrsa -out k8s.key 2048) #用此私钥创建一个csr(证书签名请求)文件(/0是组名) openssl req -new -key k8s.key -out k8s.csr -subj "/CN=k8s/O=zhang" openssl x509 -req -in k8s.csr -CA /etc/kubernetes/pki/ca.crt -CAkey /etc/kubernetes/pki/ca.key -CAcreateserial -out k8s.crt -days 365 #查看证书内容 openssl x509 -in k8s.crt -text -noout ##创建secret #创建一个generic的secre namespace设置为default kubectl create secret generic k8s -n default --from-file=k8s.crt=./k8s.crt --from-file=k8s.key=./k8s.key #查看 [root@k8s-m ~]# kubectl get secret |grep k8s k8s Opaque 2 35s ###配置生成 kubectl config set-cluster kubernetes --certificate-authority=/etc/kubernetes/pki/ca.crt --server="https://10.0.0.141:6443" --embed-certs=true --kubeconfig=./k8s.config ## 配置客户端认证 kubectl config set-credentials k8s --client-certificate=./k8s.crt --client-key=./k8s.key --embed-certs=true --kubeconfig=./k8s.config ### 配置关联 kubectl config set-context k8s@user --cluster=kubernetes --user=k8s --kubeconfig=./k8s.config ##创建role kubectl create role k8s-role --verb=get,list,watch --resource=pod,svc #创建rolebinding kubectl create rolebinding k8s-rolebinding --role=k8s-role --user=k8s #替换配置文件 [root@k8s-m ~]# mv /root/.kube/config /mnt/ [root@k8s-m ~]# cp k8s.config /root/.kube/config #修改config的current-context内容 current-context: "" 改成# current-context: name: k8s@user ##查看 [root@k8s-m ~]# kubectl get pod NAME READY STATUS RESTARTS AGE my-statefulset-0 0/1 ContainerCreating 0 8d nginx-6f858d4d45-6qm6g 0/1 ImagePullBackOff 0 9d [root@k8s-m ~]# kubectl get pod -n kube-system No resources found. Error from server (Forbidden): pods is forbidden: User "k8s" cannot list pods in the namespace "kube-system"