目录
- 一、概述
- 二、CPU使用率控制
- 一、使用stress工具测试CPU和内存
- 二、CPU周期限制
- 三、CPU Core控制
- 四、CPU配额控制参数的混合使用
- 五、内存限额
- 六、Block IO限制
- 七、bps和iops
- 八、构建镜像时指定镜像限制
一、概述
1、Cgroup是 Control Groups的缩写,是Linux 内核提供的一种可以限制、记录、隔离进程组所使用的物理资源(如CPU、内存、磁盘:io等等)的机制。
2、Docker通过cgroup来控制容器使用的资源配额,包括 CPO、内存、磁盘三大方面,基本覆盖了常见的资源配额和使用量控制。
3、cgroup是一种资源控制手段,也是容器隔离的6个名称空间的一种实现手段。
4、每个容器都是一个进程。
二、CPU使用率控制
1、CPU周期:1s为一个周期的定律,参数值一般为100000 (CPU衡量单位是秒)
2、假如需要给此容器分配CPU使用率的20%,则参数需要设置为20000,相当于每个周期分配给这个容器0.2sCPU。
3、在一个时刻,只能给一个进程占用。
一、使用stress工具测试CPU和内存
使用dockerfile创建一个基于centos的stress的工具镜像
[root@docker ~]# mkdir /opt/stress
[root@docker ~]# vim /opt/stress/Dockerfile
FROM centos:7
RUN yum -y install wget
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
RUN yum -y install stress
[root@docker ~]# cd /opt/stress/
[root@docker stress]# docker build -t centos:stress .
#使用如下命令创建容器,命令中的--cpu-shares参数值不能保证可以获得1个vcpu或者多少GHz的CPU资源,它仅是一个弹性的加权值。
[root@docker stress]# docker run -itd --cpu-shares 100 centos:stress
9bde7ca43bdf8a717634f1fa3d8903cf5497b4f3fa20da689f275aab520adf32
ps:默认情况下,每个Docker容器的CPU份额都是1024。
单独一个容器的份额是没有意义的。只有在同时运行多个容器时,容器的CPU加权的效果才能体现出来。
Cgroups只在容器分配的资源紧缺时,即在需要对容器使用的资源进行限制时,才会生效。因此,无法单纯根据某个容器的CPU份额来确定有多少CPU资源分配给它,资源分配结果取决于同时运行的其他容器的CPU分配和容器中进程运行情况。可以通过cpu share可以设置容器便用CPU的优先级/权重,比如启动了两个容器及运行查看CPU使用百分比。
[root@docker stress]# docker run -tid --name cpu512 --cpu-shares 512 centos:stress stress -c 10 #容器产生10个子函数进程,512的优先级
ea1bf2b7259c8aa3333c67b9af9c6f941c63f140a3299e0a2b24c310dd246dde
[root@docker stress]# docker run -tid --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10 #容器产生10个子函数进程,1024的优先级
2e386164117ae32001d4bf5f40c38f4598f5800aa546c441f3ac24b6dfde0b38
[root@docker stress]# docker stats #查看资源使用
二、CPU周期限制
- Docker提供了–cpu-period、–cpu-quota两个参数控制容器可以分配到的CPU时钟周期。
- cpu-period 是用来指定容器对CPU的使用要在多长时间内做一次重新分配。
- cpu-guota是用来指定在这个周期内,最多可以有多少时间用来跑这个容器。与–cpu-shares不同的是,这种配置是指定一个绝对值,容器对CPU资源的使用绝对不会超过配置的值。
- cpu-period和cpu-quota的单位为微秒(us)。cpu-period 的最小值为 1000微秒,最大值为1秒(10*6us) ,默认值为0.1秒(10000o us ) 。
- cpu-quota的值默认为-1,表示不做控制。cpu-period 和 cpu-gquota参数一般联合使用。
[root@docker stress]# cd /sys/fs/cgroup/cpu/docker/
[root@docker docker]# cat cpu.cfs_quota_us #查看cpu-quota值
-1
[root@docker docker]# cat cpu.cfs_period_us #查看cpu-period,默认刷新时间0.1s
100000
[root@docker docker]# docker run -itd --name centos_quota1 --cpu-period 100000 --cpu-quota 200000 centos:stress
9f8ca36292cb0dd0256882d072a1471973a80990fcfa701a4bbc8e292c24b51d
[root@docker docker]# cd 9f8ca36292cb0dd0256882d072a1471973a80990fcfa701a4bbc8e292c24b51d/
[root@docker 9f8ca36292cb0dd0256882d072a1471973a80990fcfa701a4bbc8e292c24b51d]# cat cpu.cfs_period_us
100000
[root@docker 9f8ca36292cb0dd0256882d072a1471973a80990fcfa701a4bbc8e292c24b51d]# cat cpu.cfs_quota_us
200000
#可以使用docker inspect centos_quota1查看
三、CPU Core控制
对多核CPU的服务器,Docker还可以控制容器运行使用哪些CPU内核,即使用–cpuset-cpus参数。这对具有多CPU的服务器尤其有用,可以对需要高性能计算的容器进行性能最优的配置。
[root@docker docker]# docker run -itd --name cpu --cpuset-cpus 0-1 centos:stress
89412e9815481d1ffb22121a2492bfa6dc31e904110e36e95524ef860f19adae
[root@docker docker]# cd /sys/fs/cgroup/cpuset/docker/
[root@docker docker]# cd 89412e9815481d1ffb22121a2492bfa6dc31e904110e36e95524ef860f19adae/
[root@docker 89412e9815481d1ffb22121a2492bfa6dc31e904110e36e95524ef860f19adae]# cat cpuset.cpus
0-1
[root@docker ~]# docker exec 89412e981548 taskset -c -p 1 #容器内部第一个进程号pid为1被绑定到指定的CPU上运行
pid 1's current affinity list: 0,1
四、CPU配额控制参数的混合使用
- 通过cpuset-cpus 参数指定容器A使用CPU内核0,容器B只是用cPU内核1。
- 在主机上只有这两个容器使用对应CPU内核的情况,它们各自占用全部的内核资源,cpu-shares 没有明显效果。
[root@docker ~]# docker run -tid --name cpu1 --cpuset-cpus 1 --cpu-shares 512 centos:stress stress -c 1
dff4e26e7e683e892b1dec17bb322e9d3768eff07e8dab7f725c6b6ad61c7826
[root@docker ~]# top #按1查看每个核心的占用
[root@docker ~]# docker run -tid --name cpu2 --cpuset-cpus 3 --cpu-shares 1024 centos:stress stress -c 1
df8a6b6f7c76c1e271672ee9421324275258cc82c60cb7912b7169c0afe07b13
[root@docker ~]# top
[root@docker ~]# docker run -tid --name cpu3 --cpuset-cpus 3 --cpu-shares 512 centos:stress stress -c 1
077cbf96ffff4138ae47f0675218edf16ba1027f61e039dcb4a98ff058f53455
[root@docker ~]# docker stats
五、内存限额
- 与操作系统类似,容器可使用的内存包括两部分:物理内存和 Swap
- Docker 通过下面两组参数来控制容器内存的使用量。
- -m或–memory:设置内存的使用限额,例如100M、1024M。
- –memory-swap:设置内存+swap的使用限额。
[root@docker ~]# docker run -it -m 200M --memory-swap=300M centos:stress
[root@docker ~]# docker run -itd centos:stress
[root@docker ~]# docker stats
两者对比:
六、Block IO限制
- 默认情况下,所有容器能平等地读写磁盘,可以通过设置–blkio-weight参数来改变容器block 1o的优先级。
- –blkio-weight 与–cpu-shares类似,设置的是相对权重值,默认为500。
[root@docker ~]# cd /sys/fs/cgroup/blkio/docker
[root@docker docker]# docker run -itd --name container_1 --blkio-weight 600 centos:stress
[root@docker docker]# docker run -itd --name container_2 --blkio-weight 300 centos:stress
七、bps和iops
- bps是byte per second,每秒读写的数据量。
- iops是io per second,每秒Io的次数。
- 可通过以下参数控制容器的bps 和iops:
- –device-read-bps,限制读某个设备的bps。
- –device-write-bps,限制写某个设备的bps。
- –device-read-iops,限制读某个设备的iops。
- –device-write-iops,限制写某个设备的iopso
#限制容器写/dev/sda的速率为5M/s
[root@docker ~]# docker run -it --device-write-bps /dev/sda:5MB centos:stress
[root@8126f23243c8 /]# dd if=/dev/zero of=test bs=1M count=10 oflag=direct
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 2.00367 s, 5.2 MB/s
#不限制
[root@docker ~]# docker run -it centos:stress
[root@ee204e652078 /]# dd if=/dev/zero of=test bs=1M count=10 oflag=direct
10+0 records in
10+0 records out
10485760 bytes (10 MB) copied, 0.0223384 s, 469 MB/s
八、构建镜像时指定镜像限制
选项 | 含义 |
–build-arg=[] | 设置镜像创建时的变量 |
–cpu-shares | 设置cpu使用权重 |
–cpu-period | 限制cPU CFS周期 |
–cpu-quota | 限制cPU CFS配额 |
–cpuset-cpus | 指定使用的CPU id |
–cpuset-mems | 指定使用的内存id |
–disable-content-trust | 忽略校验,默认开启 |
-f | 指定要使用的Dockerfile路径 |
–force-rm | 设置镜像过程中删除中间容器 |
–isolation | 使用容器l隔离技术 |
–label=[] | 设置镜像使用的元数据 |
-m | 设置内存最大值 |
–memory-swap | 设置Swap的最大值为内存+swap,"-1"表示不限swap |
–no-cache | 创建镜像的过程不使用缓存 |
–pull | 尝试去更新镜像的新版本 |
–quiet, -q | 安静模式,成功后只输出镜像ID |
–rm | 设置镜像成功后删除中间容器 |
–shm-size | 设置/dev / shm的大小,默认值是64M |
–ulimit | Ulimit配置 |
–squash | 将Dockerfile中所有的操作压缩为一层 |
–tag, -t | 镜像的名字及标签,通常name :tag或者name格式;可以在一次构建中为一个镜像设置多个标签。 |
–network | 默认default。在构建期间设置RUN指令的网络模式 |