Error response from daemon: OCI runtime create failed: container_linux.go:367: starting container process caused: process_linux.go:340: applying cgroup configuration for process caused: failed to write "1": write /sys/fs/cgroup/memory/docker/790f8991614bae609a5145ca3b06585d3bb22295c18dedb6a8ec1b37cc334eef/memory.kmem.limit_in_bytes: cannot allocate memory: unknown
使用命令启动容器:docker-compose up -d nginx
报错。
参考:Docker 之 cannot allocate memory
从错误的提示分析,推测关键词是:cgroup、mkdir XXX : cannot allocate momory
将关键词进行搜索,确实查到了很多相似(几乎一样)的现象,以及解决思路。
发生这个问题的大概原因:
- docker 默认使用 cgroup 的 kmem accounting 特性
- linux 内核4 以下的版本中,cgroup 的kmem accounting 特性存在BUG,无法有效的进行回收
- 容器频繁的创建关闭,将导致,cgroup 的可分配内存越来越少,直到最后耗尽
从原因反思我们的操作:
- linux 内核判断
用的服务器是 centos 7.5 ,从未进行内核升级,内核版本保持在3.10+,满足cgroup 的kmem accounting 的BUG 环境
- 是否频繁的创建容器
因为使用了gitlab 的CI/CD ,必然会导致频繁创建(累计值),同时当容器运行异常(比如第三方服务崩溃时),会导致容器短期内频繁重启、关闭,加速耗尽cgroup 的可分配内存。
我这里正是因为走了 GitLab的 CICD 导致的。这里重启下服务器解决。