Error response from daemon: OCI runtime create failed: container_linux.go:367: starting container process caused: process_linux.go:340: applying cgroup configuration for process caused: failed to write "1": write /sys/fs/cgroup/memory/docker/790f8991614bae609a5145ca3b06585d3bb22295c18dedb6a8ec1b37cc334eef/memory.kmem.limit_in_bytes: cannot allocate memory: unknown

使用命令启动容器:docker-compose up -d nginx 报错。

参考:Docker 之 cannot allocate memory

从错误的提示分析,推测关键词是:cgroup、mkdir XXX : cannot allocate momory
将关键词进行搜索,确实查到了很多相似(几乎一样)的现象,以及解决思路。

发生这个问题的大概原因:

  • docker 默认使用 cgroup 的 kmem accounting 特性
  • linux 内核4 以下的版本中,cgroup 的kmem accounting 特性存在BUG,无法有效的进行回收
  • 容器频繁的创建关闭,将导致,cgroup 的可分配内存越来越少,直到最后耗尽

从原因反思我们的操作:

  • linux 内核判断

用的服务器是 centos 7.5 ,从未进行内核升级,内核版本保持在3.10+,满足cgroup 的kmem accounting 的BUG 环境

  • 是否频繁的创建容器

因为使用了gitlab 的CI/CD ,必然会导致频繁创建(累计值),同时当容器运行异常(比如第三方服务崩溃时),会导致容器短期内频繁重启、关闭,加速耗尽cgroup 的可分配内存。

我这里正是因为走了 GitLab的 CICD 导致的。这里重启下服务器解决。