zphj1987的博客_存储相关(2)_51CTO博客
51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
全部课程 厂商认证 IT技术 25年5月软考 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
# 存储相关

ceph luminous版本限制osd的内存使用

引言 ceph自从到了L版本以后，L版本的启用，对性能本身有了极大的提高，一直对这个比较不放心的就是内存的占用，刚开始的时候记得大量dd就可以把内存搞崩掉，这个应该是内部的设计逻辑需要更多的内存的占用 最近在做ARM版本的服务器的测试，机器为36盘位的机器，内存需要自然多，但是36盘位的机器，按之前

Ceph
原创 2019-09-03 15:10:00 525 阅读

CTDB使用radosobject作为lockfile

前言 服务器的服务做HA有很多种方式，其中有一种就是是用CTDB，之前这个是独立的软件来做HA的，现在已经跟着SAMBA主线里面了，也就是跟着samba发行包一起发行 之前CTDB的模式是需要有一个共享文件系统，并且在这个共享文件系统里面所有的节点都去访问同一个文件，会有一个Master会获得这个文

IT
原创 2019-09-02 08:01:00 266 阅读

ceph luminous bluestore热插拔实现

需求描述 在某些测试场景下面，需要满足能够拔盘以后在插入的时候能够自动上线磁盘，这个需求实际在生产中是不建议使用的，原因是插入的磁盘如果本身存在问题，那么拉起的操作可能会破坏了本身集群的稳定性，所以这个算是一个测试相关的功能，但是做这个功能的前提是我们不要去影响了正常的环境的逻辑 类似的功能的开发都

Ceph
原创 2019-09-02 08:01:00 435 阅读

bluestore对象挂载到系统进行提取

前言 之前在filestore里面，pg是直接暴露到文件系统的，也就是可以直接进去查看或者拷贝，在极端情况下，多个osd无法启动，pg无法导出的时候，那么对pg内部对象的操作处理，是可以作为最后恢复数据的一种方式的 这个在bluestore里面就没那么直接了，之前也碰到过一次，osd无法启动，内部死

IT
原创 2019-07-26 11:06:00 293 阅读

慢话crush-各种crush组合

前言 ceph已经是一个比较成熟的开源的分布式存储了，从功能角度上来说，目前的功能基本能够覆盖大部分场景，而社区的工作基本上是在加入企业级的功能和易用性还有性能等方面在发力在，不管你是新手还是老手，都绕不开的一个问题就是crush，而crush是决定着数据的分布的，很多人并不理解为什么会有这个cru

IT
原创 2019-03-22 16:35:00 151 阅读

ceph的pg的分布的快速查看

前言 本篇的内容实际上是另外一篇文章的字篇章，在另外一篇文章当中，将会对crush的分布的调整的做一次总结，用比较简单的方式来展示各种crush的区别 在做这个工作过程中，为了更好的能展示出效果，就有了下面的这个小工具的出现 工具来源 假如我现在想查看一个存储池内的pg的分布，那么我们需要下面的几个

Ceph
原创 2019-03-08 17:45:00 568 阅读

vdbench测试实时可视化显示

前言 前一段时间碰到一个系统，用rados bench 去跑都还比较正常，但是一跑数据库就非常慢，测试工具会抛出延时过大的提示，经过排查发现，云平台中有一台虚拟机还运行着备份数据库的服务，而这个备份软件是需要反复写一个标记文件的，因为这个标记文件只对应了一个对象，一个对象对应了一个pg，一个pg对应

IT
原创 2019-01-03 22:56:00 1436 阅读 1评论

处理ceph incompelete的经验

前言 最近已经见到几个环境出现过incompelete了，这个在很久以前Jewel正在合入mark-complete工具的时候就有做过类似的处理，但是随着处理的环境越来越多，这个地方还是有些需要注意的，本篇是写一些需要注意的点 一般来说是环境有多个机器同时坏盘或者掉电，或者掉主机引起的 处理流程 拿

Ceph
原创 2018-12-19 12:05:00 116 阅读

cephfs根据存储池显示df容量

前言 如果用cephfs比较多，应该都知道，在cephfs的客户端进行mount以后，看到的容量显示的是集群的总的容量，也就是你的总的磁盘空间是多少这个地方显示的就是多少 这个一直都是这样显示的，我们之前在hammer版本的时候，阿茂和大黄一起在公司内部实现了这个功能，社区会慢慢的集成一些类似的面向

Ceph
原创 2018-08-19 11:29:00 1010 阅读

快速构建ceph可视化监控系统

前言 ceph的可视化方案很多，本篇介绍的是比较简单的一种方式，并且对包都进行了二次封装，所以能够在极短的时间内构建出一个可视化的监控系统 本系统组件如下： ceph-jewel版本 ceph_exporter的jewel版本 prometheus的2.3.2版本 grafana的grafana-5

Ceph
原创 2018-07-17 18:50:00 640 阅读

利用s3-test进行ceph的接口兼容性测试

前言 ceph的rgw能够提供一个兼容性的s3的接口，既然是兼容性，当然不可能是所有接口都会兼容，那么我们需要有一个工具来进行接口的验证以及测试，这个在其他测试工具里面有类似的posix接口验证工具，这类的工具就是跑测试用例，来输出通过或者不通过的列表 用此类的工具有个好的地方就是，能够对接口进行验

Ceph
原创 2018-06-27 17:17:00 415 阅读

ceph erasure默认的min_size分析

引言 最近接触了两个集群都使用到了erasure code,一个集群是hammer版本的，一个环境是luminous版本的，两个环境都出现了incomplete，触发的原因有类似的地方，都是有osd的离线的问题 准备在本地环境进行复验的时候，发现了一个跟之前接触的erasure不同的地方，这里做个记

Ceph
原创 2018-06-12 10:43:00 699 阅读

cephfs元数据池故障的恢复

前言 cephfs 在L版本已经比较稳定了，这个稳定的意义个人觉得是在其故障恢复方面的成熟，一个文件系统可恢复是其稳定必须具备的属性，本篇就是根据官网的文档来实践下这个恢复的过程 实践过程 部署一个ceph Luminous集群 [root@lab102 ~]# ceph -v ceph versi

IT
原创 2018-05-29 23:37:00 311 阅读

cosbench使用方法

##前言 cosbench的功能很强大，但是配置起来可能就有点不是太清楚怎么配置了，本篇将梳理一下这个测试的配置过程，以及一些测试注意项目，以免无法完成自己配置模型的情况 ##安装 cosbench模式是一个控制端控制几个driver向后端rgw发起请求 下载最新版本 https://github.

IT
原创 2018-04-12 01:18:00 621 阅读

ceph的ISCSI GATEWAY

前言 最开始接触这个是在L版本的监控平台里面看到的，有个iscsi网关，但是没看到有类似的介绍，然后通过接口查询到了一些资料，当时由于有比较多的东西需要新内核，新版本的支持，所以并没有配置出来，由于内核已经更新迭代了几个小版本了，经过测试验证可以跑起来了，这里只是把东西跑起来，性能相关的对比需要根据

Ceph
原创 2018-04-11 14:57:00 551 阅读 1收藏

parted会启动你的ceph osd，意外不？

前言 如果看到标题，你是不是第一眼觉得写错了，这个怎么可能，完全就是两个不相关的东西，最开始我也是这么想的，直到我发现真的是这样的时候，也是很意外，还是弄清楚下比较好，不然在某个操作下，也许就会出现意想不到的情况 定位 如果你看过我的博客，正好看过这篇 <<ceph在centos7下一个不容易发现的

Ceph
原创 2018-03-23 23:54:00 105 阅读

REDHAT 7.5beta 新推出的VDO功能

前言 关于VDO VDO的技术来源于收购的Permabit公司，一个专门从事重删技术的公司，所以技术可靠性是没有问题的 VDO是一个内核模块，目的是通过重删减少磁盘的空间占用，以及减少复制带宽，VDO是基于块设备层之上的，也就是在原设备基础上映射出mapper虚拟设备，然后直接使用即可，功能的实现主

IT
原创 2018-02-10 16:26:00 125 阅读

定位一个网络问题引起的ceph异常

前言 有一个ceph环境出现了异常，状态就是恢复异常的慢，但是所有数据又都在走，只是非常的慢，本篇将记录探测出问题的过程，以便以后处理类似的问题有个思路 处理过程 问题的现象是恢复的很慢，但是除此以外并没有其它的异常，通过iostat监控磁盘，也没有出现异常的100%的情况，暂时排除了是osd底层慢

IT
原创 2018-01-16 23:10:00 183 阅读

Kernel RBD的QOS配置方案

前言 关于qos的讨论有很多，ceph内部也正在实现着一整套的基于dmclock的qos的方案，这个不是本篇的内容，之前在社区的邮件列表看过有研发在聊qos的相关的实现的，当时一个研发就提出了在使用kernel rbd的时候，可以直接使用linux的操作系统qos来实现，也就是cgroup来控制读取

IT
原创 2018-01-05 15:23:00 248 阅读

Ceph对象主本损坏的修复方法

前言 问题的触发是在进行一个目录的查询的时候，osd就会挂掉，开始以为是osd操作超时了，后来发现每次访问这个对象都有问题 log [WRN] ： slow request 60.793196 seconds old, received at osd_op(mds.0.188:72834523410

Ceph
原创 2018-01-02 22:22:00 487 阅读

mds的cpu占用问题分析以及解决办法

前言 mds是ceph里面处理文件接口的组件，一旦使用文件系统，不可避免的会出现一种场景就是目录很多，目录里面的文件很多，而mds是一个单进程的组件，现在虽然有了muti mds，但稳定的使用的大部分场景还是单acitve mds的 这就会出现一种情况，一旦一个目录里面有很多文件的时候，去查询这个目

IT
原创 2017-12-04 22:48:00 497 阅读

CentOS GRUB损坏修复方法

前言 博客很久没有更新了，一个原因就是原来存放部署博客的环境坏了，硬盘使用的是SSD，只要读取到某个文件，整个磁盘就直接识别不到了，还好博客环境之前有做备份，最近一直没有把部署环境做下恢复，今天抽空把环境做下恢复并且记录一篇基础的GRUB的处理文档 这两天正好碰到GRUB损坏的事，很久前处理过，但是

IT
原创 2017-11-30 22:52:00 641 阅读

掉电后osdmap丢失无法启动osd的解决方案

前言 本篇讲述的是一个比较极端的故障的恢复场景，在整个集群全部服务器突然掉电的时候，osd里面的osdmap可能会出现没刷到磁盘上的情况，这个时候osdmap的最新版本为空或者为没有这个文件 还有一种情况就是机器宕机了，没有马上处理，等了一段时间以后，服务器机器启动了起来，而这个时候osdmap已经

IT
原创 2017-09-27 14:03:00 115 阅读

怎样禁止Ceph OSD的自动挂载

前言 本篇来源于群里一个人的问题，有没有办法让ceph的磁盘不自动挂载，一般人的问题都是怎样让ceph能够自动挂载，在centos 7 平台下 ceph jewel版本以后都是有自动挂载的处理的，这个我之前也写过两篇文章《ceph在centos7下一个不容易发现的改变》和《Ceph数据盘怎样实现自动

IT
原创 2017-09-07 00:30:00 246 阅读

Ceph OSD服务失效自动启动控制

前言 服务器上面的服务会因为各种各样的原因失败，磁盘故障，权限问题，或者是服务过载引起超时，这些都可能引起 这个在ceph里面systemctl unit 默认有个on-fail restart,默认的可能并不适合所有的场景，所以自动化的服务应该是尽量去适配你手动处理的过程，手动怎么处理的，就怎么去

IT
原创 2017-09-06 12:33:00 163 阅读

osd磁盘空间足够无法写入数据的分析与解决

前言 这个问题的来源是ceph社区里面一个群友的环境出现在85%左右的时候，启动osd报错，然后在本地文件系统当中进行touch文件的时候也是报错，df -i查询inode也是没用多少，使用的也是inode64挂载的，开始的时候排除了配置原因引起的，在ceph的邮件列表里面有一个相同问题，也是没有得

IT
原创 2017-09-04 23:06:00 483 阅读

为什么关不掉所有的OSD

前言 碰到一个cepher问了一个问题： 为什么我的OSD关闭到最后有92个OSD无法关闭,总共的OSD有300个左右 想起来在很久以前帮人处理过一次问题，当时环境是遇上了一个BUG，需要升级到新版本进行解决，然后当时我来做操作，升级以后，发现osd无法启动，进程在，状态无法更新，当时又回滚回去，就

IT
原创 2017-08-21 13:39:00 80 阅读

关于scrub的详细分析和建议

前言 关于scrub这块一直想写一篇文章的，这个在很久前，就做过一次测试，当时是看这个scrub到底有多大的影响，当时看到的是磁盘读占很高，启动deep-scrub后会有大量的读,前端可能会出现 slow request,这个是当时测试看到的现象，一个比较简单的处理办法就是直接给scrub关掉了，当

IT
原创 2017-08-19 23:08:00 429 阅读

如何测量Ceph OSD内存占用

前言 这个工具我第一次看到是在填坑群里面看到，是由研发-北京-蓝星同学分享的，看到比较有趣，就写一篇相关的记录下用法 火焰图里面也可以定位内存方面的问题，那个是通过一段时间的统计，以一个汇总的方式来查看内存在哪个地方可能出了问题 本篇是另外一个工具，这个工具的好处是有很清晰的图表操作，以及基于时间线

IT
原创 2017-08-10 16:55:00 162 阅读

Ceph recover的速度控制

前言 磁盘损坏对于一个大集群来说，可以说是必然发生的事情，即使再小的概率，磁盘量上去，总会坏那么几块盘，这个时候就会触发内部的修复过程，修复就是让不满足副本要求的PG，恢复到满足的情况 一般是踢掉坏盘和增加新盘会触发这个修复过程，或者对磁盘的权重做了修改，也会触发这个迁移的过程，本篇是用剔除OSD的

IT
原创 2017-08-10 14:54:00 141 阅读

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯