乐胖代购免代理版

配置文件

无法解析

原创 9月前 76 阅读

ceph通过tgt配置多路径的数据一致性问题

前言使用librbd通过tgt出iscsi，多路径数据是一致的，由于环境的原因，切换为kernel rbd 出iscsi，然后通过不同的iscsi路径写入后，发现在r

数据

缓存

客户端

原创 9月前 165 阅读

已配置好的osd增加opencas配置

前言环境已经配置好了osd，想增加opencas的缓存加速，因为opencas支持在lvm之上部署，也支持在opencas上面创建lvm，而已经部署好osd的场景是属于前面的一种情况，也就是已经有lvm 的情况再加缓存加速因为ceph有自己的挂载逻辑，所以这里需要梳理一下，把整个启动路径给屏蔽掉

其他

原创 2021-03-17 12:03:00 219 阅读

测试主机的整机磁盘带宽

前言为什么需要有整机带宽的概念，因为我们很多时候去计算性能的时候，上去都会计算你有多少块盘，每块盘有多大的带宽，那么一乘就算出来了，其实没有那么简单，整个IO路径上面任何一个地方的瓶颈都会降低总体带宽的本篇的来源，很多年前，做机器测试的时候，总觉得机器上面的带宽不对，加起来不对，然后搜资料看到了

其他

原创 2021-03-12 15:26:00 376 阅读

武汉-磨渣

原创 2021-02-23 11:06:00 183 阅读

强制backfill替代recover避免阻塞

前言做recover会触发阻塞，引起前端的IO卡住，可以通过参数避免这个情况调整参数 # the number of entries to keep in the pg log when trimming it. Defaults to 3000. osd_min_pg_log_entries

其他

原创 2021-01-30 17:51:00 227 阅读

清理多台主机集群的脚本

目的清理环境所有的数据，删除并恢复到初始状态脚本 #! /bin/sh for host in lab101 lab102 do ssh $host hostname ssh $host systemctl stop ceph-radosgw.target ssh $host systemctl

IT

原创 2021-01-26 18:41:00 170 阅读

简单的统计剩余ceph迁移时间

需求由于迁移忽快忽慢，需要知道大概的迁移的时间，做了一个简单的统计脚本，可能不准，大概能够知道在什么范围内脚本 #! /bin/sh while ( 2>1 ) do start=`ceph -s|grep pgs|grep mis|awk '{print $2}'|cut -d / -f 1`

Ceph

原创 2021-01-12 10:57:00 227 阅读

rbd锁引起kvm虚拟机无法启动的故障

前言环境因为一些问题（网络，或者磁盘，或者其它各种异常），引起了集群的状态的一些变化，变化之后，集群的某些虚拟机正常某些虚拟机出现异常，异常现象就是无法启动特别是win server2008 ,会一直卡在滚动条这里这个问题很久前碰到过一个哥们出现过，他问我是否遇到过，这个之前遇到过一次无法启动

其他

原创 2020-12-18 16:30:00 398 阅读

内核补丁热更新ceph内核模块

前言内核模块的更新一般需要卸载模块再加载，但是很多时候使用场景决定了无法做卸载的操作，而linux支持了热更新内核模块的功能，这个已经支持了有一段时间了，一直没有拿ceph的相关模块进行验证注意模块的某些函数是不支持的，init的部分是不支持的，补丁弄完验证一下就可以知道支不支持，不支持的部分会

Ceph

原创 2020-11-19 17:10:00 510 阅读

rgw使用boto3生成可以访问的预签名url

##前言如果想访问一个ceph里面的s3地址，但是又不想直接提供secrect key的时候，可以通过预签名的方式生成url 生成方法下载boto3 脚本如下 cat s3.py import boto3 from botocore.client import Config s3_host="h

rgw

原创 2020-11-03 14:28:00 584 阅读

ceph的df容量显示计算

显示数据 [root@lab201 ~]# ceph df GLOBAL: SIZE AVAIL RAW USED %RAW USED 1092T 404T 688T 63.01% POOLS: NAME ID USED %USED MAX AVAIL OBJECTS rbd 0 17483G 15

Ceph

原创 2020-10-28 11:58:00 2578 阅读

ceph bluestore的db分区应该预留多大的空间

前言关于bluestore的db应该预留多少空间，网上有很多资料如果采用默认的 write_buffer_size=268435456 大小的话那么几个rocksdb的数据等级是 L0: in memory L1: 256MB L2: 2.56 GB L3: 25.6 GB L4: 256 G

ceph

原创 2020-10-26 17:20:00 1248 阅读

ceph扩展bluestore的db分区

前言在ceph 14版本里面才加入了bluefs-bdev-migrate，分区迁移相关的命令，那么在12版本里面其实也是可以扩展分区的测试的版本 [root@lab102 ceph-0]# ceph -v ceph version 12.2.13 (584a20eb0237c657dc0567

Ceph

原创 2020-10-26 16:27:00 1362 阅读

测试cephfs写入海量文件

前言测试cephfs的写入大量文件，通过mdtest写入1K大小的文件1亿个，每个目录里面文件为1万，目录总数为1万，总文件数目就为1亿了写入的命令 mdtest -C -F -L -z 4 -b 10 -I 10000 -d /mnt/1yi/ -w 1024 -C 只创建 -F 只创建文件

Ceph

原创 2020-09-22 16:23:00 761 阅读

iscsi一致性的测试验证方法

前言如果使用场景是多路径iscsi，那么数据一致性的就需要去验证一致性，就需要一个比较通用的测试方法，最近在处理这块，记录下简单的测试方法测试方法写入数据 dd if=/dev/urandom of=/dev/sdb bs=512 count=8000 oflag=direct 或者 dd i

其他

原创 2020-09-18 15:41:00 100 阅读

ceph各个版本之间参数变化分析

前言本篇主要是分析ceph的版本之间参数的变化，参数变化意味着功能的变化，通过参数来分析增加，删除，修改了哪些功能，以及版本之间的变化，本篇主要通过导出参数，然后通过脚本去比对不同的版本的参数变化 14版本之前安装一个ceph-common,然后touch一个空配置文件就可以通过ceph --sh

Ceph

原创 2020-09-15 11:02:00 772 阅读

rgw的rgw_thread_pool_size配置调整

前言在比对rgw的不同前端的区别的时候，官方说civetweb是通过线程池来控制连接的，beast是后面加入了流控相关的，这块一直也没有调整过相关的参数，然后通过ab压测了一下，还是有很明显的区别的测试很简单，虚拟机下面就可以完成测试过程 rgw_thread_pool_size = 512

rgw

原创 2020-09-11 12:05:00 688 阅读

rgw前端替换civetweb为beast

前言 ceph的rgw现在提供了两种前端， civetweb和beast 配置修改配置文件 rgw_frontends = civetweb port=7481 为 rgw frontends = beast port=7481 然后重启rgw进程，查看日志 2020-09-11 10:23:52

rgw

原创 2020-09-11 10:40:00 1050 阅读

rbd的删除回收站功能

##前言 rbd 提供了一个回收站功能，这个是属于防呆设计，防止误操作删除rbd引起无法恢复的情况，rbd正常情况下的删除是马上会在后台回收空间的，这个也听说过有人做过误删除的操作，那么这个设计就是从操作逻辑上来尽量避免这个失误的相关操作命令比较简单就几条命令，luminous版本就支持了，提供

其他

原创 2020-09-09 11:45:00 1282 阅读

ceph打印出每秒的IO和pg状态

前言在ceph 的jewel版本以及之前的版本，通过ceph -w命令是可以拿到每秒钟ceph集群的io状态的，现在的版本是ceph -s一秒秒手动去刷，ceph -w也不监控io的状态了，有的时候需要看io是否平滑，或者恢复还剩多少，能够比较直观的去看实际上通过简单的脚本就可以实现之前差不多的

Ceph

原创 2020-09-09 10:47:00 193 阅读

rgw配置删除快速回收对象

前言做rgw测试的时候，经常会有删除文件的操作，而用默认的参数的时候，rgw是通过gc回收机制来处理删除对象的，这个对于生产环境是有好处的，把删除对业务系统的压力分摊到不同的时间点，但是测试的时候，可能需要反复的写入删除，而这种情况下，可能希望能够迅速的回收对象，那么就需要修改几个参数了参数主

rgw

原创 2020-09-08 11:20:00 1642 阅读

自动化翻译ceph文档

需求很简单，翻译官网的操作文档下载ceph代码luminous版本这个只用来编译doc的，我们只需要最新的这个分支即可，拉最少的代码 git clone -b v12.2.13 --single-branch --depth 1 git://github.com/ceph/ceph.git ce

其他

原创 2020-09-04 15:26:00 155 阅读

希捷powerchoice磁盘休眠功能配置方法

本篇关于希捷磁盘休眠的配置方法准备设置的软件下载地址 https://raw.githubusercontent.com/Seagate/ToolBin/master/SeaChest/PowerControl/v1.10.0/Linux/SeaChest_PowerControl_1100_1

其他

原创 2020-08-25 14:54:00 512 阅读

公网临时传输大文件

前言我们经常遇到的一个场景是需要把一个大文件通过互联网传递到另外一个地方，类似日志，或者大的安装包，有的时候是传输给自己，有的时候传输给别人传输方式百度盘我们都知道速度限制到怀疑人生，没会员的时候基本就是浪费时间，这种基本就不考虑做传输工具，备份下还可以，这里介绍的是几款比较方便的传输方式，这

其他

原创 2020-07-31 14:45:00 584 阅读

ceph的pg平衡插件balancer

前言 ceph比较老的版本使用的reweight或者osd weight来调整平衡的，本篇介绍的是ceph新的自带的插件balancer的使用，官网有比较详细的操作手册可以查询使用方法查询插件的开启情况 [root@node1 ceph]# ceph mgr module ls { "enabl

Ceph

原创 2020-06-17 15:04:00 1139 阅读

ceph osd tree的可视化

前言很久没有处理很大的集群，在接触一个新集群的时候，如果集群足够大，需要比较长的时间才能去理解这个集群的结构，而直接去看ceph osd tree的结果，当然是可以的，这里是把osd tree的结构进行了一个结构化输出，也可以理解为画出一个简单的结构图，比较适合给其它人讲解你对crush做了哪些改

Ceph

原创 2019-09-19 16:35:00 514 阅读

高性能arm运行ceph存储基准测试

关于arm 之前wdlab对外发布过一次约500个节点的arm的ceph集群，那个采用的是微集群的结构，使用的是双核的cortex-a9 ARM处理器，运行速度为1.3 GHz，内存为1 GB，直接焊接到驱动器的PCB上，选项包括2 GB内存和ECC保护这个在国内也有类似的实现，深圳瑞驰商用Arm

Ceph

原创 2019-09-09 11:13:00 548 阅读

bluestore的osd自启动

IT

原创 2019-09-04 10:30:00 452 阅读

ceph与flashcache的around模式结合启动问题

问题通过对我们的启动流程看了下，目前是穿到一个脚本里面的，然后这个脚本是用无限循环的方式去执行一些事情，这个地方不符合松耦合的设计，一个模块做一个事情，两个并不相关的功能不要嵌入另一个脚本，否则出现问题的时候，不好更改不好优化解决方式首先分析ceph自身的启动方式 ceph的启动方式是通过去e

Ceph

原创 2019-09-04 08:00:00 157 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

欢迎

配置一个支持librbd的tgtd

ceph通过tgt配置多路径的数据一致性问题

已配置好的osd增加opencas配置

测试主机的整机磁盘带宽

存储相关招聘信息-长期

强制backfill替代recover避免阻塞

清理多台主机集群的脚本

简单的统计剩余ceph迁移时间

rbd锁引起kvm虚拟机无法启动的故障

内核补丁热更新ceph内核模块

rgw使用boto3生成可以访问的预签名url

ceph的df容量显示计算

ceph bluestore的db分区应该预留多大的空间

ceph扩展bluestore的db分区

测试cephfs写入海量文件

iscsi一致性的测试验证方法

ceph各个版本之间参数变化分析

rgw的rgw_thread_pool_size配置调整

rgw前端替换civetweb为beast

rbd的删除回收站功能

ceph打印出每秒的IO和pg状态

rgw配置删除快速回收对象

自动化翻译ceph文档

希捷powerchoice磁盘休眠功能配置方法

公网临时传输大文件

ceph的pg平衡插件balancer

ceph osd tree的可视化

高性能arm运行ceph存储基准测试

bluestore的osd自启动

ceph与flashcache的around模式结合启动问题