zphj1987的博客_存储相关_51CTO博客
51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
全部课程 厂商认证 IT技术 25年5月软考 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
# 存储相关

配置一个支持librbd的tgtd

前言 配置文件如下 <target iqn.2008-09.com.example:server.libdiskb> bs-type rbd <backing-store rbd/test4M> block-size 512 lbppbe 0 </backing-store> </target> 注

配置文件
无法解析
原创 2024-01-08 17:32:09 74 阅读

ceph通过tgt配置多路径的数据一致性问题

前言 使用librbd通过tgt出iscsi，多路径数据是一致的，由于环境的原因，切换为kernel rbd 出iscsi，然后通过不同的iscsi路径写入后，发现在r

数据
缓存
客户端
原创 2024-01-08 17:32:05 178 阅读

已配置好的osd增加opencas配置

前言 环境已经配置好了osd，想增加opencas的缓存加速，因为opencas支持在lvm之上部署，也支持在opencas上面创建lvm，而已经部署好osd的场景是属于前面的一种情况，也就是已经有lvm 的情况再加缓存加速 因为ceph有自己的挂载逻辑，所以这里需要梳理一下，把整个启动路径给屏蔽掉

其他
原创 2021-03-17 12:03:00 229 阅读

测试主机的整机磁盘带宽

前言 为什么需要有整机带宽的概念，因为我们很多时候去计算性能的时候，上去都会计算你有多少块盘，每块盘有多大的带宽，那么一乘就算出来了，其实没有那么简单，整个IO路径上面任何一个地方的瓶颈都会降低总体带宽的 本篇的来源，很多年前，做机器测试的时候，总觉得机器上面的带宽不对，加起来不对，然后搜资料看到了

其他
原创 2021-03-12 15:26:00 399 阅读

存储相关招聘信息-长期

工作地点 武汉 深圳 岗位要求说明 存储后台开发 负责ceph，gluster等存储系统相关的模块开发，对相关的存储系统社区开发进展熟悉，能够独立进行backport 熟悉存储系统之上的一些文件系统，nfs，samba，iscsi等等 熟悉C语言 内核相关的开发 熟悉ceph内核客户端相关的模块，能

武汉-磨渣
原创 2021-02-23 11:06:00 183 阅读

强制backfill替代recover避免阻塞

前言 做recover会触发阻塞，引起前端的IO卡住，可以通过参数避免这个情况 调整参数 # the number of entries to keep in the pg log when trimming it. Defaults to 3000. osd_min_pg_log_entries

其他
原创 2021-01-30 17:51:00 229 阅读

清理多台主机集群的脚本

目的 清理环境所有的数据，删除并恢复到初始状态 脚本 #! /bin/sh for host in lab101 lab102 do ssh $host hostname ssh $host systemctl stop ceph-radosgw.target ssh $host systemctl

IT
原创 2021-01-26 18:41:00 170 阅读

简单的统计剩余ceph迁移时间

需求 由于迁移忽快忽慢，需要知道大概的迁移的时间，做了一个简单的统计脚本，可能不准，大概能够知道在什么范围内 脚本 #! /bin/sh while ( 2>1 ) do start=`ceph -s|grep pgs|grep mis|awk '{print $2}'|cut -d / -f 1`

Ceph
原创 2021-01-12 10:57:00 227 阅读

rbd锁引起kvm虚拟机无法启动的故障

前言 环境因为一些问题（网络，或者磁盘，或者其它各种异常），引起了集群的状态的一些变化，变化之后，集群的某些虚拟机正常某些虚拟机出现异常，异常现象就是无法启动 特别是win server2008 ,会一直卡在滚动条这里 这个问题很久前碰到过一个哥们出现过，他问我是否遇到过，这个之前遇到过一次无法启动

其他
原创 2020-12-18 16:30:00 405 阅读

内核补丁热更新ceph内核模块

前言 内核模块的更新一般需要卸载模块再加载，但是很多时候使用场景决定了无法做卸载的操作，而linux支持了热更新内核模块的功能，这个已经支持了有一段时间了，一直没有拿ceph的相关模块进行验证 注意模块的某些函数是不支持的，init的部分是不支持的，补丁弄完验证一下就可以知道支不支持，不支持的部分会

Ceph
原创 2020-11-19 17:10:00 517 阅读

rgw使用boto3生成可以访问的预签名url

##前言 如果想访问一个ceph里面的s3地址，但是又不想直接提供secrect key的时候，可以通过预签名的方式生成url 生成方法 下载boto3 脚本如下 cat s3.py import boto3 from botocore.client import Config s3_host="h

rgw
原创 2020-11-03 14:28:00 597 阅读

ceph的df容量显示计算

显示数据 [root@lab201 ~]# ceph df GLOBAL: SIZE AVAIL RAW USED %RAW USED 1092T 404T 688T 63.01% POOLS: NAME ID USED %USED MAX AVAIL OBJECTS rbd 0 17483G 15

Ceph
原创 2020-10-28 11:58:00 2731 阅读

ceph bluestore的db分区应该预留多大的空间

前言 关于bluestore的db应该预留多少空间，网上有很多资料 如果采用默认的 write_buffer_size=268435456 大小的话 那么几个rocksdb的数据等级是 L0: in memory L1: 256MB L2: 2.56 GB L3: 25.6 GB L4: 256 G

ceph
原创 2020-10-26 17:20:00 1299 阅读

ceph扩展bluestore的db分区

前言 在ceph 14版本里面才加入了bluefs-bdev-migrate，分区迁移相关的命令，那么在12版本里面其实也是可以扩展分区的 测试的版本 [root@lab102 ceph-0]# ceph -v ceph version 12.2.13 (584a20eb0237c657dc0567

Ceph
原创 2020-10-26 16:27:00 1365 阅读

测试cephfs写入海量文件

前言 测试cephfs的写入大量文件，通过mdtest写入1K大小的文件1亿个，每个目录里面文件为1万，目录总数为1万，总文件数目就为1亿了 写入的命令 mdtest -C -F -L -z 4 -b 10 -I 10000 -d /mnt/1yi/ -w 1024 -C 只创建 -F 只创建文件

Ceph
原创 2020-09-22 16:23:00 774 阅读

iscsi一致性的测试验证方法

前言 如果使用场景是多路径iscsi，那么数据一致性的就需要去验证一致性，就需要一个比较通用的测试方法，最近在处理这块，记录下简单的测试方法 测试方法 写入数据 dd if=/dev/urandom of=/dev/sdb bs=512 count=8000 oflag=direct 或者 dd i

其他
原创 2020-09-18 15:41:00 103 阅读

ceph各个版本之间参数变化分析

前言 本篇主要是分析ceph的版本之间参数的变化，参数变化意味着功能的变化，通过参数来分析增加，删除，修改了哪些功能，以及版本之间的变化，本篇主要通过导出参数，然后通过脚本去比对不同的版本的参数变化 14版本之前安装一个ceph-common,然后touch一个空配置文件就可以通过ceph --sh

Ceph
原创 2020-09-15 11:02:00 800 阅读

rgw的rgw_thread_pool_size配置调整

前言 在比对rgw的不同前端的区别的时候，官方说civetweb是通过线程池来控制连接的，beast是后面加入了流控相关的，这块一直也没有调整过相关的参数，然后通过ab压测了一下，还是有很明显的区别的 测试很简单，虚拟机下面就可以完成 测试过程 rgw_thread_pool_size = 512

rgw
原创 2020-09-11 12:05:00 714 阅读

rgw前端替换civetweb为beast

前言 ceph的rgw现在提供了两种前端， civetweb和beast 配置 修改配置文件 rgw_frontends = civetweb port=7481 为 rgw frontends = beast port=7481 然后重启rgw进程，查看日志 2020-09-11 10:23:52

rgw
原创 2020-09-11 10:40:00 1089 阅读

rbd的删除回收站功能

##前言 rbd 提供了一个回收站功能，这个是属于防呆设计，防止误操作删除rbd引起无法恢复的情况，rbd正常情况下的删除是马上会在后台回收空间的，这个也听说过有人做过误删除的操作，那么这个设计就是从操作逻辑上来尽量避免这个失误的 相关操作 命令比较简单就几条命令，luminous版本就支持了，提供

其他
原创 2020-09-09 11:45:00 1309 阅读

ceph打印出每秒的IO和pg状态

前言 在ceph 的jewel版本以及之前的版本，通过ceph -w命令是可以拿到每秒钟ceph集群的io状态的，现在的版本是ceph -s一秒秒手动去刷，ceph -w也不监控io的状态了，有的时候需要看io是否平滑，或者恢复还剩多少，能够比较直观的去看 实际上通过简单的脚本就可以实现之前差不多的

Ceph
原创 2020-09-09 10:47:00 194 阅读

rgw配置删除快速回收对象

前言 做rgw测试的时候，经常会有删除文件的操作，而用默认的参数的时候，rgw是通过gc回收机制来处理删除对象的，这个对于生产环境是有好处的，把删除对业务系统的压力分摊到不同的时间点，但是测试的时候，可能需要反复的写入删除，而这种情况下，可能希望能够迅速的回收对象，那么就需要修改几个参数了 参数 主

rgw
原创 2020-09-08 11:20:00 1666 阅读

自动化翻译ceph文档

需求很简单，翻译官网的操作文档 下载ceph代码luminous版本 这个只用来编译doc的，我们只需要最新的这个分支即可，拉最少的代码 git clone -b v12.2.13 --single-branch --depth 1 git://github.com/ceph/ceph.git ce

其他
原创 2020-09-04 15:26:00 159 阅读

希捷powerchoice磁盘休眠功能配置方法

本篇关于希捷磁盘休眠的配置方法 准备设置的软件 下载地址 https://raw.githubusercontent.com/Seagate/ToolBin/master/SeaChest/PowerControl/v1.10.0/Linux/SeaChest_PowerControl_1100_1

其他
原创 2020-08-25 14:54:00 553 阅读

公网临时传输大文件

前言 我们经常遇到的一个场景是需要把一个大文件通过互联网传递到另外一个地方，类似日志，或者大的安装包，有的时候是传输给自己，有的时候传输给别人 传输方式 百度盘我们都知道速度限制到怀疑人生，没会员的时候基本就是浪费时间，这种基本就不考虑做传输工具，备份下还可以，这里介绍的是几款比较方便的传输方式，这

其他
原创 2020-07-31 14:45:00 610 阅读

ceph的pg平衡插件balancer

前言 ceph比较老的版本使用的reweight或者osd weight来调整平衡的，本篇介绍的是ceph新的自带的插件balancer的使用，官网有比较详细的操作手册可以查询 使用方法 查询插件的开启情况 [root@node1 ceph]# ceph mgr module ls { "enabl

Ceph
原创 2020-06-17 15:04:00 1200 阅读

ceph osd tree的可视化

前言 很久没有处理很大的集群，在接触一个新集群的时候，如果集群足够大，需要比较长的时间才能去理解这个集群的结构，而直接去看ceph osd tree的结果，当然是可以的，这里是把osd tree的结构进行了一个结构化输出，也可以理解为画出一个简单的结构图，比较适合给其它人讲解你对crush做了哪些改

Ceph
原创 2019-09-19 16:35:00 532 阅读

高性能arm运行ceph存储基准测试

关于arm 之前wdlab对外发布过一次约500个节点的arm的ceph集群，那个采用的是微集群的结构，使用的是双核的cortex-a9 ARM处理器，运行速度为1.3 GHz，内存为1 GB，直接焊接到驱动器的PCB上，选项包括2 GB内存和ECC保护 这个在国内也有类似的实现，深圳瑞驰商用Arm

Ceph
原创 2019-09-09 11:13:00 556 阅读

bluestore的osd自启动

前言 自启动相关的文章很多，有分析的很详细的文章，这里就不做赘述，本篇讲述的是什么情况下用，怎么用的问题 使用场景 一台机器的系统盘坏了，需要重装系统，相关的一些信息没有了，但是上面的数据盘还是在的，所以需要保留 某个磁盘需要换台机器进行启动，但是那台机器上没有相关的信息 处理过程 自启动的相关处理

IT
原创 2019-09-04 10:30:00 455 阅读

ceph与flashcache的around模式结合启动问题

问题 通过对我们的启动流程看了下，目前是穿到一个脚本里面的，然后这个脚本是用无限循环的方式去执行一些事情，这个地方不符合松耦合的设计，一个模块做一个事情，两个并不相关的功能不要嵌入另一个脚本，否则出现问题的时候，不好更改不好优化 解决方式 首先分析ceph自身的启动方式 ceph的启动方式是通过去e

Ceph
原创 2019-09-04 08:00:00 158 阅读
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯