Ceph 的安装与扩容

CL260 学习笔记（二）_CL260

CL260 学习笔记（二）_Ceph 的安装与扩容_02

CL260 学习笔记（二）_CL260_03

CL260 学习笔记（二）_学习笔记_04

CL260 学习笔记（二）_RHCS_05

CL260 学习笔记（二）_pacific_06

CL260 学习笔记（二）_pacific_07

CL260 学习笔记（二）_Ceph 的安装与扩容_08

CL260 学习笔记（二）_CL260_09

CL260 学习笔记（二）_学习笔记_10

CL260 学习笔记（二）_RHCS_11

CL260 学习笔记（二）_pacific_12

CL260 学习笔记（二）_CL260_13

CL260 学习笔记（二）_CL260_14

CL260 学习笔记（二）_Ceph 的安装与扩容_15

CL260 学习笔记（二）_学习笔记_16

CL260 学习笔记（二）_pacific_17

开源pacific版Ceph部署

CL260 学习笔记（二）_RHCS_18

CL260 学习笔记（二）_CL260_19

部署手册：

https://min2000.lanzoul.com/iJHRg2a7rlmf

密码:CL260

CL260 学习笔记（二）_CL260_20

CL260 学习笔记（二）_pacific_21

CL260 学习笔记（二）_CL260_22

CL260 学习笔记（二）_pacific_23

CL260 学习笔记（二）_学习笔记_24

CL260 学习笔记（二）_Ceph 的安装与扩容_25

如果没有安装ceph-common，可以通过yum -y install ceph-common 安装，或通过下面这种方法，进入到容器，输入ceph 相关的命令，例如ceph -s 查看ceph 集群的状态：

CL260 学习笔记（二）_学习笔记_26

CL260 学习笔记（二）_CL260_27

CL260 学习笔记（二）_CL260_28

CL260 学习笔记（二）_CL260_29

CL260 学习笔记（二）_CL260_30

CL260 学习笔记（二）_pacific_31

CL260 学习笔记（二）_学习笔记_32

这是开机的时候自动执行的脚本，其实就是在启动容器。

CL260 学习笔记（二）_pacific_33

CL260 学习笔记（二）_学习笔记_34

这样就可以看到mon 节点的日志。

CL260 学习笔记（二）_RHCS_35

CL260 学习笔记（二）_RHCS_36

运行容器的镜像。

CL260 学习笔记（二）_RHCS_37

CL260 学习笔记（二）_pacific_38

这是ceph 集群的配置数据。

CL260 学习笔记（二）_RHCS_39

这是mon 的配置和它的keyring

CL260 学习笔记（二）_pacific_40

这个目录在ceph 集群排错的时候有用，中间那一串字母和数字的组合是集群的id，再下一级目录是节点的名称。

CL260 学习笔记（二）_RHCS_41

CL260 学习笔记（二）_Ceph 的安装与扩容_42

yum -y install ceph-common
su -

CL260 学习笔记（二）_学习笔记_43

CL260 学习笔记（二）_pacific_44

CL260 学习笔记（二）_RHCS_45

CL260 学习笔记（二）_CL260_46

CL260 学习笔记（二）_RHCS_47

CL260 学习笔记（二）_CL260_48

CL260 学习笔记（二）_RHCS_49

CL260 学习笔记（二）_pacific_50

CL260 学习笔记（二）_Ceph 的安装与扩容_51

CL260 学习笔记（二）_CL260_52

CL260 学习笔记（二）_RHCS_53

CL260 学习笔记（二）_pacific_54

CL260 学习笔记（二）_RHCS_55

CL260 学习笔记（二）_RHCS_56

每启动一个osd，物理机就多一个逻辑卷和容器。

CL260 学习笔记（二）_pacific_57

这条命令可以将集群内所有节点的未使用的磁盘做成osd

CL260 学习笔记（二）_RHCS_58

CL260 学习笔记（二）_学习笔记_59

CL260 学习笔记（二）_pacific_60

CL260 学习笔记（二）_pacific_61

这是ceph 服务端与客户端版本不一致导致出现这个告警，在生产环境中应尽量保持两者版本一致，也可以选择忽略这个告警。

CL260 学习笔记（二）_Ceph 的安装与扩容_62

CL260 学习笔记（二）_CL260_63

CL260 学习笔记（二）_pacific_64

CL260 学习笔记（二）_学习笔记_65

CL260 学习笔记（二）_学习笔记_66

这个ceph 集群的pool 1 资源池是一个3 副本的复制池，这个pg 必须要能够选中3 个不同的节点的其中一个osd 上才能是active（可用）的状态。

CL260 学习笔记（二）_学习笔记_67

这里添加节点报错提示：名称或服务未知；

如果你运行ceph 集群的容器内部没有配置host 解析，这条命令在外部主机是不能够正确解析的，既然指定主机名不能解析，还可以在后面指定ip 地址：

CL260 学习笔记（二）_学习笔记_68

CL260 学习笔记（二）_RHCS_69

CL260 学习笔记（二）_RHCS_70

CL260 学习笔记（二）_pacific_71

CL260 学习笔记（二）_Ceph 的安装与扩容_72

CL260 学习笔记（二）_CL260_73

CL260 学习笔记（二）_pacific_74

CL260 学习笔记（二）_pacific_75

CL260 学习笔记（二）_pacific_76

CL260 学习笔记（二）_pacific_77

CL260 学习笔记（二）_Ceph 的安装与扩容_78

CL260 学习笔记（二）_Ceph 的安装与扩容_79

CL260 学习笔记（二）_RHCS_80

CL260 学习笔记（二）_学习笔记_81

CL260 学习笔记（二）_pacific_82

添加mgr 节点中... 部署有点慢

CL260 学习笔记（二）_Ceph 的安装与扩容_83

CL260 学习笔记（二）_pacific_84

CL260 学习笔记（二）_pacific_85

CL260 学习笔记（二）_CL260_86

CL260 学习笔记（二）_Ceph 的安装与扩容_87

CL260 学习笔记（二）_Ceph 的安装与扩容_88

这样会变成默认数量。

CL260 学习笔记（二）_CL260_89

CL260 学习笔记（二）_CL260_90

CL260 学习笔记（二）_学习笔记_91

CL260 学习笔记（二）_RHCS_92

CL260 学习笔记（二）_CL260_93

CL260 学习笔记（二）_pacific_94

CL260 学习笔记（二）_CL260_95

CL260 学习笔记（二）_CL260_96

CL260 学习笔记（二）_CL260_97

CL260 学习笔记（二）_RHCS_98

CL260 学习笔记（二）_学习笔记_99

CL260 学习笔记（二）_CL260_100

CL260 学习笔记（二）_CL260_101

mgr 删不掉，就算提示删除成功，过一会儿又会重新部署回来；

因为mgr 开启了自动扩展，且必须部署在node2 和node3 上。

CL260 学习笔记（二）_CL260_102

CL260 学习笔记（二）_CL260_103

CL260 学习笔记（二）_学习笔记_104

CL260 学习笔记（二）_RHCS_105

这样就删除成功了。

CL260 学习笔记（二）_Ceph 的安装与扩容_106

CL260 学习笔记（二）_学习笔记_107

CL260 学习笔记（二）_pacific_108

CL260 学习笔记（二）_学习笔记_109

CL260 学习笔记（二）_Ceph 的安装与扩容_110

CL260 学习笔记（二）_Ceph 的安装与扩容_111

CL260 学习笔记（二）_学习笔记_112

CL260 学习笔记（二）_CL260_113

CL260 学习笔记（二）_CL260_114

CL260 学习笔记（二）_CL260_115

CL260 学习笔记（二）_pacific_116

CL260 学习笔记（二）_学习笔记_117

CL260 学习笔记（二）_pacific_118

CL260 学习笔记（二）_RHCS_119

CL260 学习笔记（二）_Ceph 的安装与扩容_120

CL260 学习笔记（二）_学习笔记_121

CL260 学习笔记（二）_RHCS_122

CL260 学习笔记（二）_学习笔记_123

CL260 学习笔记（二）_RHCS_124

CL260 学习笔记（二）_Ceph 的安装与扩容_125

CL260 学习笔记（二）_RHCS_126

这是已经从osdmap 里面删除了，接着从crushmap 里面删除这个osd

CL260 学习笔记（二）_CL260_127

CL260 学习笔记（二）_CL260_128

CL260 学习笔记（二）_pacific_129

CL260 学习笔记（二）_Ceph 的安装与扩容_130

所以从ceph 集群里面移除一个osd，要先从osdmap 里面删，再从crushmap里面删；

但是移除下来的磁盘，是否就能够直接正常使用了呢？

lsblk

CL260 学习笔记（二）_CL260_131

CL260 学习笔记（二）_Ceph 的安装与扩容_132

CL260 学习笔记（二）_CL260_133

CL260 学习笔记（二）_pacific_134

CL260 学习笔记（二）_学习笔记_135

CL260 学习笔记（二）_学习笔记_136

CL260 学习笔记（二）_学习笔记_137

CL260 学习笔记（二）_RHCS_138

CL260 学习笔记（二）_RHCS_139

CL260 学习笔记（二）_pacific_140

CL260 学习笔记（二）_RHCS_141

日志没有看到明显报错

CL260 学习笔记（二）_pacific_142

容器没有起来，原因很简单，就是硬盘不干净

CL260 学习笔记（二）_RHCS_143

CL260 学习笔记（二）_RHCS_144

CL260 学习笔记（二）_pacific_145

CL260 学习笔记（二）_学习笔记_146

CL260 学习笔记（二）_RHCS_147

这样就把磁盘擦除干净了。

CL260 学习笔记（二）_pacific_148

CL260 学习笔记（二）_RHCS_149

CL260 学习笔记（二）_pacific_150

CL260 学习笔记（二）_Ceph 的安装与扩容_151

CL260 学习笔记（二）_Ceph 的安装与扩容_152

CL260 学习笔记（二）_CL260_153

CL260 学习笔记（二）_pacific_154

CL260 学习笔记（二）_RHCS_155

CL260 学习笔记（二）_学习笔记_156

CL260 学习笔记（二）_pacific_157

CL260 学习笔记（二）_RHCS_158

CL260 学习笔记（二）_RHCS_159

容器的进程已经移除了，集群还没有反应过来，需要等待一段时间恢复正常状态。

CL260 学习笔记（二）_pacific_160

CL260 学习笔记（二）_Ceph 的安装与扩容_161

CL260 学习笔记（二）_pacific_162

CL260 学习笔记（二）_Ceph 的安装与扩容_163

CL260 学习笔记（二）_学习笔记_164

CL260 学习笔记（二）_学习笔记_165

CL260 学习笔记（二）_学习笔记_166

CL260 学习笔记（二）_RHCS_167

CL260 学习笔记（二）_CL260_168

还需要等待一段时间自动从node2 上删除mgr

CL260 学习笔记（二）_Ceph 的安装与扩容_169

_admin 标签打给管理节点，对于集群来说没有任何特殊的含义，只是方便给管理员看的，通常部署ceph 集群的第一个节点称为管理节点，每个节点也都可以成为管理节点，它有一个专门的客户端工具可以连接上来管理ceph 集群；一个节点可以打上多个标签。

RHCS 5.0 部署

CL260 学习笔记（二）_Ceph 的安装与扩容_170

CL260 学习笔记（二）_Ceph 的安装与扩容_171

CL260 学习笔记（二）_CL260_172

将红帽教室环境中已经存在的rhcs 集群销毁。

CL260 学习笔记（二）_CL260_173

CL260 学习笔记（二）_学习笔记_174

在生产环境上，红帽的rhcs 源是收费的， 它的baseurl 肯定不是这个图中的这个url，这只是一个教室环境，用来学习实验的，这个repo 源其实是通过一个ansible playbook 自动配置得到的。

CL260 学习笔记（二）_RHCS_175

CL260 学习笔记（二）_pacific_176

CL260 学习笔记（二）_学习笔记_177

CL260 学习笔记（二）_pacific_178

CL260 学习笔记（二）_学习笔记_179

CL260 学习笔记（二）_学习笔记_180

CL260 学习笔记（二）_Ceph 的安装与扩容_181

CL260 学习笔记（二）_pacific_182

CL260 学习笔记（二）_CL260_183

CL260 学习笔记（二）_RHCS_184

CL260 学习笔记（二）_CL260_185

CL260 学习笔记（二）_Ceph 的安装与扩容_186

CL260 学习笔记（二）_pacific_187

CL260 学习笔记（二）_pacific_188

CL260 学习笔记（二）_学习笔记_189

CL260 学习笔记（二）_pacific_190

CL260 学习笔记（二）_RHCS_191

CL260 学习笔记（二）_CL260_192

CL260 学习笔记（二）_学习笔记_193

CL260 学习笔记（二）_pacific_194

CL260 学习笔记（二）_学习笔记_195

CL260 学习笔记（二）_Ceph 的安装与扩容_196

CL260 学习笔记（二）_RHCS_197

CL260 学习笔记（二）_RHCS_198

这里是关闭mon 组件的自扩展功能，由管理员手动管理。

CL260 学习笔记（二）_pacific_199

CL260 学习笔记（二）_学习笔记_200

CL260 学习笔记（二）_Ceph 的安装与扩容_201

CL260 学习笔记（二）_CL260_202

CL260 学习笔记（二）_RHCS_203

CL260 学习笔记（二）_pacific_204

CL260 学习笔记（二）_pacific_205

CL260 学习笔记（二）_RHCS_206

CL260 学习笔记（二）_RHCS_207

CL260 学习笔记（二）_CL260_208

CL260 学习笔记（二）_Ceph 的安装与扩容_209

CL260 学习笔记（二）_RHCS_210

CL260 学习笔记（二）_学习笔记_211

CL260 学习笔记（二）_CL260_212

CL260 学习笔记（二）_Ceph 的安装与扩容_213

CL260 学习笔记（二）_CL260_214

CL260 学习笔记（二）_Ceph 的安装与扩容_215

CL260 学习笔记（二）_RHCS_216

CL260 学习笔记（二）_RHCS_217

CL260 学习笔记（二）_学习笔记_218

CL260 学习笔记（二）_pacific_219

CL260 学习笔记（二）_CL260_220

CL260 学习笔记（二）_学习笔记_221

当前3 个osd 都在同一台主机上，这个pg 只能选中这个节点上的其中一个osd，默认的资源池是副本池，需要有几个主机上的osd 加入资源池才可以用，所以这个pg 变成不可用的状态，资源池降级了。

CL260 学习笔记（二）_Ceph 的安装与扩容_222

CL260 学习笔记（二）_pacific_223

使用cephadm 这种部署方式，还可以指定这样一个参数，准备好一个playbook，把要加入的节点的主机名和ip 地址都写进去，在部署的时候就可以把你想要加入的节点加入进来，这在开源的版本同样支持，只是很少有人这样做。

CL260 学习笔记（二）_Ceph 的安装与扩容_224