docker部署ceph对象存储 ceph docker

转载

智能开发艺术家 2023-12-30 23:07:03

文章标签 docker部署ceph对象存储 ceph 参考文献数据数据盘 文章分类 Docker 云计算

1.什么是ceph

2.安装方式

3.注意事项

4.osd数据清理

5.参考文献

1.什么是ceph

ceph是一个高度可扩展的分布式存储解决方案，用于块存储、对象存储和共享文件系统

2.安装方式

ceph的推荐安装有两种

1.通过rook安装（k8s方式）

2.通过cephadm安装(docker 方式)

2.1 rook安装步骤如下

rook是云原生的存储编排器，为各种云原生存储解决方案提供平台。

1.准备k8s集群，最少3个worker,作为osd的数据节点

2.在master 节点执行下面的脚本

1.下载rook源码
git clone --single-branch --branch v1.8.0 https:///rook/rook.git
cd rook/deploy/examples
2.使用k8s部署服务
kubectl create -f crds.yaml -f common.yaml -f operator.yaml
kubectl create -f cluster.yaml

2.2 cephadm 安装

前置操作
1.修改主机名
hostnamectl set-hostname ceph1
hostnamectl set-hostname ceph2
hostnamectl set-hostname ceph3
2.配置host文件
192.168.81.140 ceph1
192.168.81.141 ceph2
192.168.81.142 ceph3
3.配置时间同步服务
yum install ntp ntpdate
systemctl start ntpd
systemctl enable ntpd
systemctl status ntpd
systemctl restart ntpd
4.安装python3
yum install -y python3


开始部署
1.下载二进制文件
curl --silent --remote-name --location https:///ceph/ceph/raw/octopus/src/cephadm/cephadm
chmod +x cephadm
2.添加ceph源镜像
./cephadm add-repo --release octopus
cp /etc/yum.repos.d/ceph.repo{,.bak}
sed -i 's#download.ceph.com#mirrors.aliyun.com/ceph#' /etc/yum.repos.d/ceph.repo
./cephadm install
3.引导创建集群
cephadm bootstrap –mon-ip 192.168.80.245
4.安装ceph基本命令工具
cephadm install ceph-common
5.copy SSH公钥到其他节点
ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph2
ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph3
6.添加指定新节点加入Ceph集群
ceph orch host add ceph2
ceph orch host add ceph3
7.添加osd
ceph orch daemon add osd ceph1:/dev/sdb
ceph orch daemon add osd ceph2:/dev/sdb
ceph orch daemon add osd ceph3:/dev/sdb
8.查看ceph状态
ceph -s
9.查看ceph节点
ceph orch host ls


删除服务
10.查询服务
cephadm ls
11.查询守护进程
ceph orch ps
12.cephadm 删除服务
cephadm rm-daemon --fsid CLUSTER_ID --name SERVICE_NAME
13.移除主机
ceph orch host rm HOST_NAME
14.移除osd
ceph orch osd rm OSD_NAME

3.注意事项

1. osd数据盘需要格式化或者未使用

2.gcr镜像无法下载参考文献【4】替换镜像源下载

3.添加新的osd，修改刷新时间，默认是60m,修改为60s

4.osd数据清理

osd数据已存在进行格式化，如果不存在使用新的数据盘进行挂载

1.数据格式化脚本

yum install gdisk -y
export DISK="/dev/vdb"
sgdisk --zap-all $DISK
dd if=/dev/zero of="$DISK" bs=1M count=100 oflag=direct,dsync
blkdiscard $DISK
ls /dev/mapper/ceph-* | xargs -I% -- dmsetup remove %
rm -rf /dev/ceph-*

2.vmware增加新的数据盘，参考文献【3】