分布式文件系统ceph

原创

konny_yuan 2010-08-12 16:51:32 博主文章分类：操作系统 ©著作权

文章标签 内核 kernel 集群分布式文件系统 ceph 文章分类 分布式服务器

©著作权归作者所有：来自51CTO博客作者konny_yuan的原创作品，请联系作者获取转载授权，否则将追究法律责任

ceph是在linux kernel 2.6.34后加入内核的，虽然目前还没有大规模的进入生产环境但是它进入linux的内核我想ceph会非常有前途的，共享出来供大家一起学习探讨

试验环境及拓扑

HP dell360 G5

contos 5.3 x86_64

172.19.100.200 mon01

172.19.100.202 ceph02

172.19.100.201 ceph01

172.19.100.211 osd-01

172.19.100.212 osd-02

172.19.100.213 osd-03

拓扑：

1.了解ceph

http://www.ibm.com/developerworks/cn/linux/l-ceph/ 这篇文章写的很好作者比较系统的介绍了ceph的目标架构和组件等图文并茂非常详细。

2.升级linux内核

我使用的是linux 2.6.35

先到 www.kernel.org 下载一个内核源码文件

解压内核文件

#tar xvfj linux.2.6.35.tar.bz2

拷贝到相应的目录

在mon01上创建文件系统 mkcephfs会在配置文件中所定义的服务器进行配置

#mkcephfs -c /usr/local/etc/ceph/ceph.conf --allhosts -v

启动所有的服务器

#/etc/init.d/ceph -a start

4. 配置客户端客户端内核同样需要内核支持ceph文件系统

#modprobe -l|grep ceph

/lib/modules/2.6.34.2/kernel/fs/ceph/ceph.ko

#modprobe ceph

#mkdir /mnt/ceph

#mount -t ceph 172.19.100.200:/ /mnt/ceph #这里的ip地址是你mon01的地址

5. mon几个简单的监控命令

#ceph mon stat -c /usr/local/etc/ceph/ceph.conf 查看mon server 状态

#ceph mds stat -c /usr/local/etc/ceph/ceph.conf 查看mds server 状态

#ceph ods stat -c /usr/local/etc/ceph/ceph.conf 查看ods server 状态

ceph osd out n -c /usr/local/etc/ceph/ceph.conf 将osd server n 移除集群

ceph osd out n -c /usr/local/etc/ceph/ceph.conf 将osd server n 加入集群

#mv linux2.6.35 /usr/src/

定制内核

#cd /usr/src/linux-2..35

#make meunconfig

因为只是测试ceph所有只要修改以下内容

File systems --->

[*] Network File Systems --->

<M> Ceph distributed file system (EXPERIMENTAL)

[*] Include file:line in ceph debug output

修改.config文件 # CONFIG_SYSFS_DEPRECATED_V2 is not set

改为 CONFIG_SYSFS_DEPRECATED_V2=y

开始编译内核和相应的模块

#make bzImage

#make modules && make modules_install

#make install

会出现些错误不用去理会

sh /usr/src/linux-2.6.35/arch/x86/boot/install.sh 2.6.35 arch/x86/boot/bzImage \

System.map "/boot"

WARNING: No module megasr found for kernel 2.6.35, continuing anyway

WARNING: No module dm-mem-cache found for kernel 2.6.35, continuing anyway

WARNING: No module dm-message found for kernel 2.6.35, continuing anyway

WARNING: No module dm-raid45 found for kernel 2.6.35, continuing anyway

编译完内核后要做一个小小的改动 /boot/initrd.2.6.35.img

#cp /boot/initrd.2.6.35.img /tmp/

#mkdir /tmp/initrd

#cd /tmp/initrd

#zcat ../initrd-2.6.35.img |cpio -i

#vi init

删除以下两行（重复了）

echo "Loading dm-region-hash.ko module"

insmod /lib/dm-region-hash.ko

重新打包

#find .|cpio -c -o > ../initrdnew

#cd ..

#gzip -9 < initrdnew > initrd-2.6.35.img

替换原有的initrd-2.6.35.img

在mon01上创建文件系统 mkcephfs会在配置文件中所定义的服务器进行配置

#mkcephfs -c /usr/local/etc/ceph/ceph.conf --allhosts -v

启动所有的服务器

#/etc/init.d/ceph -a start

4. 配置客户端客户端内核同样需要内核支持ceph文件系统

#modprobe -l|grep ceph

/lib/modules/2.6.34.2/kernel/fs/ceph/ceph.ko

#modprobe ceph

#mkdir /mnt/ceph

#mount -t ceph 172.19.100.200:/ /mnt/ceph #这里的ip地址是你mon01的地址

5. mon几个简单的监控命令

#ceph mon stat -c /usr/local/etc/ceph/ceph.conf 查看mon server 状态

#ceph mds stat -c /usr/local/etc/ceph/ceph.conf 查看mds server 状态

#ceph ods stat -c /usr/local/etc/ceph/ceph.conf 查看ods server 状态

ceph osd out n -c /usr/local/etc/ceph/ceph.conf 将osd server n 移除集群

ceph osd out n -c /usr/local/etc/ceph/ceph.conf 将osd server n 加入集群

#cp /tmp/initrd-2.6.35.img /boot/

cp: overwrite `/boot/initrd-2.6.35.img'? y

修改/boot/grub/menu.lst 中default=1 改成default=0 使用新内核启动

重新启动系统

3 ceph 安装

先升级以下包

#yum install rpm-build fuse-devel libtool libtool-ltdl-devel boost-devel libedit-devel git openssl-devel gcc-c++ btrfs-progs

安装2个RPM包下载地址

libedit-3.0-2.20090905cvs.el5.centos.x86_64.rpm

http://dev.centos.org/centos/5/testing/x86_64/RPMS/libedit-3.0-2.20090905cvs.el5.centos.x86_64.rpm

libedit-devel-3.0-2.20090905cvs.el5.centos.x86_64.rpm

http://dev.centos.org/centos/5/testing/x86_64/RPMS/libedit-devel-3.0-2.20090905cvs.el5.centos.x86_64.rpm

注释：如果用32bit操作系统的使用

http://dev.centos.org/centos/5/testing/i386/RPMS/libedit-3.0-2.20090905cvs.el5.centos.i386.rpm

http://dev.centos.org/centos/5/testing/i386/RPMS/libedit-devel-3.0-2.20090905cvs.el5.centos.i386.rpm

#rpm -ivh libedit-3.0-2.20090905cvs.el5.centos.x86_64.rpm

#rpm -ivh libedit-devel-3.0-2.20090905cvs.el5.centos.x86_64.rpm

检查ceph是否在内核模块中

#modprobe -l ceph

/lib/modules/2.6.34.2/kernel/fs/ceph/ceph.ko

#tar xvfz ceph-0.21.tar.gz

#cd ceph-0.21

#./configure

#make && make install

ceph的配置文件默认在/usr/local/etc/ceph/下有两个例子文件，自己编写一个ceph.conf

内容如下

; global

[global]

; enable secure authentication

; auth supported = cephx

; monitors

[mon]

mon data = /data/mon$id

debug ms = 1

[mon0]

host = mon01

mon addr = 172.19.100.201:6789

; mds

[mds]

keyring = /data/keyring.$name

[mds.alpha]

host = ceph01

[mds.beta]

host = ceph02

; osd

[osd]

sudo = true

osd data = /data/osd$id

[osd0]

host = osd-01

osd data = /data/osd

osd journal = /data/osd$id/journal

osd journal size = 100

[osd1]

host = osd-02

osd data = /data/osd

osd journal = /data/osd$id/journal

osd journal size = 100

[osd2]

host = osd-03

osd data = /data/osd

osd journal = /data/osd$id/journal

osd journal size = 100

修改搜有主机的/etc/hosts

增加相应的地址映射

#/etc/hosts

172.19.100.200 mon01

172.19.100.202 ceph02

172.19.100.201 ceph01

172.19.100.211 osd-01

172.19.100.212 osd-02

172.19.100.213 osd-03

在添加所有的机器对mon01的信任，不然后面敲密码能把手敲木。

#ssh-keygen -d

#scp /root/.ssh/id_dsa.pub ceph01:/root/.ssh/authorized_keys

#scp /root/.ssh/id_dsa.pub ceph02:/root/.ssh/authorized_keys

#scp /root/.ssh/id_dsa.pub osd-01:/root/.ssh/authorized_keys

#scp /root/.ssh/id_dsa.pub osd-02:/root/.ssh/authorized_keys

#scp /root/.ssh/id_dsa.pub osd-03:/root/.ssh/authorized_keys

添加ceph 启动服务

#cp ceph-0.21/src/init-ceph /etc/init.d/ceph

#chmod 755 /etc/init.d/ceph

#chkconfig --add ceph

上一篇：sql的隔离级

下一篇：我的友情链接

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯