一、组网图
二、配置多路径前相关基础配置
1、linux服务器配置网卡地址,使用ip add命令查看当前的网卡系信息。
2、设置连个网卡的ip地址,输入vi /etc/sysconfig/network-scripts/ifcfg-ens160
vi /etc/sysconfig/network-scripts/ifcfg-ens192设置相应的ip地址,:wq保存退出
3、重启网卡
[root@linux ~]# systemctl restart network
4、查看网卡状态
5、从linux服务器测试下跟存储的连通性,发现只有一个网卡可以通。
6、出现只有一个网卡通,说明Linux默认启用了反向路由检查,我们只需要关闭反向路由检查即可。
echo 0 > /proc/sys/net/ipv4/conf/all/rp_filter
echo 0 > /proc/sys/net/ipv4/conf/ens160/rp_filter
echo 0 > /proc/sys/net/ipv4/conf/ens192/rp_filter
6、这个是临时的重启就丢失了,我们需要写入开机启动文件/etc/sysctl.conf里,并保存退出
net.ipv4.conf.default.rp_filter = 0
net.ipv4.conf.all.rp_filter = 0
net.ipv4.tcp_tw_recycle = 0
net.ipv4.conf.default.rp_filter = 0
net.ipv4.conf.ens36.rp_filter = 0
net.ipv4.conf.ens37.rp_filter = 0
==保存后,实行sysctl -p 生效
7、再测试两边的联通性,显示已经通。
三、安装 iSCSI initiator插件
1、查看当前是否已经安装了iSCSI initiator插件rpm -qa|grep iscsi #如输出没东西,说明没安装
2、安装iSCSI initiator插件,使用yum -y install iscsi-initiator-utils iscsi-initiator-utils-devel
#yum安装方式服务器要么能上网或者本机无网情况下需要挂载系统ISO镜像才能安装
3、使用rpm -qa|grep iscsi 查询当前安装情况,输出信息说明安装成功
4、启动ISCSI服务,并加入开机自动加载
[root@linux ~]# systemctl enable iscsi.service
[root@linux ~]# systemctl start iscsi.service
[root@linux ~]# systemctl start iscsid.service
四、多路径配置
1、在linux服务器系统发射存储上的iqn信息,使用iscsiadm -m discovery -t st -p 192.168.10.93,经发现只有2条路径,正常是要有4条路径
(可选)2、以上情况问题,我们需要建立iscsi端口。
iscsiadm -m iface -I iscsi_ens160 --op=new #红色标注需要根据自己端口号
iscsiadm -m iface -I iscsi_ens192 --op=new
(可选)3、绑定iscsi端口,建立iscsi_ens60和ens160、iscsi_ens192和ens192的映射关系。
iscsiadm -m iface -I iscsi_ens160 --op=update -n iface.net_ifacename -v ens160
iscsiadm -m iface -I iscsi_ens192 --op=update -n iface.net_ifacename -v ens192
(可选)4、确认iface配置
[root@linux ~]# iscsiadm -m iface
5、重启ISCSI服务
[root@linux ~]# systemctl restart iscsi.service
6、重启ISCSI服务有可能网络不通,在执行一下关闭反向路由
echo 0 > /proc/sys/net/ipv4/conf/all/rp_filter
echo 0 > /proc/sys/net/ipv4/conf/ens160/rp_filter
echo 0 > /proc/sys/net/ipv4/conf/ens192/rp_filter
7、再次发射存储映射信息,发现已经有4条路径
iscsiadm -m discovery -t st -p 192.168.10.93
iscsiadm -m discovery -t st -p 192.168.10.94
8、查询端口状态
[root@linux ~]# netstat -anp|grep 3260
9、开机自动注册连接
[root@cloudreve ~]# iscsiadm -m node -T iqn.1995-05.com.seagate:seagate-d4.iscsi5 -p 192.168.3.240:3260 --op update -n node.startup -v automatic
[root@cloudreve ~]#iscsiadm -m node
iscsiadm -m node --targetname iqn.2006-01.com.openfiler:tsn.98c70dc33804 -u
iscsiadm -m node -o delete -T iqn.2006-01.com.openfiler:tsn.98c70dc33804 -p 192.168.10.93:3260
iscsiadm -m node -o delete -T iqn.2006-01.com.openfiler:tsn.98c70dc33804 -p 192.168.10.94:3260
10、重新获取
iscsiadm -m discovery -t st -p 192.168.10.93
11、重启ISCSI服务,并且查询端口服务信息
systemctl restart iscsi.service
netstat -anp|grep 3260
12、安装DM-multipath 软件包
yum -y install device-mapper multipath-tools device-mapper-multipath device-mapper-event
13、使用下面的命令初始化DM
modprobe dm-multipath
modprobe dm-round-robin
systemctl start multipathd.service
systemctl enable multipathd.service
14、检查安装服务是否正常,显示正常
lsmod |grep dm_multipath
15、查询磁盘wwid
/lib/udev/scsi_id --whitelisted --device=/dev/sdb
/lib/udev/scsi_id --whitelisted --device=/dev/sdc
16、拷贝一份模板配置文件到etc目录,然后编辑multipath.conf文件。
cp /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf /etc/
17、编辑multipath.conf文件
blacklist {
devnode "^sda"
}
multipaths {
multipath {
wwid "14f504e46494c455274783449546b2d557767332d77394d56"
alias yellow
path_grouping_policy multibus #如果multibus 改为failover是主备模式
path_checker readsector0
path_selector "round-robin 0"
failback manual
rr_weight priorities
no_path_retry 5
}
}
18、查询多路径生成的磁盘信息,可以看出有个yellow的磁盘LUN信息
fdisk -l
19、查看多路径配置是否成功,用 multipath –ll 命令查看到四条活跃路径,他们之间互为A/A 关系。起到链路负载。
[root@linux ~]# multipath -ll
五、磁盘格式化、及挂载
1、格式化LUN及挂载,在对多路径软件生成的磁盘进行分区之前最好运行一下pvcreate命令
[root@linux ~]# pvcreate /dev/mapper/yellow
2、对LUN磁盘分区
fdisk /dev/mapper/yellow
WARNING: Re-reading the partition table failed with error 22:
WARNING: Re-reading the partition table failed with error 22: 无效的参数.
用fdisk对多路径软件生成的磁盘进行分区保存时会有一个报错,此报错可以忽略
3、重新扫描分区
partprobe /dev/mapper/lyellow
4、格式化分区,我这边采用ext4模式分区
mkfs.ext4 /dev/mapper/yellow1
5、挂载磁盘,在/mnt目录上建议一个目录作为LUN的挂载。
mkdir /mnt/weichun
6、挂载/dev/mapper/yellow1到/mnt/weichun目录上
mount /dev/mapper/yellow1 /mnt/weichun
7、查看挂载信息,可以显示挂载已经成功
8、为了机器以后重启挂载失效,需要永久挂载,在/etc/fstab文件上进行写入,并保存退出
输入 vi /etc/fstab 命令进行编辑写入
*注意:fstab文件中必须指定_netdev,不然重启无法正常开机