一、组网图

esxi dump文件路径 esxi查看多路径_java

二、配置多路径前相关基础配置

1、linux服务器配置网卡地址,使用ip add命令查看当前的网卡系信息。

esxi dump文件路径 esxi查看多路径_运维_02

2、设置连个网卡的ip地址,输入vi /etc/sysconfig/network-scripts/ifcfg-ens160

vi /etc/sysconfig/network-scripts/ifcfg-ens192设置相应的ip地址,:wq保存退出

esxi dump文件路径 esxi查看多路径_centos_03

esxi dump文件路径 esxi查看多路径_esxi dump文件路径_04

3、重启网卡

[root@linux ~]# systemctl restart network

4、查看网卡状态

esxi dump文件路径 esxi查看多路径_esxi dump文件路径_05

5、从linux服务器测试下跟存储的连通性,发现只有一个网卡可以通。

esxi dump文件路径 esxi查看多路径_linux_06

6、出现只有一个网卡通,说明Linux默认启用了反向路由检查,我们只需要关闭反向路由检查即可。

echo 0 > /proc/sys/net/ipv4/conf/all/rp_filter

echo 0 > /proc/sys/net/ipv4/conf/ens160/rp_filter

echo 0 > /proc/sys/net/ipv4/conf/ens192/rp_filter

esxi dump文件路径 esxi查看多路径_esxi dump文件路径_07

6、这个是临时的重启就丢失了,我们需要写入开机启动文件/etc/sysctl.conf里,并保存退出

net.ipv4.conf.default.rp_filter = 0
net.ipv4.conf.all.rp_filter = 0
net.ipv4.tcp_tw_recycle = 0
net.ipv4.conf.default.rp_filter = 0
net.ipv4.conf.ens36.rp_filter = 0
net.ipv4.conf.ens37.rp_filter = 0

==保存后,实行sysctl -p 生效

7、再测试两边的联通性,显示已经通。

esxi dump文件路径 esxi查看多路径_linux_08

三、安装 iSCSI initiator插件

1、查看当前是否已经安装了iSCSI initiator插件rpm -qa|grep iscsi   #如输出没东西,说明没安装

2、安装iSCSI initiator插件,使用yum -y install iscsi-initiator-utils iscsi-initiator-utils-devel 

#yum安装方式服务器要么能上网或者本机无网情况下需要挂载系统ISO镜像才能安装

esxi dump文件路径 esxi查看多路径_java_09

3、使用rpm -qa|grep iscsi  查询当前安装情况,输出信息说明安装成功

esxi dump文件路径 esxi查看多路径_linux_10

4、启动ISCSI服务,并加入开机自动加载

[root@linux ~]# systemctl enable iscsi.service

[root@linux ~]# systemctl start iscsi.service

[root@linux ~]# systemctl start iscsid.service

四、多路径配置

1、在linux服务器系统发射存储上的iqn信息,使用iscsiadm -m discovery -t st -p 192.168.10.93,经发现只有2条路径,正常是要有4条路径

esxi dump文件路径 esxi查看多路径_centos_11

(可选)2、以上情况问题,我们需要建立iscsi端口。

iscsiadm -m iface -I iscsi_ens160 --op=new     #红色标注需要根据自己端口号

iscsiadm -m iface -I iscsi_ens192 --op=new

esxi dump文件路径 esxi查看多路径_esxi dump文件路径_12

(可选)3、绑定iscsi端口,建立iscsi_ens60和ens160、iscsi_ens192和ens192的映射关系。

iscsiadm -m iface -I iscsi_ens160 --op=update -n iface.net_ifacename -v ens160

iscsiadm -m iface -I iscsi_ens192 --op=update -n iface.net_ifacename -v ens192

esxi dump文件路径 esxi查看多路径_linux_13

(可选)4、确认iface配置

[root@linux ~]# iscsiadm -m iface

esxi dump文件路径 esxi查看多路径_运维_14

5、重启ISCSI服务

[root@linux ~]# systemctl restart  iscsi.service

6、重启ISCSI服务有可能网络不通,在执行一下关闭反向路由

echo 0 > /proc/sys/net/ipv4/conf/all/rp_filter

echo 0 > /proc/sys/net/ipv4/conf/ens160/rp_filter

echo 0 > /proc/sys/net/ipv4/conf/ens192/rp_filter

7、再次发射存储映射信息,发现已经有4条路径

iscsiadm -m discovery -t st -p 192.168.10.93

iscsiadm -m discovery -t st -p 192.168.10.94

esxi dump文件路径 esxi查看多路径_java_15

8、查询端口状态

[root@linux ~]# netstat -anp|grep 3260

esxi dump文件路径 esxi查看多路径_esxi dump文件路径_16

9、开机自动注册连接

[root@cloudreve ~]# iscsiadm -m node -T iqn.1995-05.com.seagate:seagate-d4.iscsi5 -p 192.168.3.240:3260 --op update -n node.startup -v automatic
[root@cloudreve ~]#iscsiadm -m node

esxi dump文件路径 esxi查看多路径_linux_17

iscsiadm -m node --targetname iqn.2006-01.com.openfiler:tsn.98c70dc33804 -u

iscsiadm -m node -o delete -T iqn.2006-01.com.openfiler:tsn.98c70dc33804 -p 192.168.10.93:3260

iscsiadm -m node -o delete -T iqn.2006-01.com.openfiler:tsn.98c70dc33804 -p 192.168.10.94:3260

esxi dump文件路径 esxi查看多路径_java_18

10、重新获取

iscsiadm -m discovery -t st -p 192.168.10.93

11、重启ISCSI服务,并且查询端口服务信息

systemctl restart iscsi.service

netstat -anp|grep 3260

esxi dump文件路径 esxi查看多路径_centos_19

12、安装DM-multipath 软件包

yum -y install device-mapper multipath-tools device-mapper-multipath device-mapper-event

esxi dump文件路径 esxi查看多路径_linux_20

13、使用下面的命令初始化DM

modprobe dm-multipath

modprobe dm-round-robin

systemctl start multipathd.service

systemctl enable  multipathd.service

esxi dump文件路径 esxi查看多路径_运维_21

14、检查安装服务是否正常,显示正常

lsmod |grep dm_multipath

esxi dump文件路径 esxi查看多路径_java_22

15、查询磁盘wwid

/lib/udev/scsi_id --whitelisted --device=/dev/sdb

/lib/udev/scsi_id --whitelisted --device=/dev/sdc

esxi dump文件路径 esxi查看多路径_linux_23

16、拷贝一份模板配置文件到etc目录,然后编辑multipath.conf文件。

cp /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf /etc/

esxi dump文件路径 esxi查看多路径_esxi dump文件路径_24

17、编辑multipath.conf文件

blacklist {

        devnode "^sda"

}

multipaths {

        multipath {

                wwid "14f504e46494c455274783449546b2d557767332d77394d56"                      

                alias yellow                              

                path_grouping_policy multibus #如果multibus 改为failover是主备模式

                path_checker readsector0

                path_selector "round-robin 0"

                failback manual

                rr_weight priorities                     

                no_path_retry 5

        }

}

esxi dump文件路径 esxi查看多路径_centos_25

18、查询多路径生成的磁盘信息,可以看出有个yellow的磁盘LUN信息

fdisk -l

esxi dump文件路径 esxi查看多路径_esxi dump文件路径_26

19、查看多路径配置是否成功,用 multipath –ll 命令查看到四条活跃路径,他们之间互为A/A 关系。起到链路负载。

[root@linux ~]# multipath -ll




esxi dump文件路径 esxi查看多路径_java_27


五、磁盘格式化、及挂载

1、格式化LUN及挂载,在对多路径软件生成的磁盘进行分区之前最好运行一下pvcreate命令

[root@linux ~]# pvcreate /dev/mapper/yellow

esxi dump文件路径 esxi查看多路径_esxi dump文件路径_28

2、对LUN磁盘分区

fdisk /dev/mapper/yellow

esxi dump文件路径 esxi查看多路径_运维_29

WARNING: Re-reading the partition table failed with error 22:

WARNING: Re-reading the partition table failed with error 22: 无效的参数.

用fdisk对多路径软件生成的磁盘进行分区保存时会有一个报错,此报错可以忽略

3、重新扫描分区

partprobe  /dev/mapper/lyellow

4、格式化分区,我这边采用ext4模式分区

mkfs.ext4 /dev/mapper/yellow1

esxi dump文件路径 esxi查看多路径_java_30

5、挂载磁盘,在/mnt目录上建议一个目录作为LUN的挂载。

mkdir  /mnt/weichun

esxi dump文件路径 esxi查看多路径_linux_31

6、挂载/dev/mapper/yellow1到/mnt/weichun目录上

mount /dev/mapper/yellow1  /mnt/weichun

esxi dump文件路径 esxi查看多路径_运维_32

7、查看挂载信息,可以显示挂载已经成功

esxi dump文件路径 esxi查看多路径_centos_33

8、为了机器以后重启挂载失效,需要永久挂载,在/etc/fstab文件上进行写入,并保存退出

输入  vi  /etc/fstab 命令进行编辑写入

 

esxi dump文件路径 esxi查看多路径_java_34

*注意:fstab文件中必须指定_netdev,不然重启无法正常开机