LVS DR模式搭建、keepalived+LVS

原创

豆渣锅 2018-01-30 21:42:41 ©著作权

文章标签 LVS DR 模式搭建 keepalive 文章分类 负载均衡服务器

©著作权归作者所有：来自51CTO博客作者豆渣锅的原创作品，请联系作者获取转载授权，否则将追究法律责任

LVS DR 模式搭建

准备工作

三台机器，三台机器均有公网IP。

调度器（director）

IP：192.168.159.131
real server 1 （real1）

IP：192.168.159.132
real server 2 （real2）

IP：192.168.159.133
VIP：192.168.159.100

配置调度器（director）

创建一个脚本：
[root@localhost ~]# vim /usr/local/sbin/lvs_dr.sh
#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
#开启端口转发
ipv=/usr/sbin/ipvsadm
vip=192.168.159.100
rs1=192.168.159.132
rs2=192.168.159.133
#注意这里的网卡名字
ifdown ens33
ifup ens33
#在此重启网卡的目的是避免重复设置命令行提供的IP
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
#绑定VIP到dir的虚拟网卡ens33:2
route add -host $vip dev ens33:2
#添加网关
$ipv -C
$ipv -A -t $vip:80 -s wrr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1
#设置ipvsadm规则，-g=gateway：使用默认网关（DR模式）


执行脚本：
[root@localhost ~]# sh /usr/local/sbin/lvs_dr.sh 
成功断开设备 'ens33'。
成功激活的连接（D-Bus 激活路径：/org/freedesktop/NetworkManager/ActiveConnection/2）


查看地址：
[root@localhost ~]# ip add
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:43:65:0b brd ff:ff:ff:ff:ff:ff
inet 192.168.159.131/24 brd 192.168.159.255 scope global ens33
   valid_lft forever preferred_lft forever
inet 192.168.159.100/32 brd 192.168.159.100 scope global ens33:2
   valid_lft forever preferred_lft forever
inet6 fe80::cfb6:b956:82de:6f77/64 scope link 
   valid_lft forever preferred_lft forever
// vip 绑定到了ens33 网卡上

配置两台real server

分别在real1、real2上配置脚本：


#!/bin/bash
vip=192.168.8.100
#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端
ifdown lo
ifup lo
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

脚本定义/lo/arp_ignore和/all/arp_ignore的理解： *0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求
- 1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求
- 2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内
- 3 - 不回应该网络界面的arp请求，而只对设置的唯一和连接地址做出回应
- 4-7 - 保留未使用
- 8 -不回应所有（本地地址）的arp查询
脚本定义/lo/arp_announce和/all/arp_announce的理解
- arp_announce:对网络接口上，本地IP地址的发出的，ARP回应，作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口
- 0 - (默认) 在任意网络接口（eth0,eth1，lo）上的任何本地地址
- 1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理.
- 2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送.
执行脚本： [root@localhost ~]# sh /usr/local/sbin/lvs_rs.sh // 执行成功后无返回值

查看路由表： [root@localhost ~]# route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 192.168.159.2 0.0.0.0 UG 100 0 0 ens33 192.168.159.0 0.0.0.0 255.255.255.0 U 100 0 0 ens33 192.168.159.100 0.0.0.0 255.255.255.255 UH 0 0 0 lo // 可以看见vip的路由

查看ip： [root@localhost ~]# ip add 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet 192.168.159.100/32 brd 192.168.159.100 scope global lo:0 valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever

// vip 绑定到了lo上。

测试

在浏览器访问vip：192.168.159.100 ，刷新网页，访问结果在real1、real2交替。
或者新开一台虚拟机（同一网段），使用curl访问。不能使用之前的三台虚拟机访问。

keepalived LVS

完整的架构需要两台服务器（角色为dir），分别安装Keepalived工具，目的是实现高可用，但Keepalived本身也有负载均衡功能，所以本次使用可以只安装一台Keepalived。Keepalived内置了ipvsadm的功能，所以不需要安装ipvsadm包，也不用编写和执行lvs_dr脚本。

准备工作

准备三台机器：

调度器（director）

IP：192.168.159.133；安装keepalived
real server （real1）

IP：192.168.159.131；
real server （real2）

IP：192.168.159.132
VIP：192.168.159.100

配置调度器（director）

安装keepalived：
[root@centos04 ~]# yum install -y keepalived

自定义keepalived配置文件
[root@centos04 ~]# vim /etc/keepalived/keepalived.conf 
vrrp_instance VI_1 {
    // 备用服务器上为 BACKUP
    state MASTER
    // 绑定vip的网卡为ens33，你的网卡和阿铭的可能不一样，这里需要你改一下
    interface ens33
    virtual_router_id 51
    // 备用服务器上为90
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 123456
    }
    virtual_ipaddress {
        192.168.8.100
    }
}
virtual_server 192.168.8.100 80 {
    // (每隔10秒查询realserver状态)
    delay_loop 10
    // (lvs 算法) 
    lb_algo wlc 
    // 算法(DR模式)
    lb_kind DR
    // (同一IP的连接60秒内被分配到同一台realserver)
    persistence_timeout 0 
    // (用TCP协议检查realserver状态)
    protocol TCP 
    real_server 192.168.8.134 80 {
        // (权重) 
        weight 100
        TCP_CHECK {
        // (10秒无响应超时)
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }   
    real_server 192.168.8.135 80 {
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }  
}    



启动keepalived 服务：
[root@centos04 ~]# systemctl start keepalived


查看网卡信息：
[root@centos04 ~]# ip add
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:bb:0b:5a brd ff:ff:ff:ff:ff:ff
    inet 192.168.159.133/24 brd 192.168.159.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 192.168.159.100/32 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:febb:b5a/64 scope link 
       valid_lft forever preferred_lft forever

// vip 在ens33网卡上


查看ipvsadm规则：
[root@centos04 ~]# ipvsadm -ln
[root@centos04 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.159.100:80 wlc
  -> 192.168.159.131:80           Route   100    0          0         
  -> 192.168.159.132:80           Route   100    0          0 
  
 // 如果规则和rs数量不一致，那可能是没有规则的那台机器没有启动nginx
 // 在生产环境下，查看ipvsadm规则时，如果有机器没有规则，则说明那台机器可能宕机了

配置real server

配置路由转发脚本：
[root@localhost ~]# vim /usr/local/sbin/lvs_rs.sh
#/bin/bash
vip=192.168.159.100
#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce


执行脚本：
[root@real2 ~]# sh /usr/local/sbin/lvs_rs.sh

测试

在浏览器访问VIP：192.168.8.100，刷新网页，访问结果由real1、real2交替回复。
或者使用同网段的主机访问vip，访问结果由real1、real2交替回复。

[root@localhost ~]# curl 192.168.159.100 This is real server 2 [root@localhost ~]# curl 192.168.159.100 this is real server 1 [root@localhost ~]# curl 192.168.159.100 This is real server 2 [root@localhost ~]# curl 192.168.159.100 this is real server 1