一、规划
角色 | IP | 安装软件 | VIP |
master | 192.168.42.135 | keepalived+lvs | 192.168.42.136 |
backup | 192.168.42.129 | keepalived+lvs |
|
web1 | 192.168.42.130 | nginx-web1 |
|
web2 | 192.168.42.133 | nginx-web2 |
|
二、部署
1、部署后端webserver
在web1、web2上部署nginx，并且因为环境冲突，Nginx监听端口都用8080，创建不同的index.html，以便后续验证。
[root@node2 ~]# yum install nginx -y
[root@node2 ~]# echo "web-server1" > /usr/share/nginx/html/index.html
[root@node1 ~]# yum install nginx -y
[root@node1 ~]# echo "web-server2" > /usr/share/nginx/html/index.html配置realserver lo网卡和arp抑制
[root@node1 ~]# vim realserver
VIP=192.168.42.136case "$1" in
start)
ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
/sbin/route add -host $VIP dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p >/dev/null 2>&1
echo "RealServer Start OK"
;;
stop)
ifconfig lo:0 down
route del $VIP >/dev/null 2>&1
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "RealServer Stoped"
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
[root@node1 ~]# chmod +x realserver
[root@node1 ~]# ./realserver start2、部署keepalived
在master和backup上部署keepalived，安装ipvs管理工具
[root@master ~]# yum install -y keepalived
[root@master ~]# lsmod |grep ip_vs #查看ip_vs是否加载
[root@master ~]# modprobe ip_vs #加载ip_vs模块
[root@master ~]# cat /proc/net/ip_vs #查看ip_vs信息
[root@master ~]# yum -y install ipvsadm修改keepalived配置文件
[root@master ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id LVS_MASTER
vrrp_skip_check_adv_addr
#vrrp_strict #记得注释，不然VIP绑定了网卡，也无法被ping通
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_instance VI_1 {
state MASTER #指定实例初始状态，实际的MASTER和BACKUP是选举决定的。backup此处应配置为BACKUP
interface ens33 #指定实例绑定的网卡
virtual_router_id 91 #设置VRID标记，多个集群不能重复(0..255)
priority 100 #设置优先级，优先级高的会被竞选为Master，backup此处应配置小于100
advert_int 1 #检查的时间间隔，默认1s
nopreempt #禁止抢占服务。默认情况，当MASTER服务挂掉之后，BACKUP自动升级为MASTER并接替它的任务，当MASTER服务恢复后，升级为MASTER的BACKUP服务又自动降为BACKUP，把工作权交给原MASTER。当配置了 #nopreempt，MASTER从挂掉到恢复，不再将服务抢占过来。
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.42.136
}
}
virtual_server 192.168.42.136 8080 {
delay_loop 6 #健康检查时间间隔
lb_algo rr #lvs调度算法rr|wrr|lc|wlc|lblc|sh|dh等
lb_kind DR #lvs工作模式
persistence_timeout 0 #会话保持时间，设置为0方便后面测试
protocol TCP
real_server 192.168.42.130 8080 {
weight 1
HTTP_GET { //检测方法除HTTP_GET外还支持TCP_CHECK，脚本，SSL_GET等。
url {
path /index.html
status_code 200
}
connect_timeout 3 #连接超时时间
nb_get_retry 3 #重试次数
delay_before_retry 3 #重连间隔时间
}
}
real_server 192.168.42.133 8080 {
weight 1
HTTP_GET {
url {
path /index.html
status_code 200
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}#主从启动keepalived
[root@node3 ~]# systemctl restart keepalived查看master的ens33网卡上是否有VIP
查看lvs后端情况：
[root@node3 ~]# ipvsadm -ln
[root@node3 ~]# ipvsadm -lnc
测试负载均衡轮询：
[root@master ~]# curl http://192.168.42.136:8080/
测试高可用，停用master上的keepalived，观察VIP是否漂移到backup上。
三、问题整理
问题1：keepalived.conf中vip配置好后，通过ip addr可以看到vip已经顺利挂载，但是无法ping通，并且防火墙都已关闭，原因是keepalived.conf配置中默认vrrp_strict打开了，需要把它注释掉。重启keepalived即可ping通。
问题2：使用curl测试负载均衡时，能够轮询调度到不同的后端主机，但是使用浏览器时却不行，总是访问到同一个后端。原因是，curl命令请求时，每次请求都从不同的端口发请求，所以每次lvs都当做一个新的客户端来处理，而且curl请求完后，就关闭了tcp连接；而浏览器则不然，每次刷新很可能还是以同一个端口发出请求，而且tcp连接也会保持，所以lvs就会认为是同一个客户端，每次刷新就会指向同一rs。
如果要想浏览器测试也能达到轮询效果，则需要将lvs的连接处于空闲状态的超时时间设置的很短。
[root@node3 ~]# ipvsadm --list --timeout （默认过期时间分别是900 120 300）
[root@node3 ~]# ipvsadm --set 1 1 1
四、补充
1、Linux修改内核参数
方法1：
echo value > /proc/sys/path 例： echo 0 > /proc/sys/net/ipv4/ip_nonlocal_bind
方法2：
sysctl -w kernel.name=value 修改值
sysctl -a 查看
方法3：
vim /etc/sysctl.conf #将内容写入sysctl.conf文件
sysctl -p #使文件内容的修改立即生效
2、内核模块的操作
查看内核模块：lsmod
移除模块： modprob -r 模块名 或者 rmmod 模块名
装载模块： modprob 模块名 或者 insmod 模块名
查看模块详细信息：modinfo 模块名
3、ipvsadm命令行选项
-A 添加一个虚拟服务，使用ip地址、端口号、协议来唯一定义一个虚拟服务
-E 编辑一个虚拟服务
-D 删除一个虚拟服务
-C 清空虚拟服务列表
-R 从标准输入中还原虚拟服务列表
-S 保存虚拟服务规则至标准输出，输出规则可使用-R选项还原
-L 显示虚拟服务列表
-Z 虚拟服务器列表计数器清零（清空当前连接数）
-a 添加一台真实服务器
-e 编辑一台真实服务器
-d 减少一台真实服务器
-t 使用TCP服务，该参数后需加主机与端口信息
-u 使用UDP服务，该参数后需加主机与端口信息
-s 指定lvs的调度算法
-r 设置真实服务器IP与端口
-g 设置lvs工作模式为DR直连路由
-i 设置lvs工作模式为TUN隧道
-m 设置lvs工作模式为NAT地址转换模式
-w 指定真实服务器权重
-c 连接状态，配和-L使用
-n 数字格式显示
--stats 显示统计信息
--rate 显示速率信息
--sort 对虚拟服务器和真实服务器排序输出
--set tcp tcpfin udp
设置ipvs连接超时值，三个参数分别代表tcp会话超时时间、收到FIN包后tcp会话超时时间、udp超时时间
--timeout
显示tcp tcpfin udp的timeout值
--start-daemon
启动同步守护进程
--stop-daemon
停止同步守护进程4、lvs持久性连接介绍
（1）把同一个client的请求信息记录到lvs的hash表里，保存时间使用persistence_timeout控制，单位为秒。 persistence_granularity 参数是配合persistence_timeout的，在某些情况特别有用，他的值是子网掩码，表示持久连接的粒度，默认是 255.255.255.255，也就是单独的client ip，如果改成，255.255.255.0就是client ip一个网段的都会被分配到同一个real server。
设置方式：
persistence_timeout 可以通过"ipvsadm -p timeout" 来设置，默认360秒
# ipvsadm -A -t 192.168.20.154:80 -s rr -p 60
注意：上面命令中红色标记的80端口，表示同一客户端访问服务器的80端口，会被定义到同一个real server，如果把80端口改为0，那么同一客户端访问服务器的任何服务都会被转发到同一real server。
修改keepalived配置文件，在虚拟服务器配置下面加入persistence_timeout 60
（2）一个连接创建后空闲时的超时时间，这个时间为3种
① tcp的空闲超时时间
② lvs收到客户端tcp fin的超时时间
③ udp的超时时间
设置方式：
# tcp tcpfin udp 可以通过"ipvsadm --set 对应超时时间"来设置
ipvsadm --set tcp tcpfin udp
建议：tcpfin的值最好小于persistence_timeout的值，这样比较方便计算，也有利于tcpfin回收
