文章目录
- 群集技术概述
- 群集的类型
- 负载均衡群集
- 高可用群集
- 高性能运算群集
- 负载均衡的分层结构
- 第一层:负载调度器
- 第二层:服务器池
- 第三层:共享存储
- 负载均衡的工作模式
- 地址转换(Network Address Translation)
- IP隧道(lP Tunnel)
- 直接路由(Direct Routing)
- 区别
- LVS 的负载调度算法
- 轮询(Round Robin)
- 加权轮询(Weighted Round Robiin)
- 最少连接(Least Connections)
- 加权最少连接(Weighted Least Connections)
- 使用ipvsadm工具
- 一:创建虚拟服务器
- 二:添加、删除服务器节点
- 三:查看群集及节点状态
- 四:保存负载分配策略
- 部署步骤
- LVS-NAT部署实战
群集技术概述
根据企业实际环境的不同。群集所提供的功能也各不相同,采用的技术细节也可能各有千秋。然而从整体上来看,需要先了解一些关于群集的共同特征,这样才能在构建和维护群集的工作上做到心中有数,避免操作上的盲目性。
群集的类型
负载均衡群集
以提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标,获得高并发、高负载(LB)的整体性能。LB 的负载分配依赖于主节点的分流算法,将来自客户机的访问请求分担给多个服务器节点,从而缓解整个系统的负载压力。
高可用群集
以提高应用系统的可靠性、尽可能的减少中断时间为目标,确保服务的连续性,达到高可用(HA)的容错效果。HA 的工作方式包括双工和主从两种模式。双工即所有节点同时在线;主从则只有主节点在线,但当出现故障时从节点能自动切换为主节点。
高性能运算群集
以提高应用系统的 CPU 运算速度、扩展硬件资源和分析能力为目标,获得相当于大型、超级计算机的高性能运算(HPC)能力。高性能运算群集的高性能依赖于“分布式运算”和“并行计算”,通过专用硬件和软件将多个服务器的 CPU 、内存等资源整合在一起,实现只有大型、超级计算机才具备的计算能力。
负载均衡的分层结构
在典型的负载均衡群集中,包括三个层次的组件。前端至少有一个负载调度器负责响应并分发来自客户机的服务请求;后端有大量真实服务器构成服务器池,提供实际的应用服务,整个群集的伸缩性通过增加、删除服务器节点来完成,而这些过程对客户是透明的;为了保持服务的一致性,所有节点使用共享存储设备。
第一层:负载调度器
这是访问整个群集系统的唯一入口,对外使用所有服务器共有的 VIP 地址,也称为群集 IP 地址。通常会配主、备两台调度器实现热备份,当主调度器失效以后平滑换至备用调度器,确保高可用性。
第二层:服务器池
群集所提供的应用服务(如 HTTP、FTP)由服务器池承担,其中的每个节点具有独立的 RIP 地址(真实地址),只处理调度器分发过来的客户机请求。当某个节点暂时失效时,负载调度器的容错机制会将其隔离,等待错误排除以后再重新纳入服务器池。
第三层:共享存储
为服务器池中的所有节点提供稳定、一致的文件存取服务;确保整个群集的统一性。在 Linux/UNIX 环境中,共享存储可以使用 NSA 设备,或者提供 NFS 共享服务的专用服务器。
负载均衡的工作模式
地址转换(Network Address Translation)
简称NAT模式;类似于防火墙的私有网络结构,负载调度器作为所有服务器节点的网关,即作为客户机的访问入口,也是各节点回应客户机的访问出口;服务器节点使用私有IP地址,与负载调度器位于同一个物理网络,安全性要优于其他两种方式。**
IP隧道(lP Tunnel)
**简称TUN模式;采用开放式的网络结构,负载调度器仅作为客户机的访问入口,各节点通过各自的Internet连接直接回应客户机,而不再经过负载调度器;务器节点分散在互联网中的不同位置,具有独立的公网IP地址,通过专用IP隧道与负载调度器相互通信。
直接路由(Direct Routing)
简称DR模式;采用半开放式的网络结构,与TUN模式的结构类似,但各节点并不是分散在各地,而是与调度器位于同一个物理网络;负载调度器与各节点服务器通过本地网络连接,不需要建立专用的IP隧道。
区别
相同点
- 都是各Web节点直接响应客户机
不同点
- TUN 有公网独立的节点,DR 没有
- TUN 各 Web 节点和调度器 IP 隧道通讯;DR 各 Web 节点和调度器 IP 局域网通讯
- TUN Web 节点直接响应;DR Web节点需要通过路由器响应
LVS 的负载调度算法
轮询(Round Robin)
将收到的访问请求按照顺序轮流分配给群集中的各节点(真实服务器),均等地对待每一台服务器,而不管服务器实际的连接数和系统负载。
加权轮询(Weighted Round Robiin)
根据调度器设置的权重值来分发请求,权重值高的节点优先获得任务,分配的请求数越多;保证性能强的服务器承担更多的访问流量。
最少连接(Least Connections)
根据真实服务器已建立的连接数进行分配,将收到的访问请求优先分配给连接数最少的节点。如果所有的服务器节点性能相近,采用这种方式可以更好地均衡负载。
加权最少连接(Weighted Least Connections)
在服务器节点的性能差异较大时,可以为真实服务器自动调整权重;性能较高的节点将承担更大比例的活动连接负载。
使用ipvsadm工具
ipvsadm 是在负载调度器上使用的 LVS 群集管理工具,通过调用 ip_vs 模块来添加、删除服务器节点,以及查看群集的运行状态。
一:创建虚拟服务器
二:添加、删除服务器节点
三:查看群集及节点状态
四:保存负载分配策略
部署步骤
- 1.加载ip_vs模块,安装ipvsadm工具
- 2.开启路由转发
- 3.新建LVS虚拟服务器并添加节点服务器
- 4配置节点服务器
(1)建立测试网站
(2)挂载NFS共享存储
(3)建立测试网页 - 5.保存规则并测试
LVS-NAT部署实战
LVS调度器作为Web服务器池的网关,LVS两块网卡分,别连接内外网,使用轮询 (rr) 调度算法
调度服务器一台(lvs)
IP地址:192.168.100.10(内网)
192.168.200.10(外网)
Web服务器两台(web1)(web2)
IP地址:192.168.100.20
192.168.100.30
NFS共享服务器(nfs)
IP地址:192.168.100.40
客户端一台(client)
IP地址:192.168.200.20(外网)
LVS 地址分配
[root@lvs ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=192.168.100.10
NETMASK=255.255.255.0
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=b9e1f30b-7cae-426f-870e-e4fa2116b522
DEVICE=ens33
ONBOOT=yes
[root@lvs ~]# systemctl restart network
[root@lvs ~]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.100.10 netmask 255.255.255.0 broadcast 192.168.100.255
web1地址分配
[root@web1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=192.168.100.20
NETMASK=255.255.255.0
GATEWAY=192.168.100.10
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=629fa753-37b3-4bd3-ae06-3aad44c6f838
DEVICE=ens33
ONBOOT=yes
[root@web1 ~]# systemctl restart network
[root@web1 ~]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.100.20 netmask 255.255.255.0 broadcast 192.168.100.255
web2地址分配
[root@web2 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=192.168.100.30
NETMASK=255.255.255.0
GATEWAY=192.168.100.10
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=c4c73c21-7e33-4c8b-a2e9-9dce2284a7f8
DEVICE=ens33
ONBOOT=yes
[root@web2 ~]# systemctl restart network
[root@web2 ~]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.100.30 netmask 255.255.255.0 broadcast 192.168.100.255
nfs地址分配
[root@nfs ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=192.168.100.40
NETMASK=255.255.255.0
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=4faeb257-5b0e-43dc-b847-bc4d2b052153
DEVICE=ens33
ONBOOT=yes
[root@nfs ~]# systemctl restart network
[root@nfs ~]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.100.40 netmask 255.255.255.0 broadcast 192.168.100.255
web1和web2ping通
[root@web1 ~]# ping 192.168.100.10
64 bytes from 192.168.100.10: icmp_seq=1 ttl=64 time=0.584 ms
64 bytes from 192.168.100.10: icmp_seq=2 ttl=64 time=0.382 ms
64 bytes from 192.168.100.10: icmp_seq=3 ttl=64 time=0.291 ms
[root@web1 ~]# ping 192.168.100.40
64 bytes from 192.168.100.40: icmp_seq=1 ttl=64 time=0.532 ms
64 bytes from 192.168.100.40: icmp_seq=2 ttl=64 time=0.420 ms
64 bytes from 192.168.100.40: icmp_seq=3 ttl=64 time=0.262 ms
[root@web2 ~]# ping 192.168.100.10
64 bytes from 192.168.100.10: icmp_seq=1 ttl=64 time=0.891 ms
64 bytes from 192.168.100.10: icmp_seq=2 ttl=64 time=0.376 ms
64 bytes from 192.168.100.10: icmp_seq=3 ttl=64 time=0.345 ms
[root@web2 ~]# ping 192.168.100.40
64 bytes from 192.168.100.40: icmp_seq=1 ttl=64 time=0.981 ms
64 bytes from 192.168.100.40: icmp_seq=2 ttl=64 time=0.517 ms
64 bytes from 192.168.100.40: icmp_seq=3 ttl=64 time=0.190 ms
LVS再配置一个地址
[root@lvs ~]# cp /etc/sysconfig/network-scripts/ifcfg-ens33 /etc/sysconfig/network-scripts/ifcfg-ens36
[root@lvs ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens36
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=192.168.200.10
NETMASK=255.255.255.0
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens36
DEVICE=ens36
ONBOOT=yes
[root@lvs ~]# systemctl restart network
[root@lvs ~]# ifconfig
ens36: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.200.10 netmask 255.255.255.0 broadcast 192.168.200.255
client分配地址
[root@client ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
YPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=192.168.200.20
NETMASK=255.255.255.0
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=1f3a2480-f994-4dea-bbff-85c97cb7f168
DEVICE=ens33
ONBOOT=yes
[root@client ~]# systemctl restart network
f[root@client ~]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.200.20 netmask 255.255.255.0 broadcast 192.168.200.255
root@client ~]# ping 192.168.200.10
64 bytes from 192.168.200.10: icmp_seq=1 ttl=64 time=0.413 ms
64 bytes from 192.168.200.10: icmp_seq=2 ttl=64 time=0.340 ms
64 bytes from 192.168.200.10: icmp_seq=3 ttl=64 time=0.446 ms
lvs开启路由功能
[root@lvs ~]# vi /etc/sysctl.conf
net.ipv4.ip_forward=1
[root@lvs ~]# sysctl -p
net.ipv4.ip_forward = 1
手动加载ip_vs模块,并查看当前系统中ip_vs模块的版本信息
[root@lvs ~]# modprobe ip_vs
[root@lvs ~]# cat /proc/net/ip_vs
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
ipvsadm 是在负载调度器上使用的 LVS 群集管理工具,通过调用 ip_vs 模块来添加、删除服务器节点,以及查看群集的运行状态
[root@lvs ~]# yum -y install ipvsadm
编写脚本添加服务器节点
[root@lvs ~]# vi nat.sh #写完之后不要运行
#!/bin/bash
ipvsadm -C
ipvsadm -A -t 192.168.200.10:80 -s rr
ipvsadm -a -t 192.168.200.10:80 -r 192.168.100.20:80 -m
ipvsadm -a -t 192.168.200.10:80 -r 192.168.100.30:80 -m
ipvsadm -Ln
安装 Apache服务
[root@web1 ~]# yum -y install httpd
[root@web2 ~]# yum -y install httpd
nfs安装软件
[root@nfs ~]# yum -y install nfs-utils rpcbind
nfs创建测试网页
[root@nfs ~]# mkdir /opt/web1
[root@nfs ~]# mkdir /opt/web2
[root@nfs ~]# echo "<h1>this is my web1.</h1>" > /opt/web1/index.html
[root@nfs ~]# echo "<h1>this is my web2.</h1>" > /opt/web2/index.html
[root@nfs ~]# vi /etc/exports
/opt/web1 192.168.100.20 (ro)
/opt/web2 192.168.100.30 (ro)
[root@nfs ~]# systemctl restart nfs
[root@nfs ~]# systemctl restart rpcbind
查看服务器共享情况
[root@web1 ~]# showmount -e 192.168.100.40
Export list for 192.168.100.40:
/opt/web2 (everyone)
/opt/web1 (everyone)
[root@web2 ~]# showmount -e 192.168.100.40
Export list for 192.168.100.40:
/opt/web2 (everyone)
/opt/web1 (everyone)
[root@nfs ~]# showmount -e
Export list for nfs:
/opt/web2 (everyone)
/opt/web1 (everyone)
挂载并重启服务
[root@web1 ~]# mkdir /www
[root@web1 ~]# mount 192.168.100.40:/opt/web1 /var/www/html/
[root@web1 ~]# df -Th
192.168.100.40:/opt/web1 nfs4 51G 4.5G 47G 9% /var/www/html
[root@web1 ~]# systemctl start httpd
[root@web2 ~]# mount 192.168.100.40:/opt/web2 /var/www/html/
[root@web2 ~]# df -Th
192.168.100.40:/opt/web2 nfs4 51G 4.5G 47G 9% /var/www/html
[root@web2 ~]# systemctl start httpd
服务器上调度器访问
lvs服务器上测试
执行 lvs 上 nat.sh脚本
[root@lvs ~]# sh nat.sh
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.200.10:80 rr
-> 192.168.100.20:80 Masq 1 0 0
-> 192.168.100.30:80 Masq 1 0 0
查看连接情况
[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.200.10:80 rr
-> 192.168.100.20:80 Masq 1 1 4
-> 192.168.100.30:80 Masq 1 1 4
查看真实连接调度
[root@lvs ~]# ipvsadm -Lnc
IPVS connection entries
pro expire state source virtual destination
TCP 00:04 TIME_WAIT 192.168.200.1:51181 192.168.200.10:80 192.168.100.20:80
TCP 01:25 TIME_WAIT 192.168.200.1:51199 192.168.200.10:80 192.168.100.30:80