文章目录

  • 群集技术概述
  • 群集的类型
  • 负载均衡群集
  • 高可用群集
  • 高性能运算群集
  • 负载均衡的分层结构
  • 第一层:负载调度器
  • 第二层:服务器池
  • 第三层:共享存储
  • 负载均衡的工作模式
  • 地址转换(Network Address Translation)
  • IP隧道(lP Tunnel)
  • 直接路由(Direct Routing)
  • 区别
  • LVS 的负载调度算法
  • 轮询(Round Robin)
  • 加权轮询(Weighted Round Robiin)
  • 最少连接(Least Connections)
  • 加权最少连接(Weighted Least Connections)
  • 使用ipvsadm工具
  • 一:创建虚拟服务器
  • 二:添加、删除服务器节点
  • 三:查看群集及节点状态
  • 四:保存负载分配策略
  • 部署步骤
  • LVS-NAT部署实战


群集技术概述

根据企业实际环境的不同。群集所提供的功能也各不相同,采用的技术细节也可能各有千秋。然而从整体上来看,需要先了解一些关于群集的共同特征,这样才能在构建和维护群集的工作上做到心中有数,避免操作上的盲目性。

群集的类型

负载均衡群集

以提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标,获得高并发、高负载(LB)的整体性能。LB 的负载分配依赖于主节点的分流算法,将来自客户机的访问请求分担给多个服务器节点,从而缓解整个系统的负载压力。

高可用群集

以提高应用系统的可靠性、尽可能的减少中断时间为目标,确保服务的连续性,达到高可用(HA)的容错效果。HA 的工作方式包括双工和主从两种模式。双工即所有节点同时在线;主从则只有主节点在线,但当出现故障时从节点能自动切换为主节点。

高性能运算群集

以提高应用系统的 CPU 运算速度、扩展硬件资源和分析能力为目标,获得相当于大型、超级计算机的高性能运算(HPC)能力。高性能运算群集的高性能依赖于“分布式运算”和“并行计算”,通过专用硬件和软件将多个服务器的 CPU 、内存等资源整合在一起,实现只有大型、超级计算机才具备的计算能力。

负载均衡的分层结构

在典型的负载均衡群集中,包括三个层次的组件。前端至少有一个负载调度器负责响应并分发来自客户机的服务请求;后端有大量真实服务器构成服务器池,提供实际的应用服务,整个群集的伸缩性通过增加、删除服务器节点来完成,而这些过程对客户是透明的;为了保持服务的一致性,所有节点使用共享存储设备。

第一层:负载调度器

这是访问整个群集系统的唯一入口,对外使用所有服务器共有的 VIP 地址,也称为群集 IP 地址。通常会配主、备两台调度器实现热备份,当主调度器失效以后平滑换至备用调度器,确保高可用性。

第二层:服务器池

群集所提供的应用服务(如 HTTP、FTP)由服务器池承担,其中的每个节点具有独立的 RIP 地址(真实地址),只处理调度器分发过来的客户机请求。当某个节点暂时失效时,负载调度器的容错机制会将其隔离,等待错误排除以后再重新纳入服务器池。

第三层:共享存储

为服务器池中的所有节点提供稳定、一致的文件存取服务;确保整个群集的统一性。在 Linux/UNIX 环境中,共享存储可以使用 NSA 设备,或者提供 NFS 共享服务的专用服务器。

负载均衡的工作模式

地址转换(Network Address Translation)

简称NAT模式;类似于防火墙的私有网络结构,负载调度器作为所有服务器节点的网关,即作为客户机的访问入口,也是各节点回应客户机的访问出口;服务器节点使用私有IP地址,与负载调度器位于同一个物理网络,安全性要优于其他两种方式。**

IP隧道(lP Tunnel)

**简称TUN模式;采用开放式的网络结构,负载调度器仅作为客户机的访问入口,各节点通过各自的Internet连接直接回应客户机,而不再经过负载调度器;务器节点分散在互联网中的不同位置,具有独立的公网IP地址,通过专用IP隧道与负载调度器相互通信。

直接路由(Direct Routing)

简称DR模式;采用半开放式的网络结构,与TUN模式的结构类似,但各节点并不是分散在各地,而是与调度器位于同一个物理网络;负载调度器与各节点服务器通过本地网络连接,不需要建立专用的IP隧道。

区别

相同点

  • 都是各Web节点直接响应客户机

不同点

  • TUN 有公网独立的节点,DR 没有
  • TUN 各 Web 节点和调度器 IP 隧道通讯;DR 各 Web 节点和调度器 IP 局域网通讯
  • TUN Web 节点直接响应;DR Web节点需要通过路由器响应

LVS 的负载调度算法

轮询(Round Robin)

将收到的访问请求按照顺序轮流分配给群集中的各节点(真实服务器),均等地对待每一台服务器,而不管服务器实际的连接数和系统负载。

加权轮询(Weighted Round Robiin)

根据调度器设置的权重值来分发请求,权重值高的节点优先获得任务,分配的请求数越多;保证性能强的服务器承担更多的访问流量。

最少连接(Least Connections)

根据真实服务器已建立的连接数进行分配,将收到的访问请求优先分配给连接数最少的节点。如果所有的服务器节点性能相近,采用这种方式可以更好地均衡负载。

加权最少连接(Weighted Least Connections)

在服务器节点的性能差异较大时,可以为真实服务器自动调整权重;性能较高的节点将承担更大比例的活动连接负载。

使用ipvsadm工具

ipvsadm 是在负载调度器上使用的 LVS 群集管理工具,通过调用 ip_vs 模块来添加、删除服务器节点,以及查看群集的运行状态。

一:创建虚拟服务器

二:添加、删除服务器节点

三:查看群集及节点状态

四:保存负载分配策略

部署步骤

  • 1.加载ip_vs模块,安装ipvsadm工具
  • 2.开启路由转发
  • 3.新建LVS虚拟服务器并添加节点服务器
  • 4配置节点服务器
    (1)建立测试网站
    (2)挂载NFS共享存储
    (3)建立测试网页
  • 5.保存规则并测试

LVS-NAT部署实战

LVS调度器作为Web服务器池的网关,LVS两块网卡分,别连接内外网,使用轮询 (rr) 调度算法

调度服务器一台(lvs)
IP地址:192.168.100.10(内网)
192.168.200.10(外网)
Web服务器两台(web1)(web2)
IP地址:192.168.100.20
192.168.100.30
NFS共享服务器(nfs)
IP地址:192.168.100.40
客户端一台(client)
IP地址:192.168.200.20(外网)

LVS 地址分配

[root@lvs ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=192.168.100.10
NETMASK=255.255.255.0
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=b9e1f30b-7cae-426f-870e-e4fa2116b522
DEVICE=ens33
ONBOOT=yes
[root@lvs ~]# systemctl restart network
[root@lvs ~]# ifconfig 
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.100.10  netmask 255.255.255.0  broadcast 192.168.100.255

web1地址分配

[root@web1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=192.168.100.20
NETMASK=255.255.255.0
GATEWAY=192.168.100.10
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=629fa753-37b3-4bd3-ae06-3aad44c6f838
DEVICE=ens33
ONBOOT=yes
[root@web1 ~]# systemctl restart network
[root@web1 ~]# ifconfig 
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.100.20  netmask 255.255.255.0  broadcast 192.168.100.255

web2地址分配

[root@web2 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=192.168.100.30
NETMASK=255.255.255.0
GATEWAY=192.168.100.10
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=c4c73c21-7e33-4c8b-a2e9-9dce2284a7f8
DEVICE=ens33
ONBOOT=yes
[root@web2 ~]# systemctl restart network
[root@web2 ~]# ifconfig 
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.100.30  netmask 255.255.255.0  broadcast 192.168.100.255

nfs地址分配

[root@nfs ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=192.168.100.40
NETMASK=255.255.255.0
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=4faeb257-5b0e-43dc-b847-bc4d2b052153
DEVICE=ens33
ONBOOT=yes
[root@nfs ~]# systemctl restart network
[root@nfs ~]# ifconfig 
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.100.40  netmask 255.255.255.0  broadcast 192.168.100.255

web1和web2ping通

[root@web1 ~]# ping 192.168.100.10
64 bytes from 192.168.100.10: icmp_seq=1 ttl=64 time=0.584 ms
64 bytes from 192.168.100.10: icmp_seq=2 ttl=64 time=0.382 ms
64 bytes from 192.168.100.10: icmp_seq=3 ttl=64 time=0.291 ms
[root@web1 ~]# ping 192.168.100.40
64 bytes from 192.168.100.40: icmp_seq=1 ttl=64 time=0.532 ms
64 bytes from 192.168.100.40: icmp_seq=2 ttl=64 time=0.420 ms
64 bytes from 192.168.100.40: icmp_seq=3 ttl=64 time=0.262 ms

[root@web2 ~]# ping 192.168.100.10
64 bytes from 192.168.100.10: icmp_seq=1 ttl=64 time=0.891 ms
64 bytes from 192.168.100.10: icmp_seq=2 ttl=64 time=0.376 ms
64 bytes from 192.168.100.10: icmp_seq=3 ttl=64 time=0.345 ms
[root@web2 ~]# ping 192.168.100.40
64 bytes from 192.168.100.40: icmp_seq=1 ttl=64 time=0.981 ms
64 bytes from 192.168.100.40: icmp_seq=2 ttl=64 time=0.517 ms
64 bytes from 192.168.100.40: icmp_seq=3 ttl=64 time=0.190 ms

LVS再配置一个地址

[root@lvs ~]# cp /etc/sysconfig/network-scripts/ifcfg-ens33 /etc/sysconfig/network-scripts/ifcfg-ens36
[root@lvs ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens36
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=192.168.200.10
NETMASK=255.255.255.0
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens36
DEVICE=ens36
ONBOOT=yes
[root@lvs ~]# systemctl restart network
[root@lvs ~]# ifconfig 
ens36: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.200.10  netmask 255.255.255.0  broadcast 192.168.200.255

client分配地址

[root@client ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
YPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=192.168.200.20
NETMASK=255.255.255.0
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=1f3a2480-f994-4dea-bbff-85c97cb7f168
DEVICE=ens33
ONBOOT=yes
[root@client ~]# systemctl restart network
f[root@client ~]# ifconfig 
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.200.20  netmask 255.255.255.0  broadcast 192.168.200.255
root@client ~]# ping 192.168.200.10
64 bytes from 192.168.200.10: icmp_seq=1 ttl=64 time=0.413 ms
64 bytes from 192.168.200.10: icmp_seq=2 ttl=64 time=0.340 ms
64 bytes from 192.168.200.10: icmp_seq=3 ttl=64 time=0.446 ms

lvs开启路由功能

[root@lvs ~]# vi /etc/sysctl.conf 
net.ipv4.ip_forward=1
[root@lvs ~]# sysctl -p
net.ipv4.ip_forward = 1

手动加载ip_vs模块,并查看当前系统中ip_vs模块的版本信息

[root@lvs ~]# modprobe ip_vs
[root@lvs ~]# cat /proc/net/ip_vs
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port Forward Weight ActiveConn InActConn

ipvsadm 是在负载调度器上使用的 LVS 群集管理工具,通过调用 ip_vs 模块来添加、删除服务器节点,以及查看群集的运行状态

[root@lvs ~]# yum -y install ipvsadm

编写脚本添加服务器节点

[root@lvs ~]# vi nat.sh        #写完之后不要运行
#!/bin/bash
ipvsadm -C
ipvsadm -A -t 192.168.200.10:80 -s rr
ipvsadm -a -t 192.168.200.10:80 -r 192.168.100.20:80 -m
ipvsadm -a -t 192.168.200.10:80 -r 192.168.100.30:80 -m
ipvsadm -Ln

安装 Apache服务

[root@web1 ~]# yum -y install httpd
[root@web2 ~]# yum -y install httpd

nfs安装软件

[root@nfs ~]# yum -y install nfs-utils rpcbind

nfs创建测试网页

[root@nfs ~]# mkdir /opt/web1
[root@nfs ~]# mkdir /opt/web2
[root@nfs ~]# echo "<h1>this is my web1.</h1>" > /opt/web1/index.html
[root@nfs ~]# echo "<h1>this is my web2.</h1>" > /opt/web2/index.html
[root@nfs ~]# vi /etc/exports
/opt/web1 192.168.100.20 (ro)
/opt/web2 192.168.100.30 (ro)
[root@nfs ~]# systemctl restart nfs
[root@nfs ~]# systemctl restart rpcbind

查看服务器共享情况

[root@web1 ~]# showmount -e 192.168.100.40
Export list for 192.168.100.40:
/opt/web2 (everyone)
/opt/web1 (everyone)
[root@web2 ~]# showmount -e 192.168.100.40
Export list for 192.168.100.40:
/opt/web2 (everyone)
/opt/web1 (everyone)
[root@nfs ~]# showmount -e
Export list for nfs:
/opt/web2 (everyone)
/opt/web1 (everyone)

挂载并重启服务

[root@web1 ~]# mkdir /www
[root@web1 ~]# mount 192.168.100.40:/opt/web1 /var/www/html/
[root@web1 ~]# df -Th
192.168.100.40:/opt/web1 nfs4       51G  4.5G   47G    9% /var/www/html
[root@web1 ~]# systemctl start httpd
[root@web2 ~]#  mount 192.168.100.40:/opt/web2 /var/www/html/
[root@web2 ~]# df -Th
192.168.100.40:/opt/web2 nfs4       51G  4.5G   47G    9% /var/www/html
[root@web2 ~]# systemctl start httpd

服务器上调度器访问

lvs服务器上测试

lvs管理系统 lvs使用_lvs管理系统


lvs管理系统 lvs使用_lvs管理系统_02


执行 lvs 上 nat.sh脚本

[root@lvs ~]# sh nat.sh 
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.200.10:80 rr
  -> 192.168.100.20:80            Masq    1      0          0         
  -> 192.168.100.30:80            Masq    1      0          0

lvs管理系统 lvs使用_服务器_03

lvs管理系统 lvs使用_lvs管理系统_04


查看连接情况

[root@lvs ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.200.10:80 rr
  -> 192.168.100.20:80            Masq    1      1          4         
  -> 192.168.100.30:80            Masq    1      1          4

查看真实连接调度

[root@lvs ~]# ipvsadm -Lnc
IPVS connection entries
pro expire state       source             virtual            destination
TCP 00:04  TIME_WAIT   192.168.200.1:51181 192.168.200.10:80  192.168.100.20:80
TCP 01:25  TIME_WAIT   192.168.200.1:51199 192.168.200.10:80  192.168.100.30:80