前言​

当今的社会生活需求单台服务器很难满足所有的访问请求，除了你的设备和专用于负载均衡的设备服务器外，我们还可采取搭建集群化服务器，用多台普通服务器搭建用同一个地址对外提供相同的服务，这就是我今天要将的集群——LVS

一、集群

1.1、集群的含义

集群、群集

  • Cluster，集群、群集,为解决某个特定问题将多台计算机组合起来形成的单个系统
  • 由多台主机构成，但对外，只表现为一个整体，只提供一个访问入口（域名或IP），相当于一台大型计算机​

1.2、群集存在的意义

互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器无法满足负载均衡及高可用的需求。

1.3、系统性能的扩展方式

  • Scale UP：垂直扩展，向上扩展,增强，性能更强的计算机运行同样的服务
  • Scale Out：水平扩展，向外扩展,增加设备，并行地运行多个服务调度分配问题，Cluster

垂直扩展不再提及：

随着计算机性能的增长，其价格会成倍增长

单台计算机的性能是有上限的，不可能无限制地垂直扩展，多核CPU意味着即使是单台计算机也可以并行的

1.4、群集的三种类型

  1. 负载均衡群集
  2. 高可用群集
  3. 高性能运算群集。

1.4.1负载均衡群集

LB： Load Balancing，负载均衡，多个主机组成，每个主机只承担一部分访问请求

提高应用系统的响应能力、尽可能处理更多的访问请求、减少延迟为目标，获得高并发、高负载（LB）的整体性能

LB的负载分配依赖于主节点的分流算法

1.4.2高可用群集

HA： High Availiablity，高可用，避免 SPOF（single Point Of failure）

提高应用系统的可靠性、尽可能地减少中断时间为目标，确保服务的连续性，达到高可用（HA）的容错效果

HA的工作方式包括双工和主从两种模式

1.4.3高性能运算群集

HPC： High-performance computing，高性能

提高应用系统的CPU运算速度、扩展硬件资源和分析能力为目标，获得相当于大型、超级计算机的高性能运算（HPC）能力

高性能依赖于“分布式运算”、“并行计算”，通过专用硬件和软件将多个服务器的CPU、内存等资源整合在一起，实现只有大型、超级计算机才具备的计算能力

二、负载均衡群集架构

第一层，负载调度器(Load Balancer或Director)

访问整个群集系统的唯一入口， 对外使用所有服务器共有的VIP地址，也称为群集IP地址。通常会配置主、备两台调度器实现热备份，当主调度器失效以后能够平滑替换至备用调度器，确保高可用性。

第二层，服务器池(Server Pool)

群集所提供的应用服务、由服务器池承担，其中每个节点具有独立的RIP地址(真实IP)，只处理调度器分发过来的客户机请求。当某个节点暂时失效时，负载调度器的容错机制会将其隔离，等待错误排除以后再重新纳入服务器池。

第三层，共享存储(Share Storage)

为服务器池中的所有节点提供稳定、一致的文件存取服务， 确保整个群集的统一性共享存储可以使用NAS设备,或者提供NFS共享服务的专用服务器。

三、负载均衡群集工作模式

负载均衡群集是目前企业用得最多的群集类型

群集的负载调度技术有三种工作模式

  1. 地址转换
  2. IP隧道
  3. 直接路由（DR）

3.1、NAT模式

地址转换（Network Address Translation）

简称NAT模式，类似于防火墙的私有网络结构，负载调度器作为所有服务器节点的网关，即作为客户机的访问入口，也是各节点回应客户机的访问出口

服务器节点使用私有IP地址，与负载调度器位于同一个物理网络，安全性要优于其他两种方式

3.2、TUN模式

IP隧道（IP Tunnel）

简称TUN模式，采用开放式的网络结构，负载调度器仅作为客户机的访问入口，各节点通过各自的 Internet连接直接回应客户机，而不再经过负载调度器

服务器节点分散在互联网中的不同位置，具有独立的公网IP地址，通过专用IP隧道与负载调度器相互通信

3.3、DR模式

直接路由（Direct Routing）

简称DR模式，采用半开放式的网络结构，与TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络

负载调度器与各节点服务器通过本地网络连接，不需要建立专用的IP隧道

3.4、三种工作模式的区别

工作模式区别

NAT模式

TUN模式

DR模式

Real server（节点服务器）




Server number（节点数量）

Low 10-20

High 100

High 100

真实网关

负载调度器

自有路由器

自有路由器

IP地址

公网+私网

公网

私网

​优点

安全性高

Wan环境加密数据

性能最高

缺点

效率低，压力大

需要隧道支持

不能跨越LAN

四、LVS虚拟服务器

LVS： 是Linux Virtual Server的简写，也就是Linux 虚拟服务器，是一个虚拟的服务器集群系统，本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。官方网站是 ：http://www.linuxvirtualserver.org LVS 实际上相当于基于 IP 地址的虚拟化应用，为基于 IP 地址和内容请求分发的负载均衡提出了高效的解决方法，现在 LVS 已经是 Linux 内核标准的一部分。

使用 LVS 可以达到的技术目标是：通过 LVS 达到的负载均衡技术和 Linux 操作系统实现一个高性能高可用的 Linux 服务器集群，具有良好的可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的性能。LVS 是一个实现负载均衡集群的开源软件项目，LVS 架构从逻辑上可分为调度层、Server 集群层和共享存储层。

4.1 LVS 的组成及作用

①ipvs(ip virtual server)：LVS 是基于内核态的 netfilter 框架实现的 IPVS 功能，工作在内核态。用户配置 VIP 等相关信息并传递到 IPVS 就需要用到 ipvsadm 工具。

②ipvsadm：ipvsadm 是 LVS 用户态的配套工具，可以实现 VIP 和 RS 的增删改查功能，是基于 netlink 或 raw socket 方式与内核 LVS 进行通信的，如果 LVS 类比于 netfilter，那 ipvsadm 就是类似 iptables 工具的地位。

作用：

  1. 主要用于多服务器的负载均衡；
  2. 工作在网络层，可实现高性能，高可用的服务器集群技术；
  3. 廉价，可把许多低性能的服务器组合在一起形成一个超级服务器；
  4. 易用，配置简单，有多种负载均衡的方法；
  5. 稳定可靠，即使在集群的服务器中某台服务器无法正常工作，也不影响整体效果；
  6. 可扩展性好；

4.2 LVS 与 Nginx 功能对比

LVS 比 Nginx 具有更强的抗负载能力，性能高，对内存和 CPU 资源消耗较低；

LVS 工作在网络层，具体流量由操作系统内核进行处理，Nginx 工作在应用层，可针对 HTTP 应用实施一些分流策略；

LVS 安装配置较复杂，网络依赖性大，稳定性高。Nginx 安装配置较简单，网络依赖性小；

LVS 不支持正则匹配处理，无法实现动静分离效果。Nginx 可实现这方面的功能；

LVS 适用的协议范围广。Nginx 仅支持 HTTP、HTTPS、Email 协议，适用范围小；

4.3 软件负载均衡的种类

Nginx ：支持 4 层 / 7 层负载均衡，支持 HTTP、E-mail 协议；

LVS ：纯 4 层负载均衡，运行在内核态，性能是软件负载均衡中最高的；

HAproxy ：是 7 层负载均衡软件，支持 7 层规则的设置，性能也不错；

优点：

简单、灵活、便宜（直接在 Linux 操作系统上安装上述所使用的软件负载均衡，部署及维护较简单，4 层 和 7 层负载均衡可根据业务进行选择也可根据业务特点，比较方便进行扩展及定制功能）

五、LVS的负载调度算法

轮询：Round Robin，将收到的访问请求按顺序轮流分配给群集中的各节点真实服务器中，不管服务器实际的连接数和系统负载。

加权轮询：Weighted Round Robin，根据真实服务器的处理能力轮流分配收到的访问请求，调度器可自动查询各节点的负载情况，并动态跳转其权重，保证处理能力强的服务器承担更多的访问量。

最少连接：Least Connections，根据真实服务器已建立的连接数进行分配，将收到的访问请求优先分配给连接数少的节点，如所有服务器节点性能都均衡，可采用这种方式更好的均衡负载。

加权最少连接：Weighted Least Connections，服务器节点的性能差异较大的情况下，可以为真实服务器自动调整权重，权重较高的节点将承担更大的活动连接负载。

基于局部性的最少连接：LBLC，基于局部性的最少连接调度算法用于目标 IP 负载平衡，通常在高速缓存群集中使用。如服务器处于活动状态且处于负载状态，此算法通常会将发往 IP 地址的数据包定向到其服务器。如果服务器超载（其活动连接数大于其权重），并且服务器处于半负载状态，则将加权最少连接服务器分配给该 IP 地址。

复杂的基于局部性的最少连接：LBLCR，具有复杂调度算法的基于位置的最少连接也用于目标IP负载平衡，通常在高速缓存群集中使用。与 LBLC 调度有以下不同：负载平衡器维护从目标到可以为目标提供服务的一组服务器节点的映射。对目标的请求将分配给目标服务器集中的最少连接节点。如果服务器集中的所有节点都超载，则它将拾取群集中的最少连接节点，并将其添加到目标服务器群中。如果在指定时间内未修改服务器集群，则从服务器集群中删除负载最大的节点，以避免高度负载。

目标地址散列调度算法：DH，该算法是根据目标 IP 地址通过散列函数将目标 IP 与服务器建立映射关系，出现服务器不可用或负载过高的情况下，发往该目标 IP 的请求会固定发给该服务器。

源地址散列调度算法：SH，与目标地址散列调度算法类似，但它是根据源地址散列算法进行静态分配固定的服务器资源。

最短延迟调度：SED，最短的预期延迟调度算法将网络连接分配给具有最短的预期延迟的服务器。如果将请求发送到第 i 个服务器，则预期的延迟时间为（Ci +1）/ Ui，其中 Ci 是第 i 个服务器上的连接数，而 Ui 是第 i 个服务器的固定服务速率（权重） 。

永不排队调度：NQ，从不队列调度算法采用两速模型。当有空闲服务器可用时，请求会发送到空闲服务器，而不是等待快速响应的服务器。如果没有可用的空闲服务器，则请求将被发送到服务器，以使其预期延迟最小化（最短预期延迟调度算法）。

六、 ipvsadm工具

6.1、LVS集群创建与管理

LVS负载均衡群集———— NAT模式_服务器

6.2、ipvsadm工具选项说明

选项

解释

-A

添加虚拟服务器

-D

删除整个虚拟服务器

-s

指定负载调度算法(轮询:rr、加权轮询:wrr、最少连接:lc、加权最少连接: wlc)

-a

表示添加真实服务器(节点服务器)

-d

删除某一个节点

-t

指定VIP地址及TCP端口

-r

指定RIP地址及TCP端口

-m

表示使用NAT群集模式

-g

表示使用DR模式

-i

表示使用TUN模式

-w

设置权重(权重为0时表示暂停节点)

-p 60

表示保持长连接60秒

-l

列表查看LVS虚拟服务器〔默认为查看所有)

-n

以数字形式显示地址、端口等信息，常与"-"选项组合使用。ipvsadm -ln

七、NAT模式LVS负载均衡群集部署

配置环境

负载调度器：配置双网卡 内网：192.168.131.118(ens33)  外网卡：10.0.0.1(ens38)
二台WEB服务器集群池：192.168.131.22、192.168.131.19
一台NFS共享服务器：192.168.131.18
客户端：12.0.0.100

LVS负载均衡群集———— NAT模式_服务器_02

7.1、部署共享存储（NFS服务器：192.168.131.18）

1. #关闭防火墙
systemctl stop firewalld
setenforce 0
 
2. #安装nfs服务
yum install nfs-utils rpcbind -y
 
3. #新建目录，并创建站点文件
cd /opt/
mkdir yxp dhc
echo "this is lp" >ljm/index.html
echo "this is ys" >lucien/index.html
 
4. #开启服务
systemctl start rpcbind
systemctl start nfs
 
5. #授权
chmod 777 ljm/ lucien/
 
6. #设置共享策略
vim /etc/exports
/opt/ljm 192.168.131.0/24(rw,sync)
/opt/lucien 192.168.131.0/24(rw,sync)
 
 
7. #发布服务
systemctl restart nfs
exportfs -rv

LVS负载均衡群集———— NAT模式_负载均衡_03

LVS负载均衡群集———— NAT模式_html_04

LVS负载均衡群集———— NAT模式_负载均衡_05

LVS负载均衡群集———— NAT模式_服务器_06

7.2、节点Web服务器

第一台（192.168.131.19）

1. #关闭防火墙
systemctl stop firewalld
setenforce 0
 
2. #安装httpd
yum install -y httpd
 
3. #查看nfs服务
showmount -e 192.168.131.18
 
4. #挂载站点
#法一：临时挂载
df
cat /var/www/html/index.html
mount 192.168.131.18:/opt/ljm /var/www/html/
#法二：永久挂载
vim /etc/fstab
192.168.131.18:/opt/ljm/  /var/www/html/        nfs     defaults,_netdev 0 0 
mount -a
 
 
5. #开启httpd服务
systemctl start httpd
 
6. #指定网关
vim /etc/sysconfig/network-scripts/ifcfg-ens33 
GATEWAY=192.168.131.118
#DNS1=114.114.114.114
 
7. #重启网络服务
systemctl restart network

LVS负载均衡群集———— NAT模式_服务器_07

LVS负载均衡群集———— NAT模式_html_08

LVS负载均衡群集———— NAT模式_html_09

LVS负载均衡群集———— NAT模式_html_10

LVS负载均衡群集———— NAT模式_服务器_11

LVS负载均衡群集———— NAT模式_html_12

LVS负载均衡群集———— NAT模式_负载均衡_13

LVS负载均衡群集———— NAT模式_负载均衡_14

LVS负载均衡群集———— NAT模式_html_15

LVS负载均衡群集———— NAT模式_html_16

第二台（192.168.131.22）

1. #关闭防火墙
systemctl stop firewalld
setenforce 0
 
2. #安装httpd
yum install -y httpd
 
3. #查看nfs服务
showmount -e 192.168.131.18
 
4. #挂载站点
#法一：临时挂载
mount 192.168.59.108:/opt/dhc /var/www/html/
df
cat /var/www/html/index.html
#法二：永久挂载
vim /etc/fstab
192.168.131.18:/opt/lucien/  /var/www/html/        nfs     defaults,_netdev 0 0 
mount -a
 
5. #开启httpd服务
systemctl start httpd
 
6. #指定网关
vim /etc/sysconfig/network-scripts/ifcfg-ens33 
GATEWAY=192.168.131.118
#DNS1=114.114.114.114
 
7. #重启网络服务
systemctl restart network

LVS负载均衡群集———— NAT模式_html_17

LVS负载均衡群集———— NAT模式_html_18

LVS负载均衡群集———— NAT模式_负载均衡_19

LVS负载均衡群集———— NAT模式_服务器_20

LVS负载均衡群集———— NAT模式_html_21

LVS负载均衡群集———— NAT模式_html_22

LVS负载均衡群集———— NAT模式_服务器_23

7.3、负载调度器

内网：192.168.131.118(ens33) 外网卡：10.0.0.1(ens38)

1. #关闭防火墙
systemctl stop firewalld
setenforce 0
 
2. #安装ipvsadm
yum install -y ipvsadm*
 
 
3. #添加一块网卡，我这里是ens38，配置网卡，重启网络
cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-ens38
vim ifcfg-ens38
去掉网关、UUID、修改IP
vim ifcfg-ens33
去掉网关
systemctl restart network
 
4. #打开路由转发功能
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1 
sysctl -p
 
5. #防火墙做策略
#查看策略
iptables -nL -t nat
#清空策略
iptables -F
#添加策略
iptables -t nat -A POSTROUTING -s 192.168.131.0/24 -o ens37 -j SNAT --to 10.0.0.1
#查看策略
iptables -nL -t nat
 
6. #加载LVS内核模块
modprobe ip_vs
cat /proc/net/ip_vs
 
7. #开启ipvsadm服务
ipvsadm-save >/etc/sysconfig/ipvsadm
systemctl start ipvsadm.service
 
8. #清空策略
ipvsadm -C
 
9. #制定策略
#指定IP地址 外网的入口  -s rr  轮询
ipvsadm -A -t 10.0.0.1:80 -s rr
#先指定虚拟服务器再添加真实服务器地址，-r:真实服务器地址 -m指定nat模式
ipvsadm -a -t 10.0.0.1:80 -r 192.168.131.19:80 -m
ipvsadm -a -t 10.0.0.1:80 -r 192.168.131.22:80 -m
#开启服务
ipvsadm
 
10. 查看策略
ipvsadm -ln

LVS负载均衡群集———— NAT模式_html_24

LVS负载均衡群集———— NAT模式_html_25

LVS负载均衡群集———— NAT模式_服务器_26

LVS负载均衡群集———— NAT模式_负载均衡_27

LVS负载均衡群集———— NAT模式_服务器_28

LVS负载均衡群集———— NAT模式_服务器_29

当我改完IP后发现虚拟机连不上shell，故只能在虚拟机执行

LVS负载均衡群集———— NAT模式_服务器_30

LVS负载均衡群集———— NAT模式_服务器_31

LVS负载均衡群集———— NAT模式_服务器_32

LVS负载均衡群集———— NAT模式_负载均衡_33

LVS负载均衡群集———— NAT模式_服务器_34

LVS负载均衡群集———— NAT模式_html_35

LVS负载均衡群集———— NAT模式_html_36

7.4Windows客户机

需改win10的网卡

LVS负载均衡群集———— NAT模式_负载均衡_37

在一台IP为10.0.0.100的客户机使用浏览器访问 http://10.0.0.1/ ，不断刷新浏览器测试负载均衡效果，刷新间隔需长点

LVS负载均衡群集———— NAT模式_服务器_38

LVS负载均衡群集———— NAT模式_html_39