1.基础知识

数据库HA高可以用性架构 数据库高可用集群_数据


数据库HA高可以用性架构 数据库高可用集群_MySQL_02


数据库HA高可以用性架构 数据库高可用集群_MySQL_03


数据库HA高可以用性架构 数据库高可用集群_MySQL_04


数据库HA高可以用性架构 数据库高可用集群_mysql_05


数据库HA高可以用性架构 数据库高可用集群_数据_06


数据库HA高可以用性架构 数据库高可用集群_MySQL_07


数据库HA高可以用性架构 数据库高可用集群_数据库HA高可以用性架构_08


数据库HA高可以用性架构 数据库高可用集群_mysql_09


数据库HA高可以用性架构 数据库高可用集群_MySQL_10


数据库HA高可以用性架构 数据库高可用集群_mysql_11


数据库HA高可以用性架构 数据库高可用集群_数据库HA高可以用性架构_12

2.MHA简介

MySQL高可用性大杀器之MHA

MHA(Master High
Availability)目前在MySQL高可用方面是一个相对成熟的解决方案,它由日本DeNA公司youshimaton(现就职于
Facebook公司)开发,是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中,MHA能做到在
0~30秒之内自动完成数据库的故障切换操作,并且在进行故障切换的过程中,MHA能在最大程度上保证数据的一致性,以达到真正意义上的高可用。

软件由两部分组成:MHA Manager(管理节点)和MHA Node(数据节点)。MHA Manager可以单独部署在一台独立的机器上管理多个master-slave集群,也可以部署在一台slave节点上。MHA Node运行在每台MySQL服务器上,MHA Manager会定时探测集群中的master节点,当master出现故障时,它可以自动将最新数据的slave提升为新的master,然后将所有其他的slave重新指向新的master。整个故障转移过程对应用程序完全透明。

在MHA自动故障切换过程中,MHA试图从宕机的主服务器上保存二进制日志,最大程度的保证数据的不丢失,但这并不总是可行的。例如,如果主服务器
硬件故障或无法通过ssh访问,MHA没法保存二进制日志,只进行故障转移而丢失了最新的数据。使用MySQL
5.5的半同步复制,可以大大降低数据丢失的风险。MHA可以与半同步复制结合起来。如果只有一个slave已经收到了最新的二进制日志,MHA可以将最
新的二进制日志应用于其他所有的slave服务器上,因此可以保证所有节点的数据一致性

目前MHA主要支持一主多从的架构,要搭建MHA,要求一个复制集群中必须最少有三台数据库服务器,
一主二从,即一台充当master,一台充当备用master,另外一台充当从库,因为至少需要三台服务
器,出于机器成本的考虑,淘宝也在该基础上进行了改造,目前淘宝TMHA已经支持一主一从。

3.MHA的要求和原理

(1)需要奇数个节点
(2)当一个master节点挂掉之后投票选出一个新的master,偶数个节点会出现票数相同的状况,但奇数个就不会
(3)所有数据节点的数据一致,每一台数据节点都有可能作为master
(4)每个节点都要安装master和slave插件;
当master节点挂了之后,一般选出数据最近的slave节点作为新的master节点,数据最近指的是数据的差异性小

4.搭建实验环境

主机名

功能

172.25.254.1

master

172.25.254.2

slave(备用master)

172.25.254.3

slave

172.25.254.4

MHA

5.试验步骤

  • (1)重新配置server1的mysql服务
[root@server1 mysql]# systemctl stop mysqld
[root@server1 mysql]# vim /etc/my.cnf
加入一下内容:
 29 server-id=1
 30 gtid_mode=ON
 31 enforce_gtid_consistency=ON
 32 log_bin=binlog
 33 log_slave_updates=ON
[root@server1 mysql]# pwd
/var/lib/mysql
[root@server1 mysql]# rm -fr *
[root@server1 mysql]# ls
[root@server1 mysql]# systemctl start mysqld
[root@server1 mysql]# grep password /var/log/mysqld.log
[root@server1 mysql]# mysql -uroot -p
mysql> alter user root@localhost identified by 'wSP+123LD';
mysql> show databases;
mysql> GRANT REPLICATION SLAVE ON *.* TO repl@'172.25.254.%' IDENTIFIED BY 'wSP+123LD';
mysql> SHOW MASTER STATUS;

数据库HA高可以用性架构 数据库高可用集群_数据_13


数据库HA高可以用性架构 数据库高可用集群_MySQL_14


数据库HA高可以用性架构 数据库高可用集群_数据_15


数据库HA高可以用性架构 数据库高可用集群_MySQL_16


数据库HA高可以用性架构 数据库高可用集群_数据库HA高可以用性架构_17

  • (2)配置server2的mysql服务
[root@server2 ~]# systemctl stop mysqld
[root@server2 ~]# cd /var/lib/mysql
[root@server2 mysql]# ls
[root@server2 mysql]# rm -fr *
[root@server2 mysql]# ls
[root@server2 mysql]# vim /etc/my.cnf
加入:
server-id = 2
gtid_mode=ON
enforce_gtid_consistency=ON
log_slave_updates=ON
log_bin=binlog
[root@server2 mysql]# systemctl start mysqld
[root@server2 mysql]# grep password /var/log/mysqld.log
[root@server2 mysql]# mysql -p
mysql> alter user root@localhost identified by 'wSP+123LD';
mysql> show databases;
mysql> CHANGE MASTER TO MASTER_HOST='172.25.254.1',MASTER_USER='repl',MASTER_PASSWORD='Wsp+123ld',MASTER_AUTO_POSITION=1;
mysql> START SLAVE;
mysql> SHOW SLAVE STATUS\G;

数据库HA高可以用性架构 数据库高可用集群_数据_18


数据库HA高可以用性架构 数据库高可用集群_mysql_19


数据库HA高可以用性架构 数据库高可用集群_数据_20

数据库HA高可以用性架构 数据库高可用集群_数据_21

【忘记截图:可参照下图】

数据库HA高可以用性架构 数据库高可用集群_MySQL_22


数据库HA高可以用性架构 数据库高可用集群_MySQL_23

  • (3)配置server3的mysql服务【同上一步一样的操作】
[root@server3 ~]# systemctl stop mysqld
[root@server3 ~]# cd /var/lib
[root@server3 lib]# cd mysql
[root@server3 mysql]# ls
[root@server3 mysql]# vim /etc/my.cnf
加入:
server-id=3
gtid_mode=ON
enforce_gtid_consistency=ON
log_slave_updates=ON
log_bin=binlog
[root@server3 mysql]# rm -fr *
[root@server3 mysql]# ls
[root@server3 mysql]# systemctl start mysqld
[root@server3 mysql]# grep password /var/log/mysqld.log
[root@server3 mysql]# mysql -p
mysql> alter user root@localhost identified by 'wSP+123LD';
mysql> show databases;
mysql> CHANGE MASTER TO MASTER_HOST='172.25.254.1',MASTER_USER='repl',MASTER_PASSWORD='wSP+123LD',MASTER_AUTO_POSITION=1;
mysql> START SLAVE;
mysql> SHOW SLAVE STATUS\G;

6.测试主从复制

server1:

mysql> create database redhat;
mysql> use redhat;
mysql> create table usertb (
    -> username varchar(10) not null,
    -> password varchar(15) not null);
mysql> insert into usertb values ('user1','123');
mysql> select * from usertb;

数据库HA高可以用性架构 数据库高可用集群_数据_24


server2:

mysql> select * from redhat.usertb;

数据库HA高可以用性架构 数据库高可用集群_数据_25


server3:

mysql> select * from redhat.usertb;

数据库HA高可以用性架构 数据库高可用集群_数据库HA高可以用性架构_26


【备份数据库】

数据库HA高可以用性架构 数据库高可用集群_数据_27

7.手动实现一个master坏了选举出新的master

(1)安装高可用的包

数据库HA高可以用性架构 数据库高可用集群_数据库HA高可以用性架构_28


数据库HA高可以用性架构 数据库高可用集群_数据_29


数据库HA高可以用性架构 数据库高可用集群_数据库HA高可以用性架构_30


(2)生成ssh密钥,管理节点是不需要输入密码,将生成的公钥和私钥传给数据节点

数据库HA高可以用性架构 数据库高可用集群_数据库HA高可以用性架构_31


数据库HA高可以用性架构 数据库高可用集群_MySQL_32


数据库HA高可以用性架构 数据库高可用集群_数据库HA高可以用性架构_33


数据库HA高可以用性架构 数据库高可用集群_mysql_34


数据库HA高可以用性架构 数据库高可用集群_数据_35


数据库HA高可以用性架构 数据库高可用集群_数据库HA高可以用性架构_36


数据库HA高可以用性架构 数据库高可用集群_数据库HA高可以用性架构_37


测试:实现免密登陆

[root@server4 ~]# ssh server1
[root@server4 ~]# ssh server2
[root@server4 ~]# ssh server3

数据库HA高可以用性架构 数据库高可用集群_数据_38


(3)将节点的安装包传给数据节点

[root@server4 ~]# ls
MHA-7
[root@server4 ~]# cd MHA-7/
[root@server4 MHA-7]# ls
[root@server4 MHA-7]# scp -r mha4mysql-node-0.58-0.el7.centos.noarch.rpm server1:/root/
[root@server4 MHA-7]# scp -r mha4mysql-node-0.58-0.el7.centos.noarch.rpm server2:/root/
[root@server4 MHA-7]# scp -r mha4mysql-node-0.58-0.el7.centos.noarch.rpm server3:/root/

数据库HA高可以用性架构 数据库高可用集群_数据库HA高可以用性架构_39


(4)数据节点安装

[root@server1 ~]# yum install -y mha4mysql-node-0.58-0.el7.centos.noarch.rpm 
[root@server2 ~]# yum install -y mha4mysql-node-0.58-0.el7.centos.noarch.rpm 
[root@server3 ~]# yum install -y mha4mysql-node-0.58-0.el7.centos.noarch.rpm

数据库HA高可以用性架构 数据库高可用集群_mysql_40


数据库HA高可以用性架构 数据库高可用集群_数据库HA高可以用性架构_41


数据库HA高可以用性架构 数据库高可用集群_数据库HA高可以用性架构_42


(5)管理节点创建一个目录,编辑配置文件

[root@server4 ~]# mkdir -p /etc/masterha
[root@server4 ~]# cd /etc/masterha/
[root@server4 masterha]# ls
[root@server4 masterha]# vim master.cnf
写入:
[server default]
manager_workdir=/etc/masterha
manager_log=/var/log/masterha.log
master_binlog_dir=/etc/masterha

password=Yan+123kou
user=root
ping_interval=1
remote_workdir=/tmp
repl_password=Yan+123kou
repl_user=repl
ssh_user=root

[server1]
hostname=172.25.12.1
port=3306

[server2]
hostname=172.25.12.2
port=3306
candidate_master=1
check_repl_delay=0

[server3]
hostname=172.25.13.3
port=3306
no_master=1

数据库HA高可以用性架构 数据库高可用集群_数据_43


数据库HA高可以用性架构 数据库高可用集群_数据_44


(6)管理节点ssh检查管理节点ssh检查

[root@server4 ~]# masterha_check_ssh --conf=/etc/masterha/master.cnf

数据库HA高可以用性架构 数据库高可用集群_mysql_45


(7)数据节点授权

server1: 所有权限

mysql> grant all on *.* to root@'%' identified by 'wSP+123LD'

数据库HA高可以用性架构 数据库高可用集群_mysql_46


server2 和 server3: 只读

mysql> set global read_only=1;

数据库HA高可以用性架构 数据库高可用集群_MySQL_47


数据库HA高可以用性架构 数据库高可用集群_MySQL_48


(8)管理节点环境健康检查

[root@server4 ~]# masterha_check_repl --conf=/etc/masterha/master.cnf

数据库HA高可以用性架构 数据库高可用集群_MySQL_49


(9)手动替换master

关闭当前的master节点的mysql服务

[root@server1 ~]# systemctl stop mysqld

数据库HA高可以用性架构 数据库高可用集群_数据库HA高可以用性架构_50


手动切换

[root@server4 ~]# masterha_master_switch --master_state=dead 
--conf=/etc/masterha/master.cnf  --dead_master_host=172.25.254.1 
--dead_master_port=3306 --new_master_host=172.25.254.2 --new_master_port=3306

数据库HA高可以用性架构 数据库高可用集群_MySQL_51


数据库HA高可以用性架构 数据库高可用集群_数据_52


开启server1的master服务,将他的master改为server2

[root@server1 ~]# systemctl start mysqld
[root@server1 ~]# mysql -p
mysql> CHANGE MASTER TO MASTER_HOST='172.25.254.2',MASTER_USER='repl',MASTER_PASSWORD='wSP+123LD.',MASTER_AUTO_POSITION=1;   
mysql> start slave;##  打开slave

数据库HA高可以用性架构 数据库高可用集群_数据_53


测试

server1:
mysql> show slave status\G;

数据库HA高可以用性架构 数据库高可用集群_MySQL_54

8.手动实现所有数据库都在线的时候,切换master节点

(1)删除故障文件

[root@server4 ~]# cd /etc/masterha/
[root@server4 masterha]# ls
[root@server4 masterha]# rm -fr   master.failover.complete
[root@server4 masterha]# ls

数据库HA高可以用性架构 数据库高可用集群_MySQL_55


(2)输入命令自动替换

masterha_master_switch --conf=/etc/masterha/master.cnf --master_state=alive --
new_master_host=172.25.254.1 --new_master_port=3306 --orig_master_is_new_slave --
running_updates_limit=10000

数据库HA高可以用性架构 数据库高可用集群_数据_56


测试:

server1: 查看不到
mysql> mysql> show slave status\G
Empty set (0.00 sec)

数据库HA高可以用性架构 数据库高可用集群_MySQL_57


数据库HA高可以用性架构 数据库高可用集群_mysql_58


数据库HA高可以用性架构 数据库高可用集群_数据库HA高可以用性架构_59

9.手动切换VIP漂移

(1)server4创建一个检测进程

[root@server4 masterha]# nohup masterha_manager  --conf=/etc/masterha/zp.cnf &> /dev/null &
[root@server4 masterha]# ps ax

数据库HA高可以用性架构 数据库高可用集群_数据_60


(2)server1(当前master关闭myslq服务)

[root@server1 ~]# systemctl stop mysqld

数据库HA高可以用性架构 数据库高可用集群_数据库HA高可以用性架构_61


server4上监控进程停止

数据库HA高可以用性架构 数据库高可用集群_mysql_62


(4)server2上查看不到,已经变成新的mastet

数据库HA高可以用性架构 数据库高可用集群_mysql_63


(5)server3上查看到master是server2

数据库HA高可以用性架构 数据库高可用集群_数据库HA高可以用性架构_64


6)server1重新开启master

[root@server1 ~]# systemctl start mysqld

数据库HA高可以用性架构 数据库高可用集群_MySQL_65

[root@server1 ~]# mysql -p
mysql> CHANGE MASTER TO MASTER_HOST='172.25.12.2',MASTER_USER='repl',MASTER_PASSWORD='Yan+123kou',MASTER_AUTO_POSITION=1;
mysql> start slave;打开slave

数据库HA高可以用性架构 数据库高可用集群_mysql_66


查看master是server2

数据库HA高可以用性架构 数据库高可用集群_数据库HA高可以用性架构_67

10.通过脚本实现vip的自动漂移

全自动实现VIP的漂移

(1)编辑配置文件,加入两行内容

master_ip_failover_script= /usr/local/bin/master_ip_failover
master_ip_online_change_script= /usr/local/bin/master_ip_online_change

数据库HA高可以用性架构 数据库高可用集群_MySQL_68


数据库HA高可以用性架构 数据库高可用集群_MySQL_69


数据库HA高可以用性架构 数据库高可用集群_数据库HA高可以用性架构_70


数据库HA高可以用性架构 数据库高可用集群_数据库HA高可以用性架构_71


数据库HA高可以用性架构 数据库高可用集群_MySQL_72


数据库HA高可以用性架构 数据库高可用集群_mysql_73


(3)给两个脚本加上可执行权限

数据库HA高可以用性架构 数据库高可用集群_数据库HA高可以用性架构_74


(4)给server2(当前master)上添加一个vip

数据库HA高可以用性架构 数据库高可用集群_MySQL_75


(5)server4 手动切换master到server1

[root@server4 bin]# masterha_master_switch --conf=/etc/masterha/master.cnf 
--master_state=alive --new_master_host=172.25.12.1 --new_master_port=3306
 --orig_master_is_new_slave --running_updates_limit=10000

数据库HA高可以用性架构 数据库高可用集群_数据_76


(6)查看结果

server1可以查看到vip

数据库HA高可以用性架构 数据库高可用集群_mysql_77


server2上的vip自动删除

数据库HA高可以用性架构 数据库高可用集群_数据_78


server3查看现在的master是server1

数据库HA高可以用性架构 数据库高可用集群_MySQL_79