MHA原理：
MHA的目的在于维持MySQL Replication中master库的高可用性，
其最大的特点是可以修复多个slave之间的差异日志，最终使所有slave保持数据一致，
然后从中选择一个充当新的master，并将其他slave指向它。
当master出现故障时，可以通过对比slave之前IO thread读取主库binlog的position号，
选择最接近的slave作为备选主库（备胎）。
其他的从库可以通过与备选主库对比生成差异的中继日志，
在备选主库上应用从原来master保存的binlog，同时将备选主库提升为master。
最后在其他slave上应用相应的差异中继日志并从新的master开始复制。
整体架构图
manager节点发送心跳信息监测
以下是以前做实验的笔记，可参考。
1.0 主从架构要求
（1）3个以上的节点，1主2从，不能是多实例
（2）多节点SSH互信
1.1 软件结构
# Manager ： 管理软件
masterha_manger 启动MHA
masterha_check_ssh 检查MHA的SSH配置状况
masterha_check_repl 检查MySQL复制状况
masterha_master_monitor 检测master是否宕机
masterha_check_status 检测当前MHA运行状态
masterha_master_switch 控制故障转移（自动或者手动）
masterha_conf_host 添加或删除配置的server信息
# Node ： 被管理端软件
这些工具通常由MHA Manager的脚本触发，无需人为操作
save_binary_logs 保存和复制master的二进制日志
apply_diff_relay_logs 识别差异的中继日志事件并将其差异的事件应用于其他的
purge_relay_logs 清除中继日志（不会阻塞SQL线程）
2. MHA基础架构规划和实施
2.1 节点准备
192.168.1.10 Master
192.168.1.11 Slave1
192.168.1.20 Slave2
2.2 准备环境（略。1主2从GTID）
CHANGE MASTER TO MASTER_HOST='192.168.1.10', MASTER_USER='repl', MASTER_PASSWORD='123', MASTER_PORT=3307, MASTER_AUTO_POSITION=1; start slave ;
2.3 配置关键程序软连接（所有节点）
ln -s /data/soft/mysql57/bin/mysqlbinlog /usr/bin/mysqlbinlog
ln -s /data/soft/mysql57/bin/mysql /usr/bin/mysql
2.4 配置各节点互信（密钥对）
node01:
rm -rf /root/.ssh
ssh-keygen
cd /root/.ssh
mv id_rsa.pub authorized_keys
scp -r /root/.ssh 192.168.1.11:/root
scp -r /root/.ssh 192.168.1.20:/root
2.5 安装软件
#下载mha软件
mha官网：https://code.google.com/archive/p/mysql-master-ha/
github下载地址：https://github.com/yoshinorim/mha4mysql-manager/wiki/Downloads
# 说明：
8.0 的版本:
1. 密码加密模式 sha2 ---> native
2. 使用0.58 版本MHA软件
# 所有节点安装Node软件依赖包
yum install perl-DBD-MySQL -y
rpm -ivh mha4mysql-node-0.56-0.el6.noarch.rpm
# 在主库中创建mha需要的用户
grant all privileges on *.* to mha@'192.168.1.%' identified by 'mha';
# Manager软件安装（node03）
yum install -y perl-Config-Tiny epel-release perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes
rpm -ivh mha4mysql-manager-0.56-0.el6.noarch.rpm
2.6 Manager配置文件准备(db03)
#创建配置文件目录
mkdir -p /etc/mha
#创建日志目录
mkdir -p /var/log/mha/app1
#编辑mha配置文件
cat > /etc/mha/app1.cnf <<EOF
[server default]
manager_log=/var/log/mha/app1/manager
manager_workdir=/var/log/mha/app1
master_binlog_dir=/data/binlog
user=mha
password=mha
ping_interval=2
repl_password=123
repl_user=repl
ssh_user=root
[server1]
hostname=192.168.1.10
port=3306
[server2]
hostname=192.168.1.11
port=3306
[server3]
hostname=192.168.1.20
port=3306
EOF
2.7 状态检查
masterha_check_ssh --conf=/etc/mha/app1.cnf masterha_check_repl --conf=/etc/mha/app1.cnf
2.8 开启MHA-manager
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null> /var/log/mha/app1/manager.log 2>&1 &
2.9 查看MHA状态
masterha_check_status --conf=/etc/mha/app1.cnf
app1 (pid:4719) is running(0:PING_OK), master:192.168.1.11
3. MHA Failover 过程原理
高可用：
最擅长解决物理损坏
0、启动MHA
masterha_manger 启动MHA
1、监控
数据库节点，主要监控主库
masterha_master_monitor 心跳检测、检测master是否宕机
默认探测4次，每隔ping_interval=2秒，如果主库还没有心跳，任务主库宕机
进入failover过程
2、选主
#优先级 节点配置candidate_master=1参数，如果备选主，日志量落后master太多
也不会被选择新主（100M relaylog）。
可以通过check_repl_delay=0，不检查日志落后情况。
#日志量最接近主库
#日志量一样，配置文件顺序
3、日志补偿
#情况1：ssh能连上，立即保存缺失部分的日志从从库并恢复
save_binary_logs 立即保存缺失部分的master的二进制日志到从库/var/tmp目录下，并恢复
#情况2：ssh不能连上，两个从库进行日志diff差异补偿
apply_diff_relay_logs 识别差异的中继日志事件并将其差异的事件应用于其他的从库
4、主从切换，所有从库取消和原有主库的复制关系。重新构建主从关系
5、故障库自动被剔除集群（masterrha_conf_host配置信息去掉）
6、MHA是一次性高可用，failover后，manager自动退出。
不足的地方有哪些？
0. 应用透明
1. 日志补偿
2. 自动提醒
3. 自愈功能 待开发....
思路：
MHA + k8s + Operator 官方
8.0 MGR + 8.0.17 clone plugin
4. 应用透明vip功能
说明: 只能同机房使用，无法跨机房跨网络。
# 添加以下参数：
master_ip_failover_script=/usr/local/bin/master_ip_failover
# 修改脚本内容
上传脚本:
vim /usr/local/bin/master_ip_failover
my $vip = '192.168.1.55/24';
my $key = '1';
my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";
[root@db03 ~]# dos2unix /usr/local/bin/master_ip_failover
[root@db03 ~]# chmod +x /usr/local/bin/master_ip_failover
# 主库上(db01)，手工生成第一个vip地址
ifconfig ens33:1 192.168.1.55/24
# 重启mha(db03)
masterha_stop --conf=/etc/mha/app1.cnf
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null> /var/log/mha/app1/manager.log 2>&1 &
# 检测状态：
[root@db03 data]# masterha_check_status --conf=/etc/mha/app1.cnf
app1 (pid:6640) is running(0:PING_OK), master:192.168.1.11
# 注意：
keepAlive的话 ，需要 candidate_master=1和check_repl_delay=0进行配合。防止vip和主库选择不在一个节点。
5.binlog server
# 参数：
vim /etc/mha/app1.cnf
[binlog1]
no_master=1
hostname=192.168.1.20
master_binlog_dir=/data/mysql/binlog
# 创建必要目录
mkdir -p /data/mysql/binlog
chown -R mysql.mysql /data/*
# 拉取主库binlog日志
cd /data/mysql/binlog -----》必须进入到自己创建好的目录
mysqlbinlog -R --host=192.168.1.10 --user=mha --password=mha --raw --stop-never mysql-bin.000001 &
#注意：
拉取日志的起点,需要按照目前从库的已经获取到的二进制日志点为起点
需要在主库中查询位置点：
db01 [(none)]>show master status ;
# 重启MHA
masterha_stop --conf=/etc/mha/app1.cnf
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &
6. 测试MHA Failover的功能
1. 主库宕机模拟
node01: pkill mysqld
2. 查看日志
vim /var/log/mha/app1/manager
3. 切换的现象
vip 漂移
binlog宕掉
manager程序宕掉
主从，1主2从
配置文件，自动剔除故障节点
4. 修复过程
4.1 修复1主2从环境
CHANGE MASTER TO
MASTER_HOST='192.168.1.11',
MASTER_USER='repl',
MASTER_PASSWORD='123',
MASTER_PORT=3307,
MASTER_AUTO_POSITION=1;
start slave ;
4.2 binlog server修复
cd /data/mysql/binlog
rm -rf *
mysqlbinlog -R --host=192.168.1.11 --port=3307 --user=mha --password=mha --raw --stop-never mysql-bin.000001 &
4.3 检查vip
ip a
4.4 检查配置文件
[server1]
hostname=192.168.1.10
port=3307
4.5 预检查状态
masterha_check_ssh --conf=/etc/mha/app1.cnf
masterha_check_repl --conf=/etc/mha/app1.cnf
4.6 启动MHA manager
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &
