一、简介
MySQL自带的mysqldump备份方式是采用逻辑备份,但是它最大的缺陷就是备份和恢复速度慢对于一个小于50G的数据库而言,这个速度还是能接受的,但如果数据库非常大,那再使用mysqldump备份就不太适合了。
目前主流的有两个工具可以实现物理热备:ibbackup和xtrabackup;ibbackup是商业软件,需要授权,非常昂贵。而xtrabackup功能比ibbackup还要强大,但却是开源的。号称免费版的InnoDB HotBackup。
官方链接地址:http://www.percona.com/software/percona-xtrabackup;可以下载源码编译安装,也可以下载适合的RPM包或使用yum进行安装或者下载二进制源码包。
Xtrabackup它提供了两种命令行工具:
xtrabackup:专用于备份InnoDB和XtraDB引擎的数据;
innobackupex:这是一个perl脚本,在执行过程中会调用xtrabackup命令,这样用该命令即可以实现备份InnoDB,也可以备份MyISAM引擎的对象。
Xtrabackup是由percona提供的mysql数据库备份工具,特点:
(1)备份过程快速、可靠;
(2)备份过程不会打断正在执行的事务;
(3)能够基于压缩等功能节约磁盘空间和流量;
(4)自动实现备份检验;
(5)还原速度快。
二、安装xtrabackup
1、下载xtrabackup
wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/tarball/percona-xtrabackup-2.4.4-Linux-x86_64.tar.gz
2、解压
tar zxf percona-xtrabackup-2.4.4-Linux-x86_64.tar.gz
3、进入解压后的目录
cd percona-xtrabackup-2.4.4-Linux-x86_64/
4、复制bin下的所有程序到/usr/bin
cp bin/* /usr/bin/
注:Xtrabackup中主要包含两个工具:
xtrabackup:是用于热备份innodb, xtradb表中数据的工具,支持在线热备份,可以在不加锁的情况下备份Innodb数据表,不过此工具不能操作Myisam引擎表;
innobackupex:是将xtrabackup进行封装的perl脚本,能同时处理Innodb和Myisam,但在处理Myisam时需要加一个读锁。
由于操作Myisam时需要加读锁,这会堵塞线上服务的写操作,而Innodb没有这样的限制,所以数据库中Innodb表类型所占的比例越大,则越有利。
5、安装相关插件
yum -y install perl-DBI perl-DBD-MySQL perl-Time-HiRes perl-IO-Socket-SSL perl-TermReadKey.x86_64 perl-Digest-MD5
6、下载percona-toolkit并安装
wget https://www.percona.com/downloads/percona-toolkit/2.2.19/RPM/percona-toolkit-2.2.19-1.noarch.rpm rpm -vih percona-toolkit-2.2.19-1.noarch.rpm
三、进行xtrabackup完全备份+binlog增量备份
1、创建备份目录
mkdir -p /opt/mysqlbackup/{full,inc}
注:full:全备存放的目录;inc:增量备份存放的目录
2、开启bin-log日志文件
编辑mysql配置文件添加以下内容:
vim /etc/my.cnf log-bin = /etc/local/mysql/data/mysql-bin
重启mysql服务:
systemctl restart mysqld
3、创建用来测试的数据
mysql -uroot -p123456
mysql> create database test; mysql> use test; mysql> create table tb1(id int primary key auto_increment,name varchar(20)); mysql> insert into tb1(name) values('zhangsan'); mysql> insert into tb1(name) values('lisi');
4、进行完全备份
语法:
innobackupex --user=DBUSER --password=DBUSERPASS /path/to/BACKUP-DIR/
注:相关选项说明
--user:指定连接数据库的用户名;
--password:指定连接数据库的密码;
/path/to/BACKUP-DIR/:备份文件的存放位置;
--defaults-file:指定数据库的配置文件,innobackupex要从其中获取datadir等信息;
--database:指定要备份的数据库,这里指定的数据库只对MyISAM表有效,对于InnoDB 数据来说都是全备(所有数据库中的InnoDB数据都进行了备份,不是只备份指定的数据库,恢复时也一样)。
--no-timestamp:会阻止命令自动创建一个以时间命名的目录;如此一来,innobackupex命令将会创建一个BACKUP-DIR目录来存储备份数据
进行全库备份:
innobackupex --user=root --password=123456 /opt/mysqlbackup/full
出现以下提示,表示成功
在备份的同时,备份数据会在备份目录下创建一个以当前日期时间为名字的目录存放备份文件:
注:各文件说明
xtrabackup_checkpoints:备份类型(如完全或增量)、备份状态(如是否已经为prepared状态)和LSN(日志序列号)范围信息;
每个InnoDB页(通常为16k大小)都会包含一个日志序列号,即LSN。LSN是整个数据库系统的系统版本号,每个页面相关的LSN能够表明此页面最近是如何发生改变的。
xtrabackup_binlog_info:mysql服务器当前正在使用的二进制日志文件及至备份这一刻为止二进制日志事件的位置。
xtrabackup_binlog_pos_innodb:二进制日志文件及用于InnoDB或XtraDB表的二进制日志文件的当前position。
xtrabackup_binary:备份中用到的xtrabackup的可执行文件;
backup-my.cnf:备份命令用到的配置选项信息;
注意:备份数据库的用户需要具有相应权限,如果要使用一个最小权限的用户进行备份,则可基于如下命令创建此类用户:
mysql> create user 'bkpuser'@'localhost' identified by '123456'; mysql> revoke all privileges,grant option from 'bkpuser'@'localhost'; mysql> grant reload,lock tables,replication client, process on *.* to 'bkpuser'@'localhost'; mysql> flush privileges;
5、进行增量备份
查看完全备份时binlog日志位置(position):
模拟数据库修改:
mysql> use test mysql> insert into tb1(name) values('wangwu'); mysql> insert into tb1(name) values('zhaoliu'); mysql> exit
增量备份二进制文件:
mysqlbinlog --start-position=1049 /usr/local/mysql/data/mysql-bin.000001 > /opt/mysqlbackup/inc/`date -I`.sql
6、模拟数据库损坏:
rm -fr /usr/local/mysql/data/*
7、还原完全备份:
(1)准备(prepare)一个完全备份
一般情况下,在备份完成后,数据尚且不能用于恢复操作,因为备份的数据中可能会包含尚未提交的事务或已经提交但尚未同步至数据文件中的事务。因此,此时数据文件仍处理不一致状态。“准备”的主要作用正是通过回滚未提交的事务及同步已经提交的事务至数据文件也使得数据文件处于一致性状态。在准备(prepare)过程结束后,InnoDB表数据已经前滚到整个备份结束的点,而不是回滚到xtrabackup刚开始时的点。
innobakupex命令的--apply-log选项可用于实现上述功能。如下面的命令:
innobackupex --apply-log /opt/mysqlbackup/full/2016-09-12_11-29-55/
--apply-log指明是将日志应用到数据文件上,完成之后将备份文件中的数据恢复到数据库中
注:/opt/mysqlbackup/full/2016-09-12_11-29-55/备份文件所在目录名称
如果执行正确,其最后输出的几行信息通常如下:
在实现“准备”的过程中,innobackupex通常还可以使用--use-memory选项来指定其可以使用的内存的大小,默认通常为100M。如果有足够的内存可用,可以多划分一些内存给prepare的过程,以提高其完成速度。
(2)还原数据库:
innobackupex命令的--copy-back选项用于执行恢复操作,其通过复制所有数据相关的文件至mysql服务器DATADIR目录中来执行恢复过程。innobackupex通过backup-my.cnf来获取DATADIR目录的相关信息。
innobackupex --copy-back /opt/mysqlbackup/full/2016-09-12_11-29-55/
这里的--copy-back指明是进行数据恢复。数据恢复完成之后,需要修改相关文件的权限mysql数据库才能正常启动。
如果执行正确,其输出信息的最后几行通常如下:
请确保如上信息的最行一行出现“completed OK!”。
当数据恢复至DATADIR目录以后,修改还原后的数据目录属主属组为root所以还需将该目录属主属组改为mysql:
chown -R mysql:mysql /usr/local/mysql/data/
重启动MySQL:
systemctl restart mysqld
验证还原后的数据:
8、还原增量备份
为了防止还原时产生大量的二进制日志,在还原时可临时关闭二进制日志后再还原:
mysql> set sql_log_bin=0; mysql> source /opt/mysqlbackup/inc/2017-03-21.sql
重新启动二进制日志并验证还原数据:
mysql> set sql_log_bin=1;
验证数据是否恢复回来