Percona-Toolkit系列(29) --- pt-table-checksum
原创
©著作权归作者所有：来自51CTO博客作者Expect_lei的原创作品，请联系作者获取转载授权，否则将追究法律责任
pt-table-checksum
pt-table-checksum:官方地址
说明
用途：验证MySQL主从复制的表数据是否一致。
语法：
pt-table-checksum [OPTIONS] [DSN]
通过在主从服务器上执行checksum查询，来对比checksump。如果不一致，则EXIT STATUS的值为非0。如果检测到表的数据不一致，可以通过pt-table-sync工具来同步表数据。
相比于老本的pt-table-checksum(1.0版本的Toolkit),新版本的pt-table-checksum更加简单，没有复杂的校验。更专注于单个数据库，单个表(也就是一次检查一张表)。它一次只能运行一个表，因此在开始校验和之前，它不会累积大量内存或执行大量工作。这使它可以在非常大的服务器上使用。我们在拥有数十万个数据库和表以及数万亿行的服务器上使用它。无论服务器有多大，pt-table-checksum同样运行良好。
pt-table-checksum会自动检测是否有从库，如果有则会自动连接上去。
支持Percona XtraDB Cluster (PXC) 5.5.28-23.7及更新版本。
限制：
- 在主从环境中，
pt-table-checksum要求必须使用基于STATEMENTbinlog复制，即binlog_format=STATEMENT。 - schema和表结构在主从上必须一致，如果不一致复制将会断开。
EXIT STATUS
不同的值代表不同的意思，如下：
FLAG BIT VALUE MEANING
================ ========= ==========================================
ERROR 1 A non-fatal error occurred
ALREADY_RUNNING 2 --pid file exists and the PID is running
CAUGHT_SIGNAL 4 Caught SIGHUP, SIGINT, SIGPIPE, or SIGTERM
NO_SLAVES_FOUND 8 No replicas or cluster nodes were found
TABLE_DIFF 16 At least one diff was found
SKIP_CHUNK 32 At least one chunk was skipped
SKIP_TABLE 64 At least one table was skipped
pt-table-checksum执行
具体例子
检查单节点
检查monitor数据库下的所有表，当然意义不大。
[root@BigData ~]# pt-table-checksum h=192.168.20.5,u=root,p=Sanshi_408,P=3306 --databases=monitor
Checking if all tables can be checksummed ...
Starting checksum ...
Diffs cannot be detected because no slaves were found. Please read the --recursion-method documentation for information. ---提示没有检测到从库，这样的检查没啥意义。
TS ERRORS DIFFS ROWS DIFF_ROWS CHUNKS SKIPPED TIME TABLE
08-01T14:01:10 0 0 8 0 1 0 0.042 monitor.B_HOST
08-01T14:01:10 0 0 23 0 1 0 0.071 monitor.B_MONITOR_ITEM
08-01T14:01:11 0 0 7 0 1 0 0.111 monitor.B_SEND_MAIL
08-01T14:01:11 0 0 1 0 1 0 0.088 monitor.B_SEND_MAIL_FREQ
08-01T14:01:11 0 0 7 0 1 0 0.083 monitor.B_TRIGGER_RULE
08-01T14:01:11 0 0 14 0 1 0 0.100 monitor.B_WARN_CONFIG
08-01T14:01:11 0 0 46 0 1 0 0.095 monitor.B_WARN_INFO
08-01T14:01:11 0 0 14 0 1 0 0.066 monitor.B_WARN_ITEM
08-01T14:01:11 0 0 3 0 1 0 0.034 monitor.B_WARN_LEVEL
08-01T14:01:11 0 0 1 0 1 0 0.028 monitor.B_WARN_NOTICE
08-01T14:01:11 0 0 0 0 1 0 0.034 monitor.DATA_GROUP
08-01T14:01:11 0 0 0 0 1 0 0.029 monitor.DATA_GROUP_HOST
08-01T14:01:11 0 0 8 0 1 0 0.036 monitor.DB_GROUP
08-01T14:01:11 0 0 17 0 1 0 0.050 monitor.DB_VERSIONS
08-01T14:01:12 0 0 0 0 1 0 0.062 monitor.FLASH_INFO
08-01T14:01:12 0 0 0 0 1 0 0.042 monitor.FLASH_MONITOR
08-01T14:01:12 0 0 0 0 1 0 0.027 monitor.IBCONF
08-01T14:01:12 0 0 1 0 1 0 0.055 monitor.LICENSE
08-01T14:01:12 0 0 0 0 1 0 0.028 monitor.MARIADB_CONFIG
08-01T14:01:12 0 0 0 0 1 0 0.060 monitor.MARIADB_CONFIG_TYPE
08-01T14:01:12 0 0 0 0 1 0 0.028 monitor.MARIADB_MONITOR_CONNECT
08-01T14:01:12 0 0 0 0 1 0 0.034 monitor.MARIADB_MONITOR_DML
08-01T14:01:12 0 0 0 0 1 0 0.034 monitor.MARIADB_MONITOR_SINGLE
08-01T14:01:12 0 0 0 0 1 0 0.035 monitor.MARIADB_MS_SINGLE
08-01T14:01:12 0 0 0 0 1 0 0.036 monitor.MARIADB_TRAFFIC_STATISTICS
08-01T14:01:12 0 0 2 0 1 0 0.045 monitor.MARIADB_TYPE
检查主从
通过DSN连接从库，首先在主库中创建相关的表和数据库。
create database percona;
CREATE TABLE `percona`.`dsns` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`parent_id` int(11) DEFAULT NULL,
`dsn` varchar(255) NOT NULL,
PRIMARY KEY (`id`)
);
插入可以连接从库的用户名、密码、端口等信息
use percona;
insert into dsns(dsn) values('h=192.168.20.,P=3306,u=repl,p=123');
DSNs记录 dsn 列格式如 h=REPLICA_HOST,u=repl_user,p=repl_pass
检查命令如下：显示所有检查信息，可以通过指定--replicate-check-only来只显示数据不一致的表信息。
[root@BigData ~]# pt-table-checksum h=192.168.20.5,u=root,p=Sanshi_408,P=3306 --databases=monitor --recursion-method dsn=h=192.168.20.6,D=percona,t=dsns --no-check-binlog-format
Checking if all tables can be checksummed ...
Starting checksum ...
Replica 18c-dg is stopped. Waiting. ---slave进程关闭，无法检查。需要手动启动。
Replica 18c-dg is stopped. Waiting.
Replica 18c-dg is stopped. Waiting.
Replica 18c-dg is stopped. Waiting.
Replica 18c-dg is stopped. Waiting.
Replica 18c-dg is stopped. Waiting.
TS ERRORS DIFFS ROWS DIFF_ROWS CHUNKS SKIPPED TIME TABLE
08-01T14:19:40 0 0 8 0 1 0 178.474 monitor.B_HOST
08-01T14:19:41 0 0 23 0 1 0 1.148 monitor.B_MONITOR_ITEM
08-01T14:19:41 0 0 7 0 1 0 0.185 monitor.B_SEND_MAIL
08-01T14:19:41 0 0 1 0 1 0 0.105 monitor.B_SEND_MAIL_FREQ
08-01T14:19:41 0 0 7 0 1 0 0.082 monitor.B_TRIGGER_RULE
08-01T14:19:41 0 0 14 0 1 0 0.053 monitor.B_WARN_CONFIG
08-01T14:19:41 0 0 46 0 1 0 0.081 monitor.B_WARN_INFO
08-01T14:19:41 0 0 14 0 1 0 0.060 monitor.B_WARN_ITEM
08-01T14:19:41 0 0 3 0 1 0 0.058 monitor.B_WARN_LEVEL
08-01T14:19:41 0 0 1 0 1 0 0.055 monitor.B_WARN_NOTICE
08-01T14:19:42 0 0 0 0 1 0 0.062 monitor.DATA_GROUP
08-01T14:19:42 0 0 0 0 1 0 0.083 monitor.DATA_GROUP_HOST
08-01T14:19:42 0 0 8 0 1 0 0.044 monitor.DB_GROUP
08-01T14:19:42 0 0 17 0 1 0 0.051 monitor.DB_VERSIONS
08-01T14:19:42 0 0 0 0 1 0 0.060 monitor.FLASH_INFO
08-01T14:19:42 0 0 0 0 1 0 0.056 monitor.FLASH_MONITOR
08-01T14:19:42 0 0 0 0 1 0 0.048 monitor.IBCONF
08-01T14:19:42 0 0 1 0 1 0 0.056 monitor.LICENSE
08-01T14:19:42 0 0 0 0 1 0 0.061 monitor.MARIADB_CONFIG
08-01T14:19:42 0 0 0 0 1 0 0.047 monitor.MARIADB_CONFIG_TYPE
08-01T14:19:42 0 0 0 0 1 0 0.069 monitor.MARIADB_MONITOR_CONNECT
08-01T14:19:42 0 0 0 0 1 0 0.061 monitor.MARIADB_MONITOR_DML
08-01T14:19:42 0 0 0 0 1 0 0.043 monitor.MARIADB_MONITOR_SINGLE
08-01T14:19:42 0 0 0 0 1 0 0.045 monitor.MARIADB_MS_SINGLE
08-01T14:19:42 0 0 0 0 1 0 0.042 monitor.MARIADB_TRAFFIC_STATISTICS
08-01T14:19:42 0 0 2 0 1 0 0.041 monitor.MARIADB_TYP
...
列名说明：
-
TS:时间戳 -
ERRORS:错误、警告数量 -
DIFFS:主从不同的chunk数量。如果指定了--no-replicate-check那么该列永远为0.如果指定了--replicate-check-only，那么只显示数据不一致的表。 -
ROWS:表的行数 -
CHUNKS:表分拆分成chunk的数量 -
SKIPPED:由于以下问题导致跳过的CHUNK数量
* MySQL not using the --chunk-index
* MySQL not using the full chunk index (--[no]check-plan)
* Chunk size is greater than --chunk-size * --chunk-size-limit
* Lock wait timeout exceeded (--retries)
* Checksum query killed (--retries)
-
TIME:检查该表所用时间 -
TABLE:表名
默认情况下，会创建一个percona.checksums表用于存储检查信息。除了可以通过查看输出信息来验证表的数据同步情况下，也可以通过查询percona.checksums中数据来查看，如下：
SELECT db, tbl, SUM(this_cnt) AS total_rows, COUNT(*) AS chunks
FROM percona.checksums
WHERE (
master_cnt <> this_cnt
OR master_crc <> this_crc
OR ISNULL(master_crc) <> ISNULL(this_crc))
GROUP BY db, tbl;
