底层知识

INNODB表的存储

一个 InnoDB 表包含两部分,即:表结构定义和数据。在 MySQL 8.0 版本以前,表结构是存在以 .frm 为后缀的文件里。而

MySQL 8.0 版本,则已经允许把表结构定义放在系统数据表中了。

表数据既可以存在共享表空间里,也可以是单独的文件。这个行为是由参数innodb_file_per_table 控制的:

1. 这个参数设置为 OFF 表示的是,表的数据放在系统共享表空间,也就是跟数据字典放在一起;

2. 这个参数设置为 ON 表示的是,每个 InnoDB 表数据存储在一个以 .ibd 为后缀的文件中。

不需要这个表的时候,通过 drop table 命令,系统就会直接删除这个文件。

从 MySQL 5.6.6 版本开始,它的默认值就是 ON 。

数据处理流程

InnoDB的数据都是用B+树的结构组织的。

删除一条记录,InnoDB引擎只会把记录标记为删除,之后如果插入数据是按照索引排序刚好落在这个区间内,可能会复用这个位置,但是磁盘文件的大小不会缩小。

InnoDB的数据是按页存储的,如果删掉一个数据页上的所有记录,整个数据页会被复用。而记录的复用是需要满足范围条件的,只有在范围条件内的数据才会被复用。

如果相邻的两个数据页利用率很小,系统会把两个页上的数据合并到其中一个页上,另外的一个数据页就被标记为可复用。

其实不止删除数据会造成空洞,插入数据也会。

如果数据是按照索引递增顺序插入的,那么索引是紧凑的。但如果数据是随机插入的,就可能造成索引的数据页分裂。

更新索引上的值,可以理解为删除一个旧的值,再插入一个新值。也会造出空洞!

经过大量增删改的表,都是可能是存在空洞的。所以,如果能够把这些空洞去掉,就能达到收缩表空间的目的。

碎片产生的原因

(1)表的存储会出现碎片化,每当删除了一行内容,该段空间就会变为空白、被留空,而在一段时间内的大量删除操作,会使这种留空的空间变得比存储列表内容所使用的空间更大;

(2)当执行插入操作时,MySQL会尝试使用空白空间,但如果某个空白空间一直没有被大小合适的数据占用,仍然无法将其彻底占用,就形成了碎片;

(3)当MySQL对数据进行扫描时,它扫描的对象实际是列表的容量需求上限,也就是数据被写入的区域中处于峰值位置的部分;

重建表的方式处理碎片化

通过alter table A engine=InnoDB 命令来重建表。在 MySQL 5.5 版本之前,这个命令会自动完成转存数据、交换表名、删除旧表的操作。

在往临时表插入数据的过程中,有新数据写入到A表,会造成数据丢失。这个操作不是Online的。

MySQL 5.6 版本开始引入的 Online DDL,重建表流程。

引入了 Online DDL 之后,重建表的流程:

1.  建立一个临时文件,扫描表 A 主键的所有数据页;

2.  用数据页中表 A 的记录生成 B+ 树,存储到临时文件中;

3.  生成临时文件的过程中,将所有对 A 的操作记录在一个日志文件( row log )中,对应的是图中 state2 的状态;

4.  临时文件生成后,将日志文件中的操作应用到临时文件,得到一个逻辑数据上与表 A 相同的数据文件,对应的就是图中 state3 的状态;

5.  用临时文件替换表 A 的数据文件。

mysql 碎片率查询sql mysql碎片化_mysql 表碎片化

在流程中,alter 语句在启动的时候需要获取 MDL 写锁,但是这个写锁

为了实现 Online,MDL 读锁不会阻塞增删改操作。在真正拷贝数据之前就退化成读锁了。

那为什么不干脆直接解锁呢?为了保护自己,禁止其他线程对这个表同时做 DDL 。

而对于一个大表来说, Online DDL 最耗时的过程就是拷贝数据到临时表的过程,这个步骤的执行期间可以接受增删改操作。所以,相对于整个 DDL 过程来说,锁的时间非常短。对业务来说,就可以认为是 Online 的。

需要补充说明的是,上述的这些重建方法都会扫描原表数据和构建临时文件。对于很大的表来说,这个操作是很消耗 IO 和 CPU 资源的。因此,如果是线上服务,你要很小心地控制操作时间。如果想要比较安全的操作的话,我推荐你使用 GitHub 开源的 gh-ost 来做。