mysql单表500w update慢

转载

Python数据分析 2024-11-25 13:26:47

文章标签 mysql单表500w update慢 mysql 数据库 java 并发编程 文章分类 MySQL 数据库

事务隔离级别及锁机制

耐心看完、一文读懂 MySQL隔离级别和锁机制

数据库一般都会并发执行多个事务，多个事务可能会并发的对同一批数据进行增删改查操作，可能会导致脏写、脏读、不可重复读幻读这些问题。
这些问题的本质都是数据库的多事务并发问题，为了解决多事务并发问题，数据库设计了事务隔离机制、锁机制、MVCC多版本并发控制隔离级别，用一整套机制来解决多事务并发问题。

事务及其ACID属性

事务是由一组SQL语句组成的逻辑处理单元，事物具有以下4个属性，通常简称为ACID属性。
**原子性(Atomicity)：**事务是一个原子操作单元，其对数据的修改要么全都执行，要么全都不执行。
**一致性(Consistent)：**在事务开始和完成时，数据都必须保持一致状态。这意味着所有相关的数据规则都必须应用于事务的修改，以保持数据的完整性。
**数据一致性：**多个事务对同一个数据进行操作得到的结果不正确，例如：读未提交出现脏读问题，读已提交出现不可重复读问题。
**隔离性(Isolation)：**数据库系统提供一定的隔离机制，保证事务在不受外部并发操作影响的“独立”环境执行。这意味着事务处理过程的中间状态对外部是不可见的，反之亦然。
**持久性(Durable)：**事务完成之后，他对于数据的修改是永久性的，即使出现系统故障也能够保持。

并发事务处理带来的问题

**更新丢失(Lost Update)或者脏写：**当两个或者多个数据选择同一行，然后基于最初选定的值更新该行时，由于每个事务都不知道其他事务的存在，就会发生丢失更新问题——最后的更新覆盖了其他事务所做的更新。
**脏读(Dirty Reads)：**一个事务正在正在对一条记录做修改，在这个事务完成并提交之前，这条记录的数据就处于不一致的状态；这时，另一个事务也来读取同一条记录，如果不加控制，第二个事务读取了这些“脏”数据，并据此作进一步处理，就会产生未提交的数据依赖关系。这种现象被形象的叫做“脏读”。
**简单理解：**事务A读到了事务B已经修改当尚未提交的数据，还在这个数据基础上做了操作。此时，如果事务B回滚，A读取的数据无效，不符合一致性要求。
**不可重复读(Non-Repeatable Reads)：**一个事务在读取某些数据后的某个时间，再次读取以前读过的数据，却发现其读出的数据已经发生改变、或某些记录已经被删除了！这种现象叫做“不可重复读”。
**简单理解：**事务A内部的相同查询语句在不同时刻读出的结果不一致，不符合隔离性。
**幻读(Phantom Reads)：**一个事务按相同的查询条件重新读取以前检索过的数据，却发现其他事务插入了满足其查询条件的新数据，这种现象就称为幻读。
**简单理解：**事务A读取到了事务B提交的新增数据，不符合隔离性。

事务隔离级别：

脏读、不可重复读和幻读，其实都是数据库一致性问题，必须由数据库提供一定的事务隔离机制来解决

mysql单表500w update慢_并发编程

数据库的事务隔离级别越严格，并发副作用越小，但付出的代价也就越大，因为事务隔离实质上就是使事务在一定程度上“串行化”进行，这显然与“并发”是矛盾的。

同时，不同的应用对读一致性和事务隔离程度的要求也是不同的，比如许多应用对“不可重复读”和“幻读”并不敏感，可能更关心数据并发访问的能力。

查看当前事务的隔离级别：show variable like ‘tx_isolation’

设置事务隔离级别： settx_isolatinotallow=‘REPEATABLE-READ’

MySQL默认隔离级别是可重复读，用spring开发程序时，如果不设置隔离级别默认用MySQL设置的隔离级别，如果spring设置了就用已经设置的隔离级别。

锁详解

锁是计算机协调多个进程或者线程并发访问某一资源的机制。
在数据库中，处理创痛的计算资源（如CPU、RAM、I/O等）的争用以外，数据也是一种供需要用户共享的字眼。如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一个问题，锁冲突也是影响数据库并发访问性能的一个重要因素。

锁分类

从性能上分为乐观锁(用版本对比来实现)和悲观锁
从对数据操作的类型分，分为读锁和写锁(都是属于悲观锁)。
读锁（共享锁，S锁(Shared)）：针对同一份数据，多个读操作可以同时进行而不会相互影响；
写锁（排它锁，X锁(exclusive)）：当前写操作没有完成前，他会阻断其他写锁和读锁。
从对数据的操作的粒度分，分为表锁和写锁。

表锁

每次操作锁住整张表。开销小，加锁快；不会出现死锁；锁定粒度大；发生锁冲突的概率最高，并发度最低；一般用在整表数据迁移的场景。
手动增加表锁
lock table 表名称 read(write),表名称2 read(write)
查看表上加过的锁
show open tables；
删除表锁
unlock tables;
给整张表加读锁：lock table tablename read;
当前session和其他session 都可以读该表；
当前session中插入或者更新锁定的表都会报错，其他session插入或者更新则会等待；
给整张表加写锁： lock table tablename write;
当前session对该表的增删改查都没有问题，其他session对该表的所有操作被阻塞

结论：

对myisam表的读操作（加读锁），不会阻塞其他进程堆同一表的读请求，但会阻塞堆同一表的写请求。只有当读锁释放后，才会执行其他进程的写操作。
对myisam表的写操作（加写锁），会阻塞其他进程对同一表的读和写操作，只有当写锁释放后，才会执行其他进程的读写操作。

行锁：

每次操作锁住一行数据。
开销大，加锁慢；会出现死锁；锁定粒度最小，发生冲突的概率最低，并发度最高。
innoDB与MYISAM的最大不同有两点：
InnoDB支持事务（TRANSACTION）；
InnoDB支持行级锁；
另外：
InnoDB支持外键；
InnoDB主键索引是聚簇索引；

行锁演示

一个session开启事务更新不提交，另一个session更新同一条记录会阻塞，更新不同记录不会阻塞

总结：

Myisam在执行查询语句select前，会自动给涉及的所有表加读锁，在执行update、insert、delete操作会自动给涉及的表加写锁；
innoDB在执行查询语句select时，因为有mvcc机制不会加锁。但是update、insert、delete操作会加行锁；
简而言之，就是读锁会阻塞写，但是不会阻塞读，而写锁则会把读和写都阻塞。

行锁与事务隔离级别案例分析

create table 'account' (
    'id' int(11) not null auto_increment,
    'name' varchar(255) default null,
    'balance' int(11) default null,
    priamry key('id')
) engine=InnoDb default charset=utf8;
insert into 'test'.'account'('name','balance') values ('lilei','450');
insert into 'test'.'account'('name','balance') values ('hanmei','16000');
insert into 'test'.'account'('name','balance') values ('lucy','2400');

读未提交：

（1）打开一个客户端A，并设置为当前事务模式为read uncommitted(读未提交)，查询表account的初始值：
set tx_isolation=‘read-uncommitted’;
(2) 在客户端A的事务提交之前，打开另一个客户端B，更新表account：
（3）这时，虽然客户端B的事务还没提交，但是客户端A就可以查询到B已经更新的数据：
（4）一旦客户端B的食物因为某种原因回滚，所有的操作都将会被撤销，那客户端A查询到的数据其实就是脏数据。
（5）在客户端A执行更新语句update，就会出现数据不一致，要想解决这个问题可以采用读已提交的隔离级别。

读已提交：

（1）打开一个客户端A，并设置当前事务模式为read committed（读已提交），查询表account的所有记录：
set tx_isolation=‘read-committed’;
(2) 在客户端A的事务提交之前，打开另一个客户端B，更新表account：
（3）这时，客户端B的事务还没提交，客户A不能查询到B已经更新的数据，解决了脏读问题；
（4）客户端B的事务提交；
（5）客户端A执行与上一步相同的查询，结果与上一步不一致，即产生了不可重复读的问题；

可重复读(mvcc)：

（1）打开一个客户端A，并设置当前事务模式未repeatabe read,查询表account的所有记录
set tx_isolation=‘repeatable-read’;
（2）在客户端A的事务提交之前，打开另一个客户端B，更新表account并提交；
（3）在客户端A查询account的所有记录，与步骤（1）查询结果一致，没有出现不可重复读的问题；
（4）在客户端A，接着执行update更新某个字段的值，虽然该字段的值查出来是跟第一次查询一致的，但是实际操作的时候，如果这个值被客户端B修改过，会按修改过的值来计算，数据的一致性没有被破坏。
可重复读的隔离级别下使用了MVCC(muti-version concurrency control)机制，select 操作不会更新版本号，是快照读（历史版本）；insert、update和delete会更新版本号，是当前读（当前版本）。
读的不是实时数据，保证了最终一致性。
（5）重新打开客户端B,插入一条数据后提交；
（6）在客户端A查询表的所有记录，没有查询新增的数据，所有没有出现幻读；
（7）验证幻读，在客户端A执行update，能更新成功，再次查询能查到客户端B新增的数据；

串行化

（1）打开一个客户端A，并设置当前事务模式为serializable,查询表account的id为1初始值：
set tx_isolation=‘serializable’;
（2）打开一个客户端B，并设置事务模式为serializable,更新相同的id为1的记录会被阻塞等待，更新id为2的记录可以成功，说明在串行模式下innodb的查询也会被加上行锁。
如果客户端A执行的是一个范围查询，那么该范围内的所有行包括每行记录所在的间隙区间范围（就算该行数据还未被插入也会加锁，这种是间隙锁）都会被加锁。此时如果客户端的B在该范围内插入数据都会被阻塞，所以就避免了幻读。
这种隔离级别并发性极低，开发中很少会用到。

间隙锁（Gap Lock)

间隙锁，锁的就是两个值之间的空隙。MySQL默认隔离级别是repeatable-read，没办法解决幻读问题，间隙锁在某些情况下可以解决幻读问题。

假设account表里的数据如下：

mysql单表500w update慢_并发编程_02

那么间隙就有id为（3，10），（10，20），（20，正无穷）这三个区间。

在session_1下面执行update account set name=‘zhuge’ where id>8 and id<18，

则其他session没法在这个范围内包所包含的所有行记录以及行记录所在的原表的间隙里插入或者修改任何记录，

即id在（3，20]区间都无法修改数据（即上面三个区间的间隙都会被锁住），注意那个20也是包含在内的。

间隙锁是在可重复读隔离级别下才会生效。

临键锁（next-key locks）

next-key locks 是行锁与间隙锁的组合。像上面那个粒子的这个（3，20]的这个区间可以叫做临键锁，即20这一行也被锁住是通过行锁锁住的。

无索引行锁会升级为表锁

行锁主要加在索引上，如果对非索引字段更新，行锁可能会变表锁；
session1执行：update account set balance =800 where name =‘lilei’; 这里如果name字段上没有加索引，那么这个操作就会锁住整张表。
session2对该表任一行操作都会阻塞住；
innoDb的行锁是针对索引加的锁，不是针对记录加的锁。并且该索引不能失效，否则都会从行锁升级为表锁。
锁定某一行还可以用lock in share mode(共享锁) 和 for update(排他锁)，例如：select*from test_innodb_lock where a=2 for update; 这样其他session只能读这行数据，修改则会被阻塞，直到锁定行的session提交。

结论

InnoDB存储引擎由于实现了行级锁定，虽然在锁定机制和实现方面所带来的性能损耗可能比表级锁定会更高一点，但是在整体并发处理能力方法要远远优于myisam表级锁定的。当系统并发量高的时候，InnoDB的整体性能和myisam相比就会有比较明显的优势了。
但是，Innodb的行级锁定同样也有其脆弱的一面，当我们使用不当的时候，可能会让innodb的整体性能表现不及不能比myisam高，甚至可能更差。

行锁分析

通过检查innodb_row_lock状态变量来分析系统上的行锁的争夺情况
show status like ‘innodb_row_lock%’;

各个状态量的说明：

innodb_row_lock_current_waits:当前正在等待锁定的数量；
	innodb_row_lock_time:从系统启动到现在锁定总时间长度；
	innodb_row_lock_time_avg:每次等待所花平均时间；
	innodb_row_lock_time_max：从系统启动到现在等待最长的一次所花的时间；
	innodb_row_lock_waits:系统启动后到现在总共等待的次数；

对于这5个状态变量，比较重要的是：
innodb_row_lock_time_avg(等待平均时长)；
innodb_row_lock_waits(等待总次数)；
innodb_row_lock_time(等待总时长)；
尤其是当等待次数很高，而且每次等待时长也不小的时候，我们就需要分析系统中为什么会有如此多的等待然后根据结果着手制定优化计划。
查看information_schema系统锁相关的数据表
–查看事务
select * from information_schema.innodb_trx;
–查看锁
select * from information_schema.innodb_locks;
–查看锁等待
select * from information_schema.innodb_waits;
–释放锁
try_mysql_thread_id可以从innodb_trx表里查看到
kill trx_mysql_thread_id

死锁

set tx_isolation='repeatable-read';
session1执行：select*from account where id=1 for update;
session2执行：select * from account where id=2 for update;
session1执行：select * from account where id=2 for update;
session2执行：select * from account where id=1 for update;

查看近期死锁日志信息： show engine innodb status\G;
大多数情况MySQL可以自动检测死锁并回滚产生死锁的那个事务，但是有些情况MySQL没法自动检测死锁