在我们系统运行很长时间后,数据会越来越多。单表的数量达到平顶后,查询效率就会慢下来,即便是加了索引,也会不起作用。这个时候就要考虑分表分库的做法了。

分表分库中间件

市面上最常用的就是mycat和sharding-jdbc用的最多了。如果是中大型的项目,采用mycat。如果是中小型的公司,就sharding-jdbc就可以了,二个中间件的使用差异不大

sharding-jdbc

今天主要讲的就是这个。用起来简单方便,少量的配置就可以实现分表分库了,也是很多小公司使用的

这个是当当网开源的项目,现在更名为shardingsphere,已经被apache基金会管理为顶级项目。现在已经多元化发展了。到了3.0版本后加入了分布式事务的功能,现在已经发展到了4.0的版本了

java实现分库分表 java分库分表shardingjdbc_数据库

现在sharding-sphree已经是个生态圈了,包含三大中间件:

sharding-jdbc sharding-proxy sharding-sidecar

分库分表概念认识

分片

分片就是把一张数据量很大的表,拆分很多小的表,字段一样。比如:order表拆分order_1,order_2等等,这样就是水平拆分表,每个小表就是一个分片

java实现分库分表 java分库分表shardingjdbc_spring_02

逻辑表

逻辑表就是一组相同的字段和逻辑的表的总称。比如我们把t_order表拆分了很多的小表t_order_n,但是他们都是相同的逻辑和字段,我们sql执行的过程其实是对t_order表的操作,这个t_order表就是我们说的逻辑表,t_order_n就是我们的真实表

分片键

就是我们用哪个字段来进行分表分库,比如我们拿order表的id取模的方式来,那id就是分片键,sharidng-jdbc还支持多个字段作为分片键进行分片处理

java实现分库分表 java分库分表shardingjdbc_java实现分库分表_03

分片算法和分配策略

分配算法就是我们分表分库之后,我们的sql语句在哪个数据库或者哪个表去查询,路由到对应的库和表上

分配策略就是我们根据一定的规则去分片,比如按月,按年去分片,按id的区间进行分片保存等

分库,分表的分配策略是独立的,而且sharding-jdbc没有直接提供分片算法的实现,需要自己去实现接口

常用的分片算法

精确分片,范围分片,复合分片,hint分片

分布式主键

为了在不同的真实表中防止主键冲突的问题,我们必须考虑生成全局唯一 的主键。sharding-jdbc为我们提供了二种主键生成策略,uuid和雪花算法。默认使用snowflake长整形数据,也可以自己实现主键生成算法

广播表

广播表就是我们在各个不同的库中,有相同的表,比如配置信息,字典等表。当一个库中表数据发生改变的时候,及时通知到其他库中表同步改变。

绑定表

简单来说就是主子表。比如t_order 和 t_order_item,他们都是order_id关联的。把这二个表设置为绑定表的作用就是关联查询的时候,防止笛卡尔积的负面作用。绑定表之后,同一条数据就会落到同一个数据库中。

其他第三方插件的结合

由于sharding-jdbc是采用jdbc的协议来开发的,所以sharding-jdbc兼容:hiberate,mybatis,springjdbc,jpa,完美兼容第三方数据库连接池,druid,hikaricp。之所以能分库分表,其实也就是sql解析到不同的库和表中执行。

java实现分库分表 java分库分表shardingjdbc_springboot_04