文章目录
- 前言
- 一、场景重现
- 二、使用步骤
- 1. 先看效果
- 2. 实现步骤:
- 2.1 配置如下
- 2.2 代码目录
- 2.3 代码原理详解
- 三、问答式解惑
- 总结
前言
本文背景:
老项目的重构改造往往会涉及到数据库表结构的变动,当数据迁移时,由于旧数据库表结构与新数据库库表结构不一致, 单纯的依靠各类工具无法再迁移数据。
需要代码完成新老数据的处理转换,才能完成数据库数据迁移
需要简化开发人员开发难度,使普通开发人员的工作集中在新老数据的转换上。
提示:以下是本篇文章正文内容,下面案例可供参考
一、场景重现
假设老项目A有一张表 t_integral 积分表 类似下图
新项目B改造后的积分表 t_integral 如下图:
可以看到项目升级前后积分表因为业务升级产生了变化,两个比较明显的地方是:新项目按照积分类型规范了原来的表结构;另一个不同点老项目的创建时间是时间戳,而新项目的创建时间是datetime。
当新项目想把老项目的数据迁移过来时,发现表结构变化,不能借助navicat数据传输等类似功能完成数据迁移,这个时候就不得不借助代码来完成数据迁移,本文所介绍的开源代码就是在此背景下产生的。
二、使用步骤
1. 先看效果
原来的数据:
转换后的数据:
2. 实现步骤:
2.1 配置如下
spring:
datasource:
dynamic:
primary: master_1 #设置默认的数据源或者数据源组,默认值即为master
strict: false #严格匹配数据源,默认false. true未匹配到指定数据源时抛异常,false使用默认数据源
hikari:
min-idle: 10
max-pool-size: 100
connection-timeout: 100000
datasource:
# 新项目
master_1:
url: jdbc:mysql://127.0.0.1:3306/write?serverTimezone=Asia/Shanghai&characterEncoding=utf-8
username: user
password: pwd
driverClassName: com.mysql.jdbc.Driver # 3.2.0开始支持SPI可省略此配置
#旧项目
master_2:
url: jdbc:mysql://127.0.0.1:3306/read?serverTimezone=Asia/Shanghai&characterEncoding=utf-8
username: user
password: pwd
# 视情况选择合适的数据库驱动
driverClassName: com.mysql.jdbc.Driver
# 其他库
# master_3:
# url: jdbc:mysql://127.0.0.1:3306/other-datebase?serverTimezone=Asia/Shanghai&characterEncoding=utf-8
# username: user
# password: pwd
# driverClassName: com.mysql.jdbc.Driver
# oracle1:
# url: jdbc:oracle:thin:@127.0.0.1:1521:orcl
# username: user
# password: pwd
# driverClassName: oracle.jdbc.driver.OracleDriver
redis:
host: 127.0.0.1
port: 6379
database: 10
### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
xxl:
job:
admin:
addresses: http://127.0.0.1:6767/xxl-job-admin
### xxl-job, access token
accessToken: default_token
### xxl-job executor appname
executor:
appname: datebase-sync
### xxl-job executor registry-address: default use address to registry , otherwise use ip:port if address is null
address:
### xxl-job executor server-info
ip:
port: 7777
### xxl-job executor log-path
logpath: /data/applogs/xxl-job/jobhandler
### xxl-job executor log-retention-days
logretentiondays: 30
2.2 代码目录
按照开发习惯,分别为新旧表创建service\mapper\entity,同时在service里创建translationservice,这个类就是完成数据装换和提供定时任务入口的类,稍后会详解,这个类是核心:
2.3 代码原理详解
- 控制这个项目模板类CommonService
template()方法:
(1) 获取分页
PageInfo pageInfo = getPageInfo();
这个方法是需要子类实现的,分页数、每页条数等信息视数据库表而定;但是必须先读redis里分页信息,如果没有,说明数据转换没有开始,去数据库获取数据信息,填充到redis;
(2)读取到分页信息,记入redis(不管是从redis读取到的,还是从数据库读取数据量再计入redis,这个步骤就是检查redis数据);
(3)根据获取到的分页信息取旧的表里取数据;
(4) 数据转换和存储;
translate(T t);
(5)检查数据是否同步完成,如果完成,redis的PageInfo里将currentpageNum=pageNum+1,表示这个表已经完成所有数据转换了,即使定时任务还在运行,也不会有任何数据处理了; - translationservice转换类
这个接口的实现类要实现模板的分步操作,提供适合当前表的数据处理,同时提供一个方法给定时任务,以调用模板流程,这里采用的思路是适配器模式,参考代码示例可以很容易看出来; - 定时任务
采用xxl-job控制流程,也就是translationservice提供的适配方法;可以参看TestJob类;
三、问答式解惑
- 为什么使用redis?
答: redis可以有效记录数据转换分页信息,设想一下:如果由于数据问题或者某些异常导致只完成了一部分数据转换,总不能从头再重新来过吧,redis存的的分页信息记录了出现问题的分页,可以有效排查问题数据,处理完后定时任务会接着从这个分页继续处理。,利用redismanager看一下redis信息,可以看到哪些表完成了,,哪些表出问题了。 - 为什么分页?
答:几百万数据,你敢一个事务处理吗? - 为什么用xxl-job?
答:每个表都是一个定时任务,随时停止随时启动,借助xxl-job的管理页面,可以更快分析问题; - 自己随便写个数据转换存储的代码不也能实现,为什么要用这个框架?
答: 每个开发人员都要从数据获取到数据存储自己写,五花八门的谁来分析问题?当采用这个框架,所有开发都可以专注于数据差异的处理,规范易排错;还有一个重要的地方,当项目升级的时候可不是一两个表结构变动,不管是项目管理人员还是技术管理人员都很难给数据迁移留出时间,尤其还需要代码去实现转换的表。 - 不用mysql,数据库用其他的,这个框架可以用吗?
答:可以,oracle也行、mongodb也可以,重点是思路,这个模板流程控制的是数据处理,不是数据库连接,可以灵活选择。