背景:
有一个项目需要进行数据同步,源数据是oracle数据库,目标数据库是mysql,源数据库的表和目标数据库的表名不一样,字段不一样,在同步的时候目标数据库的表的某个字段需要源数据库的两个表且需要计算逻辑才能同步,想就直接利用spring boot配置双数据源,读取oracle数据库中表,再进行逻辑计算,写入对应的mysql数据表的对应字段。
项目结构
pom.xml依赖
<!--mybatis plus-->
<dependency>
<groupId>com.baomidou</groupId>
<artifactId>mybatis-plus-boot-starter</artifactId>
<version>3.1.1</version>
</dependency>
<!-- https://mvnrepository.com/artifact/com.oracle.database.jdbc/ojdbc8 -->
<dependency>
<groupId>com.oracle.database.jdbc</groupId>
<artifactId>ojdbc8</artifactId>
<version>19.7.0.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java -->
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>8.0.12</version>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<version>1.18.10</version>
</dependency>
<!-- java.sql.SQLException: 不支持的字符集 (在类路径中添加 orai18n.jar): ZHS16GBK-->
<dependency>
<groupId>cn.easyproject</groupId>
<artifactId>orai18n</artifactId>
<version>12.1.0.2.0</version>
</dependency>
pom文件依赖最主要的是对数据库的依赖以及mybatis plus的依赖。cn.easyproject依赖是解决oracle数据库报字符集错误。
数据库连接的properties配置文件
server.port=8090
#mysql数据源配置
spring.datasource.mysql.driver-class-name=com.mysql.cj.jdbc.Driver
spring.datasource.mysql.jdbc-url=jdbc:mysql://地址:端口/你的数据库名?serverTimezone=UTC&useSSL=false&allowPublicKeyRetrieval=true&useUnicode=true&characterEncoding=UTF-8
spring.datasource.mysql.username=mysql数据库用户名
spring.datasource.mysql.password=密码
#oracle数据源配置
spring.datasource.oracle.jdbc-url=jdbc:oracle:thin:@地址:端口:ORCL
spring.datasource.oracle.username=用户名
spring.datasource.oracle.password=密码
spring.datasource.oracle.driver-class-name=oracle.jdbc.driver.OracleDriver
spring.datasource.oracle.max-idle=10
spring.datasource.oracle.max-wait=10000
spring.datasource.oracle.min-idle=5
spring.datasource.oracle.initial-size=5
#mybatisplus\u914D\u7F6E
mybatis-plus.configuration.log-impl=org.apache.ibatis.logging.stdout.StdOutImpl
mybatis-plus.mapper-locations=classpath:mapper/*.xml
重点的DataSourceConfig
1.mysqlDataSourceConfig
@Configuration
@MapperScan(basePackages = "com.honorzhang.data.synchronization.mapper.oracle", sqlSessionFactoryRef = "oracleSessionFactory")
public class OracleDataSourceConfig {
@Bean("oracleDataSource")
@ConfigurationProperties(prefix = "spring.datasource.oracle") //读取application.yml中的配置参数映射成为一个对象
public DataSource getOracleDataSource() {
return DataSourceBuilder.create().build();
}
@Bean("oracleSessionFactory")
public SqlSessionFactory oracleSqlSessionFactory(@Qualifier("oracleDataSource") DataSource dataSource) throws Exception {
MybatisSqlSessionFactoryBean bean = new MybatisSqlSessionFactoryBean();
bean.setDataSource(dataSource);
// mapper的xml形式文件位置必须要配置,不然将报错:no statement (这种错误也可能是mapper的xml中,namespace与项目的路径不一致导致)
bean.setMapperLocations(new PathMatchingResourcePatternResolver().getResources("classpath*:mapping/db1/*.xml"));
return bean.getObject();
}
@Bean("oracleSessionTemplate")
public SqlSessionTemplate oracleSqlSessionTemplate(@Qualifier("oracleSessionFactory") SqlSessionFactory sqlSessionFactory) {
return new SqlSessionTemplate(sqlSessionFactory);
}
}
2.OracleDataSourceConfig
@Configuration
@MapperScan(basePackages = "com.honorzhang.data.synchronization.mapper.oracle", sqlSessionFactoryRef = "oracleSessionFactory")
public class OracleDataSourceConfig {
@Bean("oracleDataSource")
@ConfigurationProperties(prefix = "spring.datasource.oracle") //读取application.yml中的配置参数映射成为一个对象
public DataSource getOracleDataSource() {
return DataSourceBuilder.create().build();
}
@Bean("oracleSessionFactory")
public SqlSessionFactory oracleSqlSessionFactory(@Qualifier("oracleDataSource") DataSource dataSource) throws Exception {
MybatisSqlSessionFactoryBean bean = new MybatisSqlSessionFactoryBean();
bean.setDataSource(dataSource);
// mapper的xml形式文件位置必须要配置,不然将报错:no statement (这种错误也可能是mapper的xml中,namespace与项目的路径不一致导致)
bean.setMapperLocations(new PathMatchingResourcePatternResolver().getResources("classpath*:mapping/db1/*.xml"));
return bean.getObject();
}
@Bean("oracleSessionTemplate")
public SqlSessionTemplate oracleSqlSessionTemplate(@Qualifier("oracleSessionFactory") SqlSessionFactory sqlSessionFactory) {
return new SqlSessionTemplate(sqlSessionFactory);
}
}
最主要的配置及代码就是以上所述,在不同的mapper包里定义对应的mapper,即可以应用mybatis的基本增删查改函数,需要自定义的mapper.xml文件放入DataSource配置bean.setMapperLocations(new PathMatchingResourcePatternResolver().getResources("文件路径")中。
需要注意的地方
1.properties配置文件中定义数据库的url时候,不同的spring boot版本对应的配置名不一样,我的spring boot是2.3.3版本,需要把spring.datasource.mysql.url换成spring.datasource.mysql.jdbc-url;
2.DataSourec配置文件中,定义SqlSessionFactory的bean中,一定要使用MybatisSqlSessionFactoryBean,这样才能调用BaseMapper中的基本增删查改方法,否则会报错找不见对应的方法。
@Bean("oracleSessionFactory")
public SqlSessionFactory oracleSqlSessionFactory(@Qualifier("oracleDataSource") DataSource dataSource) throws Exception {
MybatisSqlSessionFactoryBean bean = new MybatisSqlSessionFactoryBean();
bean.setDataSource(dataSource);
// mapper的xml形式文件位置必须要配置,不然将报错:no statement (这种错误也可能是mapper的xml中,namespace与项目的路径不一致导致)
bean.setMapperLocations(new PathMatchingResourcePatternResolver().getResources("classpath*:mapping/db1/*.xml"));
return bean.getObject();
}