Mybatis Plus 批量插入方法效率低问题优化方案 BatchExcutor

原创

p00rguy 2023-06-21 15:19:30 ©著作权

文章标签 sql 批量插入 List mysql mybatis 文章分类 Java 后端开发

©著作权归作者所有：来自51CTO博客作者p00rguy的原创作品，请联系作者获取转载授权，否则将追究法律责任

1、问题描述

项目用的是Mybatis Plus框架操作数据库，在使用batchSave批量插入方法的时候发现效率极低，插入2w数据花了6分钟，太恐怖了。

看了源码发现，项目的批量插入方法调用的是Mybatis Plus的BatchExcutor，用这个本意是将多次更新sql语句集合为一条更新语句，复用同一个sql连接更新数据。但是打印sql语句发现，实际上仍然是一条一条插入的，只不过是复用同一个prepareStatement而已。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eYdXHEWB-1643113459225)(resource/image-20220124202735365.png)]

2、问题解决

方案一：之所以没有按照预期的拼接sql为一条是因为我们需要在连接数据库的时候设置参数 rewriteBatchedStatements

url: jdbc:mysql://${datasource.host}/${datasource.name}??rewriteBatchedStatements=true

方案二：配置解决的方式太麻烦，在微服务情况下又要改很多地方，所以我采用了第二种方案也是mybatis plus 提供的sql注入器

继承框架提供的DefaultSqlInjector,实现自己的sql注入器

@Override
    public List<AbstractMethod> getMethodList(Class<?> mapperClass) {
        List<AbstractMethod> methodList = super.getMethodList(mapperClass);
        methodList.add(new InsertBatchSomeColumn());  // 加入批量插入方法
        return methodList;
    }

InsertBatchSomeColumn 也是框架提供的批量插入方法，一句话来讲就是将我们的多条插入sql拼接成一条sql，这里就不插代码了，当然你也可以自己写一个方法继承AbstractMethod
继承BaseMaper，加上sql注入的方法名接口即可使用

public interface InjectionMapper<T> extends BaseMapper<T> {

    Integer insertBatchSomeColumn(Collection<T> entityList);

    int batchSize = 1000;  // 应为mysql对于太长的sql语句是有限制的，所以我这里设置每1000条批量插入拼接sql

    default Integer batchInsert(Collection<T> entityList) {

        int result = 0;
        Collection<T> tempEntityList = new ArrayList<>();
        int i = 0;
        for (T entity : entityList) {
            tempEntityList.add(entity);
            if (i > 0 && (i % batchSize == 0)) {
                result += insertBatchSomeColumn(tempEntityList);
                tempEntityList.clear();
            }
            i++;
        }

        if (ValidateUtil.isNotEmpty(tempEntityList)) {
            result += insertBatchSomeColumn(tempEntityList);
        }
        return result;
    }

}