spring batch 批处理框架（一）



一、spring batch是什么：

SpringBatch 是一个大数据量的并行处理框架。通常用于数据的离线迁移，和数据处理，⽀持事务、并发、流程、监控、纵向和横向扩展，提供统⼀的接⼝管理和任务管理;SpringBatch是SpringSource和埃森哲为了统一业界并行处理标准为广大开发者提供方便开发的一套框架。

更多的介绍可以参考官网： https://spring.io/projects/spring-batch

  • SpringBatch 本身提供了重试，异常处理，跳过，重启、任务处理统计，资源管理等特性;
  • SpringBatch 是一个轻量级的批处理框架;
  • SpringBatch 结构分层，业务与处理策略、结构分离;
  • 任务的运行的实例状态，执行数据，参数都会落地到数据库;


二、spring batch原理：



1.Spring Batch的分层架构：

  • Insfrastructure 策略管理：包括任务的失败重试，异常处理,事务，skip,以及数据的输入输出（文本文件，DB，Message）
  • Core: springBatch 的核心，包括JobLauch,job,step等等
  • Application: 业务处理，创建任务，决定任务的执行方式（定时任务，手动触发等）

java AB Test框架 java batch框架_java AB Test框架



2.spring batch 执行流程：



角色说明：

Job： 是 Spring Batch 的核心概念，它包含了批处理的所有操作；

Step：每个 Job 由一个或多个 Step 组成，每个Step中涉及到ItemReader、ItemProcessor、ItemWriter，这三个接口顾名思义，一个负责数据源读取、一个负责业务逻辑处理、一个负责处理后的数据输出；

jobRepository：定义 Job 时，需要指定一个 JobRepository，用来存储 Job 在运行过程中的状态信息，为什么要存储状态信息呢？因为如果 Job 失败了，Spring 支持从失败的地方重新运行，而不是从头开始。

JobLauncher：很好理解launcher是用来执行Job的，如果不设置，系统也会默认给Job配置一个默认Launcher；

java AB Test框架 java batch框架_spring_02



基本流程介绍：

流程Batch都会包含一个Job。Job就像一个容器，这个容器里装了若干Step，Batch中实际干活的也就是这些Step，至于Step干什么活，无外乎读取数据，处理数据，然后将这些数据存储起来(ItemReader用来读取数据，ItemProcessor用来处理数据，ItemWriter用来写数据) 。JobLauncher用来启动Job，JobRepository是上述处理提供的一种持久化机制，它为JobLauncher，Job，和Step实例提供CRUD操作。

    外部控制器调用JobLauncher启动一个Job，Job调用自己的Step去实现对数据的操作，Step处理完成后，再将处理结果一步步返回给上一层，这就是Batch处理实现的一个简单流程。

java AB Test框架 java batch框架_spring_03



Step执行过程：

从DB或是文件中取出数据的时候，read()操作每次只读取一条记录，之后将读取的这条数据传递给processor(item)处理，框架将重复做这两步操作，直到读取记录的件数达到batch配置信息中”commin-interval”设定值的时候，就会调用一次write操作。然后再重复上图的处理，直到处理完所有的数据。当这个Step的工作完成以后，或是跳到其他Step，或是结束处理。



3.spring batch组件

所有的批处理都可以描述为最简单的过程：读取大量数据，执行自定义的计算或者转换，写出处理结果，SpringBatch提供了三个主要接口来执行大量数据的读取、处理与写出：ItemReader、ItemProcessor、ItemWriter。



3.1 ItemReader

ItemReader就是一种从各个数据源读取数据，然后提供给后续步骤 使用的接口，目前SpringBatch已经给我们实现了3种常用格式的处理：

1）Flat平面纯文本处理，FlatFileItemReader类实现了从纯文本文件中读取一行数据，目前支持三种格式处理：定长字符串处理、分隔符字符串处理、正则表达式字符串处理，这三种处理基本能够满足我们常见需求了，而且常见的批量数据也都是格式化的纯文本；

2）XML，XMLItemReader类提供了解析、验证、映射数据的功能，能够对XML进行处理，同时可以根据XSD schema验证格式信息是否正确；

3）数据库，SQLItemReader类实现了通过JDBC查询出数据集，然后进行数据处理；

package org.springframework.batch.item;

import java.util.List;

public interface ItemWriter<T> {
    void write(List<? extends T> var1) throws Exception;
}



3.2 ItemProcessor

ItemProcessor顾名思义就是数据的处理类，这个类系统没有实现类，因为是否需要对数据进行处理，对数据如何处理都是开发者自己来决定的，所以这里框架只是提供了接口，让大家去实现ItemProcessor接口中的process方法。

package org.springframework.batch.item;

public interface ItemProcessor<I, O> {
    O process(I var1) throws Exception;
}



3.3 ItemWriter

ItemWriter功能上类似ItemReader的反向操作，资源任需要定位、打开和关闭，区别ItemWriter执行的是写入操作，而不是读取；

package org.springframework.batch.item;

import java.util.List;

public interface ItemWriter<T> {
    void write(List<? extends T> var1) throws Exception;
}



4.spring batch 自动生成的表

  • BATCH_JOB_INSTANCE：作业实例表，用于存放Job的实例信息
  • BATCH_JOB_EXECUTION_PARAMS：作业参数表，用于存放每个Job执行时候的参数信息，该参数实际对应Job实例的。
  • BATCH_JOB_EXECUTION：作业执行器表，用于存放当前作业的执行信息，比如创建时间，执行开始时间，执行结束时间，执行的那个Job实例，执行状态等。
  • BATCH_JOB_EXECUTION_CONTEXT：作业执行上下文表，用于存放作业执行器上下文的信息。
  • BATCH_STEP_EXECUTION：作业步执行器表，用于存放每个Step执行器的信息，比如作业步开始执行时间，执行完成时间，执行状态，读写次数，跳过次数等信息。
  • BATCH_STEP_EXECUTION_CONTEXT：作业步执行上下文表，用于存放每个作业步上下文的信息。

java AB Test框架 java batch框架_java_04



三、spring batch怎么用：



1.pom依赖

<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-jdbc</artifactId>
		</dependency>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-web</artifactId>
		</dependency>
		<dependency>
			<groupId>mysql</groupId>
			<artifactId>mysql-connector-java</artifactId>
			<scope>runtime</scope>
		</dependency>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-test</artifactId>
			<scope>test</scope>
		</dependency>
        <!-- spring batch -->
        <dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-batch</artifactId>
		</dependency>
        <!-- xml -->
		<dependency>
			<groupId>com.thoughtworks.xstream</groupId>
			<artifactId>xstream</artifactId>
			<version>1.4.9</version>
		</dependency>



2.示例demo地址

https://github.com/laimailai2018/springboot_learn/tree/master/spring_batch_1