数据切片 java 数据切片代码

在MapReduce中，MapTask的并行度决定map阶段的任务处理并发度，进而影响到整个job的处理速度。而一个job的map阶段MapTask并行度（个数），由客户端提交job时的切片个数决定，说白了，有多少个切片，就起多少个MapTask任务。如下图所示：

下面，就InputFormat数据切片机制进行详细的说明。

一、job提交数据切片的节点

以WordCount的Driver程序（WordcountDriver.java）为例

package wordcount;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

// 驱动主程序
public class WordcountDriver extends Configured{
	
	public static void main(String[] args) throws Exception {
		
		// 1 获取job对象信息
		Configuration configuration = new Configuration();
		Job job = Job.getInstance(configuration);
		
		// 2 设置加载jar位置
		job.setJarByClass(WordcountDriver.class);
		
		// 3 设置mapper和reducer的class类
		job.setMapperClass(WordcountMapper.class);
		job.setReducerClass(WordcountReducer.class);
		
		// 4 设置输出mapper的数据类型
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(IntWritable.class);
		
		// 5 设置最终数据输出类型
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
	
		// 6 设置输入数据和输出数据路径
		FileInputFormat.setInputPaths(job, new Path(args[0]));
		FileOutputFormat.setOutputPath(job, new Path(args[1]));
		
		// 7 提交
		boolean result = job.waitForCompletion(true);
		
		System.exit(result ? 0 : 1);
	}
}

第7步提交中的 waitForCompletion(true) 方法就是job提交数据切片的节点，那么数据切片的机制是什么样的呢？

二、FileInputFormat切片机制源码解析

waitForCompletion()
	submit();
		// 1建立连接
		connect();	
			// 1）创建提交job的代理
			new Cluster(getConfiguration());
				// （1）判断是本地yarn还是远程
				initialize(jobTrackAddr, conf); 
	   	// 2 提交job
		submitter.submitJobInternal(Job.this, cluster)
			// 1）创建给集群提交数据的Stag路径
			Path jobStagingArea = JobSubmissionFiles.getStagingDir(cluster, conf);
			// 2）获取jobid ，并创建job路径
			JobID jobId = submitClient.getNewJobID();
			// 3）拷贝jar包到集群
			copyAndConfigureFiles(job, submitJobDir);	
				rUploader.uploadFiles(job, jobSubmitDir);
			// 4）计算切片，生成切片规划文件
			writeSplits(job, submitJobDir);
				maps = writeNewSplits(job, jobSubmitDir);
					input.getSplits(job);
			// 5）向Stag路径写xml配置文件
			writeConf(conf, submitJobFile);
				conf.writeXml(out);
			// 6）提交job,返回提交状态
			status = submitClient.submitJob(jobId,submitJobDir.toString(), job.getCredentials());

如下图所示：

1、找到你数据存储的目录。

2、开始遍历处理（规划切片）目录下的每一个文件

3、遍历第一个文件（假设为：test.txt）

（1）获取文件大小fs.sizeOf(test.txt);

（2）计算切片大小computeSliteSize(Math.max(minSize,Math.max(maxSize,blocksize)))=blocksize=128M

（3）默认情况下，切片大小=blocksize

（4）开始切，形成第1个切片：ss.txt—0:128M 第2个切片ss.txt—128:256M 第3个切片ss.txt—256M:300M（每次切片时，都要判断切完剩下的部分是否大于块的1.1倍，不大于1.1倍就划分一块切片）

（5）将切片信息写到一个切片规划文件中

（6）整个切片的核心过程在getSplit()方法中完成。

（7）数据切片只是在逻辑上对输入数据进行分片，并不会再磁盘上将其切分成分片进行存储。InputSplit只记录了分片的元数据信息，比如起始位置、长度以及所在的节点列表等。

（8）注意：block是HDFS上物理上存储的存储的数据，切片是对数据逻辑上的划分。

4、提交切片规划文件到yarn上，yarn上的MrAppMaster就可以根据切片规划文件计算开启maptask个数。

三、FileInputFormat中默认的切片机制

1、简单地按照文件的内容长度进行切片 2、切片大小，默认等于block大小 3、切片时不考虑数据集整体，而是逐个针对每一个文件单独切片 比如待处理数据有两个文件： file1.txt 320M file2.txt 10M 经过FileInputFormat的切片机制运算后，形成的切片信息如下： file1.txt.split1-- 0~128 file1.txt.split2-- 128~256 file1.txt.split3-- 256~320 file2.txt.split1-- 0~10M

四、FileInputFormat切片大小的参数配置

通过分析源码，在FileInputFormat中，计算切片大小的逻辑：Math.max(minSize, Math.min(maxSize, blockSize)); 切片主要由这几个值来运算决定 mapreduce.input.fileinputformat.split.minsize=1 默认值为1 mapreduce.input.fileinputformat.split.maxsize= Long.MAXValue 默认值Long.MAXValue 因此，默认情况下，切片大小=blocksize。 maxsize（切片最大值）：参数如果调得比blocksize小，则会让切片变小，而且就等于配置的这个参数的值。 minsize （切片最小值）：参数调的比blockSize大，则可以让切片变得比blocksize还大。

五、获取切片信息API

// 根据文件类型获取切片信息
FileSplit inputSplit = (FileSplit) context.getInputSplit();
// 获取切片的文件名称
String name = inputSplit.getPath().getName();

六、CombineTextInputFormat切片机制（处理大量小文件）

默认情况下TextInputformat对任务的切片机制是按文件规划切片，不管文件多小，都会是一个单独的切片，都会交给一个maptask，这样如果有大量小文件，就会产生大量的maptask，处理效率极其低下。关于大量小文件的优化策略： 1、最好的办法，在数据处理系统的最前端（预处理/采集），将小文件先合并成大文件，再上传到HDFS做后续分析，操作办法见 HDFS中Hadoop存档（针对小文件存储） 。 2、补救措施：如果已经是大量小文件在HDFS中了，可以使用另一种InputFormat来做切片（CombineTextInputFormat），它的切片逻辑跟TextFileInputFormat不同：它可以将多个小文件从逻辑上规划到一个切片中，这样，多个小文件就可以交给一个maptask。 3、优先满足最小切片大小，不超过最大切片大小

CombineTextInputFormat.setMaxInputSplitSize(job, 4194304);// 4m
CombineTextInputFormat.setMinInputSplitSize(job, 2097152);// 2m

举例：有0.5m、1m、0.3m、5m 这4个小文件，按照上述规则，数据切片为： 0.5m+1m+0.3m+5m = 2m + 4.8m = 2m + 4m + 0.8m 4、具体实现需要在job提交之前（Driver类中）设置CombineTextInputFormat，因为默认是TextInputFormat，如下：

// 8 如果不设置InputFormat,它默认用的是TextInputFormat.class
job.setInputFormatClass(CombineTextInputFormat.class)
CombineTextInputFormat.setMaxInputSplitSize(job, 4194304);// 4m
CombineTextInputFormat.setMinInputSplitSize(job, 2097152);// 2m

七、自定义InputFormat

这里，自行定义一个InputFormat，实现类似于CombineTextInputFormat的功能，处理大量小文件。见 MapReduce自定义部分详解 。