Hive合并小文件，减小map数
配置文件中设置的参数的含义
1.限制Map，Reduce数
map/reduce | 限制Map，Reduce数 |
map | set mapreduce.tasktracker.map.tasks.maximum=30; --每个nodemanager节点上可运行的最大map任务数，默认值2，可根据实际值调整为10~100； |
reduce | set mapreduce.tasktracker.reduce.tasks.maximum=30; --每个nodemanager节点上可运行的最大reduce任务数，默认值2，可根据实际值调整为10~100； |
2.MR输出时合并小文件
参数设置 | 含义 |
set hive.merge.mapfiles=true; | 在Map-only的任务结束时合并小文件 |
set hive.merge.mapredfiles=true; | 在Map-Reduce的任务结束时合并小文件 |
set hive.merge.size.per.task=128000000; | $1 |
set hive.merge.smallfiles.avgsize=128000000; | 当输出文件的平均大小小于128M时，启动一个独立的map-reduce任务进行文件merge |
3.将多个小文件打包作为一个整体的inputsplit，减少map任务数 大小关系：maxSplitSize > minSplitSizeNode > minSplitSizeRack
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
参数设置 | 含义 |
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; | |
set mapreduce.input.fileinputformat.split.maxsize=128000000; | 切片大小最大值，不设置,则所有输入只启动一个map任务 |
set mapreduce.input.fileinputformat.split.minsize.per.node=16000000; | 同一节点的数据块形成切片时，切片大小的最小值 |
set mapreduce.input.fileinputformat.split.minsize.per.rack=16000000; | 同一机架的数据块形成切片时，切片大小的最小值 |
set mapred.max.split.size=128000000; | 最大split大小 |
set mapred.min.split.size.per.node=16000000; | 一个节点上最小的split大小 |
set mapred.min.split.size.per.rack=16000000; | 一个机架上最小的split大小 |
set spark.yarn.queue=root.super; | |
set mapred.job.queue.name=root.super; | |
set hive.auto.convert.join=true; | (大表关联小表，把小表自动加载到内存中，相当于写了一个mapjoin) |
set hive.exec.parallel=true; | (在同一个sql中的不同的job是否可以同时运行) |
set hive.exec.parallel.thread.number=20; | - |
set mapreduce.job.reduce.slowstart.completedmaps=0.5; | (当Map Task完成的比例达到该值后才会为Reduce Task申请资源，默认是0.05) |
set hive.exec.reducers.bytes.per.reducer=512000000; | (每个reduce任务处理的数据量，默认为1G) |
set hive.mapred.mode=nonstrict; | - |
set mapred.map.tasks=132; | |
set mapred.reduce.tasks=337; |
解读：CombineFileInputFormat类
MR-Job默认的输入格式FileInputFormat为每一个小文件生成一个切片。CombineFileInputFormat通过将多个“小文件”合并为一个"切片"（在形成切片的过程中也考虑同一节点、同一机架的数据本地性），让每一个Mapper任务可以处理更多的数据，从而提高MR任务的执行速度。详见 MR案例： CombineFileInputFormat类
1).三个重要的属性：
maxSplitSize：切片大小最大值。可通过属性 “mapreduce.input.fileinputformat.split.maxsize” 或 CombineFileInputFormat.setMaxInputSplitSize()方法进行设置【不设置,则所有输入只启动一个map任务】
minSplitSizeNode：同一节点的数据块形成切片时，切片大小的最小值。可通过属性 “mapreduce.input.fileinputformat.split.minsize.per.node” 或 CombineFileInputFormat.setMinSplitSizeNode()方法进行设置
minSplitSizeRack：同一机架的数据块形成切片时，切片大小的最小值。可通过属性 “mapreduce.input.fileinputformat.split.minsize.per.rack” 或 CombineFileInputFormat.setMinSplitSizeRack()方法进行设置
大小关系：maxSplitSize > minSplitSizeNode > minSplitSizeRack
2).切片的形成过程：
2.1. 不断迭代节点列表，逐个节点 (以数据块为单位) 形成切片(Local Split)
a. 如果maxSplitSize == 0，则整个节点上的Block数据形成一个切片
b. 如果maxSplitSize != 0，遍历并累加每个节点上的数据块，如果累加数据块大小 >= maxSplitSize，则将这些数据块形成一个切片。继续该过程，直到剩余数据块累加大小 < maxSplitSize 。则进行下一步
c. 如果剩余数据块累加大小 >= minSplitSizeNode，则将这些剩余数据块形成一个切片。继续该过程，直到剩余数据块累加大小 < minSplitSizeNode。然后进行下一步，并这些数据块留待后续处理
2.2. 不断迭代机架列表，逐个机架 (以数据块为单位) 形成切片(Rack Split)
a. 遍历并累加这个机架上所有节点的数据块 (这些数据块即上一步遗留下来的数据块)，如果累加数据块大小 >= maxSplitSize，则将这些数据块形成一个切片。继续该过程，直到剩余数据块累加大小<maxSplitSize。则进行下一步
b. 如果剩余数据块累加大小 >= minSplitSizeRack，则将这些剩余数据块形成一个切片。如果剩余数据块累加大小 < minSplitSizeRack，则这些数据块留待后续处理
2.3. 遍历并累加所有Rack上的剩余数据块，如果累加数据块大小 >= maxSplitSize，则将这些数据块形成一个切片。继续该过程，直到剩余数据块累加大小< maxSplitSize。则进行下一步
2.4. 将最终剩余的数据块形成一个切片。
Demo:
规定：maxSplit=100 > minSizeNode=50 > minSizeRack=30
原有文件：Rack01：{[30,60,70] [80,110]} Rack02：{170}
处理过程：
30+60+70 > 100 ? 100+60 80+110 > 100 ? 100+90 170 > 100 ? 100+70
—> 3个数据切片，以及Rack01：{[60] [90]} Rack02：{70}
—> 60 > 50 ? 50+10 90 > 50 ? 50+40 70 > 50 ? 50+20
—> 3+3个数据切片，以及Rack01：{[10] [40]} Rack02：{20}
—> 10+40 < 100 ?0 20 < 100 ? 0
—> 3+3+0个数据切片，以及Rack01：{50} Rack02：{20}
—> 50+20 > 30 ? 30+30+10
—> 3+3+0+3个数据切片
对hive输入格式设置为CombineHiveInputFormat的进行分析map数是如何计算的
set hive.input.format=org.apache.hadoop.hive.al.io.CombineHiveInputFormat
注：对orcformat、外表和链接文件无法使用，会转到调用父类HiveInputFormat的getsplits()函数
map数与逻辑split数是一致的，决定map的主要因素有：
1、相关表或分区input的文件个数
2、input文件的大小
3、input文件在node和rack的分布
4、set mapred.max.split.size; 最大split大小
5、set mapred.min.split.size.per.node; 一个节点上最小的split大小
6、set mapred.min.split.size.per.rack; 一个机架上最小的split大小
例如：查询相关目录下有12个input file，每个input file的大小都在100M左右，block分布如下图：
情况一：参数设置如下：set mapred.max.split.size=256000000；
set mapred.min.split.size.per.node=64000000;
set mapred.min.split.size.per.rack=64000000;
第一步：遍历node，嵌套遍历block，当block的累加值大于max.split.size时，创建一个split，小于时，但如果大于min.size.per.node，创建一个新的split，小于时暂存block，继续下一个node。这个遍历过程每个node最多生成一个split，为提高并发度，让split尽量分布到不同的node上。
node I 有三个block（A、B、E）累加值300M > 256M, 会新建一个split。
node II 只有一个C block < 256M，会进行暂存
第二步：遍历rack，嵌套遍历block，对暂存的block进行分割，当block的累加值大于max.split.size时，创建一个新的split，小于时，但如果大于min.size.per.rack，创建一个新的split，小于时暂存block，继续下一个rack
rack I 三个block（C、D、G）累加值300M > 256M,会新建一个split，继续到下一个rack
第三步：对垮rack最后溢出的block处理，当block累加值大于max.split.size时创建新的split，循环处理，最后剩的数据创建一个split
