#hive优化(数据倾斜)
#问题描述：
倾斜
小文件join大文件
内容倾斜
JOBS多
join
union
sub_query
count(distinct) 建议使用group by,因为在hive底层中，自带对group by 进行优化
#解决方案：
建模
分层=>轻量聚合
分区=>避免数据交换
压缩=>减少体量
配置优化
合理减少job，并行无依赖job，增加jvm重用
合理控制mapper和reducer的数量
核数
内存
单节点并行jvm数
数据的规模
hive内部配置
开启分区倾斜自动处理机制
合并小文件
语句优化
列剪裁 不用*进行全列扫描，只列出需要的列
set hive.optimize.cp=true;
分区剪裁 不指定分区进行全表扫描
set hive.optimize.pruner=true;
谓词下推PPD 条件优先放在子查询中执行，减少下游处理的数据量
sort by 替 order by 全局排序导致一个Reducer
distinct by + sort by
group by 替 distinct distinct 类似于 order by
group by + set mapred.reduce.tasks=N; 并发
bulid table 前置 map join
probe table 后置 #小表前置，方便自动mapjoin
set hive.cho.enable=default ture
set hive.auto.convert.join=true;
set hive.map.aggr=true;
set hive.mapjoin.smalltable.filesize=25m; 小于该值自动mapjoin
set hive.mapjoin.cache.numrows=25000; 缓存小表多少行记录到内存
set hive.optimize.bucketmapjoin=true; 分桶表专用
join join是key相同 合并job并行化
倾斜均衡配置 #如果是join过程出现倾斜应该设置为true
set hive.optimize.skewjoin=default false
#join的键对应的记录条数超过这个值则会进行分拆，值根据具体数据量设置
set hive.skewjoin. key=default 100000 ;
#优化第二job的mapper数量
set hive.skewjoin.mapjoin.map.tasks=10000 ;
group by
#set hive.groupby.skewindata=true; default false
#set hive.groupby.mapaggr.checkinterval=100000; map端聚合的最大行数,超出则分解
#配置
#hadoop{
#memory
free/ top
total used free shared buff/cache available
Mem: 7990140 3927212 3117704 12092 945224 3789268
Swap: 8257532 0 8257532
#虚拟机安装后将所有大数据环境安装，查看虚拟机的资源剩余5.2G
#预留20%内存防止系统运行卡阻或OOM
#剩余:5.2-1.6=3.6
#container(内存从1G自动递增1G)1～4
yarn. nodemanager.resource.memory-mb=4 #default 1.5G
#core
yarn.nodemanager.resource.pcores-vcores-multiple=2 #default undefined
yarn.nodemanager.resource.cpu-vcores=4 #default -1
yarn. scheduler.minimum-allocation-vcores=1 #default 1
#官方和cloudrea建议不超过5个
yarn.scheduler.maxiimum-allocation-vcores=4 #default undefined
}
#hive
{
<! --Container内存上限，由nodemanager读取并控制,实际使用超出时会被nodemanager kill Connection reset bypeer-->
<property>
<name>mapreduce.map. memory.mb</ name>
<value>1024</value>
</property>
<!--Container启动jvm时,传递给jvm的参数,实际使用超出时会抛outofMemory异常--><property>
<name>mapreduce.map.java . opts</ name>
<value>-Xmx1024M</value>
</property>
<property>
<name>mapreduce.map.java . opts</ name>
<value>-Xms1024M</value>
</property>
<property>
name>mapreduce.reduce.memory.mb</ name>
<value>2048</value>
</property>
<property>
<name>mapreduce.reduce.java . opts</ name>
<value>-Xmx2048M</value>
</property>
<property>
<name>mapreduce.map .java . opts</ name>
<value>-Xms256M</value>
</property>
}
#控制Mapper数量
Mapper数量=input size / math.max(minsize ,math.min (blocksize ,maxsize))
set mapred.map .tasks=default 2
#Mapper合并:输入合并
#每个Map最大输入大小，决定合并后的文件数
set mapred.max.split.size=256000000 ;
#一个节点上split的至少的大小，决定了多个data node上的文件是否需要合并
set mapred.min.split.size.per.node=100000000 ;
#一个交换机下split的至少的大小，决定了多个交换机上的文件是否需要合并
set mapred.min.split.size.per.rack=100000000 ;
#执行Map前进行小文件合并
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputForma
#Reducer合并:输出合并
#在map-only job后合并文件，默认true
set hive.merge.mapfiles
#在map-reduce job后合并文件，默认false
set hive.merge.mapredfiles
#合并后每个文件的大小，默认256000000
set hive.merge.size.per.task
#平均文件大小，是决定是否执行合并操作的阈值，默认16000000
set hive.merge .smallfiles.avgsize
#控制Reducer数量
set mapred.reduce.tasks=8;
#不设置reducer数量,hive自动计算
set hive.exec.reducers.bytes.per.reducer=default 0.25G
set hive.exec.reducers.max=default 1009
#如果input bytes size / bytes per reducer >max? max : insize/ bytesPerReducer
#启动本地模式涉及到三个参数:
#打开hive自动判断是否启动本地模式的开关
set hive.exec.mode. local.auto=default false ;# map任务数最大值，不启用本地模式的task最大个数
set hive.exec.mode.local.auto.input.files.max=default 4
#map输入文件最大大小，不启动本地模式的最大输入文件大小
set hive.exec.mode.local.auto.inputbytes.max=default 128M;
#开启任务并行执行
#司一个sql允许并行任务的最大线程数
#开启任务并行执行
#同一个sql允许并行任务的最大线程数
set hive.exec.parallel=true; #default false
set hive.exec.parallel.thread. number=8 ; #default 8
set hive.exec.reducers.max=8; #default 1009
set mapred.reduce.tasks=8; #default -1
<property>
<name>hive.exec.parallel</ name>
<value>true</value>
</property>
<property>
<name>hive.exec.parallel.thread.number</ name>
<value>16</value>
</property>
<value>16</value>
</property>
#虚拟机重用
set mapred.job.reuse.jvm.num.tasks=10;多小文件或多任务，且数据不倾斜
因为小任务端的mapper或reducer会一直占用task插槽
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
