Hadoop MapReduce在线测试平台

转载

信息小飞侠 2024-11-25 22:45:58

文章标签 hadoop hive hbase ssd 性能 文章分类 Hadoop 大数据

摘要

本文主要调研SSD对于HADOOP集群性能的影响，并制定相应的测试计划，性能影响主要针对常见的HADOOP，HBASE，HIVE三个组件。

通过调研发现，组件自身也在考虑SSD对其产生的性能影响，并做了针对性更新，其中HADOOP作为基础组件，分别在2.3.0版本和2.6.0版本提供了对混合存储和分层存储的支持。这些更新已经在一些大的公司中得到了应用，EBAY通过在集群中使用分层存储，在不降低集群性能的情况下，降低了集群的功耗和成本【12】。除了HADOOP外，HIVE也提供了临时表的MEMORY和SSD的支持。HBASE未提供专门针对SSD的更新，但因其与HDFS的紧密关系，以及其数据访问的特点，SSD对其性能提升效果非常好【13】。

Intel，Sandisk，Cloudera以及一些科研机构，在该方向上也做了大量的测试研究工作，通过测试发现，SSD能够减少能耗【8】，能够提升性能，降低成本，并能够解决数据扩展导致的存储和计算不均衡的问题【12】。

基于以上调研，我针对市面上现有的企业级SSD和组件版本制定了一个测试计划。

测试主要考虑两种场景，一种是新集群搭建的情况下，SSD对集群性能和成本的影响。一种是旧集群的扩展和优化， SSD对集群性能和扩展成本的影响。

一．介绍

本文主要调研SSD对于HADOOP集群性能的影响，并制定相应的测试计划，性能影响主要针对常见的HADOOP，HBASE，HIVE三个组件。

基于以上调研，我针对市面上现有的企业级SSD和组件版本制定了一个测试计划。

测试主要考虑两种场景，一种是新集群搭建的情况下，SSD对集群性能和成本的影响。一种是旧集群的扩展和优化， SSD对集群性能和扩展成本的影响。

文章接下来将在第二章介绍组件和SSD的背景知识，第三章汇总调研的详细结果，第四章根据调研结果制定测试计划，第五章说明后续需要完善的工作，第六章为参考文献。

二．背景

此处主要介绍对研究有较深影响的事件，这里主要列举了组件更新和SSD更新。

1. 组件更新

2014年1月，HADOOP2.3.0更新了混合存储的支持

2014年11月，HADOOP2.6.0更新了混合存储层级的进一步支持，并开放API。

2015年3月，HIVE1.1开始临时表可以存储在内存或SSD，使用hive.exec.temporary.table.storage参数进行配置，该参数有三种取值：MEMORY、SSD、DEFAULT。

HBASE目前还没有专门更新针对SSD的优化，但HBASE依赖于HDFS存储，所以也受益于其更新。

2. SSD发展说明

SSD吞吐量和IOPS都远高于HDD，单位价格持续下降，无障碍运行时间在不断向HDD靠拢，差距已经不是很大。

SSD主要优势在随机读写，连续读写也有优势，但性价比较低。

注：此处还需要继续调研。

三．调研结果

近期主要调研了国内外关于SSD对于大数据集群的影响所做的测试工作，具体调研的文章见最后的参考文献，其中有厂商的测试报告，也有科研机构的测试文献以及一些期刊的文章。这里对于测试的结果进行汇总，更具体的测试结果汇总请见附件《SSD影响调研结果汇总.xlsx》

结论：

1．通过指定mapred.local.dir参数，将MapReduce中间的Shuffle结果输出到SSD上，将获得巨大的性能提升。HDD，SSD的混合配置是提升集群性能最具性价比的方案【1】【5】【9】【11】。

2．借助混合存储结构，SSD能够减少能耗【8】，能够提升性能，降低成本，并能够解决数据扩展导致的存储和计算不均衡的问题【12】。

3．混合存储集群，SSD最好分成不同的本地目录添加到dfs.data.dir；因为任务分配数据平均分配，SSD获得的数据量相对于其吞吐量来说要小的多，所以要分成多个文件，来获得更多的数据；来发挥其吞吐量优势【11】。

4． HIVE测试，混合结构，每个DATANODE部署一块SSD用于MapReduce的中间数据，可以提升聚合性能9%，提升联合查询性能17%；全部使用SSD，可以提升聚合性能17%，联合查询性能27%；对于Scan性能，SSD提升不大，因为Scan操作不是IO密集型操作【4】。

5．CPU密集型操作，SSD性能改善很少【1】。

6．当需要处理的数据量小于内存量时，数据可以全部加载到内存；固态硬盘的优势无法体现【11】。

7．HDFS读写IO类型为连续读写，使用SSD能够带来性能提升，但性价比不高【1】。

四．测试计划

1 测试目的

1.1 在相同成本的情况下，测试SSD解决方案相对HDD解决方案带来的性能提升。

1.2 在相同成本的情况下，测试不同SSD解决方案的性能对比。

1.3 在相同成本的情况下，测试不同组件版本下的SSD解决方案的性能对比。

2 测试方法说明

2.1 HDFS

a) TeraGen，三副本，带大量网络传输

b) TeraRead，只读，没有排序和reduce

c) Terasort, read,write,shuffle 1:1:1

d) TeraValidate，读密集工作，带sort和validattion，类似TeraRead

e) WordCount，CPU密集型

f) TestDFSIO

g) HiBench

2.2 HIVE

a) AMPLab Benchmarkfor Hive

2.3 HBASE

a) Ycsb 雅虎测试工具

3 测试场景

测试场景主要分新集群和旧集群两种，需要测试的情况还包括下列条件变化。

3.1 存储类型：纯HDD，SSD-HDD混合，纯SSD

3.2 数据量：少量10G，正常100G，大量1T；根据不同组件将有所调整

3.3 组件版本，需要覆盖关键更新前后的版本：

cdh4.6.0(hdp2.0+hb0.94.15+hi0.10.0)；cdh5.1.3(hdp2.3+hb0.98+hi0.12.1)；
cdh5.3.5(hdp2.3+hb0.98+hi0.13.1)；
cdh5.7.0(hdp2.6+hb1.2+hi1.1);

3.4 任务类型：CPU密集型，存储密集型-连续读写，存储密集型-随机读写，通过测试方法来区分

4 硬件环境需求

至少4节点集群，最好是6节点，集群存储空间要达到1T以上，考虑到HDFS至少3副本，实际存储空间要达到3T以上。

硬件	软件	数量
Lenovo RD640 CPU E5-2650 0 @ 2.00GHz(8 core,16 threads,L3 cache 20MB) 内存 64G	CentOs 7.0	6
MR9270-8i希捷3.5’ 7200r SATA 1.8T		6*6
SMC2108 256GB		4*6