hadoop配置多个硬盘
原创chcearth ©著作权
文章标签 hadoop linux 文章分类 Hadoop 大数据
©著作权归作者所有:来自51CTO博客作者chcearth的原创作品,请联系作者获取转载授权,否则将追究法律责任
在hadoop的文档里明确提出了不需要使用RAID(见http://wiki.apache.org/hadoop/DiskSetup)。hadoop本身的冗余机制使得RAID的冗余机制变得多余了。
并且根据一篇文章《why not use RAID?》的描述:在Yahoo Hadoop Cluster的Benchmark中,测试Gridmix显示使用JBOD相比RAID能提高写性能10%以上。
http://wiki.apache.org/hadoop/FAQ#How_do_I_set_up_a_hadoop_node_to_use_multiple_volumes.3F
<property>
<name>dfs.data.dir</name>
<value>/data0,/data1</value>
</property>
########################
注意!!!
上面是hdfs的目录的jbod配置,实际测试中,mapper和reducer执行时也会对硬盘造成不小的压力。
修改这个参数:mapred.local.dir 。修改方法与dfs.data.dir一样,一逗号隔开。
########################
附件是系统级的相关操作。
上一篇:perl 压力测试脚本
下一篇:取消文件系统的atime

提问和评论都可以,用心的回复会被更多人看到
评论
发布评论
相关文章