原因

由于只有一个NameNode,势必存在单节点故障,因此HDFS的可靠性取决于NameNode的HA

HDFS的HA解决方案:

出发点

主要是从使用者的角度出发,提高元数据的可靠性,减少NameNode的服务恢复时间

措施

提高元数据可靠性的措施主要是对元数据进行备份,二HDFS本身具有多种机制来确保原数据的可靠性dy


减少NameNode服务恢复时间的两种措施:

1,,基于NameNode恢复重启服务的方式,对NameNode自身启动的过程进行分析,优化加载过程,较少启动时间

2,启动一个NameNode的热备节点(warm standby),当主节点不能服务时,有热备节点来接替服务,此时切换时间成为服务恢复时间


现有成熟的HA解决方案

Hadoop的元数据备份方案

Hadoop的Secondry NameNode方案

Hadoop的checkpoint Node方案

Hadoop的Backup Node解决方案

DRDB解决方案

FACEBOOK的avartanode方案

高可用性的HDFSHadoop分布式文件系统深度实践 笔记

----------------------------------------------------------------------------------------------------------------------------------------------