一、Hadoop HDFS NN和2NN工作机制 NN故障处理(扩展)
后面会搭建高可用的集群,不会使用2NN,所以扩展知识。
二、Hadoop HDFS NN和2NN工作机制 集群的安全模式介绍
hdfs dfsadmin -safemode get
演示等待安全模式“
Hadoop HDFS NN和2NN工作机制 NN多目录配置
namenode把元数据存储在多个目录里面,每个目录存储的数据是一样的!主要是为了提升元数据的可靠性。配置多目录的前提:
各个目录挂载到的磁盘是不一样的。在Linunx中支持不同的目录挂载到不同的磁盘。因为挂载到不同的磁盘,所以配置NN的多目录是有意义的!提升元数据的可靠性,以后用了高可用的集群(HA)之后,这个做法也是没有意义。HA:有多个NN
Hadoop HDFS DN工作机制:
DN主动向NN报道,汇报自己的块信息,这就是为什么fsimage里面没有记录快信息的原因。
DN与NN之间时刻保持通信,每隔一个小时,DN向NN上报块信息。 当NN发现某个DN迟迟未上报自己的块信息,那NN会自己去做副本的配置找一台机器去复制出一份副本来。但是一个小时的汇报很慢,所以,DN还需要每隔3s找NN说一次话(心跳),告诉NN我还是活着的。在这次心跳中,NN会顺带着给DN一些指令要做的事情。
总结:
2NN要做的事情:
1、存数据
2、汇报快信息
3、发送心跳信息
4、接收nn的指令,来处理事情
假设某个DN在三秒内没有和NN去发生心跳,NN会再等等,容忍一下,如果等了十分钟又加三十秒,NN会认为DN已经光荣牺牲了。就会把这个DN剔除该集群。