一、Hadoop HDFS NN和2NN工作机制 NN故障处理(扩展)

后面会搭建高可用的集群,不会使用2NN,所以扩展知识。

Hadoop  HDFS  NN和2NN工作机制   NN故障处理(扩展)_hdfs


二、Hadoop HDFS NN和2NN工作机制 集群的安全模式介绍

Hadoop  HDFS  NN和2NN工作机制   NN故障处理(扩展)_数据_02


Hadoop  HDFS  NN和2NN工作机制   NN故障处理(扩展)_hadoop_03


Hadoop  HDFS  NN和2NN工作机制   NN故障处理(扩展)_数据_04


Hadoop  HDFS  NN和2NN工作机制   NN故障处理(扩展)_hadoop_05


hdfs dfsadmin -safemode get

Hadoop  HDFS  NN和2NN工作机制   NN故障处理(扩展)_hadoop_06


Hadoop  HDFS  NN和2NN工作机制   NN故障处理(扩展)_数据_07


Hadoop  HDFS  NN和2NN工作机制   NN故障处理(扩展)_hadoop_08


Hadoop  HDFS  NN和2NN工作机制   NN故障处理(扩展)_数据_09


Hadoop  HDFS  NN和2NN工作机制   NN故障处理(扩展)_hdfs_10


Hadoop  HDFS  NN和2NN工作机制   NN故障处理(扩展)_数据_11


演示等待安全模式“

Hadoop  HDFS  NN和2NN工作机制   NN故障处理(扩展)_数据_12


Hadoop  HDFS  NN和2NN工作机制   NN故障处理(扩展)_hdfs_13


Hadoop  HDFS  NN和2NN工作机制   NN故障处理(扩展)_数据_14

Hadoop HDFS NN和2NN工作机制 NN多目录配置

Hadoop  HDFS  NN和2NN工作机制   NN故障处理(扩展)_hdfs_15


namenode把元数据存储在多个目录里面,每个目录存储的数据是一样的!主要是为了提升元数据的可靠性。配置多目录的前提:

各个目录挂载到的磁盘是不一样的。在Linunx中支持不同的目录挂载到不同的磁盘。因为挂载到不同的磁盘,所以配置NN的多目录是有意义的!提升元数据的可靠性,以后用了高可用的集群(HA)之后,这个做法也是没有意义。HA:有多个NN

Hadoop HDFS DN工作机制:

DN主动向NN报道,汇报自己的块信息,这就是为什么fsimage里面没有记录快信息的原因。

DN与NN之间时刻保持通信,每隔一个小时,DN向NN上报块信息。 当NN发现某个DN迟迟未上报自己的块信息,那NN会自己去做副本的配置找一台机器去复制出一份副本来。但是一个小时的汇报很慢,所以,DN还需要每隔3s找NN说一次话(心跳),告诉NN我还是活着的。在这次心跳中,NN会顺带着给DN一些指令要做的事情。

总结:

2NN要做的事情:

1、存数据

2、汇报快信息

3、发送心跳信息

4、接收nn的指令,来处理事情

假设某个DN在三秒内没有和NN去发生心跳,NN会再等等,容忍一下,如果等了十分钟又加三十秒,NN会认为DN已经光荣牺牲了。就会把这个DN剔除该集群。

Hadoop  HDFS  NN和2NN工作机制   NN故障处理(扩展)_hdfs_16