• 1 DataNode作用概述
  • 2 DataNode工作机制
  • 3 数据完整性
  • 3.1 读取过程的完整性保障
  • 3.2 DataNode的自省


1 DataNode作用概述

DataNode：就是Slave。NameNode下达命令，DataNode执行实际的操作。

  1. 存储实际的数据块
  2. 执行数据块的读/写操作

2 DataNode工作机制

  1. 一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。开启服务器后，在安全模式下，DataNode向NameNode注册
  2. NameNode返回注册成功信息
  3. DataNode返回块信息，在NameNode中fsimages文件的元数据中只有保存具体的块的ID，但是并没有保存这些块是在保存在哪个DataNode上，这个步骤就是用来解决这个问题，并且DataNode会定期（每6个小时）会自动上报一次这些信息到NameNode中，应该实际运行中，服务器往往很久关一次的
  4. DataNode之间也3秒完成一次“心跳”，也就是双向传递信息，DataNdde向NameNode传递当前的状态信息（正常运行还是异常），NameNode每次接到信息后，就会返回要求DataNode所需要做的工作,心跳是每3秒一次，如复制块数居到另一台机器，或删除某个数据块。如果超过10分钟30秒没有收到某个DataNode的心跳，则认为该节点不可用

如果定义超时时间为TimeOut，则超时时长的计算公式为:
TimeOut = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval
而默认的dfs.namenode.heartbeat.recheck-interval 大小为5分钟，dfs.heartbeat.interval默认为3秒
可以通过hdfs-site.xml进行配置，其中dfs.namenode.heartbeat.recheck-interval的单位是毫秒，而dfs.heartbeat.interval的单位是秒

<property>
  <name>dfs.namenode.heartbeat.recheck-interval</name>
  <value>300000</value>
  </property>
<property>
  <name>dfs-heartbeat.interval</name>
  <value>3</value>
</property>

通过管理页面的如下字段，表示二者通信的时间间隔，一般小于3s

hdfs设置datanode域名 hdfs中datanode的作用_hdfs

  1. 集群中可安全加入或者退出一些机器

3 数据完整性

DataNode保证数据完整性的方法

3.1 读取过程的完整性保障

  1. 当DataNode读取 Block的时候，它会计算CheckSum（校验和）
  2. 如果计算后的CheckSum，与 Block创建时值不一样，说明Block已经损坏
  3. Client发现Block损坏后就会去其他的服务器去读取该Block的副本

常见的校验算法crc (32)、md5( 128)、sha1 ( 160)（数字表示校验的位数，校验的位数越大越准确）。DataNode在其文件创建后周期验证CheckSum

3.2 DataNode的自省

DataNode每隔一段时间进行检查数据块的及其校验和，当发现错误信息就进行清除，当定期上报Block信息的时候，NameNode会根据实际Block缺失的情况，命令其他DataNode创建到缺失副本的服务器中