文章目录

  • 1. HDFS介绍
  • 1.1 概念
  • 1.2 组成
  • 1.3 HDFS 文件块大小
  • 2. HDFS读写流程
  • 2.1 HDFS写数据流程
  • 2.2 HDFS读数据流程
  • 2.3 一致性模型
  • 2.4 网络拓扑及机架感知
  • 2.4.1 网略拓扑概念
  • 2.4.2 机架感知（副本节点选择）


1. HDFS介绍

1.1 概念

HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。

1.2 组成

HDFS集群包括，NameNode和DataNode以及Secondary NameNode。

  • NameNode
    存储元数据。负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。
  • DataNode
    存储数据的节点，会对数据块进行校验。负责管理用户的文件数据块，每一个数据块都可以在多个DataNode上存储多个副本。
  • Secondary NameNode
    监控NameNode的元数据，每隔一定的时间进行元数据的合并。用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。

1.3 HDFS 文件块大小

HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M。

HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。如果块设置得足够大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。因而，传输一个由多个块组成的文件的时间取决于磁盘传输速率。

如果寻址时间约为10ms，而传输速率为100MB/s，为了使寻址时间仅占传输时间的1%，我们要将块大小设置约为100MB（10ms * 100 * 100M/s = 100M）。默认的块大小128MB。

2. HDFS读写流程

2.1 HDFS写数据流程

  • 简化流程
  1. 客户端向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在，以及客户端是否有权限去创建等。
  2. NameNode返回是否可以上传。如果校验通过， NameNode就会记录下新文件，否则就会抛出IO异常。
  3. 客户端请求第一个 block上传到哪几个DataNode服务器上。
  4. NameNode根据就近原则返回3个DataNode节点（比如副本数设置的是3），分别为dn1、dn2、dn3。
  5. 客户端请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。
  6. dn1、dn2、dn3逐级应答客户端。
  7. 客户端开始往dn1上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位，dn1收到一个packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。当pipeline（管道）中的所有DataNode都表示已经收到的时候，这时ack quene（应答队列）才会把对应的packet包移除掉。
  8. 当一个block传输完成之后，客户端再次请求NameNode上传第二个block的服务器。（重复执行3-7步）
  • 官方流程
  1. 客户端通过调用DistributedFileSystem的create方法创建新文件。
  2. DistributedFileSystem通过RPC调用NameNode去创建一个没有blocks关联的新文件，创建前， NameNode会做各种校验，比如文件是否存在，客户端有无权限去创建等。如果校验通过， NameNode就会记录下新文件，否则就会抛出IO异常。
  3. 前两步结束后，会返回FSDataOutputStream的对象，与读文件的时候相似， FSDataOutputStream被封装成DFSOutputStream。DFSOutputStream可以协调NameNode和 DataNode。客户端开始写数据到DFSOutputStream，DFSOutputStream会把数据切成一个个小的packet，然后排成队列data quene（数据队列）。
  4. DataStreamer会去处理接受data quene，它先询问NameNode这个新的block最适合存储的在哪几个DataNode里（比如重复数是3，那么就找到3个最适合的 DataNode），把他们排成一个pipeline。DataStreamer把packet按队列输出到管道的第一个DataNode中，第一个 DataNode又把packet输出到第二个DataNode中，以此类推。
  5. DFSOutputStream还有一个对列叫ack quene，也是由packet组成，等待DataNode的收到响应，当pipeline（管道）中的所有DataNode都表示已经收到的时候，这时ack quene（确认队列）才会把对应的packet包移除掉。
    如果在写的过程中某个DataNode发生错误，会采取以下几步：
  1. pipeline被关闭掉；
  2. 为了防止丢包ack quene里的packet会同步到data quene里；
  3. 把产生错误的DataNode上当前在写但未完成的block删掉；
  4. block剩下的部分被写到剩下的两个正常的DataNode中；
  5. NameNode找到另外的DataNode去创建这个块的复制。当然，这些操作对客户端来说是无感知的。
  1. 客户端完成写数据后调用close方法关闭写入流。
  2. DataStreamer把剩余得包都刷到pipeline里，然后等待ack信息，收到最后一个ack后，通知DataNode把文件标视为已完成。

注意：客户端执行write操作后，写完的block才是可见的（注：和下面的一致性所对应），正在写的block对客户端是不可见的，只有调用sync方法，客户端才确保该文件的写操作已经全部完成，当客户端调用close方法时，会默认调用sync方法。是否需要手动调用取决你根据程序需要在数据健壮性和吞吐率之间的权衡。

2.2 HDFS读数据流程

  • 简化流程

    • duckdb读取hdfs匹配符 hdfs查看块信息_数据


  1. 客户端向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。（同一个block按照重复数会返回多个locations，这些locations按照Hadoop拓扑结构排序，距离客户端近的排在前面）
  2. 挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。
  3. DataNode开始传输数据给客户端（从磁盘里面读取数据放入流，以packet为单位来做校验）。
  4. 客户端以packet为单位接收，先在本地缓存，然后写入目标文件。
  5. 如果第一块的数据读完了，就会关闭指向第一块的DataNode连接，接着读取下一块。如果第一批block读完了，就会去NameNode拿下一批block的locations，然后按照同样的步骤继续读。如果所有的块都读完，这时就会关闭掉所有的流。

  • 官方流程

    duckdb读取hdfs匹配符 hdfs查看块信息_duckdb读取hdfs匹配符_02

  1. 首先调用FileSystem对象的open方法，其实是一个DistributedFileSystem的实例。

  2. DistributedFileSystem通过rpc获得文件的第一批block的locations，同一个block按照重复数会返回多个locations，这些locations按照Hadoop拓扑结构排序，距离客户端近的排在前面。

  3. 前两步会返回一个FSDataInputStream对象，该对象会被封装DFSInputStream对象，DFSInputStream可以方便的管理DataNode和NameNode数据流。客户端调用read方法，DFSInputStream最会找出离客户端最近的DataNode并连接。

  4. 数据从DataNode源源不断的流向客户端。

  5. 如果第一块的数据读完了，就会关闭指向第一块的DataNode连接，接着读取下一块。这些操作对客户端来说是透明的，客户端的角度看来只是读一个持续不断的流。

  6. 如果第一批block都读完了， DFSInputStream就会去NameNode拿下一批block的locations，然后继续读，如果所有的块都读完，这时就会关闭掉所有的流。

注：
如果在读数据的时候， DFSInputStream和DataNode的通讯发生异常，就会尝试正在读的block的排序第二近的DataNode，并且会记录哪个DataNode发生错误，剩余的blocks读的时候就会直接跳过该DataNode。 DFSInputStream也会检查block数据校验和，如果发现一个坏的block，就会先报告到NameNode节点，然后DFSInputStream在其他的DataNode上读该block的镜像。

该设计就是客户端直接连接DataNode来检索数据并且NameNode来负责为每一个block提供最优的DataNode， NameNode仅仅处理block location的请求，这些信息都加载在NameNode的内存中，HDFS通过DataNode集群可以承受大量客户端的并发访问。

2.3 一致性模型

写入数据时，如果希望数据被其他client立即可见，调用如下方法：

//清理客户端缓冲区数据，被其他client立即可见。
FSDataOutputStream.hflush ();

2.4 网络拓扑及机架感知

2.4.1 网略拓扑概念

在本地网络中，两个节点被称为“彼此近邻”是什么意思？在海量数据处理中，其主要限制因素是节点之间数据的传输速率——带宽很稀缺。这里的想法是将两个节点间的带宽作为距离的衡量标准。
节点距离：两个节点到达最近的共同祖先的距离总和。
例如，假设有数据中心d1机架r1中的节点n1。该节点可以表示为/d1/r1/n1。利用这种标记，这里给出四种距离描述。
Distance(/d1/r1/n1, /d1/r1/n1)=0（同一节点上的进程）
Distance(/d1/r1/n1, /d1/r1/n2)=2（同一机架上的不同节点）
Distance(/d1/r1/n1, /d1/r3/n2)=4（同一数据中心不同机架上的节点）
Distance(/d1/r1/n1, /d2/r4/n2)=6（不同数据中心的节点）

2.4.2 机架感知（副本节点选择）

1）官方ip地址：
http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/RackAwareness.html http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_Replication

2）低版本Hadoop副本节点选择
第一个副本在client所处的节点上。如果客户端在集群外，随机选一个。
第二个副本和第一个副本位于不相同机架的随机节点上。
第三个副本和第二个副本位于相同机架，节点随机。

3）高副本节点选择
第一个副本在client所处的节点上。如果客户端在集群外，随机选一个。
第二个副本和第一个副本位于相同机架，随机节点。
第三个副本位于不同机架，随机节点。