一、主要组成模块
Hadoop Distributed File System(HDFS):分布式文件存储系统。
MapReduce:并行计算框架(可以自定义计算逻辑的部分)
Yet Another Resource Negotiator(YARN):另一种资源协调者(顾名思义,Hadoop1.x采用的不是这一个资源管理器)
二、HDFS概述及应用场景
1、HDFS特点:
- 高容错性:认为硬件总是不可靠的。
- 高吞吐量:为大量数据访问的应用提供高可用吞吐量支持。
- 大文件存储:支持存储TB-PB级别的数据。
- HDFS适合做:大文件存储、流式数据访问。
- HDFS不适合做:大量小文件、随机写入、低延迟读取
2、HDFS系统架构
HDFS架构包含三个部分:(NameNode,DateNode,Client)
- NameDode:用于存储、生成文件系统的元数据、运行一个实例。
- DateNode:用于存储实际的数据,将自己管理的数据块上报给NameNode,运行多个实例。
- Client:支持业务访问HDFS,从NameNode,DateNode获取数据返回给业务。多个实例,和业务一起运行。
3、HDFS数据写入流程
(1)、业务应用调用HDFS Client提供的API创建文件,请求写入。
(2)、HDFS Client联系NameNode,NameNode在元数据中创建文件节点。
(3)、业务应用调用write API写入文件。
(4)、HDFS Client收到业务数据后,从NameNode获取到数据块编号、位置信息后,联系DateNode,并将要写入数据的DateNode建立起流水线。完成后,客户端再通过自有协议写入数据到DateNode1,再由DateNode1复制到NateNode2,DateNode3.
(5)、写完的数据,将返回确认信息给HDFS Client。
(6)、所有数据确认完成后,业务调用HDFS CLient关闭文件。
(7)、业务调用close,flush后HDFS Client联系NameNode,确认数据写完成,NameNode持久化元数据。
4、HDFS数据读取流程
(1)、业务调用HDFS Client提供的API打开文件。
(2)、HDFS Client 联系 NmaeNode,获取到文件信息(数据块、DateNode位置信息)。
(3)、业务应用调用read API读取文件。
(4)、HDFS Client根据从NmaeNode获取到的信息,联系DateNode,获取相应的数据块。(Client采用就近原则读取数据)。
(5)、HDFS Client会与多个DateNode通讯获取数据块。
(6)、数据读取完成后,业务调用close关闭连接
三、元数据持久化
(1)、备NameNode通知主NameNode生成新的日志文件,以后的日志写到Editlog.new中,并获取旧的Editlog。
(2)、备NameNode从注NameNode上获取FSImage文件及位于JournalNode上面的旧Editlog。
(3)、备NmaeNode将日志和旧的元数据合并,生成新的元数据FSImage.ckpt。
(4)、备NameNode将元数据上传到主NameNode。
(5)、主NameNode将上传的原书记进行回滚。循环步骤1.
四、HDFS高可靠性(HA)
1、HA解决的是一个热备份的问题。
HDFS的高可靠性(HA)架构在基本架构上增加了一下组件:
(1)、 ZooKeeper:分布式协调,主要用来存储HA下的状态文件,主备信息、ZK个数建议3个及以上且为奇数个。
(2)、NameNode主备:NameNode主备模式,主提供服务,备合并元数据并作为主的热备。
(3)、ZKFC(Zookeeper Failover Controller)用于控制NameNode节点的主备状态。
(4)、JN(JournalNode)日志节点:用于共享存储NameNode生成的Editlog。
2、处于待命状态的名称节点和处于活状态的名称节点,它们元数据的两个方面的信息是怎么同步的:
处于待命状态的名称节点当中,它的两方面元数据,一个就是Editlog,它是通过共享存储系统来获得同步的,处于活跃状态的名称节点已发生变化,马上写入到共享存储系统,然后这共享存储系统会通知待命的名称节点把它取走,这样可以保证Editlog上两者可以保持同步。对于映射表信息而言,也就是一个文件包含几个块,这些块被保存到哪个数据节点上面。这种映射信息,它的 实时的维护是通过底层数据节点,不断同时向活跃名称节点和待命节点名称节点汇报来进行维护的。这就是它的基本原理。