目录
1 HDFS的概述
1.1 HDFS的概念
1.2 HDFS优缺点
1.2.1 优点
1.2.2 缺点
1.3 HDFS的架构
1.4 block文件块的大小
2 HDFS的shell客户端操作
3 HDFS的java客户端操作
3.1 HDFS客户端操作
4 HDFS的数据流
4.1 HDFS写数据流程
4.2 HDFS读数据流程
5 NameNode和Second NameNode的工作机制
5.1 NN和2NN的工作流程
5.2 checkpoint时间设置
5.3 集群安全模式
6 NameNode工作机制
1 HDFS的概述
随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。
1.1 HDFS的概念
HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。集群不一定是分布式的，但是分布式一定是集群。
HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。
1.2 HDFS优缺点
1.2.1 优点
- 高容错性
- 数据自动保存多个副本。它通过增加副本的形式，提高容错性；
- 某一个副本丢失以后，它可以自动恢复。
- 适合大数据处理
- 数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；
- 文件规模：能够处理百万规模以上的文件数量，数量相当之大。
- 可构建在廉价机器上，通过多副本机制，提高可靠性。
1.2.2 缺点
- 不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。
- 无法高效的对大量小文件进行存储。
- 存储大量小文件的话，它会占用NameNode大量的内存来存储文件、目录和块信息。这样是不可取的，因为NameNode的内存总是有限的；
- 小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标。
- 寻址时间，目前技术水平在10ms左右
- 传输寻址时间/传输时间=1%，传输时间1000ms=1s，磁盘传输速度100M/S,计算机是2的n次方，所以hadoop2.x默认块的大小为128m
- 不支持并发写入、文件随机修改。
- 一个文件只能有一个写，不允许多个线程同时写；
- 仅支持数据append（追加），不支持文件的随机修改。
1.3 HDFS的架构
结构主要有四个部分组成：分别为HDFS client、NameNode、DataNode和Second NameNode。
1. client：就是客户端
- 文件切分。文件上传HDFS时候，Client将文件切分为一个个的block块，然后进行存储；
- 与NameNode交互，获取文件的存储位置；
- 与DataNode交互，读取或写入数据；
- client提供一些命令来管理HDFS，比如启动或关闭HDFS；
- client可以通过一些命令来访问HDFS；
2. NameNode：就是master，是一个主管、管理者
- 管理HDFS的名称空间：namespace；
- 管理数据块（block）的映射信息；
- 配置副本策略（默认：3）；
- 处理客户端的请求；
3. DataNode：就是slave。NameNode下达命令，DataNode执行具体操作
- 存储实际的数据块；
- 执行数据块的读/写操作；
4. Second NameNode：并非是NameNode的热备，当NameNode挂掉之后，并不能马上替换NameNode并提供服务
- 辅助NameNode，并分担工作量；
- 定期合并Fsimage和Edits，并推送给NameNode；
- 在紧急情况下，可辅助恢复NameNode
1.4 block文件块的大小
HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M。
2 HDFS的shell客户端操作
1. 基本语法
bin/hadoop fs 具体命令
2. 命令大全
[root@hadoop101 hadoop-2.7.2]$ bin/hadoop fs
[-appendToFile <localsrc> ... <dst>]
[-cat [-ignoreCrc] <src> ...]
[-checksum <src> ...]
[-chgrp [-R] GROUP PATH...]
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-copyFromLocal [-f] [-p] <localsrc> ... <dst>]
[-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-count [-q] <path> ...]
[-cp [-f] [-p] <src> ... <dst>]
[-createSnapshot <snapshotDir> [<snapshotName>]]
[-deleteSnapshot <snapshotDir> <snapshotName>]
[-df [-h] [<path> ...]]
[-du [-s] [-h] <path> ...]
[-expunge]
[-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-getfacl [-R] <path>]
[-getmerge [-nl] <src> <localdst>]
[-help [cmd ...]]
[-ls [-d] [-h] [-R] [<path> ...]]
[-mkdir [-p] <path> ...]
[-moveFromLocal <localsrc> ... <dst>]
[-moveToLocal <src> <localdst>]
[-mv <src> ... <dst>]
[-put [-f] [-p] <localsrc> ... <dst>]
[-renameSnapshot <snapshotDir> <oldName> <newName>]
[-rm [-f] [-r|-R] [-skipTrash] <src> ...]
[-rmdir [--ignore-fail-on-non-empty] <dir> ...]
[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
[-setrep [-R] [-w] <rep> <path> ...]
[-stat [format] <path> ...]
[-tail [-f] <file>]
[-test -[defsz] <path>]
[-text [-ignoreCrc] <src> ...]
[-touchz <path> ...]
[-usage [cmd ...]]
3．常用命令实操
（0）启动Hadoop集群（方便后续的测试）
[root@hadoop101 hadoop-2.7.2]$ sbin/start-dfs.sh
[root@hadoop102 hadoop-2.7.2]$ sbin/start-yarn.sh
（1）-help：输出这个命令参数
[root@hadoop101 hadoop-2.7.2]$ hadoop fs -help rm
（2）-ls: 显示目录信息
[root@hadoop101 hadoop-2.7.2]$ hadoop fs -ls /
（3）-mkdir：在hdfs上创建目录
[root@hadoop101 hadoop-2.7.2]$ hadoop fs -mkdir -p /sanguo/shuguo
（4）-moveFromLocal从本地剪切粘贴到hdfs
[root@hadoop101 hadoop-2.7.2]$ touch kongming.txt
[root@hadoop101 hadoop-2.7.2]$ hadoop fs -moveFromLocal ./kongming.txt /sanguo/shuguo
（5）-appendToFile ：追加一个文件到已经存在的文件末尾
[root@hadoop101 hadoop-2.7.2]$ touch liubei.txt
[root@hadoop101 hadoop-2.7.2]$ vim liubei.txt
输入
san gu mao lu
[root@hadoop102 hadoop-2.7.2]$ hadoop fs -appendToFile liubei.txt /sanguo/shuguo/kongming.txt
（6）-cat：显示文件内容
[root@hadoop101 hadoop-2.7.2]$ hadoop fs -cat /sanguo/shuguo/kongming.txt
（7）-tail：显示一个文件的末尾
[root@hadoop101 hadoop-2.7.2]$ hadoop fs -tail /sanguo/shuguo/kongming.txt
（8）-chgrp 、-chmod、-chown：linux文件系统中的用法一样，修改文件所属权限
[root@hadoop101 hadoop-2.7.2]$ hadoop fs -chmod 666 /sanguo/shuguo/kongming.txt
[root@hadoop101 hadoop-2.7.2]$ hadoop fs -chown root:root /sanguo/shuguo/kongming.txt
（9）-copyFromLocal：从本地文件系统中拷贝文件到hdfs路径去
[root@hadoop101 hadoop-2.7.2]$ hadoop fs -copyFromLocal README.txt /
（10）-copyToLocal：从hdfs拷贝到本地
[root@hadoop101 hadoop-2.7.2]$ hadoop fs -copyToLocal /sanguo/shuguo/kongming.txt ./
（11）-cp ：从hdfs的一个路径拷贝到hdfs的另一个路径
[root@hadoop101 hadoop-2.7.2]$ hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt
（12）-mv：在hdfs目录中移动文件
[root@hadoop101 hadoop-2.7.2]$ hadoop fs -mv /zhuge.txt /sanguo/shuguo/
（13）-get：等同于copyToLocal，就是从hdfs下载文件到本地
[root@hadoop101 hadoop-2.7.2]$ hadoop fs -get /sanguo/shuguo/kongming.txt ./
（14）-getmerge ：合并下载多个文件，比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,...
[root@hadoop101 hadoop-2.7.2]$ hadoop fs -getmerge /sanguo/shuguo/* ./zaiyiqi.txt
（15）-put：等同于copyFromLocal
[root@hadoop101 hadoop-2.7.2]$ hadoop fs -put ./zaiyiqi.txt /sanguo/shuguo/
（16）-rm：删除文件或文件夹
[root@hadoop101 hadoop-2.7.2]$ hadoop fs -rm /user/root/test/jinlian2.txt
（17）-rmdir：删除空目录（了解）
[root@hadoop101 hadoop-2.7.2]$ hadoop fs -mkdir /test
[root@hadoop101 hadoop-2.7.2]$ hadoop fs -rmdir /test
（18）-du统计文件夹的大小信息 -s 统计制定文件夹的大小 -h 统计制定文件夹下各个文件的大小
[root@hadoop101 hadoop-2.7.2]$ hadoop fs -du -s -h /user/root/test
2.7 K /user/root/test
[root@hadoop102 hadoop-2.7.2]$ hadoop fs -du -h /user/root/test
1.3 K /user/root/test/README.txt
15 /user/root/test/jinlian.txt
1.4 K /user/root/test/zaiyiqi.txt
（19）-setrep：设置hdfs中文件的副本数量
[root@hadoop101 hadoop-2.7.2]$ hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt
这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，
3 HDFS的java客户端操作
官网自行下载或者：请点这里 提取码：xv1g
3.1 HDFS客户端操作
1．根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径（例如：D:\Develop\hadoop-2.7.2），如图所示
2.配置HADOOP_HOME的环境变量
3. 配置Path环境变量
4. 创建maven工程并添加下列依赖
<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> </dependency> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-core</artifactId> <version>2.10.0</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.2</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.7.2</version> </dependency> </dependencies>
日志配置文件 log4j.properties
log4j.rootLogger=debug, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n log4j.appender.logfile=org.apache.log4j.FileAppender log4j.appender.logfile.File=target/spring.log log4j.appender.logfile.layout=org.apache.log4j.PatternLayout log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
5. HDFS的API操作
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
import java.io.*;
import java.net.URI;
import java.net.URISyntaxException;
public class HdfsClientDemo {
private FileSystem fileSystem = null;
private Configuration conf = null;
@Before
public void init() throws URISyntaxException, IOException, InterruptedException {
// 1.获取文件系统
conf = new Configuration();
// 指定副本数目
conf.set("dfs.replication", "10");
//conf.set("fs.defaultFS","hdfs://hadoop101:9000");
//FileSystem fileSystem = FileSystem.get(conf);
fileSystem = FileSystem.get(new URI("hdfs://hadoop101:9000"), conf, "root");
}
@After
public void after() throws IOException {
// 3.释放资源
fileSystem.close();
}
//创建文件夹
@Test
public void testMkdir() throws URISyntaxException, IOException, InterruptedException {
// 2.创建文件夹
fileSystem.mkdirs(new Path("/1105"));
}
//上传文件
@Test
public void testCopyFromLocal() throws Exception {
// 2.上传文件
fileSystem.copyFromLocalFile(new Path("E:/hadoop-2.7.2.rar"), new Path("/java/"));
}
//删除文件
@Test
public void testCopyToLocal() throws IOException {
fileSystem.copyToLocalFile(true, new Path("/1105/liubei.txt"), new Path("E:/jiezou"));
}
//文件夹删除
@Test
public void testDeleteDir() throws IOException {
fileSystem.delete(new Path("/bigdata"), true);
}
//文件夹更改
@Test
public void testRename() throws IOException {
fileSystem.rename(new Path("/java/java.txt"), new Path("/java/java2.txt"));
}
//文件状态测试
@Test
public void testFileStatus() throws IOException {
FileStatus[] fileStatuses = fileSystem.listStatus(new Path("/java"));
for (FileStatus fileStatus : fileStatuses) {
if (fileStatus.isDirectory()) {
System.out.println("i am directory" + fileStatus.getPath().getName());
} else if (fileStatus.isFile()) {
System.out.println("i am file" + fileStatus.getPath().getName());
}
}
}
/**
* 通过io流操作hdfs
* 文件上传
*/
@Test
public void testUploadTOHdfsByStream() throws IOException {
// 1.定义输入流
FileInputStream fileInputStream = new FileInputStream(new File("e:/ceshi/bigdata.txt"));
// 2.定义输出流
FSDataOutputStream fsDataOutputStream = fileSystem.create(new Path("/sanguo"));
// 3.输入流和输出流对接
IOUtils.copyBytes(fileInputStream, fsDataOutputStream, conf);
// 4.关闭流
IOUtils.closeStream(fsDataOutputStream);
IOUtils.closeStream(fileInputStream);
}
@Test
public void testDownloadToLocalByStream() throws IOException {
//1.输入流定义
FSDataInputStream fsDataInputStream = fileSystem.open(new Path("/README.txt"));
//2.输出流定义
FileOutputStream fileOutputStream = new FileOutputStream("e:/read.txt");
//3.流对接
IOUtils.copyBytes(fsDataInputStream, fileOutputStream, conf);
//4.关闭流
IOUtils.closeStream(fileOutputStream);
IOUtils.closeStream(fsDataInputStream);
}
/**
* 分块下载，下载第一块
*/
@Test
public void testReadFileBlock1() throws IOException {
//1.定义输入流
FSDataInputStream fsDataInputStream = fileSystem.open(new Path("/java/hadoop-2.7.2.rar"));
//2.定义输出流
FileOutputStream fileOutputStream = new FileOutputStream(new File("E:/ceshi/hadoop-2.7.2.rar.part1"));
byte[] buffer = new byte[1024];
for (int i = 1; i <= 1024 * 128; i++) {
fsDataInputStream.read(buffer);
fileOutputStream.write(buffer);
}
//4.关闭流
IOUtils.closeStream(fileOutputStream);
IOUtils.closeStream(fsDataInputStream);
}
/**
* 分块下载，下载第二块
*/
@Test
public void testReadFileBlock2() throws IOException {
//1.定义输入流
FSDataInputStream fsDataInputStream = fileSystem.open(new Path("/java/hadoop-2.7.2.rar"));
//2.定义输出流
FileOutputStream fileOutputStream = new FileOutputStream(new File("E:/ceshi/hadoop-2.7.2.rar.part2"));
fsDataInputStream.seek(1024 * 1024 * 128);
IOUtils.copyBytes(fsDataInputStream,fileOutputStream,conf);
IOUtils.closeStream(fileOutputStream);
IOUtils.closeStream(fsDataInputStream);
}
}4 HDFS的数据流
4.1 HDFS写数据流程
- 客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否存在，父目录是否存在；
- NameNode返回是否可以上传；
- 客户端请求上传第一个block块，询问NameNode存放在那个DataNode；
- NameNode返回三个DataNode节点分别为DN1、DN2、DN3；
- 客户端通过FSDataOutputStream模块请求向DN1上写数据，DN1收到请求调用DN2、DN2调用DN3，传输管道建立完成
- 三个DataNode节点逐级响应客户端（只要DataNode1反馈响应即可写入，其他的节点等到恢复后可由DN1数据复制到本地）
- 客户端开始向DN1上传第一个block块（先从磁盘读取放到本地的内存缓存），以packet为单位，DN1收到一个packet后写入磁盘并传递给DN2，DN2传递给DN3；
- 当一个block上传完成完成后，客户端再次请求上传第二个block（重复3~7），上传完成后close
4.2 HDFS读数据流程
- 客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode查询元数据之后，找到文件块所在的DataNode地址；
- NameNode返回目标文件所在的DataNode节点位置；
- 客户端就近原则选择一台DataNode节点，通过FSDataInputStream读取数据；
- 客户端以packet为单位接受数据，现在本地缓存，人后写入目标文件（其他的数据块流程类似）
5 NameNode和Second NameNode的工作机制
5.1 NN和2NN的工作流程
1. 第一阶段：NameNode启动
- 第一次启动NameNode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
- 客户端对元数据进行增删改的请求。
- NameNode记录操作日志，更新滚动日志。
- NameNode在内存中对数据进行增删改查。
2. 第二阶段：Secondary NameNode工作
- Secondary NameNode询问NameNode是否需要checkpoint。直接带回NameNode是否检查结果。
- Secondary NameNode请求执行checkpoint。
- NameNode滚动正在写的edits日志。
- 将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
- Secondary NameNode加载编辑日志和镜像文件到内存，并合并。
- 生成新的镜像文件fsimage.chkpoint。
- 拷贝fsimage.chkpoint到NameNode。
- NameNode将fsimage.chkpoint重新命名成fsimage。
NN和2NN工作机制详解：
Fsimage：namenode内存中元数据序列化后形成的文件。
Edits：记录客户端更新元数据信息的每一步操作（可通过Edits运算出元数据）。
namenode启动时，先滚动edits并生成一个空的edits.inprogress，然后加载edits（归档后的）和fsimage（最新的）到内存中，此时namenode内存就持有最新的元数据信息。client开始对namenode发送元数据的增删改查的请求，这些请求的操作首先会被记录的edits.inprogress中（查询元数据的操作不会被记录在edits中，因为查询操作不会更改元数据信息），如果此时namenode挂掉，重启后会从edits中读取元数据的信息。然后，namenode会在内存中执行元数据的增删改查的操作。
由于edits中记录的操作会越来越多，edits文件会越来越大，导致namenode在启动加载edits时会很慢，所以需要对edits和fsimage进行合并（所谓合并，就是将edits和fsimage加载到内存中，照着edits中的操作一步步执行，最终形成新的fsimage）。secondarynamenode的作用就是帮助namenode进行edits和fsimage的合并工作。
secondarynamenode首先会询问namenode是否需要checkpoint（触发checkpoint需要满足两个条件中的任意一个，定时时间到和edits中数据写满了）。secondarynamenode执行checkpoint操作，首先会让namenode滚动edits并生成一个空的edits.inprogress，滚动edits的目的是给edits打个标记，以后所有新的操作都写入edits.inprogress，其他未合并的edits和fsimage会拷贝到secondarynamenode的本地，然后将拷贝的edits和fsimage加载到内存中进行合并，生成fsimage.chkpoint，然后将fsimage.chkpoint拷贝给namenode，重命名为fsimage后替换掉原来的fsimage。namenode在启动时就只需要加载之前未合并的edits和fsimage即可，因为合并过的edits中的元数据信息已经被记录在fsimage中。
5.2 checkpoint时间设置
1. 通常情况下，SecondaryNameNode每隔一小时执行一次。如果修改在hdfs-site中
默认值在[hdfs-default.xml]
<property>
<name>dfs.namenode.checkpoint.period</name>
<value>3600</value>
</property>
2. 一分钟检查一次操作次数，当操作次数达到1百万时，SecondaryNameNode执行一次。
<property>
<name>dfs.namenode.checkpoint.txns</name>
<value>1000000</value>
<description>操作动作次数</description>
</property>
<property>
<name>dfs.namenode.checkpoint.check.period</name>
<value>60</value>
<description>1分钟检查一次操作次数</description>
</property >
5.3 集群安全模式
1. 概述
NameNode启动时，首先将映像文件（fsimage）载入内存，并执行编辑日志（edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的fsimage文件和一个空的编辑日志。此时，NameNode开始监听DataNode请求。但是此刻，NameNode运行在安全模式，即NameNode的文件系统对于客户端来说是只读的。
系统中的数据块的位置并不是由NameNode维护的，而是以块列表的形式存储在DataNode中。在系统的正常操作期间，NameNode会在内存中保留所有块位置的映射信息。在安全模式下，各个DataNode会向NameNode发送最新的块列表信息，NameNode了解到足够多的块位置信息之后，即可高效运行文件系统。
如果满足“最小副本条件”，NameNode会在30秒钟之后就退出安全模式。所谓的最小副本条件指的是在整个文件系统中99.9%的块满足最小副本级别（默认值：dfs.replication.min=1）。在启动一个刚刚格式化的HDFS集群时，因为系统中还没有任何块，所以NameNode不会进入安全模式。
2. 基本语法
集群处于安全模式，不能执行重要操作（写操作）。集群启动完成后，自动退出安全模式。
（1）bin/hdfs dfsadmin -safemode get （功能描述：查看安全模式状态）
（2）bin/hdfs dfsadmin -safemode enter （功能描述：进入安全模式状态）
（3）bin/hdfs dfsadmin -safemode leave （功能描述：离开安全模式状态）
（4）bin/hdfs dfsadmin -safemode wait （功能描述：等待安全模式状态，监控安全模式）
安全模式开启：
3. 案例
模拟等待安全模式
（1）先进入安全模式
[root@hadoop101 hadoop-2.7.2]$ bin/hdfs dfsadmin -safemode enter
（2）执行下面的脚本
编辑一个脚本
#!/bin/bash
bin/hdfs dfsadmin -safemode wait（安全模式关闭）
bin/hdfs dfs -put ~/hello.txt /root/hello.txt
（3）再打开一个窗口，执行
[root@hadoop101 hadoop-2.7.2]$ bin/hdfs dfsadmin -safemode leave
6 NameNode工作机制
- 一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。
- DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。
- 心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。
