• HDFS(Hadoop Distributed File System
  • 易于扩展的分布式文件系统
  • 运行在大量普通廉价机器上，提供容错机制
  • 为大量用户提供性能不错的文件存取服务
  • HDFS 优点
  • 高容错性
  1. 数据自动保存多个副本
  2. 副本丢失后自动恢复
  • 适合批处理
  1. 移动计算而非数据
  2. 数据位置暴露给计算框架
  • 适合大数据处理
  1. GB、TB、甚至PB级数据
  2. 百万规模以上的文件数量
  3. 10K+节点规模
  • 流式文件访问
  1. 一次性写入，多次读取
  2. 保证数据一致性
  • 可构建在廉价机器上
  1. 通过多副本提高可靠性
  2. 提供了容错和恢复机制
  • HDFS 的缺点
  • 低延迟数据访问
  1. 比如毫秒级
  2. 低延迟与高吞吐率
  • 小文件存取
  1. 占用NameNode大量内存
  2. 寻道时间超过读取时间
  • 并发写入、文件随机修改
  1. 一个文件只能有一个写者
  2. 仅支持append
  • HDFS 架构
  • Active Namenode 作用
  1. 主Master(只有一个)
  2. 管理HDFS 的名称空间
  3. 管理数据块映射信息
  4. 配置副本策略
  5. 处理客户端读写请求
  • Standby NameNode 作用
  1. NameNode 的热备
  2. 定期合并fsimage和fsedits,推送给NameNode
  3. 当Active NameNode 出现故障时，快速切换新的Active NameNode
  • Datanode
  1. Slave(有多个)
  2. 存储实际的数据块
  3. 执行数据块读/写
  • Client
  1. 文件切分
  2. 与NameNode 交互，获取文件位置信息
  3. 与Datannode 交互，读取或者写入数据
  4. 管理HDFS,访问HDFS
  • HDFS 数据块(Block) - 文件被切分成固定大小的数据块 1. 默认数据块大小为128 MB, 可配置。(数据传输时间超过寻道时间(高吞吐率)) 2. 若文件大小不到128MB,则单独存成一个block
    - 一个文件存储方式 1. 按大小被切分成若干个block，存储到不同节点上 2. 默认情况下每个block 有三个副本
  • HDFS 写流程
  • HDFS 读流程
  • HDFS 副本放置策略
  • 一个文件划分成多个block，每个block存多份，如何为每个block选择节点存储这几份数据？
  • 副本1：同Client的节点上
  • 副本2：不同机架中的节点上
  • 副本3： 与第二个副本同一机架的另一个节点上
  • 其他副本：随机挑选
  • HDFS 可靠性策略
  • 文件完整性
  1. CRC32校检
  2. 用其他副本取代损坏文件
  • Heartbeat
  1. Datanode定期向Namenode发heartbeat
  • 元数据信息
  1. FSImage（文件系统镜像）、Editlog（操作日志）
  2. 多份存储
  3. 主备NameNode实时切换
  • HDFS 不适合存储小文件
  • 元信息存储在NameNode内存中
  1. 一个节点的内存是有限的
  • 存取大量小文件消耗大量的寻道时间
  1. 类比拷贝大量小文件与拷贝同等大小的一个大文件
  • NameNode存储block数目是有限的
  1. 一个block元信息消耗大约150byte内存
  2. 存储一亿个block，大约需要20GB内存
  3. 如果一个文件大小为10K，则一亿个文件大小仅为1TB（但要消耗掉NameNode20GB内存）
  • HDFS 访问方式
  • HDFS Shell命令
  • HDFS Java API
  • HDFS Fuse：实现了fuse协议
  • HDFS lib hdfs：C/C++访问接口
  • HDFS其他语言编程API
  • Shell 命令——文件操作
  • 将本地文件上传到HDFS bin/hadoop fs –copyFromLocal /local/data /hdfs/data
  • 删除文件/目录 bin/hadoop fs –rm /hdfs/data
  • 创建目录 bin/hadoop fs –mkdir /hdfs/data
  • HDFS Shell 命令——管理命令 可以使用./hdfs dfsadmin 进行查看有哪些命令
  • HDFS Shell 命令——管理脚本 在hadoop/sbin 里面

    • HDFS具有容错性 hdfs使用什么保证容错性_运维

  • 举例
  • 创建文件 方到HDFS 里面
cd /usr/hdp/3.1.0.0-78/hadoop/
mkdir test
echo "1111" >> ./test/a.txt
echo "222">> ./test/b.txt
echo "aaa">> ./test/c.txt
echo "bbb">> ./test/d.txt
cd /usr/hdp/3.1.0.0-78/hadoop/bin
./hadoop fs -ls /
./hadoop fs -put ../test /

在浏览器查看结果

HDFS具有容错性 hdfs使用什么保证容错性_HDFS具有容错性_02

hadoop fs 的命令

HDFS具有容错性 hdfs使用什么保证容错性_运维_03

常用：cat, chmod, cp, ls, getmerge, mkdir, put, rm

  • HDFS shell 命令-文件管理命令fsck
  • 检查hdfs中文件的健康状况
  • 查找缺失的块以及过少或过多副本的块
  • 查看一个文件的所有数据块位置
  • 删除损坏的数据块

HDFS具有容错性 hdfs使用什么保证容错性_shell_04

  • HDFS Shell 命令-数据均衡器balancer
  • 数据块重分布
    bin/start-balancer.sh-threshold <percentage of disk capacity>
  • percentage of disk capacity
  1. HDFS达到平衡状态的磁盘使用率偏差值
  2. 值越低各节点越平衡，但消耗时间也更长
  • JavaAPI 介绍 以下类均来自java包：org.apache.hadoop.fs
  • configuration类 该类的对象封装了配置信息，这些配置信息来自core-*.xml
  • FileSystem类 文件系统类，可使用该类的方法对文件/目录进行操作。一般通过FileSystem的静态方法get获得一个文件系统对象
  • FSDataInputStream和FSDataOutputStream类 HDFS中的输入输出流。分别通过FileSystem的Open方法和create方法获得
  • 举例
  1. 将本地文件拷贝到HDFS 上

Configution config=new Configution(); FileSystem hdfs = FileSystem.get(config); Path srcPath = new Path(srcFile); Path dstPath = new Path(dstFile); hdfs.copyFromLocalFile(srcPath, dstPath); ```

  • HDFS 多语言API——借助thrift

HDFS具有容错性 hdfs使用什么保证容错性_shell_05