【快速入门大数据】Hadoop3.x新特性

3.x必须在java8环境为前提

• Common改进
  shell被重写 过时api方法可能被删除 向下兼容老版本命令

• hdfs改进（ec代替副本机制 50%提升空间利用率）
  删除编码方式
  支持两个以上的namenode（高可用 可用+备用）
  datanode平衡
  单个datanode管理多个磁盘目录。
  添加或替换磁盘导致datanode数据倾斜。
  现有hdfsbalanse没办法解决倾斜 ，使用新的diskbalance去cli解决
  对应临时端口冲突，改进
  

• yarn改进
  timeline历史版本稳定性
  contain队列稳定性
  

• mapreduce
  task提升30%
  添加新方法、减小mr 的heap大小

• 其他
  hadoop jar，避免hadoop的依赖和应用程序的依赖有关系上的泄露
  继承微软 阿里存储系统文件系统