MapReduce v1的不足

  1. Jobtraker受内存限制，导致扩展性受限。因为其需要存储每个作业的信息。另一方面，其采用粗粒度的锁导致心跳时间边长。
  2. 中心化架构的通病，一旦Jobtraker崩溃，会导致整个集群崩溃。
  3. 以mapreduce为中心，MapReduce不支持其他的编程模型，如机器学习，图算法
  4. tasktraker的Map 槽和Reduce槽是固定的，不是动态分配的资源。

Yarn(yet another resource negotiator)

ResurceManager(RM)：

RM是一个全局的资源管理器，集群只有一个，负责整个系统的资源管理和分配，包括处理客户端请求、启动/监控APP master、监控nodemanager、资源的分配与调度。它主要由两个组件构成：调度器（Scheduler）和应用程序管理器（Applications Manager，ASM）。

调度器

资源分配单位用一个抽象概念“资源容器”（Resource Container，简称Container）表示，Container是一个动态资源分配单位，它将内存、CPU、磁盘、网络等资源封装在一起，从而限定每个任务使用的资源量。此外，该调度器是一个可插拔的组件，用户可根据自己的需要设计新的调度器，YARN提供了多种直接可用的调度器，比如Fair Scheduler和Capacity Scheduler等。

应用程序管理器

            应用程序管理器负责管理整个系统中所有应用程序，包括应用程序提交、与调度器协商资源以启动ApplicationMaster、监控ApplicationMaster运行状态并在失败时重新启动它等。

App Master (ApplicationMaster(AM))：

  1. 与RM协调资源与ＮＡ来协同工作来共同执行和监控container以其他们的资源消耗
  2. 与ＲＭ协商获取合适资源的container，并获取其状态，监控其进程。
  3. 可以为一个用于提供一个AppMaster，也可以为一组提供AppMaster，如pig, hive.

Container ：

  1. 分配给具体应用的资源抽象表现形式，包括内存、cpu、disk

 

NodeManager(NM) 

  1. 负责节点本地资源的管理，包括启动应用程序的Container，监控它们的资源使用情况，并报告给RM

 

客户端（Client）

  1. 是集群中一个能向RM提交应用的实例，并且指定了执行应用所需要的AM类型

yarn打包涉及到进程_应用程序

数据本地化的实现

数据节点和节点管理器NM运行在同一节点，保证数据块在本地。

客户端与资源管理器交互

yarn打包涉及到进程_yarn_02

应用管理器与节点管理器交互 

yarn打包涉及到进程_应用程序_03