YARN 简介
· Apache Hadoop YARN (Yet Another Resource Negotiator, 另一种协调者) 是一种全新的Hadoop资源管理器。
· YARN 是一个通用资源管理系统和调度平台,可为上层应用提供统一的资源管理和调度。
· 它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
思考?
如何理解YARN是一个通用资源管理系统和调度平台
YARN 功能说明
· 资源管理系统: 集群的硬件资源,和程序运行相关,比如内存,CPU等。(磁盘管理者: HDFS)
· 调度平台: 多个程序同时申请计算资源如何分配,调度的规则(算法)。
· 通用: 不仅仅支持MapReduce程序,理论上支持各种计算程序。YARN不关心你干什么,只关心你要资源,在有的情况下给你,用完之后还给我。
YARN 概述
· 可以把Hadoop YARN理解为相当于一个分布式操作系统平台,二MapReduce等计算程序则相当于运行于操作系统之上的应用程,YARN为这些程序提供运算所需的资源(内存,CPU等)。
· Hadoop能有今天这个地位,YARN可以说功不可没,因为有了YARN,更多计算阔加可以接入到HDFS中,而不单单是MapReduce,正是因为YARN的包容,使得其他计算框架能专注于计算性能的提升。
· HDFS可能不是最优秀的大数据存储系统,但却是应用最广泛的大数据存储系统,YARN功不可没。