verdaccio如何支持yarn yarn vcore设置

转载

mob64ca14085c24 2024-01-25 06:18:54

文章标签 verdaccio如何支持yarn mapreduce java 堆栈 文章分类 Yarn 大数据

参考文档：

https://zhuanlan.zhihu.com/p/69703968

每节点管理器总的cpu核数（整个yarn资源池核数=node数 * 此参数
yarn.nodemanager.resource.cpu-vcores

一般设置等于：节点cpu总核数-节点运行的应用服务数（一般每个服务一个，系统给2个，6个左右）

ApplicationMaster 分配的CPU 核数
yarn.app.mapreduce.am.resource.cpu-vcores

Map 任务分配的CPU核数
mapreduce.map.cpu.vcores

容器最小分配CPU数，默认是1
yarn.scheduler.minimum-allocation-vcores

容器增加CPU，单次可以增量
yarn.scheduler.increment-allocation-vcores。

容器最大可申请 CPU 核数。默认值1，修改为2个。匹配FLINK task manager分配的slot即vcore默认为2
yarn.scheduler.maximum-allocation-vcores

每节点管理器总的内存数量整个yarn资源池=node数*此参数
yarn.nodemanager.resource.memory-mb
一般20%留给系统服务， 80%左右给yarn

ApplicationMaster分配的内存大小
yarn.app.mapreduce.am.resource.mb 1024

单容器最小分配内存量
yarn.scheduler.minimum-allocation-mb 1024

没有特殊，此参数指定容器运行的最少分配的内存。 MAP/reduce参数小于此值，以此值为准，按增量单位补。

单各容器最大分配内存量
yarn.scheduler.maximum-allocation-mb = 10355

此值可以设置很大（不超过节点内存即可），作为限制单个容器的最大内存使用量。

注：应用在运行申请内存时不能超过最大值。大部分情况下 mapreduce.reduce.memory.mb 和yarn.scheduler.minimum-allocation-mb来确定分配大小。

如果在HIVE ETL 头部或MapReduce代码中，也可以动态设定任务的申请资源，但最大不能超过此值。

eg:hive ETL set mapreduce.reduce.memory.mb

Hive提供三种可以改变环境变量的方法，分别是：（1）、修改${HIVE_HOME}/conf/hive-site.xml配置文件；（2）、命令行参数；（3）、在已经进入cli时进行参数声明（优先级最高）。

上述3中设置参数优先级依次增高。

容器内存不够时，每次增量
yarn.scheduler.increment-allocation-mb = 512

MapReduce参数：

mapreduce.reduce.memory.mb （CPU: mapreduce.reduce.cpu.vcores）

此参数定义了 reduce/map 容器分配的内存。此值大于mapreduce.reduce.java.opts。

实际在生产上给map/reduce分配多少内存，还要依赖yarn容器设置，如 yarn.schduler.minimum-allocation-mb相关参数。

mapreduce.reduce.java.opts=-Xmx2048m

此参数设置JVM使用的最大堆内存。

注意reduce/map任务是运行在容器中的，需要预留部分资源给JVM本身机制使用。使用的堆内存一般配置此参数为 mapreduce.reduce.memory.mb 的0.75。CDH最新版本默认是0.8

注：CDH5.5版本以上，此参数没有明确配置。 mapreduce.map.java.opts, mapreduce.reduce.java.opts, yarn.app.mapreduce.am.command-opts会基于container堆内存的比例进行自动配置。如下参数定义了上述两个参数的比例：

verdaccio如何支持yarn yarn vcore设置_mapreduce