hadoop的RM与NM相关参数有哪些
1、Hadoop 的 RM 参数
Hadoop 的 RM(ResourceManager)参数主要用于资源管理,其中包括 yarn.resourcemanager.hostname,yarn.resourcemanager.address,yarn.resourcemanager.scheduler.address,yarn.resourcemanager.resource-tracker.address,yarn.resourcemanager.admin.address,yarn.resourcemanager.webapp.address,yarn.resourcemanager.connect.max-wait.ms,yarn.resourcemanager.scheduler.maximum-allocation-mb,yarn.resourcemanager.scheduler.minimum-allocation-mb,yarn.resourcemanager.scheduler.class,yarn.resourcemanager.scheduler.monitor.enable,yarn.resourcemanager.work-preserving-recovery.enabled,yarn.resourcemanager.work-preserving-recovery.scheduling-wait-ms,yarn.resourcemanager.work-preserving-recovery.maximum-attempts,yarn.resourcemanager.work-preserving-recovery.maximum-am-attempts,yarn.resourcemanager.work-preserving-recovery.maximum-am-retry-interval-ms 等。
2、Hadoop 的 NM 参数
Hadoop 的 NM(NodeManager)参数主要用于节点管理,其中包括 yarn.nodemanager.aux-services,yarn.nodemanager.aux-services.mapreduce.shuffle.class,yarn.nodemanager.local-dirs,yarn.nodemanager.log-dirs,yarn.nodemanager.address,yarn.nodemanager.delete.debug-delay-sec,yarn.nodemanager.disk-health-checker.min-healthy-disks,yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage,yarn.nodemanager.health-checker.interval-ms,yarn.nodemanager.resource.memory-mb,yarn.nodemanager.resource.cpu-vcores,yarn.nodemanager.vmem-pmem-ratio,yarn.nodemanager.vmem-check-enabled,yarn.nodemanager.container-executor.class,yarn.nodemanager.container-executor.os.allowed.system-users 等。
3、RM 与 NM 参数的作用
RM 与 NM 参数的作用是控制 Hadoop 集群的资源使用情况,以及管理集群中节点的资源分配。 RM 参数可以控制资源的分配,比如 yarn.resourcemanager.scheduler.maximum-allocation-mb 可以控制最大的资源分配,yarn.resourcemanager.scheduler.minimum-allocation-mb 可以控制最小的资源分配,yarn.resourcemanager.scheduler.class 可以控制调度器的类型等。而 NM 参数可以控制节点的资源分配,比如 yarn.nodemanager.resource.memory-mb 可以控制节点的内存分配,yarn.nodemanager.resource.cpu-vcores 可以控制节点的 CPU 分配,yarn.nodemanager.vmem-check-enabled 可以控制虚拟内存的检查等。
猜您想看
-
Python怎么绘制全球风场
如何绘制全球风...
2023年07月20日 -
C语言中怎么初始化数组
数组简介在C语...
2023年07月20日 -
java常见RGB格式有哪些
常见RGB格式...
2023年07月22日 -
SpringBoot怎样做到自动帮我们创建RabbitMQ的Queue和Exchange的
一、Sprin...
2023年05月25日 -
使用 Typecho 博客的自定义页面功能,打造个性化页面。
Typecho...
2023年04月15日 -
油猴脚本开发技巧:兼容性问题解决方法
解决Tampe...
2023年05月13日