一、YARN 介绍

YARN(Yet Another Resource Negotiator)是 Apache Hadoop 的一个重要组件,它是一种资源管理器,用于在 Hadoop 集群上管理计算资源,并且可以支持不同的应用程序框架。YARN 提供了一个灵活的框架,可以让开发人员构建和部署他们的应用程序,而无需担心性能和可用性。

二、YARN 配置

YARN 的配置主要分为两个部分:YARN 服务器配置和 YARN 客户端配置。YARN 服务器配置主要是在 hadoop-site.xml 中,其中包括资源管理器(ResourceManager)、节点管理器(NodeManager)、应用程序管理器(ApplicationManager)等组件的配置;YARN 客户端配置主要是在 yarn-site.xml 中,主要是配置客户端的资源限制(ResourceLimits)、资源请求(ResourceRequests)、资源分配(ResourceAllocation)等组件。

三、YARN 配置示例

123456789
XML

hadoop-site.xml 配置示例:

123456789101112
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hostname</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
XML

yarn-site.xml 配置示例:

123456789101112
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hostname:8025</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hostname:8030</value>
</property>
</configuration>
XML