如何实现Spark on Yarn配置日志Web UI

1. 基本概念

Spark on Yarn是一种运行在Yarn集群上的Spark应用程序，它可以将Spark作业提交给Yarn，以及将Spark应用程序部署到Yarn集群上。Yarn提供了一个可靠的、可扩展的、分布式的资源管理器，可以为Spark应用程序提供分布式资源管理和调度服务。

2. 配置日志Web UI

要在Yarn上配置Spark日志Web UI，首先需要在Yarn上安装Spark，然后需要在Yarn配置文件中添加一些配置，如下所示：

1234567891011121314151617181920

#配置日志Web UIyarn.nodemanager.aux-services=mapreduce_shuffle,spark_shuffleyarn.nodemanager.aux-services.spark_shuffle.class=org.apache.spark.network.yarn.YarnShuffleServiceyarn.resourcemanager.webapp.address=:8088yarn.nodemanager.webapp.address=:8042yarn.log.server.url=http://:19888/jobhistory/logsspark.eventLog.enabled=truespark.eventLog.dir=hdfs:///user/spark/applicationHistoryspark.history.fs.logDirectory=hdfs:///user/spark/applicationHistoryspark.yarn.historyServer.address=:18088spark.yarn.historyServer.ui.port=18088spark.yarn.historyServer.ui.enabled=truespark.yarn.historyServer.ui.acls.enable=truespark.yarn.historyServer.ui.acls.users=*spark.yarn.historyServer.ui.acls.groups=*spark.yarn.historyServer.ui.acls.admin.users=*spark.yarn.historyServer.ui.acls.admin.groups=*spark.yarn.historyServer.ui.acls.view.users=*spark.yarn.historyServer.ui.acls.view.groups=*

其中，yarn.nodemanager.aux-services和yarn.nodemanager.aux-services.spark_shuffle.class用于将Spark作业提交给Yarn，yarn.resourcemanager.webapp.address和yarn.nodemanager.webapp.address用于访问Yarn集群，yarn.log.server.url用于访问Yarn日志，spark.eventLog.enabled和spark.eventLog.dir用于启用Spark日志，spark.history.fs.logDirectory用于指定Spark日志存储路径，spark.yarn.historyServer.address、spark.yarn.historyServer.ui.port、spark.yarn.historyServer.ui.enabled用于启用Spark日志Web UI，spark.yarn.historyServer.ui.acls.enable、spark.yarn.historyServer.ui.acls.users、spark.yarn.historyServer.ui.acls.groups、spark.yarn.historyServer.ui.acls.admin.users、spark.yarn.historyServer.ui.acls.admin.groups、spark.yarn.historyServer.ui.acls.view.users、spark.yarn.historyServer.ui.acls.view.groups用于配置Spark日志Web UI的访问权限。

3. 测试配置

完成上述配置后，可以使用以下命令提交一个Spark作业：

$SPARK_HOME/bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master yarn \--deploy-mode cluster \--driver-memory 4g \--executor-memory 2g \--executor-cores 1 \$SPARK_HOME/examples/jars/spark-examples*.jar \1000

提交作业后，可以使用以下命令查看Spark日志Web UI：

http://:18088

如果可以看到日志Web UI，则表明Spark on Yarn的配置日志Web UI已经成功。