如何实现Spark on Yarn配置日志Web UI
1. 基本概念
Spark on Yarn是一种运行在Yarn集群上的Spark应用程序,它可以将Spark作业提交给Yarn,以及将Spark应用程序部署到Yarn集群上。Yarn提供了一个可靠的、可扩展的、分布式的资源管理器,可以为Spark应用程序提供分布式资源管理和调度服务。
2. 配置日志Web UI
要在Yarn上配置Spark日志Web UI,首先需要在Yarn上安装Spark,然后需要在Yarn配置文件中添加一些配置,如下所示:
其中,yarn.nodemanager.aux-services和yarn.nodemanager.aux-services.spark_shuffle.class用于将Spark作业提交给Yarn,yarn.resourcemanager.webapp.address和yarn.nodemanager.webapp.address用于访问Yarn集群,yarn.log.server.url用于访问Yarn日志,spark.eventLog.enabled和spark.eventLog.dir用于启用Spark日志,spark.history.fs.logDirectory用于指定Spark日志存储路径,spark.yarn.historyServer.address、spark.yarn.historyServer.ui.port、spark.yarn.historyServer.ui.enabled用于启用Spark日志Web UI,spark.yarn.historyServer.ui.acls.enable、spark.yarn.historyServer.ui.acls.users、spark.yarn.historyServer.ui.acls.groups、spark.yarn.historyServer.ui.acls.admin.users、spark.yarn.historyServer.ui.acls.admin.groups、spark.yarn.historyServer.ui.acls.view.users、spark.yarn.historyServer.ui.acls.view.groups用于配置Spark日志Web UI的访问权限。
3. 测试配置
完成上述配置后,可以使用以下命令提交一个Spark作业:
提交作业后,可以使用以下命令查看Spark日志Web UI:
如果可以看到日志Web UI,则表明Spark on Yarn的配置日志Web UI已经成功。
猜您想看
-
宝塔面板中如何设置服务器的网络服务端口
宝塔面板(BT...
2024年05月30日 -
怎么使用OncodriveCLUST识别驱动基因
什么是Onco...
2023年07月23日 -
Circos软件如何安装
1、安装Per...
2023年05月26日 -
ArrayList+Collections怎么实现斗地主游戏
一、准备工作1...
2023年05月26日 -
如何在Linux系统中使用grep和sed命令的组合
1、grep和...
2023年05月15日 -
PyTorch reduction的作用是什么
作用在使用Py...
2023年07月22日