如何实现Spark on Yarn配置日志Web UI
1. 基本概念
Spark on Yarn是一种运行在Yarn集群上的Spark应用程序,它可以将Spark作业提交给Yarn,以及将Spark应用程序部署到Yarn集群上。Yarn提供了一个可靠的、可扩展的、分布式的资源管理器,可以为Spark应用程序提供分布式资源管理和调度服务。
2. 配置日志Web UI
要在Yarn上配置Spark日志Web UI,首先需要在Yarn上安装Spark,然后需要在Yarn配置文件中添加一些配置,如下所示:
其中,yarn.nodemanager.aux-services和yarn.nodemanager.aux-services.spark_shuffle.class用于将Spark作业提交给Yarn,yarn.resourcemanager.webapp.address和yarn.nodemanager.webapp.address用于访问Yarn集群,yarn.log.server.url用于访问Yarn日志,spark.eventLog.enabled和spark.eventLog.dir用于启用Spark日志,spark.history.fs.logDirectory用于指定Spark日志存储路径,spark.yarn.historyServer.address、spark.yarn.historyServer.ui.port、spark.yarn.historyServer.ui.enabled用于启用Spark日志Web UI,spark.yarn.historyServer.ui.acls.enable、spark.yarn.historyServer.ui.acls.users、spark.yarn.historyServer.ui.acls.groups、spark.yarn.historyServer.ui.acls.admin.users、spark.yarn.historyServer.ui.acls.admin.groups、spark.yarn.historyServer.ui.acls.view.users、spark.yarn.historyServer.ui.acls.view.groups用于配置Spark日志Web UI的访问权限。
3. 测试配置
完成上述配置后,可以使用以下命令提交一个Spark作业:
提交作业后,可以使用以下命令查看Spark日志Web UI:
如果可以看到日志Web UI,则表明Spark on Yarn的配置日志Web UI已经成功。
猜您想看
-
Python工具Jupyter Notebook的特点介绍和安装使用方法
特点介绍Jup...
2023年07月23日 -
如何在Steam上找到和加入相关游戏的初学者提示和新手教程?
如果你是一个S...
2023年05月13日 -
如何在CS:GO游戏中打开控制台操作?
如何在CS:G...
2023年04月17日 -
SQL Compare怎样使用SQL比较命令行从源代码管理中进行自定义部署
1. 什么是S...
2023年07月04日 -
宝塔如何使用Phalcon高效地编写PHP应用程序
随着Web应用...
2023年05月12日 -
如何使用 Magisk Manager 增强音效?
如何使用Mag...
2023年04月17日