spark02--Standalone模式两种提交任务方式是什么
1、命令行提交任务
命令行提交任务是指在spark02服务器上使用spark-submit命令来提交spark应用程序,spark-submit命令位于$SPARK_HOME/bin目录下,其中$SPARK_HOME为spark安装目录,可以通过以下命令查看:
提交任务的命令格式如下:
其中:
- mainClass:spark应用程序的主类,必须指定;
- sparkMaster:指定spark的运行模式,standalone模式下为spark://host:port,默认端口为7077;
- applicationJar:spark应用程序的jar包;
- applicationArgs:spark应用程序的参数,可以为空。
2、Spark Web UI提交任务
Spark Web UI提交任务是指通过spark的Web UI界面来提交spark应用程序,默认情况下,spark的Web UI的端口号为8080,可以通过以下命令查看:
提交任务的步骤如下:
- 1、在浏览器中输入spark02服务器的IP地址,访问spark的Web UI界面;
- 2、点击左侧菜单栏的Submit Application;
- 3、在Application Details中填写Application Name,选择Application Type;
- 4、在Application Resources中填写Main Class,选择Application Jar,填写Arguments;
- 5、点击Submit按钮提交任务。
3、比较
从使用上来看,命令行提交任务更加灵活,可以通过编写脚本来批量提交任务,而Spark Web UI提交任务则更加直观,操作更加简单,更加适合给没有Linux系统管理经验的用户使用。
猜您想看
-
怎么为电脑的启动时间进行优化?
为电脑启动时间...
2023年05月03日 -
SQLite Database System Design and Implemention Pager Module的概述是什么
SQLite ...
2023年05月25日 -
mysql5.7中使用group by出现报错如何解决
一、MySQL...
2023年05月26日 -
如何在 CentOS 7 上安装 Nginx Web 服务器?
CentOS ...
2023年04月24日 -
CSS定位的使用方法
1.CSS定位...
2023年05月22日 -
如何利用Python做科学计算
如何利用Pyt...
2023年07月22日