spark02--Standalone模式两种提交任务方式是什么

1、命令行提交任务

命令行提交任务是指在spark02服务器上使用spark-submit命令来提交spark应用程序，spark-submit命令位于$SPARK_HOME/bin目录下，其中$SPARK_HOME为spark安装目录，可以通过以下命令查看：

echo $SPARK_HOME

提交任务的命令格式如下：

./bin/spark-submit --class [mainClass] --master [sparkMaster] [applicationJar] [applicationArgs]

其中：

• mainClass：spark应用程序的主类，必须指定；
• sparkMaster：指定spark的运行模式，standalone模式下为spark://host:port，默认端口为7077；
• applicationJar：spark应用程序的jar包；
• applicationArgs：spark应用程序的参数，可以为空。

2、Spark Web UI提交任务

Spark Web UI提交任务是指通过spark的Web UI界面来提交spark应用程序，默认情况下，spark的Web UI的端口号为8080，可以通过以下命令查看：

netstat -anlp | grep 8080

提交任务的步骤如下：

• 1、在浏览器中输入spark02服务器的IP地址，访问spark的Web UI界面；
• 2、点击左侧菜单栏的Submit Application；
• 3、在Application Details中填写Application Name，选择Application Type；
• 4、在Application Resources中填写Main Class，选择Application Jar，填写Arguments；
• 5、点击Submit按钮提交任务。

3、比较

从使用上来看，命令行提交任务更加灵活，可以通过编写脚本来批量提交任务，而Spark Web UI提交任务则更加直观，操作更加简单，更加适合给没有Linux系统管理经验的用户使用。