spark02--Standalone模式两种提交任务方式是什么

1、命令行提交任务

命令行提交任务是指在 spark02 服务器上使用 spark-submit 命令来提交 spark 应用程序，spark-submit 命令位于 $SPARK_HOME/bin 目录下，其中$SPARK_HOME 为 spark 安装目录，可以通过以下命令查看：

echo $SPARK_HOME

提交任务的命令格式如下：

./bin/spark-submit --class [mainClass] --master [sparkMaster] [applicationJar] [applicationArgs]

其中：

• mainClass：spark 应用程序的主类，必须指定；
• sparkMaster：指定 spark 的运行模式，standalone 模式下为 spark://host:port，默认端口为 7077；
• applicationJar：spark 应用程序的 jar 包；
• applicationArgs：spark 应用程序的参数，可以为空。

2、Spark Web UI 提交任务

Spark Web UI 提交任务是指通过 spark 的 Web UI 界面来提交 spark 应用程序，默认情况下，spark 的 Web UI 的端口号为 8080，可以通过以下命令查看：

netstat -anlp | grep 8080

提交任务的步骤如下：

• 1、在浏览器中输入 spark02 服务器的 IP 地址，访问 spark 的 Web UI 界面；
• 2、点击左侧菜单栏的 Submit Application；
• 3、在 Application Details 中填写 Application Name，选择 Application Type；
• 4、在 Application Resources 中填写 Main Class，选择 Application Jar，填写 Arguments；
• 5、点击 Submit 按钮提交任务。

3、比较

从使用上来看，命令行提交任务更加灵活，可以通过编写脚本来批量提交任务，而 Spark Web UI 提交任务则更加直观，操作更加简单，更加适合给没有 Linux 系统管理经验的用户使用。