1、命令行提交任务

命令行提交任务是指在spark02服务器上使用spark-submit命令来提交spark应用程序，spark-submit命令位于$SPARK_HOME/bin目录下，其中$SPARK_HOME为spark安装目录，可以通过以下命令查看：

提交任务的命令格式如下：

其中：

  • mainClass：spark应用程序的主类，必须指定；
  • sparkMaster：指定spark的运行模式，standalone模式下为spark://host:port，默认端口为7077；
  • applicationJar：spark应用程序的jar包；
  • applicationArgs：spark应用程序的参数，可以为空。

2、Spark Web UI提交任务

Spark Web UI提交任务是指通过spark的Web UI界面来提交spark应用程序，默认情况下，spark的Web UI的端口号为8080，可以通过以下命令查看：

提交任务的步骤如下：

  • 1、在浏览器中输入spark02服务器的IP地址，访问spark的Web UI界面；
  • 2、点击左侧菜单栏的Submit Application；
  • 3、在Application Details中填写Application Name，选择Application Type；
  • 4、在Application Resources中填写Main Class，选择Application Jar，填写Arguments；
  • 5、点击Submit按钮提交任务。

3、比较

从使用上来看，命令行提交任务更加灵活，可以通过编写脚本来批量提交任务，而Spark Web UI提交任务则更加直观，操作更加简单，更加适合给没有Linux系统管理经验的用户使用。