java - 如何通过Spark submit传递外部参数

Question

在我的应用程序中，我需要连接到数据库，所以我需要在提交应用程序时传递 IP 地址和数据库名称。

我提交申请如下:

./spark-submit --class class name --master spark://localhost:7077 \
--deploy-mode client /home/hadoop/myjar.jar

Answer 1

如果你勾选the official documentation您会看到 spark-submit 具有以下语法:

./bin/spark-submit \
  --class <main-class>
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

您可以使用 application-arguments 和 conf 将所需的配置分别传递给 main 方法和 SparkConf。