apache-spark - Spark 提交选项列表

Question

Spark configurations page 上提到了大量的可调设置.然而正如告诉 here , Spark 属性的 SparkSubmitOptionParser attribute-name 可以不同于该 property's-name。

例如，spark.executor.cores 在 spark-submit 中作为 --executor-cores 传递。

---

我在哪里可以找到 Spark 的所有调整参数的详尽列表(以及它们的 SparkSubmitOptionParser 属性名称)，可以传递使用 spark-submit 命令？

Answer 1

虽然 @suj1th 的宝贵意见确实解决了我的问题，但我正在回答我自己的问题以直接解决我的问题。

---

• 您无需查找 SparkSubmitOptionParser给定 Spark 的 属性名 属性(配置设置)。两者都会做得很好。但是，请注意，它们的用法之间存在细微差别，如下所示:

  spark-submit --executor-cores 2

  spark-submit --conf spark.executor.cores=2

  上面显示的两个命令将具有相同的效果。第二种方法采用--conf <key>=<value> 格式的配置。 .

• 用引号将值括起来(如果不正确/不完整，请纠正我)

  (i) 值不需要括在任何类型的引号中(单 '' 或双 "")(如果需要，您仍然可以)。

  (ii) 如果该值具有 space字符，用双引号将整个内容括起来 ""喜欢 "<key>=<value>"如图here .

• 对于可以通过 spark-submit 传递的所有配置的全面列表，只需运行 spark-submit --help

• 在 this link由 @suj1th 提供，他们说:

  configuration values explicitly set on a SparkConf take the highest precedence, then flags passed to spark-submit, then values in the defaults file.

  If you are ever unclear where configuration options are coming from, you can print out fine-grained debugging information by running spark-submit with the --verbose option.

---

通过 Spark 中的两个链接文档列出了很多配置:

• Spark Configuration
• Running Spark on YARN