scala - 如何将-D参数或环境变量传递给Spark作业？

Question

我要改Typesafe config开发/生产环境中的 Spark 作业。在我看来，实现这一点的最简单方法是通过 -Dconfig.resource=ENVNAME去工作。然后 Typesafe 配置库将为我完成这项工作。

有没有办法将该选项直接传递给作业？或者也许有更好的方法在运行时更改作业配置？

编辑:

• 当我添加 --conf "spark.executor.extraJavaOptions=-Dconfig.resource=dev" 时什么也没有发生spark-submit 命令的选项。
• 我得到了Error: Unrecognized option '-Dconfig.resource=dev'.当我经过-Dconfig.resource=dev时spark-submit 命令。

Answer 1

更改spark-submit命令行添加三个选项:

• --files <location_to_your_app.conf>
• --conf 'spark.executor.extraJavaOptions=-Dconfig.resource=app'
• --conf 'spark.driver.extraJavaOptions=-Dconfig.resource=app'