scala - 在 spark 代码中使用配置文件管理 conf.setMaster() 以自动设置本地或 yarn 集群

Question

因此，在开发 spark 程序时，我使用本地机器，因此必须将 Master 设置为“本地”。但是，当我提交从本地开发的程序构建的 jar 时，我显然不想使用“本地”模式。

如何在测试时使用 typesafeconfig 设置“local”，在生产中设置“yarn-cluster”？

编辑:

基于@Shaido 的解决方案，对于 IDEA Intellij:

转到:运行->edir confirgurations->在应用程序配置集下:VM options = -Dspark.master=local[*]

Answer 1

如果您使用的是 IDE，则不需要硬编码 setMaster进入代码。

对于 Eclipse，您可以转到“运行配置”->“参数”->“VM 参数”并添加

-Dspark.master=local[*]

这将在本地运行时使用所有可用的内核。其他 IDE 应该有类似的配置。这样，就无需向代码本身添加任何内容。

在集群上运行时，使用:

spark-submit --master yarn --deploy-mode cluster