java - 如何加载 java 属性文件并在 Spark 中使用？

Question

我想将输入文件、输出文件等 Spark 参数存储到 Java 属性文件中，并将该文件传递给 Spark 驱动程序。我正在使用 spark-submit 提交作业，但找不到传递属性文件的参数。你有什么建议吗？

Answer 1

在这里我找到了一个解决方案:

props 文件 : (mypropsfile.conf)//注意:在 key 前加上“spark”。 else props 将被忽略。

spark.myapp.input /input/path
spark.myapp.output /output/path

启动

$SPARK_HOME/bin/spark-submit --properties-file  mypropsfile.conf

如何在代码中调用:(内部代码)

sc.getConf.get("spark.driver.host")  // localhost
sc.getConf.get("spark.myapp.input")       // /input/path
sc.getConf.get("spark.myapp.output")      // /output/path