apache-spark - 如何在 Spark 中配置 spark.io.compression.codec=lzf

Question

如何在 Spark 中配置 spark.io.compression.codec=lzf？

通常，我使用 spark-submit 来运行我们的驱动程序类，如下所示

./spark-submit --master spark://testserver:7077 --class com.spark.test.SparkTest --conf "spark.io.compression.codec=lzf" /tmp/test/target/test.jar.

所以我可以在命令中设置 spark.io.compression.codec=lzf 。但是如果我不想使用 spark-submit 来运行我们的驱动程序类。我想在 spark-job-server 中运行。如何在 spark-job-server 中配置？谢谢
我试图将它设置在 env 变量中。但它不起作用。我也在下面尝试过。还是不行。

sparkConf = new SparkConf().setMaster("spark://testserver:7077").setAppName("Javasparksqltest").
set("spark.executor.memory", "8g").set("spark.io.compression.codec", "lzf");

Answer 1

您可以将该选项传递给 spark-submit , 或 spark-shell将其放入 conf/spark-defaults.conf与之相关。详情在configuration section of the doc .

对于 spark-jobserver ，您配置给定的上下文，尤其是当它作为从作业隐式创建的上下文发送时。有几种方法可以做到这一点(其要点是设置在 spark.context-settings 下分层)，但是 Readme.md 的“上下文配置”详细操作方法:

https://github.com/spark-jobserver/spark-jobserver/blob/master/README.md