apache-spark - 通过 SparkConf 以编程方式设置 Spark.executor.extraClassPath 选项

Question

我的项目 jar 与 EMR 上的 jar 冲突，因此要解决此问题我已通过引导脚本将所有高级 jar 复制到节点的自定义位置。我已经验证 jar 已复制到所有执行器节点上。

它与spark-submit一起工作正常，我的代码引用了所有节点的自定义文件夹中的新jar。

/usr/bin/spark-submit --conf="spark.driver.extraClassPath=/usr/customJars/*" --conf="spark.executor.extraClassPath=/usr/customJars/*"  

我想通过更新sparkconf对象以编程方式在代码中实现同样的事情。

sparkConf.set("spark.driver.extraClassPath", "/usr/customJars/*");
sparkConf.set("spark.executor.extraClassPath", "/usr/customJars/*"); 

当我想以编程方式实现时它不起作用。我的代码没有引用自定义位置中更新的jar。

有什么建议吗？

Answer 1

大多数属性无法在 Spark 运行时更改。

您可以查看SparkConf的文档:SparkConf

Once SparkConf is passed to the SparkContext constructor, the values are cloned and cannot be changed. This is a Spark limitation.

您需要确保在测试新的属性更改之前停止并启动 Spark session 。

作为文档中的附加评论:Spark Configuration

对于spark.executor.extraClassPath:

Extra classpath entries to prepend to the classpath of executors. This exists primarily for backwards-compatibility with older versions of Spark. Users typically should not need to set this option.

您可以使用 spark.jars 来影响驱动程序和执行程序:

Comma-separated list of jars to include on the driver and executor classpaths. Globs are allowed.

确保您的 jar 在执行器中可用。