java - 如何以编程方式在执行程序节点中查找 Spark 版本？

Question

我正在尝试编写一个方法(将通过执行器运行)，该方法将以字符串形式返回 Spark 版本。我知道我可以使用以下代码找到 Spark 版本:

SparkSession.builder().getOrCreate().version (even on executor)

但是，当我运行测试时(Apache Spark 源代码中的测试是在我之前编写的)，某些测试失败并出现以下错误:

Caused by: java.lang.IllegalStateException: SparkSession should only be created and accessed on the driver.

所以，我知道我无法使用 SparkSession。因此我的问题是，还有其他方法可以在执行器中查找 Spark 版本吗？

Answer 1

我通过直接导入 SPARK_VERSION 解决了​​我的问题:

import org.apache.spark.SPARK_VERSION

还有一个选项可以使用我的类(class)中已有的配置来传输版本。