scala - 如何在Spark中获取默认属性值

Question

我正在使用以下版本的Spark:spark-1.4.0-bin-hadoop2.6。我想检查一些默认属性。所以我在spark-shell中给出了以下声明

scala> sqlContext.getConf("spark.sql.hive.metastore.version")

我期望对方法 getConf的调用返回此 link中描述的 0.13.1值。但是我有以下异常

java.util.NoSuchElementException: spark.sql.hive.metastore.version
    at org.apache.spark.sql.SQLConf$$anonfun$getConf$1.apply(SQLConf.scala:283)
    at org.apache.spark.sql.SQLConf$$anonfun$getConf$1.apply(SQLConf.scala:283)

我是否以正确的方式检索属性？

Answer 1

您可以使用

sc.getConf.toDebugString

或者

sqlContext.getAllConfs

它将返回所有已设置的值，但是代码中包含一些默认值。在您的特定示例 it is indeed in the code中:

getConf(HIVE_METASTORE_VERSION, hiveExecutionVersion)

其中默认的 is indeed in the code:

val hiveExecutionVersion: String = "0.13.1"

因此， getConf将尝试从配置中获取元存储版本，并回退到默认值，但这未在conf本身中列出。