apache-spark - 忽略非 Spark 配置属性: hive. exec.dynamic.partition.mode

Question

如何使用hive.exec.dynamic.partition.mode=nonstrict运行Spark-shell？

我尝试(作为suggested here)

  export SPARK_MAJOR_VERSION=2; spark-shell  --conf "hive.exec.dynamic.partition.mode=nonstrict" --properties-file /opt/_myPath_/sparkShell.conf'

但警告“忽略非 Spark 配置属性:hive.exec.dynamic.partition.mode = nonstrict”

PS:使用Spark版本2.2.0.2.6.4.0-91，Scala版本2.11.8

笔记

需求在 df.write.mode("overwrite").insertInto("db.partitionedTable")上出现错误后到达，

org.apache.spark.SparkException:动态分区严格模式至少需要一个静态分区列。要关闭此功能，请设置hive.exec.dynamic.partition.mode = nonstrict

Answer 1

您可以尝试使用2.3版的Custom Spark Configuration部分中建议的spark.hadoop.*前缀。如果它只是一个文档错误，也可以在2.2中工作:)

spark-shell \
  --conf "spark.hadoop.hive.exec.dynamic.partition=true" \
  --conf "spark.hadoop.hive.exec.dynamic.partition.mode=nonstrict" \
  ...