apache-spark - 无法在 Spark 中更改 hive.exec.max.dynamic.partitions

Question

我正在尝试在具有 1500 个动态分区的表中插入一些数据，但收到此错误:

 Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: 
 Number of dynamic partitions created is 1500, which is more than 1000. 
 To solve this try to set hive.exec.max.dynamic.partitions to at least 1500.

所以，我尝试: SET hive.exec.max.dynamic.partitions=2048但我仍然遇到同样的错误。

如何从 Spark 更改此值？

代码:

this.spark.sql("SET hive.exec.dynamic.partition=true")
this.spark.sql("set hive.exec.dynamic.partition.mode=nonstrict")
this.spark.sql("SET hive.exec.max.dynamic.partitions=2048")
this.spark.sql(
    """
      |INSERT INTO processed_data
      |PARTITION(event, date)
      |SELECT c1,c2,c3,c4,c5,c6,c7,c8,c9,c10,event,date FROM csv_data DISTRIBUTE BY event, date
    """.stripMargin
).show()

使用 Spark 2.0.0 独立模式。
谢谢!

Answer 1

从 spark 2.x 版本开始，在 中添加 hive 集属性Spark CLI 可能不起作用。请在 中添加您的配置单元属性hive-site.xml 你的 spark 和 hive conf 目录。

在 中添加以下属性hive-site.xml 文件应该可以解决您的问题。

<name>hive.exec.max.dynamic.partitions</name>
<value>2048</value>
<description></description>

备注 :如果它不起作用，则重新启动 hiveserver2 并触发历史服务器。