apache-spark - 将 Spark 数据帧保存为 Hive 中的动态分区表

Question

我有一个示例应用程序，用于将 csv 文件读取到数据框中。可以使用以下方法将数据框以 Parquet 格式存储到 Hive 表中df.saveAsTable(tablename,mode)。

上面的代码工作正常，但我每天都有太多数据，所以我想根据创建日期(表中的列)对配置单元表进行动态分区。

有什么方法可以动态分区数据框并将其存储到配置单元仓库中。想要避免使用 hivesqlcontext.sql(insert into table partittioin by(date)......) 对插入语句进行硬编码。

问题可以被认为是对:How to save DataFrame directly to Hive? 的扩展

非常感谢任何帮助。

Answer 1

我相信它是这样工作的:

df是一个包含年月等列的dataframe

df.write.partitionBy('year', 'month').saveAsTable(...)

或

df.write.partitionBy('year', 'month').insertInto(...)