apache-spark - Parquet 元数据文件需要回滚吗？

Question

当 Parquet 文件 data在其 date 上写有分区列我们得到一个目录结构，如:

/data
    _common_metadata
    _metadata
    _SUCCESS
    /date=1
        part-r-xxx.gzip
        part-r-xxx.gzip
    /date=2
        part-r-xxx.gzip
        part-r-xxx.gzip

如果分区 date=2在没有 Parquet 实用程序(通过 shell 或文件浏览器等)参与的情况下删除是否需要将任何元数据文件回滚到只有分区时 date=1 ?

还是可以随意删除分区并稍后重写(或不重写)？

Answer 1

如果您使用的是 数据帧 有无需回滚元数据文件。

例如:

您可以将 DataFrame 写入 S3

df.write.partitionBy("date").parquet("s3n://bucket/folderPath")

然后，手动 删除 使用 S3 浏览器(例如 CloudBerry)的分区之一(S3 中的 date=1 文件夹)

现在你可以

负载 你的数据，看到数据还是有效 除了分区 date=1 sqlContext.read.parquet("s3n://bucket/folderPath").count 中的数据

或 重写 您的 DataFrame(或任何其他具有相同架构的 DataFrame)使用 附加 模式

df2.write.mode("append").partitionBy("date").parquet("s3n://bucket/folderPath")

你也可以看看这个 question来自数据块论坛。