parquet - 写入 Delta 编码的 Parquet 文件

Question

我知道 Apache Arrow Parquet 可以读取符合规范的 Delta 编码文件，但不能将它们写出。我想知道是否有任何常用的开源 C++/Python 库可以写出符合 Parquet 规范的增量编码。

Answer 1

有一个带有 Python 绑定(bind)的 Rust 库，名为 delta-rs有一个 file writer可以采用 apache 箭头 Table 或 RecordBatch 并写入 Delta 格式。请注意，它尚不支持事务或检查点。

虽然看起来是一个非常活跃的项目，但最近对 Delta 优化做出了贡献，这很酷。

注意:delta-rs 的 Delta writer 功能被标记为实验性的，因此它可能不是完全稳定的。