python - 是否有可能从 python/pandas 并行写入 Parquet？

Question

Parquet 文件格式允许数据分区。还有一个最近的项目 fastparquet 提供了 python 实现。问题是，如果我在两个单独的 python 进程中有两个具有相同模式的数据帧，是否有可能将它们并行存储在 parquet 文件的两个单独分区中？

Answer 1

有。

• 可以用 fastparquet 来做仅(使用 merge() 函数读取单独写入的数据帧)。
• 也可以使用 dask to_parquet() 在底层使用 fastparquet。