python - 我可以用 Pandas 附加到压缩流吗？

Question

我知道通过将 compression='gzip' 参数传递给 pd.to_csv() 我可以将 DataFrame 保存到压缩的 CSV 文件中。

my_df.to_csv('my_file_name.csv', compression='gzip')

我也知道，如果我想附加一个DataFrame到现有CSV文件的末尾，我可以使用mode='a'，就像这样

my_df.to_csv('my_file_name.csv', mode='a', index=False)

但是，如果我想将 DataFrame 附加到压缩的 CSV 文件的末尾怎么办？这可能吗？我试着这样做

my_df.to_csv('my_file_name.csv', mode='a', index=False, compression='gzip')

但生成的 CSV 未被压缩，尽管状况良好。

---

这个问题的动机是我用 Pandas 处理一个大型 CSV 文件。我需要生成压缩的 CSV 输出，并将 CSV 文件分 block 处理成 DataFrame，这样我就不会遇到 MemoryError。因此，对我来说最合乎逻辑的做法是将每个输出 DataFrame block 一起附加到一个压缩的 zip 文件中。

我正在使用 Python 3.4 和 Pandas 0.16.1。

Answer 1

最新答案:我用 pandas 1.2.4 工作

代码:

df.to_csv('test.csv', mode='a', compression='gzip')
new_df = pd.read_csv('test.csv', compression='gzip')

df.shape[0] # 1x
new_df.shape[0] # 2x