pandas - 您可以附加到 .feather 格式吗？

Question

有没有办法使用 pd.to_feather 附加到 .feather 格式文件？

我也很好奇是否有人知道最大文件大小方面的一些限制，以及在读取 .feather 文件时是否可以查询某些特定数据(例如读取日期 > '2017- 的行) 03-31')。

我喜欢能够存储我的数据框和分类数据的想法。

Answer 1

不幸的是，feather 和 parquet 都是面向柱状的文件。这意味着您无法“追加”，因为这只能在面向行的文件格式中进行。如果您想使用 Parquet 或 Feather ，您可以考虑的替代方案是对文件进行分区。例如，如果您有不更改且每天生成一次的数据，则可以根据日期进行写入和分区。在读取和写入文件时，它确实会产生一些开销，但可能是比每次重写整个文件更好的选择。

由于它是柱状格式，您也无法查询，只能在行中读取，例如date>2017-01-01，parquet 的优势在于您只能读取分析所需的列。