python - CSV 到带有切片行的 Pandas 羽化

Question

我正在处理一个巨大的 CSV 数据集(5000 万行)。我正在尝试将其切片并将其保存为 Feather 格式，以便在稍后加载 Feather 格式时节省一些内存。

作为一种解决方法，我将数据分块加载为 CSV 文件，然后将其合并到一个数据框中。

这是我迄今为止尝试过的:

df[2000000:4000000].to_feather('name')

我有以下错误:

ValueError: feather does not support serializing a non-default index for the index; you can .reset_index() to make the index into column(s)

然后我尝试重置索引，但仍然出现相同的错误。

Answer 1

试试 .loc :

df.loc[2000000:4000000].reset_index().to_feather("./myfeather.ftr")

您必须重置索引才能将 datataframe 保存为羽化格式。为我工作。