python - 如何使用 Pandas 获取 csv 文件的最后一 block ？

Question

假设我有一个包含 5 行的 csv 文件。

现在我使用 block 大小 2 迭代此文件。

data = pd.read_csv(data_name, header=None, iterator=True, chunksize=2)

假设我正在对这个数据 block 进行一些魔法并将其附加到另一个 csv 文件中。

processed_data.to_csv(fname, index=None, mode="a")

问题:最后一行未写入。

我不知道如何解决这个问题。有人可以帮忙吗？

我需要使用 block ，因为我没有足够的RAM。

我无法使用chunksize=1，因为打开/关闭文件太耗时。

Answer 1

如果内存不足，我会使用 blaze 来处理此类数据。 https://blaze.readthedocs.io/en/latest/ooc.html

那么你就不必搞乱 block 大小。