python - Pandas - 是否可以使用 chunk= 参数读取 "rewind"read_csv？

Question

我正在处理一个大数据集，因此要在 pandas 中读取它，我使用 read_csv 和 chunk= 选项。

data = pd.read_csv("dataset.csv", chunksize=2e5)

然后我按以下方式操作分块的 DataFrame

any_na_cols = [chunk.do_something() for chunk in data]

问题是，当我想以与上面相同的方式做其他事情时，我会得到一个空结果，因为我已经迭代了分块的 DataFrame。因此，我必须再次调用 data = pd.read_csv("dataset.csv", chunksize=2e5) 才能执行下一步操作。

这很可能没有问题，但出于某种原因，我觉得这种方法在某种程度上不太优雅。是否没有像 data.rewind() 或类似的方法可以让我再次迭代这些 block ？我在文档中找不到类似的内容。或者也许我用这种方法犯了一些设计错误？

Answer 1

我认为再次读取 CSV 不是一个好主意 - 您将使 IO 数量增加一倍。最好在同一次迭代中“做点别的事情”:

any_na_cols = pd.DataFrame()

for chunk in pd.read_csv("dataset.csv", chunksize=2e5)
    any_na_cols = pd.concat([any_na_cols, chunk.do_something()], ignore_index=True)
    # do something else