python - 用 Pandas 延迟加载 csv

Question

我有一个 22 GB 的巨大 csv 文件，其中包含一个 10000 x 10000 条目的矩阵。但实际上，出于我的目的，我只需要一小部分文件就可以很好地容纳在我的 4 GB 内存中。无论如何，是否可以将 CSV 延迟加载到我的系统，以便我只需要选择文件的一些非传染性部分，比如 25 个不同的特定行。我听说过 pandas 中的 iterator 可以逐段加载数据，但我仍然不确定它的内存需求。

Answer 1

对于少量行，请尝试使用 linecache并手动创建一个 pandas DataFrame。

例如，以下代码将第 12、24 和 36 行(从 1 开始索引)放入 DataFrame。

import linecache
from pandas import DataFrame

filename = "large.csv"
indices = [12,24,36]

li = []
for i in indices:
    li.append(linecache.getline(filename, i).rstrip().split(','))

dataframe = DataFrame(li)