python - 使用 pandas 迭代大型 csv(不使用 block )

Question

我编写了一个简单的小脚本来读取和处理一个巨大的 CSV 文件(~150GB)，每个循环读取 5e6 行，将其转换为 Pandas DataFrame，对其执行某些操作，然后继续读取接下来的 5e6 行。

尽管它完成了这项工作，但每次迭代都需要更长的时间才能找到下一个要读取的行 block ，因为它必须跳过更多的行。我读了很多关于使用 block (作为读取器迭代器)的答案，尽管一旦读取了 block ，我就需要连接这些 block 来创建一个数据帧(包含有关截断行和其他内容的各种问题)，所以我我不想走那条路。

是否可以使用某种光标来提醒read_csv函数从停止的地方开始读取？

代码的主要部分如下所示:

while condition is True:
    df = pd.read_csv(inputfile, sep=',', header = None, skiprows = sr, nrows = 5e6)
    # do something with df
    sr = sr + 5e6
    # if something goes wrong the condition turns False

Answer 1

使用你的方法，Pandas 必须从头开始一次又一次地读取这个巨大的 CSV 文件，以便跳过行...

我认为您确实想使用chunksize参数:

reader = pd.read_csv(inputfile, sep=',', header=None, chunksize=5*10**6)

for df in reader:
    # do something with df
    if (something goes wrong):
        break