python - pandas 中的 block 总数

Question

在下面的脚本中，有没有办法找出总共有多少个“ block ”？

import pandas as pd
import numpy as np

data = pd.read_csv('data.txt', delimiter = ',', chunksize = 50000) 

for chunk in data:
    print(chunk)

使用 len(chunk) 只会告诉我每个有多少。

有没有办法不用手动添加迭代？

Answer 1

CSV 是基于行的，在所有行都被扫描之前不允许进程知道其中有多少行。

但是，假设 CSV 文件的格式正确，则只需极少的扫描:

sum(1 for row in open('data.txt', 'r'))

如果您需要提前计算有多少 block ，这可能会很有用。一个完整的 CSV 阅读器对此有点矫枉过正。上面一行的内存要求非常低，并且只进行了最少的解析。