python - 读取csv文件的一部分

Question

我有一个非常大的 csv 文件，大约 10GB。每当我尝试使用 iPython 笔记本读入

data = pd.read_csv("data.csv")  

我的笔记本电脑卡住了。是否可以只读取 10,000 行或 500 MB 的 csv 文件。

Answer 1

这是可能的。您可以创建一个迭代器，通过将 iterator=True 和所需的 chunksize 传递到 read_csv 来一次生成特定大小的 csv block 作为 DataFrame。 。

df_iter = pd.read_csv('data.csv', chunksize=10000, iterator=True)

for iter_num, chunk in enumerate(df_iter, 1):
    print(f'Processing iteration {iter_num}')
    # do things with chunk

或更简单地说

for chunk in pd.read_csv('data.csv', chunksize=10000):
    # do things with chunk

或者，如果您只想读取 csv 的特定部分，您可以使用 skiprows 和 nrows 选项从特定行开始，然后读取n 行，如命名所示。