python - 在 Jupyter Notebook 中读取一个巨大的 .csv 文件

Question

我正在尝试从 Jupyter Notebook (Python) 中的 .csv 文件读取数据

.csv文件8.5G，7000万行，30列

当我尝试读取 .csv 时，出现错误。

下面是我的代码

import pandas as pd

log = pd.read_csv('log_20100424.csv', engine = 'python')

我也试过用pyarrow，但是没用。

import pandas as pd
from pyarrow import csv`

log = csv.read('log_20100424.csv').to_pandas()

我的问题是:

如何在 Jupyter Notebook 中读取一个巨大的(8.5G).csv 文件

还有其他方法可以读取巨大的 .csv 文件吗？

我的笔记本电脑有 8GB RAM，运行 64 位 Windows 10 和 i5-8265U 1.6Ghz。

Answer 1

即使 Pandas 可以处理海量数据，Jupyter Notebook 也做不到。要读取巨大的 CSV 文件，您需要分 block 进行。我遇到了类似的情况，Jupyter Notebook 内核会死掉，我不得不重新开始。试试这个 -