python - 大数据中的 EOF 内部字符串

Question

我在 iPython 中对相对庞大的数据集 (1gb++) 运行 read_csv

我回来了

CParserError: Error tokenizing data. C error: EOF inside string starting at line 891743

我知道读取数据中的特定字符串会出错，但我无法深入细节来更正错误。

引用自:

https://github.com/pydata/pandas/issues/5500

他深入到数据级别并在那里进行更正。但是由于我正在处理的数据量很大，我似乎不知道如何解决这个问题。我真的不能这样做。

Answer 1

如果您使用的是 Linux，请在终端中输入:

head -n891743 <filename> | tail -n1 > out

这会将您的 csv 文件的第 891743 行写入“输出”文件。