python - 指定名称时，Pandas read_csv 不会引发错误行的异常

Question

pandas read_csv 在遇到字段过多的行时引发异常 (error_bad_lines)。但是，当指定参数 names 时，这不会发生。

例如一个 csv 文件的格式:

1, 2, 3
1, 2, 3
1, 2, 3, 4

使用 pd.read_csv(filepath, header=None) 正确读取 ParserError: Error tokenizing data。 C 错误:第 3 行中应有 3 个字段，由于附加列而看到 4 个。

但是，当“名称”被指定为参数时:

>>> pd.read_csv(filepath, names=['A', 'B', 'C'], header=None)
   A  B  C
0  1  2  3
1  1  2  3
2  1  2  3

没有出现错误，并且包含了应该跳过的“太长/错误”行......

有没有一种方法可以指定名称并仍然引发 ParserError，以便可以使用 error_bad_lines=False 删除太长/错误的行？

Answer 1

似乎对此没有整洁的 pandas 解决方案。您可以做的是使用 python 的 open() 加载文件 CSV，然后将新的 header 添加到文件字符串中，这样您就不会修改磁盘上的原始文件。之后，您可以使用 pandas 使用 StringIO 加载文件字符串。这将保留错误:

#python3
from io import StringIO
import pandas as pd
lines = open('./test.csv', 'r').readlines()
lines = ['A, B, C'] + lines
fileString = '\n'.join(lines)
df = pd.read_csv(StringIO(fileString), sep=",")