python - 如何检索 Pandas 中所有有错误的行

Question

例如，我可以使用

pd.read_csv('file.csv')

加载一个csv文件。

默认情况下，当有任何解析错误时它会失败。我知道可以使用 error_bad_lines=False 跳过有错误的行。

但我的问题是:

如何获取所有发生错误的行？这样，我不仅可以解决这个特定的 file.csv 问题，还可以批量解决其他相关文件的问题 file1.csv, file2.csv, file3.csv ...

Answer 1

一种简单的方法是在每一行前加上一个行索引号。这可以在加载数据之前使用 Awk 或 Python 轻松完成。您甚至可以使用 StringIO 或您自己在 Python 中自定义的类似文件的对象在内存中执行此操作，这将“神奇地”在行号前添加。