python - 读取 pandas 中除最后一行 CSV 文件以外的所有内容

Question

我有 CSV 文件，我用 pandas 读取了这些文件:

#!/usr/bin/env python

import pandas as pd
import sys

filename = sys.argv[1]
df = pd.read_csv(filename)

不幸的是，这些文件的最后一行经常损坏(逗号数错误)。目前我在文本编辑器中打开每个文件并删除最后一行。

是否可以删除加载 CSV 的同一 python/pandas 脚本中的最后一行，以节省必须执行此额外的非自动化步骤？

Answer 1

通过 error_bad_lines=False它会自动跳过这一行

df = pd.read_csv(filename, error_bad_lines=False)

error_bad_lines 的优点是它会跳过并且不会在任何错误行上出错，但是如果最后一行总是很乱，那么 skipfooter=1 会更好

感谢@DexterMorgan 指出 skipfooter 选项强制引擎使用比 c 引擎慢的 python 引擎来解析 csv。