python - Pandas ParserError : Error tokenizing data. C 错误:字符串内的 EOF

Question

我有超过 400,000 行的数据。运行此代码时:

f=pd.read_csv(filename,error_bad_lines=False)

我收到以下错误:

pandas.errors.ParserError: Error tokenizing data. C error: EOF inside string starting at row 454751

文件末尾的数据如下所示:

BTC 9948    8718    1.57E+12    ASK
BTC 52      8718    1.57E+12    ASK
BTC 120     8718    1.57E+12    ASK
BTC 200     8718    1.57E+12    ASK
BTC 150     8718    1.57E+12    ASK
BTC 50      8718    1.57E+12    ASK
BTC 10      8718    1.57E+12    ASK
BTC 57      8718    1.57E+12    ASK
BTC 50      8718    1.57E+12    ASK
BTC 50191   8718    

第 454751 行是这个: BTC 50 8718 1.57E+12 ASK我试过运行 error_bad_lines=False如上所示，但这仍然不起作用。我还在我的文件中搜索了引号，但我没有。

Answer 1

将解析器引擎从 C 更改为 Python 应该可以解决您的问题。使用以下行读取您的 csv:

f=pd.read_csv(filename,error_bad_lines=False, engine="python")

来自 read_csv文档:

engine{‘c’, ‘python’}, optional Parser engine to use. The C engine is faster while the python engine is currently more feature-complete.