python - 读取跨书数据集时出现 CParserError : Error tokenizing data.

Question

我想阅读book-crossing dataset表:BX-Books。使用 Pandas 。当我写下:

  #load book informations dataset
books = pd.read_csv("BX-CSV-Dump/BX-Books.csv",sep=';')

我收到错误:

CParserError: Error tokenizing data. C error: Expected 8 fields in line 6452, saw 9

如何纠正这个问题？我尝试使用“\t”作为分隔符，但它也不起作用，在这种情况下，我将一列中的所有列用“;”分隔。

Answer 1

问题是由以下字符串引起的:

"Peterman Rides Again: Adventures Continue with the Real \"J. Peterman\" Through Life & the Catalog Business"

注意:注意 &，其中包含 ; 和 \"J. Peterman\"，包含引号字符

所以试试这个:

In [34]: df = pd.read_csv(fn, sep=';', escapechar='\\', encoding='CP1252', 
                          low_memory=False)

In [35]: df.shape
Out[35]: (271379, 8)