python - DataFrame.to_json() 的段错误

Question

我有一个 Python 代码可以正确处理一个包含 20 行的文件，但是当我尝试发送包含 60.000 条记录的同一文件时，它显示“108936 段错误”。

有什么办法可以避免这个错误，这是我的机器吗？或者有更好的方法来做到这一点？我正在使用 Pandas，因为有时我需要合并到 DataFrame (pd.merge())。

这是我的代码:

import pandas as pd
import json

columns = [u'SalesOrderID', u'OrderDate', u'DueDate', u'ShipDate', u'SalesOrderNumber', u'Title', u'FirstName', u'MiddleName', u'LastName', u'Suffix', u'PhoneNumber', u'PhoneNumberType', u'EmailAddress', u'EmailPromotion', u'AddressType', u'AddressLine1', u'AddressLine2', u'City', u'StateProvinceName', u'PostalCode', u'CountryRegionName', u'SubTotal', u'TaxAmt', u'Freight', u'TotalDue', u'UnitPrice', u'ProductName', u'ProductSubcategory', u'ProductCategory']
data = pd.read_csv('../Uploads/TxtData.txt', header=0, names=columns, sep='\t')
data.to_json(orient='records')

使用的文件:

Little File

Big File

Answer 1

DataFrame.to_json 中存在一个已知问题。

https://github.com/pandas-dev/pandas/issues/14256#issuecomment-249583941

目前解决这个问题的唯一方法是给我们一个 default_handler，用于将您的对象转换为标准的 json 数据类型。我不知道 txt.data 中有什么，也不知道足够奇特的 csv 文件中可能有什么，但您需要一个 default_handler。