python - 当使用 utf-8 编码保存为 csv 时，pandas 仅保存列表的前 100 个条目

Question

我的目标是将 pandas 数据框保存为具有 utf-8 编码的 csv 文件。这些值有时是长列表(长 > 100 个条目)。我注意到这些列表的输出限制为 100 个条目，然后是 ...。只有在 .to_csv() 中设置 encoding='utf-8' 时才会出现此问题:

>>> import pandas as pd
>>> 
>>> d = {"row": {'column': range(1, 150)}}
>>> df_out = pd.DataFrame(d)
>>> df_out.to_csv("wo_encoding.csv")
>>> df_out.to_csv("w_encoding.csv", encoding='utf-8')
>>> 
>>> df_in1 = pd.read_csv("wo_encoding.csv")
>>> len(eval(df_in1.iat[0,1]))  # eval() to create list from string
149
>>> df_in2 = pd.read_csv("w_encoding.csv")
>>> print(df_in2.iat[0,1][-13:])  # last 13 characters
99, 100, ...]

这是为什么？你会认为这是错误吗？我该如何解决(同时仍设置编码)？

Answer 1

你是对的，似乎 Pandas 在不同的编码中以不同的方式对待列表。在 UTF-8 中，列表在项目 #100 处被截断。

要解决此问题，您可以简单地将列表列手动映射到字符串，然后再导出为 CSV。在您的示例中，这意味着:

df_out['row'] = map(unicode, df_out['row'])

我映射到 unicode 函数而不是 str，因为我假设您正在使用 Unicode 数据，但后者在您给出的示例中同样有效。