python - 解析 Pandas 列中的列表

Question

我想弄清楚如何解析包含列表的 pandas 列:我的问题是这些被识别为字符串，而我希望它们被视为列表，以遍历它们。

这是我的单元格示例:[('P105', 1), ('P31', 1), ('P225', 1), ('P70', 1)]

当我尝试遍历它时，我只能一个一个地获取字符串中包含的字符(即 [、(、'、P 等)。我如何让 Pandas “理解”这些是列表？

编辑:我找到了一种方法:我将 ast.literal_eval 应用于每一行。

示例:

line = month_statement['properties_claims'][12]
for i in line:
    print i

[
(
'
P
7
6
'
...

如果我使用 ast.literal_eval，则:

line = ast.literal_eval(month_statement['properties_claims'][12])
line
Out[23]: 
[('P76', 1),
 ('P77', 1),
 ('P75', 1),
 ('P273', 1),
 ('P70', 1),
 ('P107', 1),
 ('P225', 1)]

我现在怀疑这种方法处理数百万行的效率如何。

Answer 1

很老的问题，但我想这应该可行:

import ast

df['col'].apply(ast.literal_eval)

如果文件太大，则将数据读入 block 中，例如使用pd.read_csv(...,cunksize=50000)