python-3.x - 用 NaN 替换 Pandas DataFrame 中的空列表值

Question

我知道以前有人问过类似的问题，但我确实尝试了这里列出的所有可能的解决方案，但没有一个奏效。

我有一个由日期、字符串、空值和空列表值组成的数据框。它非常庞大，有 800 万行。

我想替换所有空列表值 - 所以只包含仅包含 [] 的单元格，没有其他内容与 NaN。似乎没有任何效果。

我试过这个:

df = df.apply(lambda y: np.nan if (type(y) == list and len(y) == 0) else y)

正如在这个问题中提出的类似建议 replace empty list with NaN in pandas dataframe但它不会改变我的数据框中的任何内容。

任何帮助，将不胜感激。

Answer 1

假设 OP 想要将空列表、字符串 '[]' 和对象 '[]' 转换为 na，下面是一个解决方案。

设置

#borrowed from piRSquared's answer.
df = pd.DataFrame([
        [1, 'hello', np.nan, None, 3.14],
        ['2017-06-30', 2, 'a', 'b', []],
        [pd.to_datetime('2016-08-14'), 'x', '[]', 'z', 'w']
    ])

df
Out[1062]: 
                     0      1    2     3     4
0                    1  hello  NaN  None  3.14
1           2017-06-30      2    a     b    []
2  2016-08-14 00:00:00      x   []     z     w

解决方案:

#convert all elements to string first, and then compare with '[]'. Finally use mask function to mark '[]' as na
df.mask(df.applymap(str).eq('[]'))
Out[1063]: 
                     0      1    2     3     4
0                    1  hello  NaN  None  3.14
1           2017-06-30      2    a     b   NaN
2  2016-08-14 00:00:00      x  NaN     z     w