python - 根据空值的百分比删除 pandas 数据框中的列

Question

我有一个包含大约 60 列和 200 万行的数据框。一些列大部分是空的。我使用此函数计算了每列中空值的百分比。

def missing_values_table(df): 
    mis_val = df.isnull().sum()
    mis_val_percent = 100 * df.isnull().sum()/len(df)
    mis_val_table = pd.concat([mis_val, mis_val_percent], axis=1)
    mis_val_table_ren_columns = mis_val_table.rename(
    columns = {0 : 'Missing Values', 1 : '% of Total Values'})
    return mis_val_table_ren_columns

现在我想删除丢失超过 80%(例如)值的列。我尝试了以下代码，但它似乎不起作用。

df = df.drop(df.columns[df.apply(lambda col: col.isnull().sum()/len(df) > 0.80)], axis=1)

提前致谢。希望我没有遗漏一些非常基本的东西

我收到这个错误

TypeError: ("'generator' object is not callable", u'occurred at index Unique_Key')

Answer 1

您可以使用带阈值参数的 dropna()

thresh = len(df) * .2
df.dropna(thresh = thresh, axis = 1, inplace = True)