python - 从稀疏数据集中删除列和行

Question

我有一个包含许多空值的稀疏 Pandas 数据框，我想对其进行过滤，以便在最终数据集中仅保留具有 10 个以上浮点条目的行和列。我试过使用现有的代码片段，但它似乎不起作用:

df.drop([col for col, val = df.count(axis=1, numeric_only='float') if val < 10], axis=1, inplace=True)

谁能告诉我在我的数据框中删除稀疏列的最佳方法是什么？

Answer 1

您可以获得每行和每列中非缺失值的数量，检查它是否大于您的阈值，然后仅询问您的条件为 True 的那些行/值。

kept_rows, kept_columns = df.isnull().sum(1)>10, df.isnull().sum(0)>10
df = df.loc[kept_rows, kept_columns]