python - 如何将包含 null 和非 null 的行分成两个不同的 DataFrame？

Question

假设我有一个大的 DataFrame(>10000 行)，其中一些行包含一个或多个空值。如何从原始 DataFrame 中删除其一列或多列中包含 null 的所有行并将这些行放入另一个 DataFrame 中？

例如:

原始数据框:

         a    b    c
1    "foo"    5    3
2    "bar"    9    1
3      NaN    5    4
4    "foo"  NaN    1

非空数据框:

         a    b    c
1    "foo"    5    3
2    "bar"    9    1

包含 DataFrame 为空:

         a    b    c
1      NaN    5    4
2    "foo"  NaN    1

Answer 1

使用DataFrame.isna用于检查缺失值:

print (df.isna())
#print (df.isnull())
       a      b      c
1  False  False  False
2  False  False  False
3   True  False  False
4  False   True  False

并通过 DataFrame.any 测试每行是否至少为 True :

mask = df.isna().any(axis=1)
#oldier pandas versions
mask = df.isnull().any(axis=1)
print (mask)
1    False
2    False
3     True
4     True
dtype: bool

最后一次过滤:boolean indexing - ~ 用于反转 bool 掩码:

df1 = df[~mask]
df2 = df[mask]

print (df1)
     a    b  c
1  foo  5.0  3
2  bar  9.0  1

print (df2)
     a    b  c
3  NaN  5.0  4
4  foo  NaN  1