python - 在子集上使用 dropna 进行清理

Question

我需要检查 pandas.DataFrame 子集的完整性。目前我正在这样做:

special = df[df.kind=='special']
others = df[df.kind!='special']

special = special.dropna(how='any')

all = pd.concat([special, others])

我想知道我是否缺少任何强大的 Pandas API，可以在一行中实现这一点？

Answer 1

但是，我无法从我正在写作的地方访问 Pandas pd.DataFrame.isnull()检查事物是否为空，并且 pd.DataFrame.any()可以按行检查条件。

因此，如果您这样做

(df.kind != 'special') | ~df.isnull().any(axis=1)

这应该给出您想要保留的行。您可以对此表达式使用普通索引。看看这是否会加快速度(它比您的解决方案检查更多行上的内容，但可能会创建更小的数据帧)会很有趣。