python - Pandas - 使用 .isnull()、notnull()、dropna() 删除缺少数据的行不起作用

Question

这真的很奇怪。我尝试了几种从 Pandas 数据框中删除缺少数据的行的方法，但它们似乎都不起作用。这是代码(我只是取消注释使用的一种方法 - 但这些是我在不同修改中使用的三种 - 这是最新的):

import pandas as pd
Test = pd.DataFrame({'A':[1,2,3,4,5],'B':[1,2,'NaN',4,5],'C':[1,2,3,'NaT',5]})
print(Test)
#Test = Test.ix[Test.C.notnull()]
#Test = Test.dropna()
Test = Test[~Test[Test.columns.values].isnull()]
print "And now"
print(Test)

但在所有情况下，我得到的只是:

   A    B    C
0  1    1    1
1  2    2    2
2  3  NaN    3
3  4    4  NaT
4  5    5    5
And now
   A    B    C
0  1    1    1
1  2    2    2
2  3  NaN    3
3  4    4  NaT
4  5    5    5

我犯了什么错误吗？或者有什么问题？理想情况下，我想得到这个:

   A    B    C
0  1    1    1
1  2    2    2
4  5    5    5

Answer 1

您的示例 DF 具有 NaN 和 NaT 作为 .dropna、.notnull 和 co 的字符串。不会考虑虚假，所以根据您的示例，您可以使用...

df[~df.isin(['NaN', 'NaT']).any(axis=1)]

这给了你:

   A  B  C
0  1  1  1
1  2  2  2
4  5  5  5

如果您有一个 DF，例如(注意使用 np.nan 和 np.datetime64('NaT') 而不是字符串:

df = pd.DataFrame({'A':[1,2,3,4,5],'B':[1,2,np.nan,4,5],'C':[1,2,3,np.datetime64('NaT'),5]})

然后运行 ​​df.dropna() 得到:

   A    B  C
0  1  1.0  1
1  2  2.0  2
4  5  5.0  5

请注意，列 B 现在是 float 而不是存储 NaN 值所需的整数。