python - 使用 Python Pandas 跳过 csv 文件中的行

Question

我有一个关于使用 Pandas 读取 csv 文件的简单问题。我的 CSV 文件格式为:

Num  Date     Value1   Value2   Value3 
1   7/29/11    1        2        3       
2   7/22/11    NA       3        1       
3   7/15/11    5        NA       NA  
4   7/6/11    -1        0        2

我想使用 pandas 读取此 csv 文件。但是，我需要跳过其中任一列条目为 NA 的行(在本例中我需要跳过第 2 行和第 3 行)。

谢谢!

Answer 1

正如 @Rutger 指出的，您可以简单地使用 dropna :

In [11]: df.dropna(subset=['Value1', 'Value2', 'Value3'])
Out[11]:
   Num     Date  Value1  Value2  Value3
0    1  7/29/11       1       2       3
3    4   7/6/11      -1       0       2

.

我建议的最初方法(这显然不是最佳的)，一旦您将其作为 DataFrame 读入，您可以使用 notnull 删除这些行(您只想保留那些所有 notnull ):

In [21]: df.loc[:, ['Value1', 'Value2', 'Value3']].apply(pd.notnull)
Out[21]:
  Value1 Value2 Value3
0   True   True   True
1  False   True   True
2   True  False  False
3   True   True   True

In [22]: df.loc[:, ['Value1', 'Value2', 'Value3']].apply(pd.notnull).all(1)
Out[22]:
0     True
1    False
2    False
3     True
dtype: bool

并仅选择这些行:

In [23]: df[df.loc[:, ['Value1', 'Value2', 'Value3']].apply(pd.notnull).all(1)]
Out[23]:
   Num     Date  Value1  Value2  Value3
0    1  7/29/11       1       2       3
3    4   7/6/11      -1       0       2

In [24]: df = df[df.loc[:, ['Value1', 'Value2', 'Value3']].apply(pd.notnull).all(1)]