python - 过滤掉 Pandas 数据框中的数据

Question

我正试图在我非常大的数据框中过滤掉一些年份。
这是我的数据的一个非常简短和简单的版本:

Year  Value  Symbol
2001  0.1      ABC
2002  0.1      ABC
2003  0.2      ABC
2002  0.4      ZZZ
2003  0.8      ZZZ
2000  0.9      ASD
2001  0.1      ASD
2002  0.3      ASD
2003  0.2      ASD

如您所见，不同的符号在我的数据集中具有不同的起始年份。例如，符号 ASD 在 2000 年有它的第一个值，而符号 ZZZ 只在 2002 年。我在这个特定的我只想保留所有符号都有其值的年份的数据。结果应如下所示:

Year  Value  Symbol  
2002  0.1      ABC
2003  0.2      ABC
2002  0.4      ZZZ
2003  0.8      ZZZ
2002  0.3      ASD
2003  0.2      ASD

我的大数据框的问题是我有很多日期而且我不知道每个符号的开始日期(而且我有很多符号)。所以我应该首先找到每个符号的开始日期(或具有较晚开始日期的符号)，然后删除所有不必要的数据。有没有办法在 Pandas / python 中有效地做到这一点？

Answer 1

您可以使用 pivot , 然后 dropna和 unstack :

df = df.pivot(index='Year', columns='Symbol', values='Value')
        .dropna()
        .unstack()
        .reset_index(name='Value')

print (df)
  Symbol  Year  Value
0    ABC  2002    0.1
1    ABC  2003    0.2
2    ASD  2002    0.3
3    ASD  2003    0.2
4    ZZZ  2002    0.4
5    ZZZ  2003    0.8