python - 如果两列中的记录在数据集中至少出现两次，则删除 pandas 中的行

Question

我有一个包含日期和公司名称的数据集。我只想保留行，使公司名称和日期的组合在数据集中至少出现两次。

为了说明问题，让我们假设我有以下数据框:

df1 = pd.DataFrame(np.array([['28/02/2017', 'Apple'], ['28/02/2017', 'Apple'], ['31/03/2017', 'Apple'],['28/02/2017', 'IBM'],['28/02/2017', 'WalMart'],
['28/02/2017', 'WalMart'],['03/07/2017', 'WalMart']]), columns=['date','keyword'])

我想要的输出是:

df2 = pd.DataFrame(np.array([['28/02/2017', 'Apple'], ['28/02/2017', 'Apple'],
                             ['28/02/2017', 'WalMart'],
                             ['28/02/2017', 'WalMart']]), columns=['date', 'keyword'])

我知道如何根据两列中的条件删除行，但我不知道如何根据两个值的组合在数据集中出现的次数来删除行。

谁能提供一些见解？

Answer 1

使用DataFrame.duplicated指定用于检查欺骗的列和 keep=False 用于通过 boolean indexing 返回所有欺骗行:

df2 = df1[df1.duplicated(subset=['date','keyword'], keep=False)]
print (df2)
         date  keyword
0  28/02/2017    Apple
1  28/02/2017    Apple
4  28/02/2017  WalMart
5  28/02/2017  WalMart

如果需要指定行数使用GroupBy.transform用 GroupBy.size 计数:

df2 = df1[df1.groupby(['date','keyword'])['date'].transform('size') >= 2]

如果小型 DataFrame 或性能不重要，请使用 filter :

df2 = df1.groupby(['date','keyword']).filter(lambda x: len(x) >= 2)
print (df2)
         date  keyword
0  28/02/2017    Apple
1  28/02/2017    Apple
4  28/02/2017  WalMart
5  28/02/2017  WalMart