python - 基于三列的重复项

Question

所以我有一个包含列的数据集

Date, Name, Type, .... 

我正在尝试找到一种方法来获取所有三个合并为索引的重复项，但它似乎不起作用。我尝试设置索引，然后尝试获取重复项，但它似乎没有正确地返回给我。

我做到了:

pc = pc.set_index(['name', 'date', 'type']).sort_index()
pc[pc.index.duplicated()]

但这似乎带来的返回比我预期的要多得多。

Answer 1

为此使用参数keep=False:

pc = pd.DataFrame([[0, 1, 2, 3, 4],
                   [0, 1, 2, 4, 5],
                   [0, 2, 3, 5, 6]],
                  columns=['name', 'date', 'type', 'val', 'val2'])

pc = pc.set_index(['name', 'date', 'type']).sort_index()

res = pc[pc.index.duplicated(keep=False)]

#                 val  val2
# name date type           
# 0    1    2       3     4
#           2       4     5

根据 documentation :

keep : {‘first’, ‘last’, False}, default ‘first’

• first : Mark duplicates as True except for the first occurrence.
• last : Mark duplicates as True except for the last occurrence.
• False : Mark all duplicates as True.