python - 如何删除 Pandas 中的配对重复？

Question

这个问题在这里已经有了答案:





Remove reverse duplicates from dataframe

(5 个回答)


3年前关闭。




我有数据集，数据集有配对重复。这是我的数据

Id    antecedent           descendant
1     one                  two
2     two                  one
3     two                  three
4     one                  three
5     three                two

这是我需要的，因为 one, two等于 two, one所以我想删除重复的对

Id    antecedent           descendant
1     one                  two
3     two                  three
4     one                  three

Answer 1

使用 numpy.sort 使用 duplicated 对每行进行排序对于 bool 掩码:

df1 = pd.DataFrame(np.sort(df[['antecedent','descendant']], axis=1))

或者:

#slowier solution
#df1 = df[['antecedent','descendant']].apply(frozenset, 1)

df = df[~df1.duplicated()]
print (df)
   Id antecedent descendant
0   1        one        two
2   3        two      three
3   4        one      three