python - 根据重新排列的重复项对 pandas 数据框进行切片(或如何删除重新排列的重复项)

Question

这个问题已经有答案了:

(pandas) Drop duplicates based on subset where order doesn't matter (2 个回答)

Pandas drop duplicates based on 2 columns sometimes reversed (3 个回答)

pandas how to compare rows of 2 dataframes regardless of order [duplicate] (2 个回答)

已关闭 3 年前。

我有一个具有以下格式的大数据框

   col1    col2    val1    val2
[0]A       B       0.8     0.1
[1]B       A       0.8     0.1
[2]A       C       0.3     0.9
[3]A       D       0.2     0.8
[4]D       A       0.2     0.8

如您所见，有些行是重复的，仅 col1和col2颠倒了。例如，行1与行 0 重复，并行 4与行 3 重复。您能否根据 col1 的匹配删除重复项:col2等于 col2 的值:col1 ？

Answer 1

您可以通过 np.sort 对两列进行排序并分配回来，然后使用 DataFrame.drop_duplicates指定一些列:

df[['col1','col2']] = np.sort(df[['col1','col2']], axis=1)
df1 = df.drop_duplicates(['col1','col2'])
print (df1)
  col1 col2  val1  val2
0    A    B   0.8   0.1
2    A    C   0.3   0.9
3    A    D   0.2   0.8

删除所有列的重复项:

df2 = df.drop_duplicates()
print (df2)
  col1 col2  val1  val2
0    A    B   0.8   0.1
2    A    C   0.3   0.9
3    A    D   0.2   0.8