python - 如何在 MySQL 中查找重复项

Question

假设我有很多列。如果 2 列匹配并且完全相同，则它们是重复的。

ID | title | link | size | author

假设如果 2 行或更多行的链接和大小相似，则这些行是重复的。如何将这些重复项放入列表并进行处理？

Answer 1

将返回所有有重复的记录:

SELECT theTable.*
FROM theTable
INNER JOIN (
  SELECT link, size
  FROM theTable 
  GROUP BY link, size
  HAVING count(ID) > 1
) dups ON theTable.link = dups.link AND theTable.size = dups.size

我喜欢子查询 b/c 我可以做一些事情，比如选择除第一个或最后一个以外的所有内容。 (然后很容易变成删除查询)。

示例:选择除最大 ID 之外的所有重复记录:

SELECT theTable.*
FROM theTable
INNER JOIN (
  SELECT link, size, max(ID) as maxID
  FROM theTable 
  GROUP BY link, size
  HAVING count(ID) > 1
) dups ON theTable.link = dups.link 
          AND theTable.size = dups.size 
          AND theTable.ID <> dups.maxID