sql - 从sqlite数据库中删除重复行

Question

我在 SQLite3 中有一个巨大的表 - 3600 万行。在这个非常大的表中，有两列:

• 哈希 - 文本
• d - 真实

有些行是重复的。也就是说，hash 和 d 具有相同的值。如果两个散列相同，则 d 的值也相同。但是，两个相同的 d 并不意味着两个相同的 hash。

我想删除重复的行。我没有主键列。

最快的方法是什么？

Answer 1

您需要一种方法来区分行。根据您的评论，您可以使用特殊的 rowid column为此。

通过保留每个 (hash,d) 的最低 rowid 来删除重复项:

delete   from YourTable
where    rowid not in
         (
         select  min(rowid)
         from    YourTable
         group by
                 hash
         ,       d
         )