gpt4 book ai didi

mysql - 大型 MySQL 数据库中的重复项

转载 作者:行者123 更新时间:2023-11-29 16:32:48 26 4
gpt4 key购买 nike

我有一个大约有 1500 万行的数据库。每 48 小时使用 LOAD DATA INFILE 加载一次表。每个表都有一个id字段。我需要检测具有相同 id 的重复行以便替换它们。我尝试了以下方法,但问题是数据库太大,该查询无法在合理的时间内完成。

从表组中选择 id,按 id 的 count(*) >= 2;

我使用索引,数据库存储引擎是MyISAM。

有没有办法检测这种大小的数据库中的重复行?我尝试在一个拥有 100 万行的数据库中运行上述查询,它在 0.008 秒内完成,所以我认为数据库大小是问题所在。

最佳答案

你所做的一切都很好。我可以建议您编写过程并将选择查询拆分为多个部分。您可以创建表并将结果存储在该表中。

当您的程序完成后,您将得到结果:)

您可以按日期对表进行分区

关于mysql - 大型 MySQL 数据库中的重复项,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53782137/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com