php - INSERT IGNORE 或 INSERT WHERE NOT IN

Question

我有一个 900 万行的表，由于其庞大的规模，我正在努力处理所有这些数据。

我想做的是在不覆盖数据的情况下将 IMPORT 一个 CSV 添加到表中。

在我做这样的事情之前； INSERT if not in(select email from tblName where source = "number"and email != "email") INTO (email...) VALUES ("email"...)

但是我担心我会再次让服务器崩溃。我希望能够将 10,000 行插入到表中，但前提是它不在源 =“数字”的表中。

否则我会在电子邮件列中使用 unique。

简而言之，我想通过检查两件事来尽快插入而不向表中引入重复项。如果 email != "email"AND source != "number"然后插入到表中，否则什么都不做。我也不想要错误报告。

对于我的措辞不当以及这个问题听起来有点愚蠢，我深表歉意。

我只是很难适应无法通过下载备份并在出现问题时上传来测试数据。我讨厌大型数据集:)

谢谢大家的宝贵时间-大事

Answer 1

如果您在这些字段上有唯一键，您可以使用带有 IGNORE 选项的 LOAD DATA INFILE。它比逐行插入更快，也比多插入更快。

看http://dev.mysql.com/doc/refman/5.1/en/load-data.html