java - 使用 java JDBC 确定行是否存在并插入 MySQL 的最有效方法

Question

我正在尝试查询 MySQL 数据库中的一个表(我有主键，它由两个类别组成，一个名称和一个数字，但进行字符串比较)，这样这个表可能有从很几行到数亿以上。现在，为了提高效率，我不确定实际执行 INSERT 的成本是多少。查询，但我有几个选择:

1. 我可以查询数据库以查看元素 EXISTS然后调用INSERT查询是否没有。
2. 我可以尝试暴力破解 INSERT到数据库中，无论成功还是失败，就这样吧。
3. 我最初可以在程序执行时创建缓存/存储，获取主键列并将它们存储在 Map<String, List<Integer>> 中然后搜索该名称是否存在的键，如果存在，则在 List<Integer> 中执行键和值组合存在，如果不存在，则 INSERT查询数据库。
4. ?

选项一确实不在我真正要实现的表上，只是在可能的选择列表上。对于独特的事件，选项二很可能平均更好，因此它不在表中。如果缓存中有很多内容是常见的情况，则选项三会更受欢迎。

请记住，选择的选项可能会迭代数百万次。除了内存使用(来自选项 3)，根据我的计算，它与可用容量无关。

Answer 1

让数据库完成工作。

你应该做第二种方法。如果不想失败，可以使用on duplicate key update:

insert into t(pk1, pk2, . . . )
    values ( . . . )
    on duplicate key update set pk1 = values(pk1);

on duplicate key update 的唯一目的是不做任何有用的事情，但不返回错误。

为什么这是最好的解决方案？在数据库中，主键(或声明为唯一的列)具有索引结构。这对于数据库使用来说是高效的。

其次，这只需要往返数据库一次。

第三，如果您有多个线程或应用程序可能试图插入相同的记录，则没有竞争条件。

第四，带有on duplicate key update 的方法将适用于一次插入多行。 (如果没有 on duplicate key insert，那么如果单行重复，多值语句就会失败。)将多个插入组合到一个语句中可能是另一个巨大的效率。

您的第二个选择确实是正确的方法。