mysql - 防止在不使用索引的情况下插入重复项

Question

我有一个 MariaDB 表users，大致如下所示:

id INT PRIMARY KEY AUTOINCREMENT,
email_hash INT, -- indexed
encrypted_email TEXT,
other_stuff JSON

出于隐私原因，我无法在数据库中存储实际的电子邮件。

用于电子邮件的加密不是一对一的，即一封电子邮件可以加密为许多不同的加密表示形式。这使得仅仅在 encrypted_email 列上建立索引毫无意义，因为它永远不会捕获重复项。

数据库中已经有数据，更改加密方法或哈希方法是不可能的。

email_hash 列也不能有唯一索引，因为它应该是一个短哈希，以加快重复检查的速度。它不能太独特，因为它会使所有隐私保证失效。

如何防止数据库中出现具有相同电子邮件地址的两个条目？

另一个限制:我可能无法使用LOCK TABLE，根据文档https://mariadb.com/kb/en/library/lock-tables/

LOCK TABLES doesn't work when using Galera cluster. You may experience crashes or locks when used with Galera.

LOCK TABLES implicitly commits the active transaction, if any. Also, starting a transaction always releases all table locks acquired with LOCK TABLES.

(我确实使用 Galera，并且确实需要事务，因为插入新用户会伴随着其他几个插入和更新)

<小时/>

由于后端应用程序服务器(整体)可以处理个人信息(例如，发送电子邮件、验证登录等)，只要它不存储个人信息，我就会在应用程序中进行重复检查。

目前，我正在做这样的事情(伪代码):

perform "START TRANSACTION"
h := hash(new_user.email)
conflicts := perform "SELECT encrypted_email FROM users WHERE email_hash = ?", h
for conflict in conflicts :
    if decrypt(conflict) == new_user.email :
        perform "ROLLBACK"
        return DUPLICATE
e := encrypt(new_user.email)
s := new_user.other_stuff
perform "INSERT INTO users (email_hash, encrypted_email, other_stuff) VALUES (?,?,?)", h, e, s
perform some other inserts as part of the transaction
perform "COMMIT"
return OK

如果两次尝试在时间上分开，则效果很好。但是，当两个线程尝试同时添加同一用户时，两个事务并行运行，执行选择，看不到冲突的重复项，然后都继续添加用户。如何防止这种情况发生，或者至少立即优雅地恢复？

<小时/>

这就是比赛的样子，经过简化:

• 两个线程开始事务

• 两个线程都执行选择，并且选择在两种情况下都返回零行。

• 两个线程都假设不会有重复。

• 两个线程都添加用户。

• 两个线程都提交事务。

• 现在有两个用户使用同一电子邮件地址。

Answer 1

在 SELECT 末尾添加 FOR UPDATE。

此外，由于您使用的是 Galera，因此必须在 COMMIT 之后检查错误。 (即报告与其他节点发生冲突时。)