php - 用 PHP 和 MySQL 实现一个简单的队列？

Question

我有一个 PHP 脚本，它从数据库中检索行，然后根据内容执行工作。这项工作可能很耗时(但不一定需要大量计算)，因此我需要允许多个脚本并行运行。

数据库中的行看起来像这样:

+---------------------+---------------+------+-----+---------------------+----------------+
| Field               | Type          | Null | Key | Default             | Extra          |
+---------------------+---------------+------+-----+---------------------+----------------+
| id                  | bigint(11)    | NO   | PRI | NULL                | auto_increment |
.....
| date_update_started | datetime      | NO   |     | 0000-00-00 00:00:00 |                |
| date_last_updated   | datetime      | NO   |     | 0000-00-00 00:00:00 |                |
+---------------------+---------------+------+-----+---------------------+----------------+

我的脚本当前选择 date_last_updated 中日期最旧的行(工作完成后更新)并且不使用 date_update_started。

如果我现在要并行运行脚本的多个实例，它们会选择相同的行(至少在某些时候是这样)并且会完成重复的工作。

我想做的是使用事务来选择行，更新 date_update_started 列，然后将 WHERE 条件添加到选择rows 以仅选择 date_update_started 大于某个值的行(以确保另一个脚本不在其上运行)。例如

$sth = $dbh->prepare('
    START TRANSACTION;
    SELECT * FROM table WHERE date_update_started > 1 DAY ORDER BY date_last_updated LIMIT 1000;
    UPDATE table DAY SET date_update_started = UTC_TIMESTAMP() WHERE id IN (SELECT id FROM table WHERE date_update_started > 1 DAY ORDER BY date_last_updated LIMIT 1000;);
    COMMIT;
');
$sth->execute(); // in real code some values will be bound
$rows = $sth->fetchAll(PDO::FETCH_ASSOC);

据我所读，这本质上是一个队列实现，在 MySQL 中似乎不受欢迎。尽管如此，我需要找到一种允许多个脚本并行运行的方法，在我完成研究之后，这就是我想出的办法。

这种方法行得通吗？有没有更好的办法？

Answer 1

我认为你的方法可以工作，只要你还在你选择的行中添加某种标识符，它们当前正在处理，它可能是 @JuniusRendel 建议的，我什至会考虑使用另一个字符串键(随机或实例 id)用于脚本导致错误且未正常完成的情况，因为一旦您在工作后更新了行，就必须清除这些字段。

在我看来，这种方法的问题在于，将有 2 个脚本在同一点运行，并在它们被签名为锁定之前选择相同的行。正如我所看到的，这真的取决于你在行上做了什么样的工作，如果这两个脚本的最终结果相同，我认为你唯一的问题是浪费时间和服务器内存(不是小问题，但我现在将它们放在一边......)。如果您的工作将导致两个脚本的更新不同，那么您的问题将是您可能在 TB 的末尾有错误的更新。

@Jean 提到了您可以采用的第二种方法，即使用 MySql 锁。我不是该主题的专家，但它似乎是一个很好的方法并使用'Select .... FOR UPDATE ' 语句可以为您提供您正在寻找的内容，就像您可以在同一次调用 select & the update 时所做的那样 - 这将比 2 个单独的查询更快，并且可以降低其他实例选择这些行的风险，因为它们将被锁定。

'SELECT .... FOR UPDATE' 允许您运行选择语句并锁定这些特定行以更新它们，因此您的语句可能如下所示:

START TRANSACTION;
   SELECT * FROM tb where field='value' LIMIT 1000 FOR UPDATE;
   UPDATE tb SET lock_field='1' WHERE field='value' LIMIT 1000;
COMMIT;

锁很强大，但请注意它不会影响您在不同部分的应用程序。检查当前为更新而锁定的那些选定行，它们是否在您的应用程序的其他地方(可能是最终用户)请求以及在这种情况下会发生什么。

此外，表必须是 InnoDB，建议您检查 where 子句的字段具有 Mysql 索引，如果没有，您可能会锁定整个表或遇到'Gap Lock '。

锁定过程也有可能，尤其是在运行并行脚本时，会占用您的 CPU 和内存。

这是关于该主题的另一篇文章:http://www.percona.com/blog/2006/08/06/select-lock-in-share-mode-and-for-update/

希望这会有所帮助，并想听听您的进展情况。