ruby-on-rails - Sidekiq 作业应该持续多长时间？

Question

在Sidekiq wiki据称:

1. Make your jobs small and simple

我变得简单，我变得幂等和交易，但什么是小的？也许所需的内存和计算时间是一个很好的衡量标准？我的 Sidekiq 作业需要 10 秒到 30 分钟。

我觉得10sec还可以，但是30min的长时间运行的任务呢？我正在将某种类型的所有数据从数据库加载到内存中，对它们运行冗长的计算，然后写回结果。一项 worker 工作中的所有三件事。

这样好吗？或者我应该改为从一个工作作业调用多个运行小型计算的工作作业？问题是，这些小的计算可能需要一些复杂的哈希表来进行计算，建议不要将其保存在 Redis 中，只需要一些简单的小值。

Answer 1

这取决于您希望/必须多久调用一次作业，以及您是否可以接受它需要这么长时间。

如果您以比完成作业更短的间隔运行作业，那么它肯定太长了。

如果您可以改善总运行时间(例如，如果其中一些可以同时运行)，将它分成多个工作人员只会在这里有所帮助

一如既往的经验法则:只要适合您的需求就可以。

但是:

• 对于长时间的作业，您应该考虑到作业可能由于任何原因(服务器崩溃等)而在执行过程中失败。
• 你还能在那里继续这项冗长的工作，还是会适当回滚？
• 另外:如果在执行作业时数据发生更改，会发生什么情况？