node.js - 使用 Bull 和 Kue 运行 50 个作业需要多少 Redis 内存使用量(大约)？

Question

我正在尝试估算作业调度(主要是 spark 作业)的 redis 内存使用情况，Bull 和 Kue 是我们目前正在考虑的两个选项。

Answer 1

redis 的存储开销非常小。使用这么小的队列，它甚至可以压缩您的数据。您只需要弄清楚作业负载是什么样的。这将取决于您排队的工作类型。

在正常情况下，队列中的作业将具有正在执行的类的名称和一些编码在字符串中的参数，通常为 JSON。这可能相当于几十个字节。让我们四舍五入，假设每个作业 1KB 是安全的。

作业大小 (<1KB) * 队列中的最大作业数 (50) = 所需 RAM (<50KB)

Redis 本身使用几 MB 的 RAM，所以这个数量微不足道。如果您的实际值不同，请调整以上等式。