priority-queue - 如何使用apache kafka实现延迟队列？

Question

如何在 kafka 上添加延迟作业？据我了解，它不是按消息处理，而是按主题处理。我的工作有不同的时间表，我希望它们被消耗。假设一个将在接下来的 4 小时内，另一个将是我 12 月 1 日，等等。

kafka 是否对这种或其他 3rd 方方式有 native 支持来实现相同的目标？

我正在考虑将 Redis 用于延迟队列，并在计划到达后将作业推送到 kafka，但如果可能的话，我只想使用一个依赖项。

Answer 1

Kafka 中没有工作的概念。它只是一个愚蠢的高性能消息队列服务。根据您的要求，您可以考虑将作业存储在支持按作业执行时间索引的存储中，例如某些 RDBMS。然后在某个进程中周期性地提取执行时间在某个小范围 [last_check_time, current_time+lookahead_interval] 的作业，并将它们放入 Kafka 主题中进行最终处理。