docker - 使用kubernetes扩展cron架构

Question

我有一个带有sources表的云分布式数据库(AWS RDS-PostGres)。来源可以是网页或社交媒体帐户。

我在服务中有一项Cron作业，该作业将遍历每个source并获取更新的信息，例如注释或统计信息。

有时，如果满足特定条件，则可以触发其他操作，即，如果instagram帖子达到1000个顶，用字符串发表评论或博客创建新帖子，则向订阅者发送电子邮件。

我想通过docker和k8s水平扩展我的服务，如果我扩展到两个服务，将有两个cron作业，并且任何特定操作都可以发送两次。我不希望为已缩放的n实例发送n电子邮件

什么是处理此问题的正确架构？

Answer 1

如果要水平扩展整个堆栈，请通过一些合理的键(例如创建日期)将您的域划分为N个分区，并使每个分区都是完整的堆栈。

如果您关注可伸缩性，那么您可能希望将堆栈分成多个层(源刷新器工作程序， Action 处理程序等)，并通过工作队列将它们连接起来，以便可以独立地伸缩任何特定的 Action ...但是我先开始首先是一个直接的域分区。