Java数据处理工作流框架

Question

我有一个数据流，基本上是一个 SQL 表，每分钟添加 30-50 条记录。需要以接近实时的速度进行处理(记录出现在数据库后大约10分钟内处理完毕)。我想在这里使用一些类似解决方案的工作流程，让我更轻松地处理所有记录。我需要这个解决方案具有高可用性 - 系统应该在单独的硬件节点上工作，并且在其中一个节点出现故障时具有容错能力。基本上会发生的是这样的:

• 数据库中添加了一条新记录
• 工作流程开始处理
• 处理后执行一些操作(发送电子邮件、插入数据库等)
• 框架应该记住该记录已经被处理过

另一个要求是，如果在处理其中一条记录期间出现错误，则不应阻止框架处理其他记录。它应该记住这个特定的记录需要重新处理。

我听说 twitter-storm 做了类似的事情，但在这里使用它不是有点过分吗？据我了解，它的主要目的是同时处理大量数据，而我在这里根本不需要这些数据。

Answer 1

您可以使用 Apache Camel 和 ActiveMQ 构建完美的可扩展解决方案。故障节点将引发异常，未处理的消息可能会被发送回 AMQ 队列以便稍后处理(可能还有其他节点)。