streaming - 为我们的流事件构建实时规则引擎的最佳方法

Question

我们正处于构建物联网云平台项目的开始阶段。实现完整的物联网平台解决方案有一些众所周知的部分。其中之一是实时规则处理/引擎系统，需要了解流事件与最终用户以可读格式动态定义的任何规则相匹配(SQL 或 Drools if/when/then 等) .)

我很困惑，因为互联网上有很多产品、项目(Storm、Spark、Flink、Drools、Espertech 等)，所以考虑到我们有 3 人的开发团队(初级、中级、高级)高级)，最好的选择是什么？

• 选择一个流媒体项目(例如 Apache Flink)并学好？
• 选择一个完整的解决方案(AWS、Azure 等)

Answer 1

Drools这样的BRMS(业务规则管理系统)主要是为了快速适应业务逻辑的变化而构建的，相比Apache Storm、Spark Streaming、Flink等流处理引擎更加成熟和稳定。流处理引擎专为高吞吐量和低延迟而构建。 BRMS可能不适合服务物联网场景中的数亿级事件，并且可能难以处理基于事件时间的窗口计算。

所有这些解决方案都可以在 Iaas 提供商中使用。在 AWS 中，您可能还想了解一下 AWS EMR 和 Kinesis/Kinesis Analytics。

我见过的一些用例。

1. 将数据直接流式传输到 FlinkCEP。

2. 使用规则引擎以低延迟进行快速响应，同时将数据流式传输到 Spark 进行分析和机器学习。

您还可以在 Spark 和 Flink 中运行 Drools 来热部署用户定义的规则。