hadoop - 物联网设备的分析引擎

Question

我在为M2M IoT提供商工作。该 Realm 有数百万部署的物联网设备。数据由边缘设备聚合并发送到我们的中央服务器。服务器处理设备数据，并将处理后的信息发送到其他各种子系统。

我们正在概念化与现有系统并行的分析引擎(AE)的概念。来自物联网设备的数据应馈入此引擎，以进行不同类型的分析。示例:监视过去24小时内来自设备的事件，并找出运行状况或预测其他事件。
在这方面，我们正在努力找出以下问题的答案:

1)我们应该在哪里挖掘从IoT设备传入的数据以馈入新系统(AE)？如果我们利用现有服务器，那么我们将在两个系统之间引入强大的耦合。退出服务器上的任何停机时间也应使通往AE的管道干燥。在这种情况下，一般推荐的策略是什么？

2)我们计划使用Kafka进行前端AE，以确保数据可用性。应该有各种各样的微服务充当Kafka的消费者并做自己的事情。微服务的架构应该是什么，该微服务应根据最近24小时内报告的事件来管理设备状态(即，既要考虑历史数据又要考虑实时数据)？有很多技术，例如Spark，Hadoop，Apache Storm，但我不确定该从哪一种开始。我应该如何保存传入的设备数据以及如何一起处理历史数据和传入的数据以找出当前设备状态？在这种情况下，标准做法是什么:摘要数据是预先计算和存储的，还是根据传入查询实时计算的？

Answer 1

常规:由于设备数量(百万)的相关性较小，因此我使用术语tps(每秒事务处理)来指代负载。

开启1):您必须在某个地方点击。 :-)在我们的物联网平台中，我们在入站数据处理后直接接入并转发到我们的AE。无论如何，请确保入站AE容量(以tps计)高于“服务器”之一。

恕我直言，它较少耦合的问题。它更多地关于责任，即哪个组件负责“确认”数据传输，可靠地存储数据等。

取决于2)。特别是取决于

您在分析中使用什么算法

客户期望的实时行为(以秒为单位显示结果，每24小时显示一次结果)

的可靠性要求(如果服务器发生故障，您能否负担一些结果)

数据量(在每个设备级别还有多少tps？)

是分析算法是“本地设备”，还是您混合了许多设备的数据？

根据您的答案，您可能希望看看CEP引擎(复杂事件处理)作为AE(分析引擎)的基础