hadoop - 使用 MapReduce 处理 UDP 数据流

Question

我在使用实时 UDP 流处理和 map reduce 系统时遇到问题。实际上我正在做一个大学项目，我想使用 mapreduce 来处理这些数据。 UDP 流是关于来自多个 AIS 设备的船舶数据。

据我所知，Apache Storm 将是解决该问题的方法。但我不知道我可以将 mapreduce 合并到 Storm 中。我想合并 mapreduce 概念，最终我想学习它。

另外想请教一下系统架构，正常流程是这样的，

系统接收到的UDP流解码流应显示实时分析为将来的数据重试目的而存储。

那么谁能建议最好的方法是什么？ Apache Storm 可以做到这一点吗？

Answer 1

我先回答这个简单的问题:是的，Apache Storm 可以做你想做的事。

也就是说，任何其他“大数据”流工具也可以进行这种数据处理。这些工具包括 Storm，还有 Spark 和 Samza。

如果我自己构建它，我会将流数据推送到消息队列(可能是 Kafka)中，然后使用 Storm 提取单个消息并进行处理。然后，您可以根据需要存储结果。这可能是在磁盘上，回到 Kafka，或者任何对你的情况有意义的东西。

最后，mapreduce 似乎不太适合您的问题。 Mapreduce 用于批处理，这不是您所描述的问题。