hadoop - Spring XD 是正确的工具选择吗？

Question

我们正在构建一个 M2M 物联网平台，生态系统的一部分是大数据存储和分析组件。

该平台在一端连接设备，并使用 ActiveMQ 提供流式数据输出，以与大数据应用层接口(interface)。

我现在正在设计这个中间层，它接受机器数据、运行实时进程并将这些数据存储到 Hadoop 存储模块中。

在我看来，Spring XD 似乎能够编排这个从摄取到过滤、处理、分析和导出到 Hadoop 的过程。

但是，我不知道有谁做过这样的事情。这里有人执行过类似的操作吗？在选择中间件工具时需要您的反馈。

Answer 1

Spring XD 非常适合 RabbitMQ，对于 ActiveMQ，您可以使用 JMS 连接器。

有关更多信息，请查看 Spring Integration，它是主要基础并且一直存在。

Spring XD 在非常可靠的 YARN 或 Zookeeper 上运行。

我已经看到它在一些地方用于编排大数据。