hadoop - 将IBM MQ读入Hadoop

Question

我有HDP2.1集群。我想将数据从IBM MQ直接获取到Hadoop，探索可以为我完成这项工作的工具

哪种工具在性能和生产水平上会更好？
我检查了水槽(JMS源)，但不确定是否可以在生产级别上使用。

按照http://hortonworks.com/blog/discover-hdp-2-2-apache-kafka-apache-storm-stream-data-processing/，Storm无法很好地连接到IBM MQ

我还可以使用其他任何生产级别的工具吗？

Answer 1

IBM Streams可以很容易地做到这一点。该产品附带两个工具包来执行此操作:

1)streamx.messaging(http://ibmstreams.github.io/streamsx.messaging/)-该工具包提供了一个JMSSource操作符，用于从Websphere MQ读取数据

2)streamx.hdfs(http://ibmstreams.github.io/streamsx.hdfs/)

您可以像这样构造Streams应用程序:

JMSSource->一些处理-> HDFS2FileSink

有关IBM Streams的更多信息，您可能需要查看以下站点:
http://ibmstreams.github.io/

希望这可以帮助。