json - 为 BI 和 Hadoop 处理 JSON Activity 流的合适工具是什么？

Question

我有许多系统，其中大部分都能够使用 JSON Activity Streams[1] 生成数据(或者可以强制这样做)，我想使用这些数据进行分析。

我想将传统的 SQL 数据集市用于 OLAP，并将原始 JSON 数据转储到 Hadoop 中以运行批处理 mapreduce 作业。

我一直在阅读 Kafka、Flume、Scribe、S4、Storm 和一大堆其他工具，但我仍然不确定哪个最适合手头的任务。这些似乎要么专注于日志文件数据，要么专注于 Activity 流的实时处理，而我想我对在 Activity 流上进行 ETL 更感兴趣。

我正在考虑的设置类型是为我感兴趣的所有流(URL、参数、凭据)提供配置，然后该工具定期轮询它们，将输出转储到 HDFS 中，并且有一个钩子(Hook)让我处理和转换 JSON 以插入数据集市。

是否有任何现有的开源工具特别适合这种情况？

(就规模而言，我预计最多有 30,000 名用户与大约 10 个系统交互——不是同时——所以不是真正的“大数据”，但也不是微不足道的。)

谢谢!

[1] http://activitystrea.ms/

Answer 1

你应该看看 streamsets.com

它是专为此类用例构建的开源工具(且可免费使用)。

您可以使用 HTTP 客户端源和 HDFS 目标来实现您的主要目标。如果您决定还需要使用 Kafka 或 Flume，对两者的支持也是内置的。

您还可以通过多种方式进行转换，包括为更复杂的转换编写 python 或 javascript(如果您愿意，也可以使用您自己的 Java 阶段)。

您还可以查看 logstash ( elastic.co ) 和 NiFi看看其中一个是否更适合您。

*完全公开，我是 StreamSets 的一名工程师。