elasticsearch - logstash 与 spark streaming 和 storm

Question

我正在构建一个分布式实时集群系统来监控和分析网络。我在 Internet 上进行了多项研究，但得出的技术很少:

• 用于实时处理:logstash、storm 和 apache 流
• 用于存储:elasticsearch
• 用于分析:Apache Spark over Hadoop(我将使用 ES-Hadoop 连接 Elasticsearch)
• 用于数据可视化:kibana、D3js、c3js

然而，logstash 并不经常被提及为 spark streaming 和 storm。我在互联网上找到了下图所示的以下架构:

我有两个问题:

1. 我不明白为什么 logstash 不像 spark streaming 和 storm 那样经常被提及为实时处理系统。主要原因是什么？一直在用，很给力..

2. 关于分析部分，我可以在该配置中使用机器学习库吗？

Answer 1

1. Logstash 不是集群流处理系统。它只是一个基于 JVM 的进程。最新版本支持磁盘缓冲区，但没有与 Spark 或 Storm 几乎相同的交付保证。看看http://storm.apache.org/releases/1.0.3/Guaranteeing-message-processing.html
2. 是的，但不确定为什么要先使用 Elastic 来存储数据。为什么不是 HDFS->SparkML->Elastic？这里主要考虑的是管理模型、训练和测试。