hadoop - 用于实时统计的 elasticsearch vs hbase/hadoop

Question

我每周登录数百万个小日志文件来做:

• 数据挖掘的临时查询
• 加入、比较、过滤和计算值
• 使用 python 进行许多全文搜索
• 对所有数百万文档运行此操作，每天几次

我的第一个想法是将所有文档放在 HBase/HDFS 中并运行 Hadoop 作业生成统计结果。

问题是:一些结果必须接近实时。

因此，经过一些研究，我发现了 ElasticSearch，现在我正在考虑传输所有数百万个文档并使用 DSL 查询来生成统计结果。

这是个好主意吗？ ElasticSearch 似乎很容易处理数百万/数十亿的文档。

Answer 1

• 对于实时搜索分析，Elastic Search 是一个不错的选择。
  
• 绝对比 Hadoop/HBase/HDFS 更易于设置和处理。
  
• Elastic-Search 与 HBase 的比较:http://db-engines.com/en/system/Elasticsearch%3BHBase