hadoop - Cassandra + Solr/Hadoop/Spark - 选择合适的工具

Question

我目前正在研究如何存储和分析每行最多 1000 列的基于时间的丰富数据。目前，Datastax Enterprise 提供的 Cassandra 和 Solr、Hadoop 或 Spark 似乎基本可以满足我的要求。但细节决定成败。

在 1000 列中，大约 60 列用于类似实时的查询(网络前端、用户发送表单并期望快速响应)。这些查询或多或少是 GROUPBY 语句，其中计算了次数或出现次数。

由于 Cassandra 本身不提供所需的分析功能(没有 GROUPBY)，我只剩下这些替代方案:

• 通过 Cassandra 粗略查询并在自写代码中过滤结果集
• 使用 Solr 索引数据并运行 facet.pivot 查询
• 使用 Hadoop 或 Spark 并运行查询

第一种方法似乎很麻烦且容易出错……Solr 确实具有一些分析功能，但如果没有多字段分组，我就会陷入困境。我不知道这是一种好的方法还是高效的方法……最后但并非最不重要的是 Hadoop 和 Spark，前者已知不是实时查询的最佳选择，后者相当新，可能还没有准备好生产。

那么该走哪条路呢？这里没有一个适合所有人的方法，但在我采用一种方法之前，我想获得一些反馈。也许我想的太复杂了，或者我的期望太高了 :S

提前致谢

阿曼

Answer 1

在我现在工作的地方，我们有一组类似的技术要求，解决方案是 Cassandra-Solr-Spark，完全按照这个顺序。

因此，如果一个查询可以被 Cassandra 索引“覆盖”——很好，如果不能——它就会被 Solr 覆盖。对于测试和不经常查询 - Spark(Scala，由于它的旧版本而没有 SparkSQL——它是一家银行，从干邑白兰地到软件，一切都应该经过测试和成熟)。

总的来说，我同意这个解决方案，尽管有时我觉得一些客户的请求根本不应该被认真对待，这样可以让我们免于大量奇怪的查询:)