database - 将 Spark 与 Cassandra 结合使用的优势

Question

我看到结合使用 Spark 和 Cassandra 比较流行。

我知道 Cassandra 是一种大数据解决方案，提供可靠性而不是一致性，因此适合实时系统。它还为查询提供类似 SQL 的语法，但在底层管理其数据的方式与普通数据库截然不同。

另一方面，Hadoop 提供的一致性优于可靠性，因此适合分析系统。它的接口(interface)是 MapReduce，对于现在来说速度很慢而且级别太低。所以这就是 Sparks 的用武之地。Sparks 使用 Hadoop 的 HDFS 并用更好的架构取代旧的 MapReduce，该架构更多地利用内存而不是硬盘，并公开更好的接口(interface)，例如 RDD 和数据帧。

所以我的问题是:为什么我要将 Spark 与 Cassandra 结合使用？这样做有什么好处？为什么不只使用其中一个？

据我所知，Cassandra 只会取代 HDFS，因此我的可靠性高于一致性，而且我还必须使用 RDD/dataframes 而不是 CQL，而 spark 会在后台生成 CQL，这给我更少的控制权。

Answer 1

Spark 是一个数据处理框架。您将使用 Spark 处理您的数据。

Cassandra 是一个 DBMS。您将在 Cassandra 中存储您的数据。

的确，您可以使用 CQL 在 Cassandra 中处理数据，如果您可以使用 CQL，您可能就不需要 Spark。但是，总的来说，Spark 是一种更强大的工具。在实践中，很多人使用 Spark 从外部源接收数据，对其进行处理并将已处理的数据存储在 Cassandra 中。