cassandra - Spark 中工作如何分配

Question

Spark 版本:1.4.0 Cassandra 版本:2.1.8

我正在使用 datastax Spark Cassandra 连接器来桥接 Spark 和 Cassandra。我在 Spark 中有 6 个节点与 6 个不同的工作线程一起运行。我有 2 个 Cassandra 节点协助此操作。

我尝试使用示例应用程序来计算列族中的行数( CassandraUtil.javaFunctions(sc).cassandraTable("keyspace","columnfamily").count())。

现在，当我将这个单个作业分派(dispatch)给主服务器时，该作业在 Spark 集群中的 2 个工作节点中运行(从事件时间线获取)。

问题

1. 我 dispatch 了一份工作。为什么是两个 worker 做的？是不是像一个 worker 在这里当师傅一样？
2. 我发现一名工作人员的反序列化时间非常长。其他 worker 很快完成了工作(1 人花了 40 秒，2 人花了 1 秒)。您能解释一下吗？
3. 两个工作人员似乎都已与 Cassandra 建立了连接并返回了结果。所以，在我看来，两者都在做同样的工作。您能解释一下吗？
4. 我仍然想知道 RDD 的实现将在 Cassandra 的分布式领域中发挥怎样的作用。有人可以解释一下吗？多个工作人员如何知道他们必须在 Cassandra 的哪个分区上工作(如果可以的话)，将 10k 分区分配给 6 个工作人员？是不是像这样，取数据全部由1个worker完成，处理由6个worker完成？即使在这种情况下，所有工作线程中的执行逻辑仍然相同(从 Cassandra 获取和进程)。 Spark 是如何做到这一点的？
5. 想了解将 Spark 与 Cassandra 结合使用的真正优势。是在内存管理层面还是有其他一些优势？

编辑

我添加了运行的图片。我只有 10 个不同的分区。这是一个简单的计数操作。

我想我的问题仍然是一个谜。

如果您看到提供的附件，我想您就会得到一个想法。这是提交给我的 Spark Master 的单个作业。想知道它如何在两个不同的执行器中运行。两个执行器返回相同数量的字节。因此，这表明两者都已从 cassandra 获取了所有 10 个分区。如果事情是这样发生的，那么与 cassandra 相比，spark 能为我提供什么？或者，我是否必须以其他方式获取它，以便两个不同的工作人员获取十个分区？

Answer 1

我建议您花几个小时阅读 Spark 和 C*。我在这篇文章的底部挑选了一些推荐 Material 。

现在让我回答您的问题:

I dispatched a single job. Why it was done by two workers? Is it like one worker acts like a master here?

可能与资源可用性或作业中的分区数量有关(可能是后者)。

正如 Russ 所说，“增加作业的并行性。尝试增加作业中的分区数量。通过将工作拆分为更小的数据集，在给定时间内存中需要驻留的信息会更少。对于Spark Cassandra 连接器作业这意味着减少拆分大小变量。”

要在 1.2 中进行调整，请使用:

spark.cassandra.input.split.sizeSpark.cassandra.output.batch.size.rowsSpark.cassandra.output.batch.size.bytes

在较新的版本中，您还拥有:Spark.cassandra.output.throughput_mb_per_sec

I found the deserialisation time to be very high in one worker. Other worker completed the job pretty fast( 1 took 40 seconds and 2 took 1 second). Can you throw some light on this?

来自Kay who actually added the feature到网络用户界面:

“反序列化任务的时间可能相对较大安排短时间工作的任务时间，并了解何时时间较长会有所帮助开发人员意识到他们应该尝试减少闭包大小(例如，通过包含任务描述中的数据较少)。”

Both the workers seems to have established a connection with Cassandra and has returned a result. So , in my view, both are doing the same job. Can you throw some light on this?

Spark 并行工作。因为这是一种分布式计算范例，所以您可以通过启动并行工作的执行器来利用多个节点和多个核心。两个执行器都会从 C* 中提取数据，但它们会根据分区提取不同的数据。

有关详细信息，请观看一些介绍视频。

I am still wondering where the implementation of RDD will fit in this distributed realm with Cassandra . Can someone throw some light on this? How does multiple workers know which partition of Cassandra they have to work on , if it can , say ,split 10k partitions among 6 workers? Is it like ,fetching is all done by one worker and processing is done by 6 of them? Even in that case, execution logic remains the same in all workers(fetch from Cassandra and process). How does Spark do this?

每个人都会根据分区获取并处理自己的数据。

要获取有关如何分区作业的信息，请使用:

rdd.partitions

如果您将 Spark 和 Cassandra 放在一起，就像 DSE 中的情况一样，您将获得数据局部性的优势(无需将数据从 c* 流式传输到 Spark Worker)。

Would like to know the real advantage of using Spark with Cassandra. Is it at memory management level or it has some other advantages?

这里可能太多，无法列出，请参阅推荐阅读/查看。最重要的是用于批处理和流分析的 SQL 风格查询(连接、聚合、groupby 等)+ 使用 MLLIB 的精美统计建模、使用 graphx 的分析图等。

这里有一些可以帮助您快速入门的好 Material :

这是 Russ 的高级演示，介绍 Spark 和 C* 的可能性: http://www.slideshare.net/planetcassandra/escape-from-hadoop

OReily 网络研讨会，由 DataBricks 的 Sameer 主持，介绍 DSE 如何与 Spark 集成: http://www.oreilly.com/pub/e/3234

连接器如何读取数据: https://academy.datastax.com/demos/how-spark-cassandra-connector-reads-data

一旦您真正尝试让东西正常工作，有关 Spark 故障排除的关键帖子将会很有帮助。这些将回答您的大部分 opps/perf 问题: http://www.datastax.com/dev/blog/common-spark-troubleshooting

https://databricks.com/blog/2015/06/16/zen-and-the-art-of-spark-maintenance-with-cassandra.html

桑迪的两个类似且有值(value)的帖子(不是特定于 c* 的): http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-1/ http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/