apache-spark - 为什么 spark 任务在单个节点上运行？

Question

关闭。这个问题需要 details or clarity .它目前不接受答案。

---

想要改进这个问题吗？ 通过 editing this post 添加详细信息并澄清问题.

关闭 8 年前。

Improve this question

我已经安装了一个 Spark 集群。它有 4 个节点，但是当我在集群上运行 SparkPi 示例时，只有一个节点运行。我该如何解决？

Answer 1

一种可能性是，您在本地模式下运行示例。也就是说，该示例根本不使用集群。验证这一点很容易:停止 Spark master 并查看示例是否仍然有效。

http://spark.apache.org/docs/latest/submitting-applications.html描述如何运行示例。

bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master local \
  /path/to/examples.jar \
  100

您需要将 local 替换为 spark://spark-master.example.com:7077 之类的内容。

另一种解释可能是只有一个 worker 连接出于某种原因。或者，ma​​ster 出于某种原因只分配有限的资源给应用程序。您可以在主 UI 上检查这两项。 (http://spark-master.example.com:8080/)

最后，可能是你的数据被分割成太少的分区，它们都被一台机器拾取。在上面的例子中，100 是分区的数量。如果省略它，则默认为 2。如果您的工作人员有 2 个或更多核心，则其中一个很可能会同时占用两个分区。当您查看应用程序 UI 上执行的阶段时，您可以看到是否是这种情况。 (http://localhost:4040/stages) 解决办法是增加分区数。