hadoop - Spark 作业可能有多种配置吗？

Question

假设我有PC，如下所示

1 2 3
4 5 6
7 8 9

现在假设我有两个Spark作业A和B。一个作业生成数据C，B将其作为输入。为了获得C，我需要拥有这样的集群

群组1:主机:1，从机:2 3

集群2:主设备:4，从设备:5 6

群组3:主站:7，从站:8 9

对于B职位，我需要具有以下集群:

群集4:主设备:4，从设备:1 7

如何设置这样的群集，其中同一台PC在不同时间可能属于不同的群集并可以成为主/从机？

同样最重要的是，即使可以进行这样的配置，那么对这种spark应用程序进行编码的最佳实践是什么，这样我们就不需要为作业A和B单独使用spark应用程序？

Answer 1

我将假设您在YARN / MapReduce2 + HDFS集群上运行您的spark作业。

要完成您所需的工作，不需要多个集群，可以使用Apache Oozie编写工作流来实现所需的业务流程级别(例如，在这种情况下，先运行A，然后使用A的输出运行B)。

在另一个类似的主题上，如果您担心每个作业消耗的资源，则可以在YARN中创建队列，然后将每个作业提交到不同的队列，这样做可以确保它们都获得所需的资源量，并且它们可以同时运行。

最后，如果您以--deploy-mode cluster和--master yarn提交这些作业，则不必担心主服务器和从服务器，因为spark driver和spark context将保持分布在集群中。