gpt4 book ai didi

java - Spark Streaming 应用程序使用所有工作线程

转载 作者:行者123 更新时间:2023-11-30 07:26:59 25 4
gpt4 key购买 nike

我在一台机器上安装了 Apache Spark,有 3 个工作进程,每个工作进程有 2 个核心。

现在我有两个 Spark 流应用程序。第一个是用Java编写的,另一个是用Python编写的。

我需要运行这两个应用程序。

当我提交第一个应用程序时,它使用了所有工作人员。当我提交第二个应用程序时,它仍处于 WAITING 状态,因为没有可用的资源可以运行(据我所知)。

有没有办法为第一个应用程序只分配两个工作人员,以便为另一个应用程序留出空间?

最佳答案

您应该在用于创建 sparkContext 的 Spark 配置中设置以下配置属性。

spark.cores.max=<value>

为每个运行的 Spark 作业分配正确的核心数量。请记住,如果您使用基于消费者的流模型,则需要为您声明的每个消费者保留 1 个核心 + 用于 Spark 处理的附加核心。

关于java - Spark Streaming 应用程序使用所有工作线程,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36688582/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com