gpt4 book ai didi

hadoop 作业与 pyspark 和 oozie 陷入僵局

转载 作者:可可西里 更新时间:2023-11-01 14:48:20 25 4
gpt4 key购买 nike

我正在尝试使用 oozie 在 yarn 上运行 pyspark,提交工作流后,hadoop 作业队列中有 2 个作业,一个是 oozie 作业,其应用程序类型为“map reduce”,另一个作业被触发通过前一个,应用程序类型为“Spark”,当第一个作业正在运行时,第二个作业仍处于“已接受”状态。问题来了,而第一个作业正在等待第二个作业完成继续,第二个是等待第一个完成运行,我可能陷入死锁,我怎么能摆脱这个麻烦,应用程序类型为“mapreduce”的hadoop作业是否与不同应用程序的其他作业并行运行类型?

here is the screenshot of hadoop jobs

感谢任何建议,谢谢!

最佳答案

请将属性值检查到 Yarn 调度程序配置中。我想您需要将其增加到 .9 左右。

属性:yarn.scheduler.capacity.maximum-am-resource-percent

您需要在更新属性后启动 Yarn、MapReduce 和 Oozie。

More info: Setting Application Limits .

关于hadoop 作业与 pyspark 和 oozie 陷入僵局,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43849444/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com