gpt4 book ai didi

hadoop - 如何调整 Hadoop 集群以同时执行多个任务?

转载 作者:可可西里 更新时间:2023-11-01 16:37:40 27 4
gpt4 key购买 nike

我有 3 个以上的 Hadoop 批处理(包括 SQOOP、HIVE、PIG 作业)并且这些批处理是按顺序安排的。在执行这些批处理作业时,如果有任何先前的作业正在运行,作业就会卡在 ACCEPTED 状态。

如何增加有助于同时运行作业的插槽/容器的数量。

最佳答案

你可以

  1. 安装更多节点管理器
  2. 限制 YARN 容器的最大尺寸
  3. 使用different schedulers (and use queues)

关于hadoop - 如何调整 Hadoop 集群以同时执行多个任务?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48683236/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com