gpt4 book ai didi

hadoop - AWS EMR - 作业计数器超出限制 120

转载 作者:可可西里 更新时间:2023-11-01 15:29:43 24 4
gpt4 key购买 nike

我有一个我继承的 hadoop 代码库,我正试图在 EMR 上运行它。但我遇到了工作柜台的问题。我收到一条错误消息,提示我超出了默认限制 120。我查看了我的代码,发现我有大约 40 个计数器,EMR 添加了另外 30 个内部计数器,但这应该仍在 120 个默认限制内。

我在 EMR AMI 2.4.2 版和 Amazon 1.0.3 hadoop 发行版上运行。

  • 有没有办法提高限制?我看到了More than 120 counters in hadoop .但我不确定如何在 EMR 上进行设置。
  • 有什么方法可以让我进行更多调试以弄清楚发生了什么?

最佳答案

您可以使用此配置提高计数器限制:

[
{
"Classification": "mapred-site",
"Properties": {
"mapreduce.job.counters.max:": "1024"
}
}
]

这是 Amazon's instructions关于如何向您的集群注册这些指令。 (我不会直接粘贴到这里,因为有很多方法可以做到这一点,具体取决于您如何创建和使用集群。)

关于hadoop - AWS EMR - 作业计数器超出限制 120,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36365311/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com