hadoop - AWS EMR - 作业计数器超出限制 120

Question

我有一个我继承的 hadoop 代码库，我正试图在 EMR 上运行它。但我遇到了工作柜台的问题。我收到一条错误消息，提示我超出了默认限制 120。我查看了我的代码，发现我有大约 40 个计数器，EMR 添加了另外 30 个内部计数器，但这应该仍在 120 个默认限制内。

我在 EMR AMI 2.4.2 版和 Amazon 1.0.3 hadoop 发行版上运行。

• 有没有办法提高限制？我看到了More than 120 counters in hadoop .但我不确定如何在 EMR 上进行设置。
• 有什么方法可以让我进行更多调试以弄清楚发生了什么？

Answer 1

您可以使用此配置提高计数器限制:

[
  {
    "Classification": "mapred-site",
    "Properties": {
      "mapreduce.job.counters.max:": "1024"
    }
  }
]

这是 Amazon's instructions关于如何向您的集群注册这些指令。 (我不会直接粘贴到这里，因为有很多方法可以做到这一点，具体取决于您如何创建和使用集群。)