gpt4 book ai didi

java - 组织.apache.hadoop.mapreduce.counters.LimitExceededException : Too many counters: 121 max=120

转载 作者:可可西里 更新时间:2023-11-01 14:19:39 34 4
gpt4 key购买 nike

我正在运行一个 hadoop 作业(来自 oozie),它有几个计数器和多输出。

我收到如下错误:org.apache.hadoop.mapreduce.counters.LimitExceededException:计数器太多:121 max=120

然后我删除了所有具有计数器的代码,并将 mout.setCountersEnabled 设置为 false。并且还在 hadoop 配置中将最大计数器设置为 240。

现在我仍然得到同样的错误org.apache.hadoop.mapreduce.counters.LimitExceededException:计数器太多:241 max=240

我该如何解决这个问题?有没有可能存在任何隐藏的计数器?我怎样才能弄清楚在超过 240 之前有哪些计数器? (这个过程看起来像是在我可以打印任何东西之前就停止了?)

谢谢,新松

最佳答案

我用下面的方法解决了这个问题:vi $HADOOP_HOME/conf/mapred-site.xml

<property>
<name>mapreduce.job.counters.limit</name>
<!--<value>120</value>-->
<value>20000</value>
<description>Limit on the number of counters allowed per job. The default value is 200.</description>
</property>

关于java - 组织.apache.hadoop.mapreduce.counters.LimitExceededException : Too many counters: 121 max=120,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20899050/

34 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com