hadoop - pig 忽略 maxReducers 并使用 mapred.reduce.tasks 代替

Question

我的 pig 脚本生成了大约 5 个 MR 作业。当它开始执行时，pig 打印:

 BytesPerReducer=1000000000 maxReducers=999

并继续创建一个只有一个 reducer 的 MR 作业:

 Neither PARALLEL nor default parallelism is set for this job. Setting number of reducers to 1

但是，对于从同一脚本生成的后续作业，它不会打印此行，并且在其中一个中创建 mapred.reduce.tasks reducers，在我的集群中是 4992 .

这是一个已知错误吗？或者我在这里遗漏了什么？

Answer 1

在你的 pig 脚本中使用它:

SET pig.exec.reducers.max 4000

Read this for more information.