hadoop - 避免 "The number of tasks for this job 100325 exceeds the configured limit"错误

Question

我有一个每周在生产集群上运行的 Pig 脚本。在上次运行中我得到了以下错误

org.apache.pig.backend.executionengine.ExecException: ERROR 6017: Job failed! Error - Job   initialization failed:
java.io.IOException: The number of tasks for this job 100325 exceeds the configured limit 100000
    at org.apache.hadoop.mapred.JobInProgress.initTasks(JobInProgress.java:719)
    at org.apache.hadoop.mapred.JobTracker.initJob(JobTracker.java:4041)

我尝试在 Pig Properties 中将 mapred.jobtracker.maxtasks.per.job 设置为 100000，但没有成功。

关于如何限制我的工作以创建少于 100000 个映射器的想法？

谢谢

Answer 1

尝试摆弄拆分大小系统属性，通过将 mapred.min.split.size 设置为相当大的值，您最终应该使用更少的映射器。现在，如果您有 100325 个文件，则需要使用 CombineFileInputFormat。