hadoop - 超过 JobConf 大小

Question

我有一个使用大量输入路径的 map reduce 作业。因此，我在开始工作时遇到了这个异常:

超过最大 jobconf 大小:6154861 限制:5242880

我意识到最大 jobconf 大小由系统属性控制:

mapred.user.jobconf.limit 默认为 5 MB。

除了增加此限制之外，还有其他方法可以规避此问题吗？

Answer 1

除非您准备好更改源本身，否则我不这么认为。根据 JobTracker 的来源，如果用户未明确指定，这是允许的最大值。

/** the maximum allowed size of the jobconf **/
long MAX_JOBCONF_SIZE = 5*1024*1024L;

/** the config key for max user jobconf size **/
public static final String MAX_USER_JOBCONF_SIZE_KEY = "mapred.user.jobconf.limit";

如果您未通过 mapred.user.jobconf.limit 指定任何值，则将使用 5*1024*1024L :

MAX_JOBCONF_SIZE = conf.getLong(MAX_USER_JOBCONF_SIZE_KEY, MAX_JOBCONF_SIZE);