java - 错误 : Split metadata size exceeded 10000000

Question

当我尝试在 hadoop 上运行作业时，出现错误 The job initialization failed: java.io.IOException: Split metadata size exceeded 10000000.。

Internet 搜索指示将 mapred-site.xml 文件中的 mapreduce.job.split.metainfo.maxsize 选项更改为 -1 的服务。但您无法通过 Google 集群中的文件编辑此选项。

我还尝试使用 -Dmapreduce.job.split.metainfo.maxsize = -1 通过命令行设置选项，但无济于事。

我尝试使用以下方法在源代码中放置一个选项:

Configuration config = new Configuration ();
Config.set ("mapreduce.job.split.metainfo.maxsize", "-1");

但它仍然犯同样的错误。替代方案？

Answer 1

我遇到了同样的问题。两条评论:

我不确定 -Dmapreduce.job.split.metainfo.maxsize = -1 是否可以没有空格，但我不认为空格是允许的。

其次，看起来您正在将其设置在您的工作未使用的配置中。尝试使用您的作业正在使用的配置 --

job.getConfiguration.set("mapreduce.job.split.metainfo.maxsize", "-1");

这对我有用。祝你好运。