hadoop - Mapreduce 配置 : mapreduce. job.split.metainfo.maxsize

Question

我想了解属性 mapreduce.job.split.metainfo.maxsize 及其效果。描述说:

The maximum permissible size of the split metainfo file. The JobTracker won't attempt to read split metainfo files bigger than the configured value. No limits if set to -1.

“拆分元信息文件”包含什么？我读过它将存储有关输入拆分的元信息。输入拆分是对 block 的逻辑包装以创建完整记录，对吗？拆分元信息是否包含可能在多个 block 中可用的实际记录的 block 地址？

Answer 1

当 hadoop 作业被提交时，整个输入文件集被分割成“splits”，并将它们与元数据一起存储到每个节点。从那时起，但是拆分元数据的数量有一个限制——属性“mapreduce.jobtracker.split.metainfo.maxsize”决定了这个限制，它的默认值为1000万。您可以通过增加此值来绕过此限制，或者通过将其值设置为 -1 来解除限制