hadoop - 当输入文件小于 map 节点时，hadoop 调度程序如何工作

Question

在我的情况下，我需要知道我是否在 Jobcontrol 中有 2 个作业然后我有 200 个 map 节点我的 block 大小是 64 MB 所以完整处理数据应该是 (64*200 = 12.8GB) 但第一个作业大小是 10 GB 如果 map 节点有空槽，hadoop 会怎么做？ Hadoop 将处理队列中的第二个作业或等待直到第一个作业映射减少完成并处理第二个作业或其他方式请建议

Answer 1

如果您正在使用 Hadoop 的 FIFO 调度程序并以同一用户身份运行 2 个作业，则只有在运行第一个作业时有足够的可用 Map/Reduce 插槽可用时，第二个作业才会开始运行。即使有，调度程序也会优先考虑第一个作业而不是第二个作业。因此，Hadoop 将等待第一个作业完成，然后再安排第二个作业。

通常不建议文件小于输入分割大小，因为与单个大文件相比，namenode 必须管理更多的文件 inode。