hadoop - hadoop FIFO调度是否不能使提交的作业并行运行？

Question

根据对FIFO模式和链接的理解，我已配置了4000张 map 的 map 容量，并为每个作业配置了500张 map
Running jobs parallely in hadoop
如果我提交了8个工作，那么这8个工作应该并行运行，对吗？但是，我仍然看到我提交的8个作业是按顺序运行的，这让我感到很奇怪。
另一种方法是尝试公平的调度程序，但是我还有其他一些运行中的错误...
如何使它并行运行？

我现在是唯一的用户。

问题:作业跟踪器Web UI对正在运行的总作业显示什么？

实际上我已经提交了80份工作，因此所有工作都已成功提交，因为我可以看到其中的80份
在“正在运行的作业”部分下，但它们只是按顺序运行

问题:您当前正在处理多少个输入文件？这与该工作的映射器数量有什么关系？

由于我为每个作业都通过mapred-site.xml设置map.task.num = 500配置了500张 map 。

以下是信息

尚待完成运行的已终止的失败/终止的任务尝试的已完成任务总数的百分比

map 1.40％500402402 7 0 0/0

减少0.00％1 1 0 0 0 0/0

问题:您可以将输入格式配置为仅运行500个映射，但是在某些情况下Hadoop会忽略此值:例如，如果您有500个以上的输入文件。

我确定这不会发生，因为我自定义了输入格式，因此要运行的映射器的数量恰好是我在mapred-site.xml中配置的映射器的数量。

问题:开始工作时，正在运行多少个文件，正在使用的输入格式是什么，以及是否对输入文件使用了文件压缩功能？

好的，我实际上只运行一个文件，但是此文件将完全加载到所有maptasks中，因此我实际上使用distrbutecache机制让每个maptask完全加载该文件。我目前没有使用压缩

问题:作业跟踪器对已配置的映射器和 reducer 插槽总数显示什么？这与您的预期值5000相符吗？

以下是信息

map 可减少TotalSubmissions节点 map task 容量可 reduce task 容量平均。任务/节点列入黑名单的节点

83 0 80 8 4000 80 510.00 0

Answer 1

无论您运行FairScheduler还是CapacityScheduler，您仍然应该能够并行运行作业，但是出于某些原因，您可能会看到作业按顺序运行:

您是集群的唯一使用者吗？如果没有，那么还有多少人在使用集群:

问题:作业跟踪器Web UI对正在运行的总作业显示什么？

如果确实是在特定时间在集群上运行的唯一作业，则检查Job Tracker Web UI中当前正在运行的作业-您当前正在处理多少个输入文件？这与该工作的映射器数量有什么关系？

您可以将输入格式配置为仅运行500个 map ，但是在某些情况下Hadoop会忽略此值:例如，如果您有500个以上的输入文件。

问题:开始工作时，正在运行多少个文件，正在使用的输入格式是什么，以及是否对输入文件

使用了文件压缩功能？

问题:作业跟踪器对已配置的映射器和化简器插槽总数显示什么？这与您的预期值5000相符吗？