java - 仅限 map 的工作 - 订单

Question

我有一个 csv 文件。假设它有 2 个拆分，即一个 block 将由第一个 map() 任务处理，另一个由第二个 map() 任务处理。

在给定的 csv 中，我将“0”替换为 false，将“1”替换为 true。所以我将为此编写一个仅限 map 的工作。作业完成后，我会得到与结果相同的输入文件顺序吗？因为 shuffle 和 sort 是在 Map 作业之后完成的。

有什么方法可以使输入文件的顺序与结果相同？

Answer 1

您可以执行 job.setNumReduceTasks(0);。这样，shuffle 和sort 就不会发生。

但是，输出文件的数量与映射任务的数量相同(在本例中为 2 个)。如果你连接它们，你会得到你想要的。这可能无关紧要，因为在大多数情况下，Hadoop 允许您在需要文件的地方提供文件夹。