java - 我可以通过 hadoop 中的代码明确地提前完成 map task 吗？

Question

在某些情况下，我不需要遍历 map task 中的每条输入记录。例如，我只发出最多 200 条满足每个映射器中特定条件的记录，然后它就可以退出。

我可以在 hadoop 中执行此操作吗？ api文档中还没有找到相关的方法。

Answer 1

您可能可以通过覆盖 Mapper 中的 run 方法来实现此目的.

run 方法目前看起来像:

public void run(Context context) throws IOException, InterruptedException {
    setup(context);
    try {
        while (context.nextKeyValue()) {
            map(context.getCurrentKey(), context.getCurrentValue(), context);
        }
    } finally {
        cleanup(context);
    }
}

这就是调用标准 map() 方法的方式。您可以在其中添加一个计数器，并在它达到 200 时跳出 while 循环。