hadoop - RecordReader 在 Hadoop 中的工作

Question

谁能解释一下 RecordReader 的实际工作原理？ nextkeyvalue()、getCurrentkey() 和 getprogress() 方法在程序开始执行后如何工作？

Answer 1

(新 API):默认的 Mapper 类有一个运行方法，如下所示:

public void run(Context context) throws IOException, InterruptedException {
    setup(context);
    while (context.nextKeyValue()) {
        map(context.getCurrentKey(), context.getCurrentValue(), context);
    }
    cleanup(context);
}

Context.nextKeyValue()、Context.getCurrentKey() 和 Context.getCurrentValue() 方法是 的包装器RecordReader 方法。请参阅源文件 src/mapred/org/apache/hadoop/mapreduce/MapContext.java。

所以这个循环执行并调用您的 Mapper 实现的 map(K, V, Context) 方法。

具体来说，您还想知道什么？