api - Hadoop Mapreduce 配置(新 API)

Question

我只是想尝试一个教程 (https://ccp.cloudera.com/display/DOC/Hadoop+Tutorial) 程序 WordCount V.2(页面底部)，他们在其中使用以下方法设置为程序设置一些基本变量:

public void configure(JobConf job) {
...
}

但是我正在尝试使用新的 Hadoop API，但这种方法似乎不再存在了？谁能告诉我在新 API 中执行类似操作的等效方法是什么？

另外，如何在运行时访问我的配置？我只是调用:

Job.getConfiguration();

Answer 1

您可以覆盖Mapper/Reducer 中的setup 方法，这将表现得像configure。

签名如下所示:

 @Override
 protected void setup(Context context) throws IOException,
       InterruptedException {

那里有一个 Context 对象，您可以在其中调用:

Configuration conf = context.getConfiguration();

map 和 cleanup 都有这些上下文对象，因此您可以随时获取您的Configuration。