hadoop - addMapper 函数之间的区别

Question

有什么区别

 ChainMapper.addMapper(conf, UpperCaserMapper.class, Text.class, IntWritable.class, Text.class, IntWritable.class, true, mapBConf);

和

ChainReducer.addMapper(conf, LastMapper.class, Text.class, IntWritable.class, Text.class, IntWritable.class, true, mapCConf);

何时使用。

我也无法理解第 7 个参数的含义。第 7 个参数 --> 指示键/值是否应按值传递给链中的下一个映射器(如果有)。我知道必须传递键/值，如果它设置为 true。将值设置为 false 的用例可能是什么。这是什么意思？

Answer 1

ChainMapper.addMapper 和 ChainReducer.addMapper 之间没有这样的区别。两者彼此类似，因为它们向链中添加了一个新的映射器。

存在的非常小的区别是:如果你想在 Map 之后添加一个 Mapper，你可以使用 ChainMapper.addMapper如果你想在 Reducer 之后添加一个 Mapper，你可以使用 ChainReducer.addMapper

因此，作业可以按顺序运行多个映射器以进行预处理，并且在运行 reducer 之后，它可以选择运行映射器来对数据进行后处理。因此，使用这种机制，您可以将预处理和后处理步骤编写为标准映射器。

这表示为 Map+(多个映射器)- Reduce - Map*(可选)。