hadoop - 在 map reduce 作业之间传递变量

Question

我无法理解如何将变量(输出)从 Job1 传递到 Job2。

假设我的 Job1 是 WordCount。 N=230 中的最终 reducer 输出。

我的第二份工作需要这些信息作为其逻辑。但我不希望它作为映射器输入。我希望输入与 Job1 相同。

我不喜欢使用 Counter，因为我读到它不是很可靠。

谢谢

Answer 1

您可以将 N 传递给第二个作业，将 N 添加到第二个作业配置对象。要将任何键/值添加到配置中，您可以使用提交作业的客户端的“设置”方法。然后，从映射器中，您可以使用“get”方法检索配置中 N 的值。查看“配置”文档，您会发现“获取”、“设置”和许多专门的方法，具体取决于您要添加的值的原始类型。