gpt4 book ai didi

variables - 将reducers输出目录路径保存到Hadoop中的变量

转载 作者:行者123 更新时间:2023-12-02 21:58:14 26 4
gpt4 key购买 nike

如何将Hadoop Reducer的输出路径保存到变量?

此变量将由所有其他MR作业使用。

这些作业将是连续的。

所有顺序的MR作业都会将其相应的输出写入该输出目录。

我需要对其路径变量进行相应的更新。

最佳答案

看看“Oozie”。这是一个Hadoop工作流引擎,仅支持您描述的内容。多个作业可以将其“输入”作为上一个作业的“输出”。

还有其他解决方案,例如“层叠” API。

http://www.concurrentinc.com/products/
http://yahoo.github.com/oozie/releases/2.0.0/#Quick_Start

关于variables - 将reducers输出目录路径保存到Hadoop中的变量,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/6173807/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com