gpt4 book ai didi

hadoop - 工作流工具比较 : Oozie Vs Cascading

转载 作者:可可西里 更新时间:2023-11-01 14:15:00 25 4
gpt4 key购买 nike

我正在寻找一种工作流工具来运行复杂的 map-reduce 作业。我想到了 Oozie,但也想探索 Cascading。是否有使用级联 API 链接现有 M/R 作业的示例代码或示例?另外,您能否提供 Oozie 与 Cascading 的比较?

最佳答案

Cascading 和 Oozie 不属于同一范畴。

Oozie 是一个工作流调度器。

Cascading 是一种用于创建工作流的 API。它与调度程序无关,即它应该与您使用的任何调度程序系统一起运行。

可能存在一些混淆,因为 Oozie 文档提到了“DAG”,并且两者都运行在 Hadoop 之上。

此外,Cascading 在检查点支持中有一个“数据可用性”的概念,Oozie 也支持它,尽管有所不同。

关于hadoop - 工作流工具比较 : Oozie Vs Cascading,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11317083/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com