gpt4 book ai didi

hadoop - 修改oozie代码

转载 作者:可可西里 更新时间:2023-11-01 15:36:53 26 4
gpt4 key购买 nike

我想修改 Oozie 代码以在 Hadoop 中引入新的调度模式。我是 Oozie 的新手。我读到有一个名为 workflow.xml 的文件,其中包含要由 Hadoop 执行的操作。我想为工作引入一个新字段,比如 JOB_TYPE。例如,如果一个作业属于 TYPE_1,那么它应该被复制到所有的工作节点中。如果一个作业属于 TYPE_2,那么它应该只在一小部分节点中被复制。是否可以修改解析 workflow.xml 的 Oozie 解析器?请帮忙

最佳答案

Oozie可用于调度任务,但实际上并没有用于问题中指定的目的。 Oozie 并不知道 Hadoop 的集群结构。 Oozie 只是提供了一个执行打包任务的机会,它甚至可以用于重复性任务。 Oozie 只是将任务集传递给 Hadoop。 Hadoop 执行调度。

关于hadoop - 修改oozie代码,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23710601/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com