gpt4 book ai didi

Hadoop 安排作业按顺序运行(一项接一项)?

转载 作者:可可西里 更新时间:2023-11-01 16:57:07 24 4
gpt4 key购买 nike

假设我在我的 Hadoop 环境中受到资源限制,我不想安排真正长时间运行的作业(即需要几天才能完成)。我正在分析大量过去的时间序列数据。我想安排 mapreduce 作业一次处理一天的数据(处理需要一个小时)。

那么我该如何安排,以便在上一个作业完成后立即提交新作业?

最佳答案

如果您想要一种快速简单的方法,您可以编写一个 shell 脚本,为您要运行的每个作业依次调用 hadoop jar

如果您想要更稳健的方法,可以使用 Apache Oozie定义一个 workflow将按顺序运行您的作业的作业。如果您是 Hadoop 的新手,您可能会发现使用 Hue GUI 定义和运行 Oozie 工作流最简单。 .

关于Hadoop 安排作业按顺序运行(一项接一项)?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28586289/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com