hadoop - 如何使用 BMC Control-M 安排 hadoop 作业？

Question

有人知道如何使用 BMC Control-M 软件控制/调度 Hadoop 作业吗？有可能吗？

我已经尝试过 Ooozie，并希望探索更多用于安排 hadoop 作业的选项。

请指教!

Answer 1

答案是肯定的。

这个答案会变得更好。

如今，您可以使用各种 Hadoop 组件提供的丰富命令行界面。然后，您可以将这些 CLI 作为命令单独运行，或者将它们组合成直接嵌入到 Control-M 作业中的脚本，或者封装在 shell 脚本(Bash 是一种流行的脚本)中并使用 Control-M 进行调度。我提供了一个示例脚本，该脚本执行一些 HDFS 操作，然后运行 ​​MapReduce 作业。

更好的部分将在几个月后发布，届时我们将发布对 Hadoop 的集成支持。到那时(我假设您熟悉 BMC Control-M)我们将提供类似于我们其他 CM 的图形形式，用于定义各种作业类型(Pig、Hive、MapReduce 都在考虑范围内，但我不确定是什么将实际实现)，集成支持状态监控、作业输出检索等。

我们已经听到许多客户使用 Control-M 来管理他们的 Hadoop 环境。

除了运行 Hadoop 作业的“机制”之外，您还可以获得 Control-M 的管理图形流的功能、与广泛的平台和应用程序的集成、管理服务级别的能力、预测、审计、报告和更多。

我很乐意与您进一步讨论这个问题，特别是因为我们仍处于这项工作的早期阶段，我们很想了解您在这方面的要求。请发送邮件至 joe_goldberg@bmc.com，我很乐意安排电话 session 或演示。

#!/bin/csh
#
cd /h/gron/java/hadoop/hadoop-1.0.3
bin/hadoop dfs -rmr  output_$UUID 'dfs[a-z.]+'
bin/hadoop  jar  hadoop-examples-1.0.3.jar  grep input output_$UUID 'dfs[a-z.]+'