linux - 使用开源/免费软件的批处理作业依赖项

Question

我经营着一家大型数据仓库工厂，我们有很多夜间作业同时运行，但许多作业在开始前都依赖于提取或数据加载过程。目前我们使用“昂贵的调度系统”来调度这些。

有什么方法可以使用开源或免费的 unix/linux 工具(例如 cron)设置作业依赖性？

转向开源解决方案会很棒，可以为我们节省很多!

问候马特

Answer 1

Cfengine可以做这样的事情。您可以将其设置为 cron 的替代品，在预定的时间运行任意命令，并且您可以设置“类”以便仅在启用某些类时才执行某些操作。类可以是任何东西，从“这是一个 Linux 系统”到“它目前在下类后 5 到 10 分钟之间”到“系统负载高于值 x”到“我刚刚指定的这个任意 shell 命令返回 true”，所以你可以设置您的类以指示您的工作依赖性。

我怀疑这是否会像调度系统一样强大(必须通过配置类手动设置依赖关系，并发调度将需要额外的脚本或配置工作)，但它是免费和开源的。

Cfengine 的第 2 版使用起来并不是特别愉快(用 Seth Vidal 的话来说，“它的 [原文如此] 语法会害死小猫”)。我没有使用过 Cfengine 3。Puppet与 Cfengine 具有相似的设计目标，并且可能更易于使用。