Airflow:通过 UI 在 Airflow 中创建 DAG

Question

Airflow老手请帮忙，

我正在寻找 cron 替代品，并遇到了 apache Airflow。

我们有一个设置，多个用户应该能够创建自己的 DAG 并安排他们的作业。

我们的用户可能不知道如何编写 DAG python 文件。此外，他们可能无法访问运行 Airflow 的服务器。

是否可以通过 UI 创建 Airflow DAG。我找不到任何相同的引用。所有示例均涉及创建 python 文件并将其上传到 $AIRFLOW_HOME/dag/目录。用户将无权访问此目录。

例如，Rundeck 允许用户通过 UI 添加工作流程和任务依赖项。 Airflow 中有类似的插件/功能吗？

PS:我真的很喜欢 Airflow 显示依赖关系图的方式，并且想尝试一下。但如果创建 DAG 如此复杂，那么对于我的许多最终用户来说这将是一个主要问题。

Answer 1

我认为没有现成的解决方案。我会尝试结合您的任务:CWL(通用工作流语言)、Airflow、Rabix Composer

所以，CWL只是一个规范，您可以使用类似于 YAML 的语法来描述您的工作流程。

有一个包 pip3 install cwl-airflow 它可以将 CWL 解析为 Airflow DAG https://github.com/Barski-lab/cwl-airflow .

Rabix Composer UI/图形 CWL 编辑器。