python - 如何从 azkaban 3.0 中的作业文件中获取作业名称

Question

我们在尝试安排工作时需要来自 Azkaban 的工作名称。是否有任何内置属性？我们从 ${azkaban.job.flowid} 获取流程名称。

例如:我的作业文件是:

type=command
command=python xyz.py ${azkaban.job.attempt} ${azkaban.job.flowid}

Answer 1

Azkaban 作业运行时属性存储在环境变量 JOB_PROP_FILE 引用的文件中。在您的 Python 程序中读取此文件并获取所需的属性。

import os
azkaban_job_prop_file = os.environ["JOB_PROP_FILE"]
with open(azkaban_job_prop_file,'r') as f:
        print f.readline()

我们可以从这些属性 azkaban.flow.nested.path 和 azkaban.job.metadata.file 中推断作业名称

azkaban.flow.nested.path -> 如果作业是嵌入式 DAG 的一部分，请使用它。