mesos - 使用 MesosExecutor 在 Airflow 上自定义任务资源

Question

使用 MesosExecutor 时，是否可以为 DAG 的每个算子指定资源(CPU、内存、GPU、磁盘空间)？

我知道您可以为任务的资源指定全局值。

例如，我有几个 CPU 昂贵的运算符，而其他运算符则不然。我想在第一个时间执行一个，但许多与非 CPU 昂贵的并行执行。

Answer 1

来自 code (mesos_executor.py 第 67 行)，这似乎是不可能的，因为 cpu 和内存值在初始化期间传递给调度程序:

    def __init__(self,
             task_queue,
             result_queue,
             task_cpu=1,
             task_mem=256):
    self.task_queue = task_queue
    self.result_queue = result_queue
    self.task_cpu = task_cpu
    self.task_mem = task_mem

还有那些 values are used未经修改:

cpus = task.resources.add()
            cpus.name = "cpus"
            cpus.type = mesos_pb2.Value.SCALAR
            cpus.scalar.value = self.task_cpu

            mem = task.resources.add()
            mem.name = "mem"
            mem.type = mesos_pb2.Value.SCALAR
            mem.scalar.value = self.task_mem

它需要一个自定义的 Executor 实现来实现