airflow - 我可以通过向 Airflow 中的运算符添加更多 CPU 来提高处理速度吗？

Question

在 airflow.cfg有一个部分叫 [operators] ，其中 default_cpus被设置为 1和 default_ram和 default_disk都设置为 512 .

我想知道如果我增加这些参数是否会提高处理速度。

Answer 1

我查看了源代码，这些设置可供所有运算符(operator)使用，但它们从未被运算符(operator)或任何执行者使用过。

所以我稍微回顾一下历史并查看了 the commit that introduced those settings他们是，quoting the JIRA ticket导致那个公关:

optional resource requirements for use with resource managers such as yarn and mesos

然而，Mesos 执行器是一个社区贡献，它没有利用这个属性，只是 assigns the same amount of resources to every task ，并且 YARN 执行程序还没有 AFAIK(从 1.9 版开始)。

我曾经与 Airflow 团队讨论过是否有办法使用 Mesos 执行器按任务分配资源，他们回复了我 their strategy to assign resources to tasks using the Celery executor ，以防它对您了解如何管理资源有所帮助。

关于您在更一般意义上提出的核心问题，您可以从与分配的资源相关的任务中获得的吞吐量在很大程度上取决于任务本身:当然，这是一个非常计算密集型的任务如果您为它分配多个内核，可以利用多个处理器的任务将看到速度提升，而 I/O 密集型任务(例如在不同系统之间复制数据)可能不会看到太大的改进。