airflow - 有没有办法查看所有 Airflow worker 的列表？

Question

Airflow 的新手，如果这个问题没有意义，请道歉。网络服务器 UI 中是否有命令或位置可以查看所有正在运行的工作人员的列表？此外，如果 Celery 工作节点未显式以 airflow worker 启动，是否有使用网络服务器或调度程序初始化的“默认”工作人员？

Answer 1

重新保护您问题的这一部分:

Also, if a Celery worker node is not explicitly started with airflow worker, are there "default" workers that are initialized with either the webserver or scheduler?

看看 docs on executors .
使用 celery 需要一些配置更改。如果你还没有配置 Airflow 来使用 celery，那么即使你启动了一个 celery worker，这个 worker 也不会接任何任务。
相反，如果您已将 Airflow 配置为使用 celery，并且您还没有启动任何 celery worker，那么您的集群将不会执行单个任务。
如果您使用 SequentialExecutor(默认)或 LocalExecutor(需要配置)，使用这两个执行器，任务由调度程序执行，并且不使用 celery 工作器(如果您旋转一些，那么它们将不会执行任何任务)。
关于这一点:

Is there a way to view a list of all airflow workers?

如果您有 configured airflow to use celery ，那你就可以跑花看看 celery worker 的监控了。在 Airflow >= 2.0.0 中，花被推出 airflow celery flower .