docker - Airbnb Airflow 使用所有系统资源

Question

我们已经使用 LocalExecutor 为我们的 ETL 设置了 Airbnb/Apache Airflow，并且随着我们开始构建更复杂的 DAG，我们注意到 Airflow 已经开始使用大量的系统资源。这让我们感到惊讶，因为我们主要使用 Airflow 来编排发生在其他服务器上的任务，因此 Airflow DAG 大部分时间都在等待它们完成——并没有在本地发生实际执行。

最大的问题是 Airflow 似乎总是用完 100% 的 CPU(在 AWS t2.medium 上)，并且使用默认的 airflow.cfg 设置使用超过 2GB 的内存。

如果相关，我们使用 docker-compose 运行 Airflow，运行容器两次；一次作为 scheduler 一次作为 webserver。

我们在这里做错了什么？这正常吗？

编辑:这是 htop 的输出，按使用的内存百分比排序(因为这似乎是现在的主要问题，我让 CPU 停机):

我想理论上我可以减少 gunicorn worker 的数量(默认为 4)，但我不确定所有 /usr/bin/dockerd 进程是什么。如果 Docker 让事情变得复杂，我可以删除它，但它使更改的部署非常容易，如果可能的话我宁愿不删除它。

Answer 1

我还尽我所能降低 CPU 使用率，而 Matthew Housley 关于 MIN_FILE_PROCESS_INTERVAL 的建议起到了作用。

至少在 Airflow 1.10 出现之前...然后 CPU 使用率再次飙升。

因此，为了让 Airflow 在具有 2gb 内存和 1 个 vcpu 的标准 digital ocean 液滴上正常工作，我必须做的所有事情:

1。调度程序文件处理

防止 Airflow 一直重新加载 dag 并设置: AIRFLOW__SCHEDULER__MIN_FILE_PROCESS_INTERVAL=60

2。修复 Airflow 1.10 调度程序错误

AIRFLOW-2895 Airflow 1.10 中的错误，导致 CPU 负载高，因为调度程序不停地循环。

它已经在 master 中修复，并有望包含在 Airflow 1.10.1 中，但它可能需要数周或数月才能发布。同时这个补丁解决了这个问题:

--- jobs.py.orig    2018-09-08 15:55:03.448834310 +0000
+++ jobs.py     2018-09-08 15:57:02.847751035 +0000
@@ -564,6 +564,7 @@

         self.num_runs = num_runs
         self.run_duration = run_duration
+        self._processor_poll_interval = 1.0

         self.do_pickle = do_pickle
         super(SchedulerJob, self).__init__(*args, **kwargs)
@@ -1724,6 +1725,8 @@
             loop_end_time = time.time()
             self.log.debug("Ran scheduling loop in %.2f seconds",
                            loop_end_time - loop_start_time)
+            self.log.debug("Sleeping for %.2f seconds", self._processor_poll_interval)
+            time.sleep(self._processor_poll_interval)

             # Exit early for a test mode
             if processor_manager.max_runs_reached():

使用 patch -d /usr/local/lib/python3.6/site-packages/airflow/ < af_1.10_high_cpu.patch; 应用它

3。 RBAC 网络服务器 CPU 负载高

如果您升级为使用新的 RBAC 网络服务器 UI，您可能还会注意到网络服务器持续使用大量 CPU。

由于某种原因，RBAC 接口(interface)在启动时会占用大量 CPU。如果您在低功率服务器上运行，这可能会导致网络服务器启动速度非常慢，并且 CPU 使用率会一直居高不下。

我已将此错误记录为 AIRFLOW-3037 .要解决它，您可以调整配置:

AIRFLOW__WEBSERVER__WORKERS=2 # 2 * NUM_CPU_CORES + 1
AIRFLOW__WEBSERVER__WORKER_REFRESH_INTERVAL=1800 # Restart workers every 30min instead of 30seconds
AIRFLOW__WEBSERVER__WEB_SERVER_WORKER_TIMEOUT=300 #Kill workers if they don't start within 5min instead of 2min

通过所有这些调整，在具有 1 个 vcpu 和 2gb 内存的 digital ocean 标准液滴上，我的 Airflow 在空闲时间仅使用了百分之几的 CPU。