airflow - Google Cloud Composer 服务器遇到临时错误，无法完成您的请求

Question

运行几天后，Google Cloud Composer Web UI 无限期地返回 502 服务器错误:

Error: Server Error
The server encountered a temporary error and could not complete your request.
Please try again in 30 seconds.

修复此问题的唯一方法是重新创建 Composer 环境。尽管运行几天后，新环境因相同的错误而崩溃。

Image version: composer-1.4.0-airflow-1.10.0
Python version: 3

有人知道根本原因是什么吗？

Answer 1

我不运行 Cloud Composer，但我怀疑存在 Web 服务器已从所有 Web 工作线程退出的情况。当 Airflow 读取或写入数据库的超时时间延长时，有时会发生这种情况；由于锁定或网络连接问题。它可能被配置为在完全退出时重新启动，但在某些情况下，即使所有 Web Worker 都已退出，airflow webserver 命令仍会保留而不退出。

或者，502 与为 GCP 实现的身份提供商有关。如果是这种情况，您可能会发现需要退出 Google 登录并使用 Airflow 提供的登录流程(如果它响应私有(private)浏览器 session 或退出 session )。