airflow - 使用 PyPi 包更新 "successfully"后，Cloud Composer Airflow 网络服务器 502 服务器错误

Question

我在使用 PyPi 包更新 Cloud Composer 后不久收到此错误 - 在下面列出的 4 种配置中一致出现

添加到 Cloud Composer 的 python 包

forex_python>=1.5.0

数据实验室>=1.1.5

Airflow 网络服务器错误

502 服务器错误

错误:服务器错误

服务器遇到临时错误，无法完成您的请求。请在 30 秒后重试。

一段时间内的 GCP 状态 status.cloud.google.com - 没有任何问题:

谷歌云 Composer

谷歌 Kubernetes 引擎

发现的 StackDriver 错误示例

严重性:“错误” textPayload:“ worker :暖关闭(MainProcess)

严重性:“错误”textPayload:“信息:googleapiclient.discovery:正在请求的 URL:POST https://pubsub.googleapis.com/v1/projects/FAKE_PROJECT/topics/europe-west2-FAKE_INSTANCE-composer-agent-to-backend-topic-FAKE_TOPIC:publish?alt=json

severity: "ERROR"textPayload: "正在获取集群端点和授权数据。

严重性:“错误”textPayload:“为 europe-west2-FAKE_INSTANCE-gke 生成的 kubeconfig 条目。

severity: "ERROR"textPayload: "/usr/local/lib/airflow/airflow/configuration.py:569: DeprecationWarning: 在配置文件中同时指定 AIRFLOW_HOME 环境变量和 airflow_home 已弃用。请仅使用 AIRFLOW_HOME 环境变量并删除配置文件条目。

初始问题

环境 1) 通过 Cloud Composer GUI 创建

-created composer env X1 与下面 2) 相同的规范

-添加了上面列出的 2 个 python 包

-DAGS 添加并一直工作到 2019 年 12 月 6 日

-2019 年 12 月 6 日左右 Airflow 网络服务器错误 -> 结果是环境不可用

进一步测试

创建步骤

环境 2)

gcloud beta composer environments create ${COMPOSER_NAME} \
    --location=${COMPOSER_LOCATION} \
    --image-version=composer-1.8.2-airflow-1.10.3 \
    --disk-size=100GB \
    --python-version=3 \
    --node-count=3

环境 3)

gcloud composer environments create ${COMPOSER_NAME} \
    --location=${COMPOSER_LOCATION} \
    --image-version=composer-1.8.1-airflow-1.10.3 \
    --disk-size=100GB \
    --python-version=3 \
    --node-count=3

Env 4) 手动创建的 composer env X2 与 2) 相同的配置

根据 gcloud CLI 和 Cloud Composer GUI 所有成功

PY 包步骤

使用...更新 2) 和 3)

gcloud composer environments update ${COMPOSER_NAME} \
    --location ${COMPOSER_LOCATION} \
    --update-pypi-packages-from-file=PyPi_req.txt

更新 4) 使用 Cloud Composer GUI

根据 gcloud CLI 和 Cloud Composer GUI 所有成功

但全部都有 Airflow 网络服务器错误 -> 结果是环境不可用

有没有人观察并解决了这个问题？

Answer 1

很高兴听到问题已解决，只是为了赞美您之前的评论:

重要的是要注意 Airflow 网络服务器是一个附加组件。即使当它宕机时，如果 Composer 环境没有其他问题，Airflow 仍然可以正常运行。基于此，如果您的 Airflow 网络服务器受到影响，您可以使用 Airflow CLI (通过 gcloud)。

我也建议你看看这个 documentation您可以在其中找到有关如何管理此类问题以及可能引发此类问题的原因的有用文档。

关于更新您的 Composer 环境所需时间的问题，请注意 Composer 需要创建大量资源，我建议您查看 architecture of the Composer environment您会在其中找到所有需要更新的组件，每个组件都会发生变化。