google-kubernetes-engine - GCP Composer Airflow 任务卡住或卡住

Question

我正在 Google Composer Airflow 上设置一些 ETL 管道，部署在 3 节点 GKE 上。来自 GCP 的 Airflow Compose 的最低要求!

版本:1.10.1- Composer

GCP 镜像版本:composer-1.6.0-airflow-1.10.1

我通常会登录到 Airflow 机器并尝试通过 Ipython 进行调试，但这在 GKE 设置上很难做到。我似乎无法通过 ssh 进入正确的位置来运行交互式测试进行调试。

Python 运算符:使用标准 GSheetHook

def pull_sheet(execution_date=None):
    hook = GSheetHook()
    sheet_data = hook.get_values_df('SHEET_ID_XXXXX',
                                    'EXAMPLEXXXXX!A1:J4305', shape_column=None)
    return print(sheet_data)

Airflow 日志中的 STALE 状态。任务已放置一天(24 小时)，没有超时错误或根本没有任何错误，从未标记为重试。下面的代码片段和调度程序日志的屏幕截图是我掌握的有关正在运行的任务的唯一信息。从调度程序日志来看，任务似乎在不确认任何状态更改的情况下继续运行... Airflow Logs

[2019-10-21 13:15:07,431] {models.py:1361} INFO - Dependencies all met for <TaskInstance: gsheet_test.pull_gsheet 2019-10-20T02:00:00+00:00 [queued]>
[2019-10-21 13:15:07,441] {models.py:1361} INFO - Dependencies all met for <TaskInstance: gsheet_test.pull_gsheet 2019-10-20T02:00:00+00:00 [queued]>
[2019-10-21 13:15:07,442] {models.py:1573} INFO -
-------------------------------------------------------------------------------
Starting attempt 1 of 
-------------------------------------------------------------------------------

[2019-10-21 13:15:07,490] {models.py:1595} INFO - Executing <Task(PythonOperator): pull_gsheet> on 2019-10-20T02:00:00+00:00
[2019-10-21 13:15:07,491] {base_task_runner.py:118} INFO - Running: ['bash', '-c', 'airflow run gsheet_test pull_gsheet 2019-10-20T02:00:00+00:00 --job_id 70970 --raw -sd DAGS_FOLDER/gsheet_test.py --cfg_path /tmp/tmp3xukhrnx']

感谢任何帮助!!

Answer 1

我也遇到过这个问题。我所做的是，在 DAG 参数中设置 retries= 1 or 2，并提供任务超时。

execution_timeout=timedelta(hours=1)

1 小时后，如果任务仍处于运行状态，它将被标记为失败并等待重试。