python - celery 执行期间出现 Airflow 错误

Question

我们在 Docker 实例中设置了带有rabbitmq、mysql db 和 celery 执行器的 Airflow 设置。通过运行命令触发第一个单独的步骤/操作符，如下所示。

airflow run wfm_model_training_client_1_queue_11 fetch_top_funnel_data  2016-03-03

但是，当我们通过如下回填命令触发整个 dag 时，我们在 celery 执行期间遇到以下错误。显然这是 celery 的错误，但是我如何提取更多日志来调试相同的错误。

回填命令

airflow backfill wfm_model_training_client_1_queue_11 -s 2016-03-03 -e 2016-03-03

回溯列中 celery_taskmeta 表中的 Celery 错误

Traceback (most recent call last):
  File "/usr/lib/python2.7/site-packages/celery/app/trace.py", line 367, in trace_task
    R = retval = fun(*args, **kwargs)
  File "/usr/lib/python2.7/site-packages/celery/app/trace.py", line 622, in __protected_call__
    return self.run(*args, **kwargs)
  File "/usr/lib/python2.7/site-packages/airflow/executors/celery_executor.py", line 59, in execute_command
    except subprocess.CalledProcessError as e:
AirflowException: Celery command failed

Answer 1

该错误是由于一些与pickle相关的问题造成的。我通过将 --donot_pickle 参数传递给回填命令绕过了这个问题。

已通过更新的命令解决

airflow run wfm_model_training_client_1_queue_11 fetch_top_funnel_data  2016-03-03 --donot_pickle