Airflow 1.9 升级到 1.10，现在我在 UI 中看到空日志

Question

我最近从 Airflow 1.9 升级到 1.10 并执行了以下命令:

• Airflow 升级b
• 更改了我提到的所有 celery 配置名称 here
• 导出 SLUGIFY_USES_TEXT_UNIDECODE=yes
• 添加:log_filename_template = {{ ti.dag_id }}/{{ ti.task_id }}/{{execution_date.strftime("%%Y-%%m-%%dT%%H:%%M:% %S") }}/{{ try_number }}.log 到我的配置

作业似乎运行良好，但当我单击时，日志不会出现在 DAG 任务节点中。

我打开了网络选项卡，对以下网址的请求正在返回此 JSON

$AIRFLOW_URL/ariflow/get_logs_with_metadata?dag_id=xxxx&task_id=xxxxx&execution_date=2018-09-09T23%3A03%3A10.585986%2B00%3A00&try_number=1&metadata=null

{"error":true,"message":["Task log handler file.task does not support read logs.\n'NoneType' object has no attribute 'read'\n"],"metadata":{"end_of_log":true}}

此外还有一个获取 js/form-1.0.0.js 的 404 请求。关于重新处理日志的额外步骤有什么建议吗？

我可以确认 Airflow 服务器上的任务日志显示在日志目录中。

Answer 1

使用https://github.com/apache/incubator-airflow/blob/master/airflow/config_templates/default_airflow.cfg

我以前有过

task_log_reader = file.task

并将其更改为:

task_log_reader = task

我还补充道:

log_filename_template = {{ ti.dag_id }}}}/{{ ti.task_id }}/{{ ts }}}}/{{ try_number }}.log
log_processor_filename_template = {{ filename }}.log