python - Airflow 1.10 : Wrong logfile path

Question

升级到 Airflow 1.10 后，我无法再通过网络服务器读取日志。但是 Airflow 正确生成日志并将其保存到磁盘。

从任务实例详细信息中我可以看到列出的 log_filepath 是错误的。根据任务实例详细信息，log_filepath 例如:/home/ubuntu/airflow/logs/frontend_pricedata/recommendations/2018-09-11T15:10:47.296212+00:00.log 但正确的文件路径是 /home/ubuntu/airflow/logs/frontend_pricedata/recommendations/2018-09-11T15:10:47/1.log

有办法修改log_filepath吗？在配置中我只能找到:log_filename_template = {{ ti.dag_id }}/{{ ti.task_id }}/{{execution_date.strftime("%%Y-%%m-%%dT%%H:%%M") }}/{{ try_number }}.log 这似乎是正确的。

Answer 1

是的，有一种方法可以修改 log_filepath，配置键是 base_log_folder。但您的文件路径是正确的，请检查配置文件并将 task_log_reader 设置为 task。在 Airflow 1.9 中，该值为 file.task。

例如:

# Log format
log_format = [%%(asctime)s] {%%(filename)s:%%(lineno)d} %%(levelname)s - %%(message)s
simple_log_format = %%(asctime)s %%(levelname)s - %%(message)s
log_filename_template = {{ ti.dag_id }}/{{ ti.task_id }}/{{ ts }}/{{ try_number }}.log
log_processor_filename_template = {{ filename }}.log
task_log_reader = task

有一个Pull Request验证配置。

更多详情Airflow Writing Logs