elasticsearch - Airflow - 如何将任务日志发送到 Elasticsearch ？

Question

我应该如何配置任务日志或将任务日志从 airflow 1.9 发送到 Elastic search？我在当前的 git 存储库中找到了配置模板，但不确定是否可以在 v 1.9 中完成

Answer 1

据我了解您的问题，您是在询问是否可以简单地配置 Airflow 以将其日志直接发送到 Elastic。

引用

这 - 至少对于 v.1.9.0 - 不是微不足道的配置问题。即使它在配置文件中说你可以将数据写入 Elastic 我也找不到

1) 一种建立正确的 ElasticSearch 连接的方法

2) Airflow 存储库中使用这些设置将日志推送到 Web 界面或 ElasticSearch 的任何代码

在我看来，这将是 future 的新功能，供引用:https://issues.apache.org/jira/browse/AIRFLOW-1454

结论

因此，当前执行此操作的标准方法是将 Airflow 日志记录到特定文件夹，通常在 airflow.cfg 中这样设置:

base_log_folder = {AIRFLOW_HOME}/logs

然后使用典型的设置，例如FileBeat 根据您的设置将这些日志直接发送到 Elastic 或 Logstash。