amazon-web-services - AWS 托管 Airflow 不获取日志

Question

我正在使用 AWS Managed Airflow 来编排数据管道。我现在面临的问题是日志没有打印在 Airflow 日志中，而不是在云 watch 上。

我在 Airflow 日志中收到以下错误:

*** Reading remote log from Cloudwatch log_group: airflow-Task log_stream: 2021-08-26T08_08_24+00_00/1.log.
Could not read remote logs from log_group: airflow-Task log_stream: 2021-08-26T08_08_24+00_00/1.log.

Answer 1

AWS 有针对此特定案例的故障排除指南。

*** Reading remote log from Cloudwatch log_group: airflow-{environmentName}-Task log_stream: {DAG_ID}/{TASK_ID}/{time}/{n}.log.Could not read remote logs from log_group: airflow-{environmentName}-Task log_stream: {DAG_ID}/{TASK_ID}/{time}/{n}.log.

https://docs.aws.amazon.com/mwaa/latest/userguide/t-cloudwatch-cloudtrail-logs.html#t-task-logs

我会检查以下内容:

1. 验证您是否在 INFO 级别为您的环境启用了任务日志。
2. 检查 MWAA 执行角色是否附加了 CloudWatch 读取访问策略。
3. 最终尝试将 apache-airflow[amazon] 提供程序添加到 MWAA 要求文件。