airflow - 获取 Airflow on_failure_callback 上下文的异常详细信息

Question

有没有办法获取 Airflow on_failure_callback的异常详细信息？

我注意到它不是上下文的一部分。我想创建一个通用的异常处理机制，将有关错误的信息发布到 Slack，包括有关异常的详细信息。我现在已成功触发/执行回调并发布到 Slack，但无法发布异常详细信息。

谢谢。

Answer 1

可以向 DAG 和/或单个任务提供 on_failure_callback。

在第一种情况(提供给 DAG)中，上下文中没有'异常(exception)'(参数 Airflow 调用您的 on_failure_callback 与)。

在第二种情况(提供给任务)中，有。

所包含的对象应该是 python Exception。从中获得诸如堆栈跟踪之类的东西是令人惊讶的不直观，但是从this answer我使用以下命令来获得相当可读的堆栈跟踪:

import traceback

...

exception = context.get('exception')
formatted_exception = ''.join(
   traceback.format_exception(etype=type(exception), 
     value=exception, tb=exception.__traceback__
   )
).strip()