Airflow 任务因 "Scheduler heartbeat got an exception"错误而被终止

Question

我有一个 dag，它运行 4 个任务，这些任务都是 bash 运算符(operator)。最近我转向了 Airflow 版本 1.10.2。我经常看到以下错误 -

ERROR - Scheduler heartbeat got an exception: (MySQLdb._exceptions.OperationalError) (1213, 'Deadlock found when trying to get lock; try restarting transaction') (Background on this error at: http://sqlalche.me/e/e3q8)

我使用 mysql 作为元数据的后端。我在我的 mysql 中检查变量 innodb_lock_wait_timeout 的值 -

mysql> show variables like 'innodb_lock_wait_timeout';
+--------------------------+-------+
| Variable_name            | Value |
+--------------------------+-------+
| innodb_lock_wait_timeout | 50    |

得到这个问题并不是很高。
有谁知道为什么会这样？

Answer 1

您的异常没有引用锁定超时，而是说发生了死锁； innodb_lock_wait_timeout如果 innodb_deadlock_detect，则不会为死锁查询变量已启用，默认情况下。
尝试设置 innodb_deadlock_detect=OFF在数据库配置中。