airflow - 如何修复 Airflow DAG 日志中的 "Failed to fetch log file from worker. Unsupported URL protocol"错误？

Question

我正在通过 docker 通过此图像运行 Airflow apache/airflow:2.1.0请引用这个thread对于我面临的最初错误。
目前我可以运行我以前的现有 DAG。
但是，当我添加较新的 DAGS 时，日志文件中出现以下错误。
我很确定这不是内存或计算的问题。

*** Log file does not exist: /opt/airflow/logs/my-task/my-task/2021-06-15T14:11:33.254428+00:00/1.log
*** Fetching from: http://:8793/log/my-task/my-task/2021-06-15T14:11:33.254428+00:00/1.log
*** Failed to fetch log file from worker. Unsupported URL protocol ''

我已经尝试过的事情:

重新启动我的容器

docker prune然后 build

从前端删除 DAG

Answer 1

我没有解决方案，但我有一个线索。
显然，这个问题是一个错误，如果任务甚至没有运行，它就会阻止 Airflow 存储日志，正如你已经知道的。
因此，不是语法错误的东西会导致错误。就我而言，我 80% 确定是 Airflow 没有选择正确的路径到我的 config 和 utils 文件夹，因此，任务做的第一件事是尝试使用存储在该文件夹中的功能和凭据，但无法使用在能够存储一些日志之前崩溃。也许我可以在 yaml 文件上做一些事情。
顺便说一句，昨天我在多个平台上看到了你的问题，但没有任何答案，我想告诉你，我的灵魂与你在这场使上帝遗弃的 Airflow DAG 工作的十字军东征中产生了共鸣。我感觉到你了，兄弟。