python - 使用 IDE 工具调试 Airflow 任务？

Question

我的 Airflow DAG 主要由 PythonOperators 组成，我想使用我的 Python IDE 调试工具来开发 Python“内部”​​ Airflow 。 - 我依赖 Airflow 的数据库连接器，我认为将其“移出”用于开发的 Airflow 会很丑陋。

我一直在使用 Airflow，到目前为止只通过 CLI 实现了开发和调试。这开始变得令人厌烦。

有谁知道设置 PyCharm 或其他 IDE 的好方法，它使我能够在运行 airflow test .. 时使用 IDE 的调试工具集？

Answer 1

参加聚会可能有点晚，但也一直在寻找解决方案。希望能够尽可能接近“生产模式”调试代码(所以没有测试等)。
找到了“Python Debug Server”形式的解决方案。
它以相反的方式工作:您的 IDE 会监听并建立从远程脚本到编辑器的连接。
只需添加一个类型为“Python Debug Server”的新运行配置。
你会看到一个屏幕，告诉你远程 pip install pydevd-pycharm。在同一页面上，您可以填写本地 IP 和调试器应该可用的端口以及可选的路径映射。
之后，只需将建议的 2 行代码添加到您希望调试 session 开始的位置。
运行配置以激活监听器，如果一切顺利，您的编辑器应该会在到达 settrace -call 的位置后立即中断。

编辑/注意:如果您在编辑器中停止配置， Airflow 将继续执行 任务，请务必意识到这一点。