gpt4 book ai didi

python-2.7 - 通过命令行为 hive_cli 添加到 Airflow 的连接失败

转载 作者:行者123 更新时间:2023-12-02 00:45:47 25 4
gpt4 key购买 nike

我正在运行 Apache Airflow 1.8 并尝试通过命令行界面为配置单元客户端包装器添加连接。但是尝试运行命令

airflow connections -a --conn_id HIVE_CONN2 --conn_uri hive_cli://hiveserver/default

命令行报告成功,但 Airflow UI 中的连接类型设置不正确,连接无法正常工作。

我认为错误与 uri 前缀(方案)中的 _ 有关。我已经确认用于拆分 uri 的 urlparse 函数不允许在 models.py 中使用下划线。

除了在 UI 中手动设置外,还有另一种方法可以将连接添加到 Airflow - 这是缺陷吗? Airflow 不应为连接类型使用下划线以避免此问题。

最佳答案

这已在 Airflow 1.9.0 中修复,为 connections 子命令添加了一些额外参数:

airflow connections -a --conn_id hive_cli_test --conn_type hive_cli --conn_host something/something
[2018-08-09 10:28:41,377] {__init__.py:51} INFO - Using executor SequentialExecutor

Successfully added `conn_id`=hive_cli_test : hive_cli://:@something/something:

关于python-2.7 - 通过命令行为 hive_cli 添加到 Airflow 的连接失败,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43999708/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com