https - 用于 HTTPS 的 Airflow SimpleHttpOperator

Question

我正在尝试使用 SimpleHttpOperator 来使用 RESTful API。但是，顾名思义，它只支持我需要使用 HTTPS URI 的 HTTP 协议(protocol)。所以，现在，我必须使用 Python 中的“请求”对象或从应用程序代码中处理调用。但是，这可能不是标准的方式。因此，我正在寻找可用于从 Airflow 中使用 HTTPS URI 的任何其他选项。谢谢。

Answer 1

尝试使用环境变量设置连接时，我遇到了与 HTTP/HTTPS 相同的问题(尽管当我在 UI 上设置连接时它可以工作)。

我已经检查了问题 @melchoir55 打开( https://issues.apache.org/jira/browse/AIRFLOW-2910 )并且您不需要为此制作自定义运算符，问题不在于HttpHook或HttpOperator无法使用HTTPS，问题在于get_hook在处理HTTP时解析连接字符串的方式，它实际上明白第一部分(http://或https://)是连接类型。

总之，您不需要自定义运算符，您只需在 env 中设置连接，如下所示:
AIRFLOW_CONN_HTTP_EXAMPLE=http://https%3a%2f%2fexample.com/
代替:
AIRFLOW_CONN_HTTP_EXAMPLE=https://example.com/
或者在 UI 上设置连接。

这不是建立连接的直观方法，但我认为他们正在研究一种更好的方法来解析 Ariflow 2.0 的连接。