amazon-web-services - AWS Airflow v2.0.2 不显示 Google Cloud 连接类型

Question

我想将数据从 Google 存储加载到 S3

为此，我想使用 GoogleCloudStorageToS3Operator，它需要 gcp_conn_id

所以，我需要设置 Google Cloud 连接类型

为此，我添加了

apache-airflow[google]==2.0.2

到requirements.txt

但是 Google Cloud 连接类型仍然不在 MWAA 的连接下拉列表中

同样的方法对 mwaa local runner 很有效

https://github.com/aws/aws-mwaa-local-runner

由于此处讨论的安全原因，我猜它在 MWAA 中不起作用 https://lists.apache.org/thread.html/r67dca5845c48cec4c0b3c34c3584f7c759a0b010172b94d75b3188a3%40%3Cdev.airflow.apache.org%3E

但是，是否有任何解决方法可以在 MWAA 中添加 Google Cloud 连接类型？

Answer 1

可以使用 UI 或环境变量创建和管理连接。

据我了解，MWAA 对某些提供程序包的过度安装的限制仅在 Web 服务器计算机上，这就是连接未在 UI 上列出的原因。这并不意味着您根本无法创建连接，只是意味着您无法从 UI 中创建连接。

你可以从CLI定义它:

airflow connections add [-h] [--conn-description CONN_DESCRIPTION]
                        [--conn-extra CONN_EXTRA] [--conn-host CONN_HOST]
                        [--conn-login CONN_LOGIN]
                        [--conn-password CONN_PASSWORD]
                        [--conn-port CONN_PORT] [--conn-schema CONN_SCHEMA]
                        [--conn-type CONN_TYPE] [--conn-uri CONN_URI]
                        conn_id

您也可以generate a connection URI使其更易于设置。

连接也可以设置为环境变量。示例:

export AIRFLOW_CONN_GOOGLE_CLOUD_DEFAULT='google-cloud-platform://?extra__google_cloud_platform__key_path=%2Fkeys%2Fkey.json&extra__google_cloud_platform__scope=https%3A%2F%2Fwww.googleapis.com%2Fauth%2Fcloud-platform&extra__google_cloud_platform__project=airflow&extra__google_cloud_platform__num_retries=5'

如果需要，您可以查看 google provider package docs查看连接的配置选项。