amazon-s3 - 使用 s3 连接和 s3 Hook 在 Airflow 上创建 boto3 s3 客户端

Question

我正在尝试将我的 python 代码移动到 Airflow。我有以下代码片段:

    s3_client = boto3.client('s3', 
                        region_name="us-west-2", 
                        aws_access_key_id=aws_access_key_id,
                        aws_secret_access_key=aws_secret_access_key)

我正在尝试使用 Aiflow 的 s3 Hook 和 s3 连接重新创建此 s3_client，但无法在任何文档中找到一种方法，而无需在代码中直接指定 aws_access_key_id 和 aws_secret_access_key。
任何帮助，将不胜感激

Answer 1

您需要在 Admin -> Connections 或使用 cli 定义 aws 连接(请参阅 docs )。
一旦定义了连接，您就可以在 S3Hook 中使用它.
您的连接对象可以设置为:

Conn Id: <your_choice_of_conn_id_name>
Conn Type: Amazon Web Services
Login: <aws_access_key>
Password: <aws_secret_key>
Extra: {"region_name": "us-west-2"}

在 Airflow 中，钩子(Hook)包裹了一个 python 包。因此，如果您的代码使用钩子(Hook)，则没有理由直接导入 boto3。