gpt4 book ai didi

amazon-s3 - Apache Airflow : operator to copy s3 to s3

转载 作者:行者123 更新时间:2023-12-03 23:52:41 28 4
gpt4 key购买 nike

在 Airflow 中将文件从一个 s3 复制到另一个 s3 的最佳运算符(operator)是什么?
我已经尝试过 S3FileTransformOperator,但它需要 transform_script 或 select_expression。我的要求是将确切的文件从源复制到目标。

最佳答案

使用 S3CopyObjectOperator

copy_step = S3CopyObjectOperator(
source_bucket_key='source_file',
dest_bucket_key='dest_file',
aws_conn_id='aws_connection_id',
source_bucket_name='source-bucket',
dest_bucket_name='dest-bucket'
)

关于amazon-s3 - Apache Airflow : operator to copy s3 to s3,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55135735/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com