python - 将特定文件从 Amazon S3 导入到 Google Cloud Storage

Question

我正在尝试仅将特定文件从 Amazon S3 导入 Google 云服务。

在 Docs ，提到的过程从 Amazon 源存储桶导入所有文件。

def main(description, project_id, day, month, year, hours, minutes,
     source_bucket, access_key, secret_access_key, sink_bucket):
"""Create a one-off transfer from Amazon S3 to Google Cloud Storage."""
storagetransfer = googleapiclient.discovery.build('storagetransfer', 'v1')

# Edit this template with desired parameters.
# Specify times below using US Pacific Time Zone.
transfer_job = {
    'description': description,
    'status': 'ENABLED',
    'projectId': project_id,
    'schedule': {
        'scheduleStartDate': {
            'day': day,
            'month': month,
            'year': year
        },
        'scheduleEndDate': {
            'day': day,
            'month': month,
            'year': year
        },
        'startTimeOfDay': {
            'hours': hours,
            'minutes': minutes
        }
    },
    'transferSpec': {
        'awsS3DataSource': {
            'bucketName': source_bucket,
            'awsAccessKey': {
                'accessKeyId': access_key,
                'secretAccessKey': secret_access_key
            }
        },
        'gcsDataSink': {
            'bucketName': sink_bucket
        }
    }
}

result = storagetransfer.transferJobs().create(body=transfer_job).execute()
print('Returned transferJob: {}'.format(
    json.dumps(result, indent=4)))

进一步研究后，我发现了 this page这建议使用 include_prefixes 来指定某个文件。

我的问题是，如何将 include_prefixes 集成到上面的代码中？

Answer 1

我还没有测试过这个，但是你尝试过类似下面的方法吗？

'transferSpec': {
    'objectConditions': {
       'includePrefixes': [
           'folder1/folder2/file.png'
        ]            
    },
    'awsS3DataSource': {
        'bucketName': source_bucket,
        'awsAccessKey': {
            'accessKeyId': access_key,
            'secretAccessKey': secret_access_key
        }
    },
    'gcsDataSink': {
        'bucketName': sink_bucket
    }
}