python - 从 Amazon S3、AWS CLI 或 Boto3 下载？

Question

我在 txt 文件中有一个文件夹名称列表，例如:

folder_B
folder_C

S3 存储桶中有一条路径，我有如下文件夹:

folder_A
folder_B
folder_C
folder_D

每个文件夹都有子文件夹，如:

0
1
2
3

对于文本文件中的每个文件夹，我必须在 S3 中找到文件夹并仅下载其子文件夹中编号最大的内容。

用python boto3做这个好像比较复杂

这是通过 AWS 命令​​行执行此操作的简单方法吗？

Answer 1

好的，我做到了。这真的很糟糕，但它有效。我同时使用了 boto3 和 aws-cli

import subprocess
import boto3

folders = []
with open('folders_list.txt', 'r', newline='') as f:
    for line in f:
        line = line.rstrip()
        folders.append(line)

def download(bucket_name):
    s3_client = boto3.client("s3")
    result = s3_client.list_objects(Bucket=bucket_name, Prefix="my_path/{}/".format(folder), Delimiter="/")
    subfolders = []
    for i in result['CommonPrefixes']:
        subfolders.append(int(i['Prefix'].split('{}/'.format(folder),1)[1][:-1]))
    subprocess.run(['aws', 's3', 'cp', 's3://my_bucket/my_path/{0}/{1}'.format(folder, max(subfolders)),
                    'C:\\Users\it_is_me\my_local_folder\{}.'.format(folder), '--recursive'])

for folder in folders:
    download('my_bucket')