python - 使用 Boto3 嵌套键获取 S3 中文件的完整路径

Question

我的bucket结构如下:

bucket
    production
        dt=2017-01-01
            file1.json
        ...
        dt=2017-05-01
            file2.json

我想要做的是获取 file1.json、file2.json 的完整路径，以便我可以下载它们。

我正在努力做到这一点是 python。任何帮助表示赞赏。 TIA。

Answer 1

s3 = boto3.client('s3')

您可以通过调用list_objects来列出所有对象

objs = s3.list_objects(Bucket='mybucket')['Contents']

使用列表理解，获取忽略文件夹(大小为 0)的对象名称

[obj['Key'] for obj in objs if obj['Size']]

或者:

s3 = boto3.resource('s3')
bucket = s3.Bucket('mybucket')
[key.key for key in bucket.objects.all() if key.size]

如果你想列出带有特定前缀的对象:

# S3 list all keys with the prefix 'photos/'
s3 = boto3.resource('s3')
bucket = s3.Bucket('production')
  for obj in bucket.objects.filter(Prefix='2017-01-01/'):
    if obj.size: print obj.key