python - 通过文本单词列表或 csv 批量检查我的 s3 存储桶权限

Question

所以我正在审核 s3 存储桶的工作情况。我可以通过 awscli 手动检查存储桶权限:

aws s3 ls s3://bucketname

或者通过Python使用boto3:

# list 1st 1000 objects (which I like if it is readable so I can 
#assess risk quickly on larger buckets)
from boto3 import client
bucket_name = input("enter the bucket name")
connection = client('s3')  
for key in connection.list_objects_v2(Bucket=bucket_name)['Contents']:
    print(key['Key'])  

我的问题是，如何使用 Python 读取我的存储桶列表(100+)并检查它们是否可公开读取。我应该提到，当我审核时，我们使用虚拟 aws 帐户作为检查权限的方式之一。

我在想类似的事情

bucketlist = open('buckets.txt', 'r')

现在我很乐意打印该列表，但要针对每一行运行该函数，我什么也没得到。如何使用 awscli 方法或 Python boto3 方法检查存储桶权限？

Answer 1

您可以使用上下文管理器打开文本文件，将每一行作为列表加载，然后循环所有存储桶名称。然后，定义一个自定义函数来检查权限 - 这将取决于具体情况，但我在下面提供了一些建议和 boto 文档链接。

您只需稍作修改即可使用上面的代码。 (请注意，这假设您文件的每一行都有一个存储桶名称。)

from boto3 import client

def check_bucket_permissions(client, bucket):
    """Function to check bucket permissions.
    What you do here depends on what you want to check.
    Examples given below."""
    pass

# get a list of bucket names (strings)
with open('buckets.txt', 'r') as f:
    bucket_names = f.readlines()

# check each bucket
connection = client('s3')
for bucket_name in bucket_names:
    check_bucket_permissions(client, bucket_name)

对于 check_bucket_permissions() 函数，您有几个选项，具体取决于您要查找的信息。检查谁可以访问存储桶的两种方法是:(1) 检查策略，以及 (2) 检查访问权限/访问控制列表。

This AWS blog post提供了有关 IAM 策略、存储桶策略和存储桶访问控制列表的一些背景信息，但简短版本是:

• 存储桶策略是附加到存储桶本身的 IAM 策略文档，它为哪些类型的委托(delegate)人(用户/组/角色)可以访问存储桶的资源以及允许他们执行哪些类型的操作设置规则(读、写等)
• IAM 策略文档还可以附加到委托(delegate)人(用户/组/角色)，并且该策略文档可以针对可以访问哪些类型的资源(例如存储桶)以及允许它们执行哪些类型的操作设置规则采取
• 存储桶 ACL(访问控制列表)是指定存储桶权限的较旧方法(AWS 建议使用上述 IAM 方法)。 ACL 附加到存储桶，并定义可以访问存储桶的主体(用户/组/角色)以及他们拥有的访问类型。

如果您使用经典 IAM 策略方法，您可以使用 get_bucket_policy() method 检查哪些 IAM 策略文档适用于存储桶。 :

def check_bucket_permissions(client, bucket):
    policy_doc = client.get_bucket_policy(Bucket=bucket)
    # parse policy_doc, print or record the result
    return

如果没有存储桶策略，则会出现以下错误:botocore.exceptions.ClientError: 调用 GetBucketPolicy 操作时发生错误 (NoSuchBucketPolicy):存储桶策略不存在。

如果您想检查存储桶 ACL，可以使用 get_bucket_acl() method而不是 get_bucket_policy() 方法:

def check_bucket_permissions(client, bucket):
    acl = client.get_bucket_acl(Bucket=bucket)
    # parse ACL, print or record the result
    return

请参阅文档中每个方法的示例 JSON 响应，以了解您希望如何解析返回的结果。