python - 如何在 google colaboratory 中加载 s3 开放数据集？

Question

我正在尝试访问 google colaboratory 中的 spacenet 挑战数据集(https://registry.opendata.aws/spacenet/)。如何在google colaboratory中获取？

Answer 1

您需要创建一个AWS账户并配置IAM用户并生成AccessKey和Secret AccessKey。

通过 CoLab，

s3r = boto3.resource('s3', aws_access_key_id='XXXXXXXXXXXXXXXXXXXX',
    aws_secret_access_key='XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX')
buck = s3r.Bucket('bucket name')
buck.download_file(remotefilename,localfilename)

这是开始的 boto3 文档。

http://boto3.readthedocs.io/en/latest/guide/s3-example-download-file.html

还有一点需要注意。当您下载数据时，AWS 将向您的账户收费，这可能属于您的免费套餐。

这就是您需要执行所有这些操作的原因，因为下载桶被配置为请求者付费。

您可以在此处了解 Amazon S3 定价，

https://aws.amazon.com/s3/pricing/

编辑 1:

从下面的链接安装 aws s3 cli 工具，

https://aws.amazon.com/cli/

并按照此处的 spacenet 数据访问说明进行操作，

https://medium.com/the-downlinq/getting-started-with-spacenet-data-827fd2ec9f53

希望对您有所帮助。