python - 如何使用 url 在 Python 中访问 s3 文件？

Question

我想编写一个 Python 脚本，该脚本将使用它们的 url 从 s3 读取和写入文件，例如:'s3:/mybucket/file'。它需要在本地和云中运行，无需任何代码更改。有没有办法做到这一点？

编辑:这里有一些很好的建议，但我真正想要的是允许我这样做的东西:

 myfile = open("s3://mybucket/file", "r")

然后像使用任何其他文件对象一样使用该文件对象。那真的很酷。如果它不存在，我可能会为自己写这样的东西。我可以在 simples3 或 boto 上构建抽象层。

Answer 1

对于打开，应该很简单:

import urllib
opener = urllib.URLopener()
myurl = "https://s3.amazonaws.com/skyl/fake.xyz"
myfile = opener.open(myurl)

如果文件是公开的，这将适用于 s3。

要使用 boto 编写文件，它有点像这样:

from boto.s3.connection import S3Connection
conn = S3Connection(AWS_KEY, AWS_SECRET)
bucket = conn.get_bucket(BUCKET)
destination = bucket.new_key()
destination.name = filename
destination.set_contents_from_file(myfile)
destination.make_public()

让我知道这是否适合你:)