gpt4 book ai didi

python - 如何在 Amazon S3 上存储 scrapy 图像?

转载 作者:太空狗 更新时间:2023-10-29 17:42:54 26 4
gpt4 key购买 nike

我已经使用 Scrapy 大约 1 周了,想将图像存储到 amazon S3,他们提到他们支持将图像上传到 amazon S3,但没有记录。那么有人知道如何将 Amazon S3 与 Scrapy 一起使用吗?

这是他们关于 media pipeline 的 Scrapy 文档.

最佳答案

您需要 3 个设置:

AWS_ACCESS_KEY_ID = "xxxxxx"
AWS_SECRET_ACCESS_KEY = "xxxxxx"
IMAGES_STORE = "s3://bucketname/base-key-dir-if-any/"

就是这样,即。图像将使用在 http://readthedocs.org/docs/scrapy/en/latest/topics/images.html#file-system-storage 中描述的相同目录结构进行存储,即:

s3://bucketname/base-key-dir-if-any/full/3afec3b4765f8f0a07b78f98c07b83f013567a0a.jpg

关于python - 如何在 Amazon S3 上存储 scrapy 图像?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10472274/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com