amazon-s3 - Scrapy 抓取在本地附加，在 S3 上替换？

Question

我实现了一个 Scrapy 项目，现在在本地运行良好。使用 crawl 命令，每个蜘蛛将其 jsonlines 附加到同一个文件(如果文件存在)。当我使用 boto 将 feed exporter 更改为 S3 时，它现在会用上次运行的 spider 的数据覆盖整个文件，而不是附加到文件中。

有没有办法让 Scrapy/boto/S3 像在本地一样将 jsonlines 附加到文件中？

谢谢

Answer 1

无法在 S3 中附加到文件。您可以在 S3 存储桶上启用版本控制，然后每次将文件写入 S3 时，它都会创建一个新版本的文件。然后您可以使用 list_versions 检索文件的所有版本boto Bucket 对象的方法。