mongodb - DynamoDB vs ElasticSearch vs S3 - 哪种服务用于超快获取/放置 10-20MB 文件？

Question

我的后端可以接收、存储和提供 10-20 MB 的 json 文件。我应该使用哪种服务来实现超快的放置和获取(我不能将文件分成更小的 block )？我不必对这些文件运行查询，只需获取它们、存储它们并立即提供它们即可。该服务应该可以轻松扩展到数万个文件。理想情况下，我应该能够在 1-2 秒内放入文件并同时检索它。

我觉得 s3 是最好的选择，elastic search 是第二好的选择。 Dyanmodb 不允许这样的对象大小。我应该使用什么？另外，还有其他服务吗？ Mongodb 是一个可能的解决方案，但我没有在 AWS 上看到它，所以快速设置会很棒。

谢谢

Answer 1

我认为您不应该为这种操作选择 Dynamo 或 ES。

毕竟，您想要的是存储和提供它，而不是进入 Dynamo 和 ES 都会浪费时间去做的文件内容。

我的建议是使用 AWS Lambda + S3 来优化成本S3 在放入文件之后确实有一些小的停机时间，直到文件可用(它变得更大，甚至几分钟，当你在一个桶中有数百万个对象时)

如果停机时间对您的操作很重要并且在任何给定时刻的总吞吐量不是太大，您可以创建一个服务器(最好是 EC2)作为临时文件存储。它将

• 收到您的文件
• 尝试上传到S3
• 如果文件在 S3 上可用之前被请求，则在磁盘上提供文件
• 如果文件成功上传到S3，提供S3 url，删除磁盘上的文件