gpt4 book ai didi

performance - DynamoDB本地糟糕的性能

转载 作者:行者123 更新时间:2023-12-03 15:18:09 25 4
gpt4 key购买 nike

DynamoDB Local需要100毫秒以上的时间来对我的表执行一次put操作。文档说,本地数据库的吞吐量被忽略,仅受硬盘/计算机速度的限制。

与mongodb相比,我的写入吞吐量比应该慢100倍。我可以做些什么来加快对DynamoDB本地的写入速度?

我将尝试批量放置,但问题仍然存在。此时,输入我的(相当大的)测试数据将花费我数年时间。

我正在使用Clojure和Faraday作为客户端api,但是已经确认这不是瓶颈。

我尝试了什么

我已经以25%的速度实施了批处理,这使总进度降低了约25倍:)。因此,即使批量处理,每个项目的写入速度也大约为120毫秒。

使用Mongo,即使带有保守的WriteConcern / ACKNOWLEDGED标志,每个项目也将导致大约250微秒(快500倍),并且甚至不需要发送批处理。因此,问题不是我的硬盘驱动器或操作系统。

最佳答案

自从您问了问题已经有一段时间了,但是我仍然想提供一些背景信息。

MongoDB之所以如此之快,是因为它在将更新写入磁盘之前将其缓存在内存中。您可以在官方的MongoDB常见问题解答here中了解有关此内容的更多信息。

另一方面,DynamoDBLocal速度很慢,因为它在后台使用了SQLite数据库(您可以通过使用SQLite浏览器打开DynamoDBLocal目录中的* .db文件来进行检查)。
与其他数据库相比,SQLite的写入速度非常慢。更多信息here

DynamoDBLocal只是用于本地开发的基本工具,该工具将DynamoDB API的子集围绕一个简单的SQLite数据库。真正的DynamoDB当然不依赖SQLite,而且速度要快得多。

关于performance - DynamoDB本地糟糕的性能,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28142895/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com