node.js - 无服务器 - DynamoDB 与 RethinkDB + AWS Lambda 相比(糟糕)性能

Question

在将现有 Node.js (Hapi.js) + RethinkDB 从 OVH VPS(最小 vps)迁移到 AWS Lambda( Node )+ DynamoDB 的过程中，我最近遇到了一个非常巨大的性能问题。

用法相当简单，人们使用在线工具，“东西”通过 Node.js 服务器/lambda 保存在数据库中。这个“东西”需要一些空间，大约 3kb 未压缩(一个包含大量键和子对象的复杂对象，因此使用 NOSQL 解决方案是有意义的)

保存本身没有问题(目前......)，使用该工具的人不多，也没有太多同时写入的任务，因此使用 Lambda 而不是 24/7 运行的 VPS 是有意义的。

<小时/>

真正的问题是当我想下载这些结果时。

• 使用Node+RethinkDB大约需要3秒扫描全表并生成CSV文件下载
• AWS Lambda + DynamoDB 在 30 秒后超时，即使我对结果进行分页以仅下载 1000 个项目，它仍然需要 20 秒(这次没有超时，只是非常慢)-> 该表上有 2200 个项目，我们可以推断，如果 AWS Lambda 在 30 秒后不会超时，我们可以推断出我们需要大约 45 秒来下载整个表

因此，对于相同数量的提取数据，使用 RethinkDB 的操作大约需要 3 秒，理论上使用 DynamoDB 需要 45 秒。

现在让我们看看这些数据。表中有 2200 个项目，总共 5MB，以下是 DynamoDB 统计信息:

Provisioned read capacity units 29 (Auto Scaling Enabled)
Provisioned write capacity units    25 (Auto Scaling Enabled)
Last decrease time  October 24, 2018 at 4:34:34 AM UTC+2
UTC: October 24, 2018 at 2:34:34 AM UTC

Local: October 24, 2018 at 4:34:34 AM UTC+2

Region (Ireland): October 24, 2018 at 2:34:34 AM UTC

Last increase time  October 24, 2018 at 12:22:07 PM UTC+2
UTC: October 24, 2018 at 10:22:07 AM UTC

Local: October 24, 2018 at 12:22:07 PM UTC+2

Region (Ireland): October 24, 2018 at 10:22:07 AM UTC

Storage size (in bytes) 5.05 MB
Item count  2,195

有 5 个预配置的读/写容量单位，自动缩放最大值为 300。但是自动缩放似乎没有按照我的预期进行缩放，从 5 到 29，可以使用 300，这足以在 30 秒内下载 5MB，但没有使用它们(我刚刚开始使用自动缩放，所以我猜它配置错误？)

在这里我们可以看到自动缩放的效果，它确实增加了读取容量单位的数量，但是这样做太晚了并且超时已经发生了。我尝试连续多次下载数据，但并没有真正看到太大的改进，即使有 29 个单元。

Lambda 本身配置了 128MB RAM，增加到 1024MB 没有任何影响(正如我所料，它确认问题来自 DynamoDB 扫描持续时间)

<小时/>

所以，这一切让我想知道为什么 DynamoDB 不能在 30 秒内完成 RethinkDB 在 3 秒内完成的任务，它与任何类型的索引无关，因为该操作是“扫描”，因此必须以任何顺序遍历数据库中的所有项目。

我想知道如何使用 DynamoDB 获取巨大的数据集(5MB!)来生成 CSV。

我真的想知道 DynamoDB 是否是适合这项工作的工具，与我过去使用的工具(mongo、rethink、postgre 等)相比，我真的没想到性能会如此之低

我想这一切都取决于正确的配置(并且可能有很多东西需要改进)，但即便如此，为什么下载一堆数据这么痛苦？ 5MB 并不是什么大问题，但感觉需要大量的努力和关注，而导出单个表(统计、转储备份等)只是一个常见的操作

<小时/>

编辑:自从我创建这个问题以来，我阅读了 https://hackernoon.com/the-problems-with-dynamodb-auto-scaling-and-how-it-might-be-improved-a92029c8c10b这深入解释了我遇到的问题。基本上，自动缩放触发缓慢，这解释了为什么它不能根据我的用例正确缩放。如果您想了解 DynamoDB 自动扩展的工作原理，请务必阅读本文。

Answer 1

DynamoDB 并非专为此类用途而设计。它不像传统的数据库，您可以根据需要查询，而且它尤其不能一次处理大型数据集，例如您所请求的数据集。

对于这种类型的场景，我实际上使用 DynamoDB 流创建到 S3 存储桶的投影，然后以这种方式进行大量导出。它甚至可能比您引用的 RethinkDB 导出更快。

简而言之，DynamoDb 最适合作为已知查询的事务键值存储。