node.js - 如何在 Amazon Dynamodb 中使用聚合函数

Question

我是 dynamodb 的新手，我在 DynamoDB 中有一个表，其中包含超过 10 万个项目。此外，此表会经常刷新。在这张表上，我希望能够在关系数据库世界中做类似的事情:我如何从表中获取最大值。

Answer 1

DynamoDB 是一个 NoSQL 数据库，因此在查询数据的方式上非常有限。无法通过直接调用 DynamoDB API 从表中执行聚合，例如最大值。您将不得不寻找不同的工具和方法来解决这个问题。

您可以考虑多种可能的解决方案:

执行表扫描

如果您的表中有超过 10 万个项目，这可能是一个非常糟糕的主意。表扫描将读取每个项目，您可以让应用程序端逻辑识别最大值。这确实不是一个可行的解决方案。

DynamoDB 中的物化索引

根据您的用例，您可以使用 DynamoDB 流和 Lambda 函数在单独的 DynamoDB 表中维护索引。如果您的表是只写的，没有更新也没有删除，您可以将最大值存储在一个单独的表中，当插入新记录时，您可以比较它们并执行必要的更新。

此方法在某些受限情况下可行，但不是通用解决方案。

使用 Amazon Redshift 执行分析

DynamoDB 并不适合做最大值等分析操作，而 Redshift 是一个非常强大的大数据平台，可以轻松地执行这些类型的计算。与 DynamoDB 索引类似，您可以使用 DynamoDB 流在插入记录时将数据发送到 Redshift，以维护表的近实时副本以用于分析目的。

如果您正在寻找更多的离线或分析解决方案，这是一个不错的选择。

使用 Elasticsearch 执行分析

虽然 DynamoDB 是一种强大的 NoSQL 解决方案，对数据持久性有很强的保证，但 Elasticsearch 提供了一种非常灵活的查询方法，允许进行诸如最大值之类的查询，并且这些聚合可以实时地对任何属性值进行切片和切 block 。与上述解决方案类似，您可以使用 DynamoDB 流将记录插入更新和删除实时发送到 Elasticsearch 索引。

如果您想坚持使用 DynamoDB 但需要一些额外的查询功能，这确实是一个不错的选择，尤其是在使用 AWS ES 服务时，它会为您完全管理 Elasticsearch 集群。请务必记住，Elasticsearch 不会取代您的 DynamoDB 表，它只是相同数据的一个易于搜索的索引。

只需使用 SQL 数据库

显而易见的解决方案是，如果您有 SQL 需求，则从基于 NoSQL 的系统迁移到基于 SQL 的系统。 AWS 的 RDS 产品提供了一个托管解决方案。虽然 DynamoDB 提供了很多好处，但如果您的用例将您引向 SQL 解决方案，那么最简单的做法可能就是不反对它，而只是改变解决方案。

这并不是说基于 SQL 的解决方案或基于 NoSQL 的解决方案更好，它们各有利弊，并且根据具体用例而有所不同，但这绝对是一个需要考虑的选项。