amazon-web-services - AWS DynamoDB 流到 Redshift

Question

我们希望将数据从 DynamoDB NoSQL 以流的形式连续移动到 Redshift 数据库中。
我很难理解 AWS 中的所有新术语/技术。有

1) DynamoDB Streams

2) AWS Lambda

3) AWS Kinesis Firehose

有人可以提供每个的简短摘要。
什么是 DynamoDB 流？
这与 AmazonKinesis 有何不同？
看完所有资源，这是我的假设理解，请在下面验证。

(a) 我假设使用 DynamoDB Streams，创建 NoSQL 的流数据，并开始将其发送出去。它是发件人。

(b) Lambda 只允许人们消耗时间，这是租用处理 DynamoDB Stream 的服务器的时间。

(c) Kinesis FireHose 转换 DynamoDB 流，并放入 Redshift。

(d) AmazonQuickSight 是他们的商业智能工具，

这是对词汇表术语的正确理解吗？
正在审核 Stack link ，想要更全面的信息。

Answer 1

Amazon Kinesis 可以实时收集、处理和分析视频和数据流。

使用 Kinesis 视频流 捕获、处理和存储视频流以进行分析和机器学习。

使用 Kinesis 数据流 构建使用流行的流处理框架分析数据流的自定义应用程序。

使用 Kinesis Data Firehose 将数据流加载到 AWS 数据存储中。

使用 Kinesis 数据分析 使用 SQL 分析数据流。

DynamoDB 流 与 Kinesis Data Stream 一样有效，但它是由 DynamoDB 中新的/更改的数据自动生成的。这允许在向 DynamoDB 表添加新数据或更改数据时通知应用程序。

一个 Kinesis Data Firehose 可以自动将流输出到 Redshift(以及其他目的地)。

AWS Lambda 无需配置或管理服务器即可运行代码。您只需为所消耗的计算时间付费——当您的代码未运行时无需付费。您几乎可以为任何类型的应用程序或后端服务运行代码——所有这些都是零管理的。

Lambda 可用于检查通过流传入的数据。例如，它可用于处理不需要的数据格式或跳过数据。

综上所述，您可以在 中添加/修改数据。 DynamoDB .这会导致 DynamoDB 流 要发送包含有关更改的信息。安 AWS Lambda 函数 可以检查数据并操纵/删除消息。如果可以，然后将数据转发到 Kinesis Data Firehose 自动将数据插入 亚马逊 Redshift .

下面是一个例子:

银行交易存储在 DynamoDB 中

DynamoDB Streams 将其发送到 Lambda 函数

Lambda 函数查看交易并检索有关银行账户的信息。如果账户中有足够的余额，该函数将退出并且什么也不做。

如果账户余额不足，它可以通过 Amazon SES 发送电子邮件通知账户持有人。然后，它可以将数据发送到 Firehose，然后将其存储在 Redshift 中以报告逾期帐户。

一起使用这些系统的好处是它们可以以最少的编码提供丰富的应用程序功能。在这个例子中，只有 Lambda 函数需要编码——其余的通过将各种组件链接在一起来工作。此外，它是完全无服务器的——也就是说，无需在 Amazon EC2 实例上运行应用程序。