amazon-web-services - 亚马逊消防站更新红移记录

Question

我们通过 API-Gateway > Kinesis Streams > Lambda > FireHose > Redshift Tables 使用我们所有的分析源。

AWS Lambda 是我们的转换足迹，接受 Kinesis 流根据上下文记录更改分析事件并将其放到 FireHouse 以将其保存到 Redshift DB。

在本次旅程中，我们希望在特定条件下更新 Redshift 记录(基本上是 UPSERT(插入 | 更新))。 firehose 中有什么东西可以避免红移中的重复记录吗？

Answer 1

开箱即用，没有。

如果您要更新插入的表是 T1，那么您可以做的是:

让 Firehose 将记录转储到另一个表 T2。

运行一个作业，使用 cron 或其他东西，定期从 T2 插入到 T1。使用事务，以避免在此查询和 Firehose 到 Redshift 查询同时运行时数据变坏。