amazon-web-services - 仅针对特定分区键读取 Kinesis Stream 上的数据记录

Question

首先非常感谢您考虑我的问题。希望不要太傻。
我只是想知道是否有办法在从流中获取数据记录时过滤 Kinesis Stream 上的数据 . The AWS official doc说分区键用于
“允许在设计处理特定分片的消费者时假设具有相同分区键的记录只会发送给该消费者”
无法指定(既不使用 REST API，也不使用 KCL)我对读取 的数据记录感兴趣的分区键。直接 .

具有相同分区键的数据记录将被散列到相同的分片，但我们如何仅通过知道分区键就知道它是哪个分片？
终极问题是:如何创建仅接收特定分区键数据的使用者 ?/如何创建只接收它感兴趣的数据的使用者。
非常感谢您花时间考虑我的问题并分享您的想法!

更新 2021-02-10:
这个结论早于这个日期，但恰好在这个日期重新审视了这个问题。
为了那些刚刚阅读或开始使用 Kinesis 的人的利益:
我认为“一般分片”是(或者不确定分片的当前状态)不是为实现业务逻辑而设计的，而是主要用于处理数据量的扩展(一种大数据技术 - 以我的简单理解)
同样，今天不确定 Kinesis，但需求仍然存在，我猜 Kafka 是这个问题的答案，但是 Kafka 可能仍然无法为您提供开箱即用的功能。

Answer 1

您可以使用 SNS 或 异步重新调用您的函数。

在这里阅读我回答类似问题的更多信息:https://stackoverflow.com/a/51281888/1988232