amazon-kinesis - 启动 Kinesis 消费者应用程序时如何使用 DynamoDB 表的状态？

Question

从文档中可以清楚地看出，当以 TRIM_HORIZON 作为迭代器类型启动 KCL 应用程序时，将从流的开头读取记录。文档还提到应用程序的状态是通过使用检查点在 DynamoDB 表中维护的。

但是我没有找到任何关于 KCL 应用程序如何使用此 DynamoDB 表信息的引用资料。

具体我的问题如下-我有保留期为 168 小时的流，这是大量数据。假设我的 KCL(从 TRIM_HORIZON 的迭代器开始)与传入数据同步，并且在流的末尾处理记录并定期检查指向。现在，如果我重新启动我的 KCL，它是否会从流的开头开始读取数据(168 小时前)，但仍然使用 DynamoDB 表查看检查点并跳到最新记录，或者检查点信息是否根本未使用并且流是从一开始就读取的吗？

在后一种情况下，不需要对大量数据进行重新处理。

我是否应该手动使用 DynamoDB 表中的序列号来获取分片迭代器？

Answer 1

当 KCL 应用程序重新启动时，它会自动从 DynamoDB 表恢复其状态，因此您无需手动执行任何操作。处理从重新启动前的最后一个检查点继续，因此如果重新启动意外发生并且应用程序没有机会在退出前检查点(尽管可能有其他 reasons 用于重复项)，请准备好处理一些重复项

重新启动时，请务必提供与上次启动时相同的应用程序名称。否则，KCL 会将这种情况视为创建一个新的独立应用程序，将创建一个新的 DynamoDB 表并开始完全独立的处理。