amazon-cloudwatch - 如何在 CloudWatch 订阅中分配特定的 Kinesis 碎片

Question

如果您计划向特定 Kinesis 流订阅更多的 CloudWatch 日志数据，超过单个分片可以处理的数量，是否可以通过添加多个分片来扩展您的流，然后在这些分片之间分配多个 CloudWatch 日志订阅？

文档 here对分片处理的一种掩饰，仅引用“shardId-000000000000”。

API docs (至少对于 .NET SDK，无论如何)建议在创建订阅时指定目标 arn，但我的理解是 arn 不能比 Kinesis Stream 更具体，但我认为不会为单个分片分配 arns .

本质上，如果您计划订阅的 CloudWatch 数据超过单个分片可以处理的数量，是否有办法将您的流“扩展”为多分片流(同时使用 CloudWatch 订阅并避免编写自定义客户端处理数据)，还是严格来说有必要“横向扩展”成多个单分片流？

Answer 1

我从我的组织的 AWS 代表那里收到了这个答复:

CloudWatch 订阅在内部根据以下所有参数为每条消息创建一个 PartitionKey:ownerId、logGroupName 和 logStreamName .

基于文档中未提及的内容，我曾假设 CloudWatch 订阅系统几乎忽略了分片分区键，但实际上您似乎自动获得了一种相当不错的机制来在您的流中分发消息碎片。