amazon-web-services - Amazon Kinesis Firehose 作为 cloudwatch 日志消费者

Question

我的要求是从 AWS 收集 VPC 流日志。我创建了一个 VPC 流日志并将其关联到云监视日志组“流日志组”。
从 CloudWatch 日志订阅我想通过 AWS Kinesis firehose 订阅它，但是在订阅列表中我找不到“Kinesis Firehose”，只有“Lambda”和“ElasticSearch Service”。你能帮我解决这个问题吗？

我们不能使用 AWS Kinesis firehose 订阅 CloudWatch 日志。

Answer 1

Firehose arn 是 CloudWatch Logs 的有效订阅目标，但无法使用控制台设置，只能使用 API 或 CloudFormation。

我发现的大多数示例都使用控制台的 LogGroup 选项“Stream to AWS Lambda”来提供转发到 Amazon Kinesis Firehose 的 AWS Lambda，例如 How to Visualize and Refine Your Network’s Security by Adding Security Group IDs to Your VPC Flow Logs .

Using CloudWatch Logs Subscription Filters chapter of the Amazon CloudWatch Logs User Guide有一个 Firehose Example (Example 3)这可能更适合您的用例。

本质上，路径是 Amazon CloudWatch LogGroup SubscriptionFilter -> Amazon Kinesis Firehose Delivery Stream -> Amazon S3 Bucket and Prefix
有趣的事实:Amazon CloudWatch Logs 数据在传送到 Firehose 时已经经过 GZIP 压缩。