amazon-web-services - 在 AWS Firehose 中添加故障处理

Question

我正在使用 Lambda 通过 Firehose 向 Redshift 发送批量消息。根据 Firehose API docs ，如果存在一些传递问题(消息中毒、端点关闭等)，Firehose 将继续尝试 24 小时并删除消息。我想在 X 次尝试失败后将失败的消息移动到另一个队列(基本上像 SQS Redrive Policy )。执行此操作的最佳方法是什么，最好不要交叉检查目标 Redshift 数据库？

Answer 1

根据您的链接，我假设您有兴趣将 PutRecord 故障跟踪到 Firehose Kinesis 流，而不是 Kinesis -> S3 -> Redshift 流。

当您初始化您的 Firehose 客户端时，您实际上可以指定您想要重试的次数。当收到异常(PutRecord 到流失败)时，Firehose 将自动尝试达到您设置的最大重试次数；这是在后台完成的，在 SDK 中，因此在您将异常冒泡到您的函数之前，您不会知道您的重试次数已超过。当您收到此异常时，您可以假设已超过重试次数。此异常处理可以包括将消息发送到 SQS 队列。

您可以在此处了解有关您的 Firehose 客户端配置的更多信息，它并不为人所知，但非常有用。 Firehose ClientConfiguration .