amazon-kinesis - Kinesis 的多个目的地

Question

我们可以从单个 Kinesis Firehose 获得多个目的地吗？我看到了这张图片

由此看来，可以从单个 Firehose 添加 s3、红移和 Elasticsearch 。我正是想这样做。

但是当我从 aws 控制台执行此操作时，它只要求单个目的地。对于 Elasticsearch ，它还要求 S3。因此，我可以添加 Elasticsearch 和 s3，但仍然保留了 redshift。我不知道如何从相同的运动中做到这一点。请帮忙。

Answer 1

正如您所说，它现在不可用，但是，使用最近添加的 firehose 功能，您可以使用一个 firehose 写入其中的 3 个。

但我不确定这是执行此操作的最佳方式，您需要比较 aws 成本和开发成本，然后再决定。

如果你想尝试这里是你可以做到的。

将 firehose 配置为写入 redshift，中间文件将在 s3 上(可能中间文件被删除)，因此您可以使用存储桶复制或触发新文件通知将它们存储在另一个存储桶中，并使用 lambda 函数将其移动到另一个存储桶。同时将每条记录写入 Elasticsearch，您将使用 firehose lambda 连接，它在 firehose 控制台中，称为，数据转换。 (下面的链接)为 firehose 获得的每条记录编写一个简单的 elasticsearch http post 写入请求，因此您将拥有 3 个目的地的数据。

https://aws.amazon.com/blogs/compute/amazon-kinesis-firehose-data-transformation-with-aws-lambda/

正如我之前所说，这可能会花费更多，并且让 2 个消防软管进行 redshift 写入和 ES+S3 写入更容易。