amazon-web-services - Kinesis Data Firehose 源 `Direct PUT` 与 `Kinesis Data Stream`

Question

当我创建 Kinesis Data Firehose 流时，源有 2 个选项，

直接 PUT 或其他来源

Kinesis 数据流

这些选项的优点和缺点是什么？

Answer 1

它们服务于不同的目的。但是，如果您的目标只是在 S3、Redshift 或 ElasticSearch 中注入(inject)用于存储(和可选转换)的记录，那么 主要区别在于简单 .
直接 PUT 或其他来源
允许将记录直接“手动”注入(inject) firehose .对于摄取，您或您的应用程序必须使用 put-record或 put-record-batch .
这些 api 调用是 非常简单明了使用，在某种意义上你不需要管理记录​​分区。因为您只需向他们提供 firehose姓名和要写入的记录。没有其他东西被重新获得。
还有firehose基本上是无服务器的，因此您不需要管理其扩展或配置其吞吐量。全部完成自动为你。
但是，firehose是 不完全“实时” .由于它的超时和缓冲，您的记录总是会延迟。
Kinesis 数据流
如果您在 firehose 前面与 kinesis stream ，那么您必须将记录注入(inject)到流中。为此，您使用 put-record和 或 put-records .如果您查看这些 api 调用，它们是 更复杂因为你必须管理key partitioning你自己。你必须正确地做到这一点，否则你最终会得到热/冷碎片并担心如何解决这个问题。
还有data streams从某种意义上说，它们不是无服务器的不自动缩放 .您必须自己管理他们的吞吐量。这意味着您必须计算和配置所需的分片数量。如果你做错了，你会遇到问题。
结论
选择直接投到firehose如果你 只针对存储 (转换)您在支持的存储目标中的记录。
在firehose前面选择使用kinesis数据流如果您不仅需要存储，还需要做其他你的记录在实时 .这是因为您可以拥有除 firehose 之外的其他流消费者。这确实需要实时数据。