java - Kafka Stream 应用程序可以从 Kinesis 流读取吗？

Question

我需要编写一个从 Kinesis 流读取并将数据存储到 Kafka 主题的 Java 应用程序。我不能使用连接器，我必须使用 Kafka Streams，因为涉及很多逻辑。 Kafka Stream 可以直接从 Kinesis 流读取吗？还是我必须先将数据存储到 Kafka 主题才能被 Kafka Stream 读取？

我读了很多关于 Kafka Streams 的文章，但我从未见过 Kafka Stream 从 Kafka 主题之外的其他内容读取内容的示例。

Answer 1

Kafka Streams 仅连接到单个 Kafka 集群和读/写主题。它无法从任何其他系统读取或写入。

如果我们想将数据导入 Kafka(或从 Kafka 导出)，您可以使用 Kafka Connect。对于简单的数据转换，Connect 提供了您可以使用的所谓“单一消息转换”(SMT)。对于更复杂的转换，您需要先导入未修改的数据，然后使用 Kafka Streams 进行相应的转换。