java - 如何使用java修改一个kafka主题的消息并将其发送到另一个kafka主题？

Question

我已经创建了生产者，它为一个主题 A 生成 MSG，我的需要是我想对该 MSG 进行更改并希望将其发送到另一个主题 B，我正在尝试通过 Kafka 流来执行此操作，但不确定这是正确的方法还是错误的方法。如果它需要 Kafka 流，那么请分享应该编写什么代码？

Answer 1

有很多选择可以实现这一点。

Kafka 的 Streams API 是一种可能性，其优点是您无需向项目添加新的依赖项。就像程序应该做的那样简单 stream.map(...).to(...) 。查看文档和示例以了解更多详细信息:

• http://docs.confluent.io/current/streams/index.html
• https://github.com/confluentinc/examples

您甚至可以只使用普通的 KafkaConsumer 和 KafkaProducer 来完成此任务(但使用 Kafka 的 Streams API 似乎比这更自然)。

当然，您还可以使用 Apache Flink、Apache Storm、Apache Apex、Heron(或者 Apache Spark)等流处理框架——当然，还有其他框架。正如上面所描绘的，该程序的编写也同样简单。但是您需要设置一个处理集群来为这些流处理框架部署作业。