apache-kafka - 我应该用什么 : Kafka Stream or Kafka consumer api or Kafka connect

Question

我想知道什么最适合我:Kafka 流或 Kafka 消费者 api 或 Kafka 连接？

我想从主题中读取数据，然后进行一些处理并写入数据库。所以我编写了消费者，但我觉得我可以编写 Kafka 流应用程序并使用它的有状态处理器来执行任何更改并将其写入数据库，这可以消除我的消费者代码而只需要编写数据库代码。

我想插入我的记录的数据库是:
HDFS -(插入原始 JSON)
MSSQL -(处理过的 json)

另一种选择是 Kafka 连接，但我发现 hdfs 接收器和 jdbc 接收器连接器目前没有 json 支持。(我不想用 avro 编写)并且创建模式对于复杂的嵌套消息也很痛苦。

或者我应该编写自定义 Kafka 连接来执行此操作。

所以需要你对我是否应该编写 Kafka consumer 或 Kafka stream 或 Kafka connect 发表意见？
什么会在性能方面更好并且开销更少？

Answer 1

您可以使用它们的组合

I have tried HDFS sink for JSON but not able to use org.apache.kafka.connect.json.JsonConverter

不清楚为什么不。但我假设你忘记设置 schemas.enabled=false .

when I set org.apache.kafka.connect.storage.StringConverter it works but it writes the json object in string escaped format. For eg. {"name":"hello"} is written into hdfs as "{\"name\":\"hello\"}"

是的，它将对 JSON 进行字符串转义

Processing I want to do is basic validation and few field values transformation

Kafka Streams 或 Consumer API 能够进行验证。 Connect 能够进行简单消息转换 (SMT)

一些用例，你需要将数据“复制”到 Kafka 上；处理您的“原始”主题，使用消费者读取它，然后将其生成回“清理过的”主题，您可以从中使用 Kafka Connect 写入数据库或文件系统。