apache-kafka - Kafka Connect或Kafka客户端

Question

我需要从Kafka主题中获取消息，并通过基于HTTP的API通知其他系统。也就是说，从主题获取消息，映射到第三方API并调用它们。我打算为此编写一个Kafka Sink连接器。

对于此用例，Kafka Connect是正确的选择，否则我应该选择Kafka Client。

Answer 1

Kafka Connect可以很好地实现此目的，但这也将是一个非常简单的用户应用程序，因为用户也具有容错/可扩展性的优点，在这种情况下，您可能一次只发送简单的消息在每个使用者实例中进行处理。您也可以轻松地为此应用程序使用enable.auto.commit，因此不会遇到直接使用使用者的棘手部分。在这种情况下，与使用消费者相比，使用Kafka Connect的主要好处是可以使连接器对不同的输入格式通用，但是对于自定义连接器而言，这可能并不重要。