apache-kafka - Kafka 流与 Kafka 消费者如何决定使用什么

Question

我曾研究过一些 Kafka 流应用程序和 Kafka 消费者应用程序。最后，Kafka流不过是消费来自Kafka的实时事件的消费者。因此，我无法弄清楚何时使用 Kafka 流或为什​​么我们应该使用 Kafka 流，因为我们可以在消费者端执行所有转换。

我想了解 Kafka 流和 Kafka 消费者在实现方面的主要区别，以及如何决定我们应该在不同的用例中使用什么。

提前感谢您的回答。

Answer 1

这是一个关于“易于使用”(或简单)和“灵活性”的问题。与普通的消费者/生产者相比，Kafka Streams 的两个“杀手级功能”是:

内置状态处理和

恰好一次处理语义。

构建一个有状态的、容错的应用程序或使用普通消费者/生产者的 Kafka 事务是非常困难的。此外，更高级别的 DSL 提供了许多难以从头构建的内置操作符，尤其是:

窗口和

连接(流流、流表、表表)

另一个不错的功能是标点符号。

但是，即使您构建了一个简单的无状态应用程序，使用 Kafka Streams 也可以帮助您显着减少代码库(即避免样板代码)。因此，建议尽可能使用 Kafka Streams，并且仅在 Kafka Streams 对您的用例不够灵活时才回退到消费者/生产者。