apache-kafka - 如何从自动化测试中验证 Kafka 消息内容？

Question

我有几个主题有消费者和生产者。我想确保一个不同的应用程序向 kafka 发布正确的消息。所以这有点介于集成和单元测试之间，因为我只想测试生产者是否将正确的内容放入 kafka。

测试有效:

给主题留言

应用程序读取消息并执行某些操作

应用程序引用第一步中的消息生成另一条消息并将其发送到另一个主题。

一种选择是检查所有带有消息的 kafka 日志文件并通过 ref id 找到它们。

但是也许有一些测试工具/模式可以拦截从应用程序到 kafka 的消息并断言其有效性？如果有一些 kafka 冒名顶替者或 stub ，或者我可能完全从不同的角度接近它？欢迎任何想法。

Answer 1

我通常会遵循 Confluent 如何为他们的示例进行集成测试:
https://github.com/confluentinc/examples/tree/master/kafka-streams/src/test/java/io/confluent/examples/streams

您会在那里找到一些方便的实用程序，用于运行嵌入式 kafka 以及发送和检索消息。