java - 预先验证发送到 Kafka 主题的消息

Question

是否可以验证/过滤发送到 Kafka 主题的消息？

例如，我想确保只有有效的客户/生产者才能向我的主题发送消息。我当然可以通过基于某些参数/标准丢弃无效消息来在消费者端执行验证。但是，如果我想在将消息写入主题之前执行此操作怎么办？

例如，Kafka 收到一条消息，执行一些验证并相应地决定是否需要丢弃该消息或将该消息写入主题。这可能吗？

Answer 1

一个简短的回答——当前版本的 Kafka 不支持这种开箱即用的功能。由于 Kafka 生产者被设计为在单个 session 期间与多个代理进行通信，因此没有简单的方法来实现这种临时过滤。仍然存在几个合理的选择:

1. 使用 2 个主题:一个向所有人开放的“公共(public)”主题将允许所有消息，另一个非公共(public)“过滤”主题将在应用过滤规则后由您自己的应用程序使用来自“公共(public)”的数据填充。
2. 如果您绝对需要在写入消息之前验证传入的消息，那么您可以将实际的 Kafka 代理隐藏在某种形式的代理应用程序之后，该代理将在将消息写入 Kafka 之前进行验证