apache-kafka - 如何在 Kafka 代理上代理 Apache Kafka 生产者请求，并重定向到单独的 Kafka 集群？

Question

如何在 Kafka 代理上代理 Apache Kafka 生产者请求，并重定向到单独的 Kafka 集群？

在我的特定情况下，无法更新写入此集群的客户端。这意味着，执行以下操作是不可行的:

1. 更新客户端中的 Bootstrap 代理配置
2. 重写客户端代码以支持Confluent REST Proxy

因此，我正在寻找可以在 Kafka Protocol 上运行的代理

以下是我目前发现的一些潜在选项:

1. Kafka-proxy
2. EnvoyProxy

有没有人对上述工具(或替代工具)有任何经验，可以让我将二进制 TCP Kafka 请求重定向到单独的 Kafka 集群？

Answer 1

自 2021 年底以来，Envoy 代理为 Produce 请求(使用 kafka-mesh-filter )执行此操作，但它仍在进行中。

一般来说，您的 Proxy 需要了解 Kafka 协议(protocol)并保持与上游 Kafka 集群的必要连接。