amazon-web-services - 如何从外部连接到 Kubernetes 中的 Kafka？

Question

挑战在于创建一个 Kafka 生产者，该生产者从集群外部连接到位于 Kubernetes 集群内的 Kafka 集群。我们有几个内部部署的 RDBMS 数据库，我们希望将数据直接流式传输到位于 AWS 上的 Kubernetes 中的 Kafka。我们已经尝试了一些事情并部署了 Confluent 开源平台，但到目前为止没有任何效果。有没有人对这个问题有明确的答案？

Answer 1

您可能会看看部署 Kafka Connect在 Kubernetes 内部。由于您想要从各种 RDMBS 数据库复制数据，因此您需要设置源连接器，

A source connector ingests entire databases and streams table updates to Kafka topics. It can also collect metrics from all of your application servers into Kafka topics, making the data available for stream processing with low latency.

根据您的源数据库，您必须配置相应的 connectors .

如果您不熟悉 Kafka Connect，this article可能会很有帮助，因为它解释了关键概念。