gpt4 book ai didi

amazon-web-services - 在 AWS ECS 上运行分布式 kafka 连接集群

转载 作者:行者123 更新时间:2023-12-05 06:48:35 27 4
gpt4 key购买 nike

我想在 ECS(ec2 类型)中运行一个 kafka connect 多节点集群。

为了让同一集群中的 kafka-connect 节点进行通信,我需要将 REST_ADVERTISED_HOST_NAME 属性设置为运行 ecs 任务的 ec2 实例的 ip/主机名。

每个 kafka-connect 节点(作为 ECS 任务运行)的这个属性应该不同

当我增加 ECS 服务中的任务数量时,如何为每个任务设置一个不同 REST_ADVERTISED_HOST_NAME?在引擎盖下,任务可以在同一个 ec2 实例上运行

目前此属性在 connect-distributed.properties 中硬编码或作为任务定义中的环境变量传递,因此它对于创建的每个新任务(或连接节点)都是相同的

最佳答案

您需要一个可从所有任务/节点访问的负载均衡器。

关于amazon-web-services - 在 AWS ECS 上运行分布式 kafka 连接集群,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/66797570/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com