gpt4 book ai didi

apache-kafka - 在分布式模式下运行 kafka 连接?

转载 作者:行者123 更新时间:2023-12-03 23:22:09 24 4
gpt4 key购买 nike

我总共有 3 个 VM(CloudVPS)。他们每个人都安装了 java,confluent 开源。在 VM1 中,我正在运行 Splunk-sink-connector 的 3 个进程,它们从不同的主题读取并在不同的端口上运行。使用 REST 调用,我将 JSON 配置发布给每个人。

由于我在分布式模式下运行,因此我也想利用其他 2 个 VM。谁能告诉我该怎么做,将其他 2 个 VM 添加到这 3 个进程中以实现并行处理。

最佳答案

您只需要在三个 VM 上以分布式模式运行 Kafka Connect,follow the instructions here并确保你给他们所有相同的 group.id它将它们标识为同一集群的成员(因此有资格在它们之间共享任务的工作量)。分布式模式的更多配置细节 here .

也可以看看:

  • https://rmoff.net/2019/11/22/common-mistakes-made-when-configuring-multiple-kafka-connect-workers/
  • http://rmoff.dev/ksldn19-kafka-connect
  • 关于apache-kafka - 在分布式模式下运行 kafka 连接?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49123605/

    24 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com