gpt4 book ai didi

node.js - Kafka 往返 2+ 秒

转载 作者:太空宇宙 更新时间:2023-11-04 00:12:17 28 4
gpt4 key购买 nike

我们观察到所有消息的 RTT Kafka 延迟较高。

这是我们的实际配置:

  • 我们有 3 个 Kafka 代理 + 3 个 Zookeeper 在 EC2 服务器上的 Kubernetes 集群中运行
  • 我们正在使用confluentinc/cp-kafka:4.0.0-3 Kafka docker image
  • zookeeper + kafka 配置非常标准(compression.type=gzip 除外)
  • 我们的 NodeJS 微服务通过 Kafka 交换消息

我们观察到某些消息的 RTT Kafka 延迟较高:示例场景是 service1 同时拥有 Kafka 生产者和消费者。它向 Kafka 生成 message1,然后消费者在同一服务内平均需要约 3 秒的时间才能获取 message1

我们已经运行测试来排除:

  • 网络延迟
  • 延迟与消息大小相关
  • 我们使用的库提供的延迟(“来 self 们”的两层,然后 node-rdkafka ,然后 librdkafka )。

我们还尝试了建议的方法 herehere ,但没有解决问题。

延迟似乎大约是 1 的倍数,因此我们怀疑我们在 kafka 端缺少一些调整配置。

我的问题是:- 具有类似配置的任何人都观察到和/或解决了相同的问题?如何?- 我们如何进一步调查以了解是谁造成了如此高的延迟?

最佳答案

对于后代:我认为我们确实找到了根本问题。

由于我们的客户端库中存在错误,我们正在为每条发送的消息重新连接到 kafka 代理,并且该连接的成本很高。

修复该错误后,我们仍在进行监控,以确定这确实是原因。

关于node.js - Kafka 往返 2+ 秒,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48908860/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com