gpt4 book ai didi

java - 数据流流作业无法扩展到超过 1 个工作人员

转载 作者:行者123 更新时间:2023-11-30 06:31:03 24 4
gpt4 key购买 nike

我使用 Apache Beam SDK for Java 2.1.0 的流数据流作业 (2017-09-08_03_55_43-9675407418829265662) 即使 pubsub 不断增长,规模也不会超过 1 个 Worker队列(现在有 100k 条未发送的消息)——您知道为什么吗?

目前正在使用 autoscalingAlgorithm=THROUGHPUT_BASEDmaxNumWorkers=10 运行。

最佳答案

这里是数据流工程师。我在后端查看了作业,发现它没有扩展,因为 CPU 利用率很低,这意味着其他因素限制了管道的性能,例如外部限制。在这些情况下,升级很少有帮助。

我发现某些 bundle 的处理时间长达数小时。我建议调查您的管道逻辑,看看是否还有其他可以优化的部分。

关于java - 数据流流作业无法扩展到超过 1 个工作人员,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46116443/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com