java - 数据流流作业无法扩展到超过 1 个工作人员

Question

我使用 Apache Beam SDK for Java 2.1.0 的流数据流作业 (2017-09-08_03_55_43-9675407418829265662) 即使 pubsub 不断增长，规模也不会超过 1 个 Worker队列(现在有 100k 条未发送的消息)——您知道为什么吗？

目前正在使用 autoscalingAlgorithm=THROUGHPUT_BASED 和 maxNumWorkers=10 运行。

Answer 1

这里是数据流工程师。我在后端查看了作业，发现它没有扩展，因为 CPU 利用率很低，这意味着其他因素限制了管道的性能，例如外部限制。在这些情况下，升级很少有帮助。

我发现某些 bundle 的处理时间长达数小时。我建议调查您的管道逻辑，看看是否还有其他可以优化的部分。