gpt4 book ai didi

apache-flink - Flink 自动缩放和最大并行度

转载 作者:行者123 更新时间:2023-12-04 04:22:55 25 4
gpt4 key购买 nike

引用自 javadoc StreamExecutionEnvironment.setMaxParallelism :
最大并行度指定动态缩放的上限。

这里究竟是指哪个动态缩放?我找不到任何运算符自动缩放的经验证据:无论您拥有多少空闲插槽,也无论 maxParallelism 有多大| ,以及有多少个逻辑分区,实际并行度(根据 web ui)始终是通过 设置的并行度。 setParallelism
此外,根据这个最被接受且从未受到挑战的答案 https://stackoverflow.com/a/43493109/2813148
Flink 中没有动态缩放这样的东西。

那么有吗?或者 javadoc 具有误导性(或者那里的“动态”是什么意思)?
如果没有,是否有此功能的计划?

最佳答案

Flink(1.5.0 版本)尚不支持动态缩放。

但是,作业可以通过 savepoint 手动缩放(或通过外部服务)。 ,停止正在运行的作业,并以调整后的(较小或较大)并行度重新启 Action 业。但是,新的并行度最多可以是之前配置的最大并行度。作业启动后,最大并行度将被烘焙到保存点中,并且无法再更改。

对动态缩放的支持在路线图上。从 1.5.0 版本(2018 年 5 月发布)开始,Flink 支持来自 Yarn 和 Mesos 等资源管理器的动态资源分配。这是实现动态缩放的重要一步。事实上,这个功能的一个实验版本已经demonstrated at Flink Forward SF 2018 2018 年 4 月。

关于apache-flink - Flink 自动缩放和最大并行度,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51139656/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com